Code & Chain · Signal Desk

Google ML Drift 開源,跨平台 GPU 加速裝置端 AI 推論

原始來源InfoQ

摘要

Google 發布 ML Drift,一套開源、跨平台的 GPU 運算引擎,用於裝置端 AI 推論,可抽象化不同 GPU 硬體與 OpenGL ES、OpenCL、Metal、WebGPU 等低階 API,並作為 LiteRT 的底層。相較舊版 TensorFlow Lite GPU delegate,ML Drift 以張量虛擬化統一著色器、支援可擴充的自訂運算與五維張量,並針對 Arm、Intel 與 Qualcomm GPU 做硬體最佳化。桌面端透過 Dawn(WebGPU)延伸至 Windows 與 Linux,macOS 仍保留 Metal。Google 稱其記憶體開銷相較部分框架…

重點整理

  • 仍依賴舊版 TFLite GPU delegate 的團隊須規劃遷移,否則未來版本的相容性與效能最佳化將受限。
  • 在手機或桌機部署推論的開發者,可掌握 TFLite GPU delegate 退場時程與替代方案的遷移路徑。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。