Code & Chain · Signal Desk

Google ML Drift 开源,跨平台 GPU 加速装置端 AI 推论

原始來源InfoQ

摘要

Google 发布 ML Drift,一套开源、跨平台的 GPU 运算引擎,用于装置端 AI 推论,可抽象化不同 GPU 硬体与 OpenGL ES、OpenCL、Metal、WebGPU 等低阶 API,并作为 LiteRT 的底层。相较旧版 TensorFlow Lite GPU delegate,ML Drift 以张量虚拟化统一着色器、支援可扩充的自订运算与五维张量,并针对 Arm、Intel 与 Qualcomm GPU 做硬体最佳化。桌面端透过 Dawn(WebGPU)延伸至 Windows 与 Linux,macOS 仍保留 Metal。Google 称其记忆体开销相较部分框架…

重點整理

  • 仍依赖旧版 TFLite GPU delegate 的团队须规划迁移,否则未来版本的相容性与效能最佳化将受限。
  • 在手机或桌机部署推论的开发者,可掌握 TFLite GPU delegate 退场时程与替代方案的迁移路径。

編輯說明

本頁是 Code & Chain 對公開來源的編輯摘要,可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準;內容不構成投資、法律或稅務建議。