摘要
Google 发表 LiteRT Tensor API，用于装置端 AI 模型的编写与最佳化，提供原生 C++ 与 shader 层级控制，并可在 CPU、GPU（ML Drift）与 NPU 间跨平台移植。开发者可逐个运算子建构计算图，精确选择运算与连接方式，同时保留从标准格式转换的弹性路径，目标是减少手工调整与各后端改写，并以共享缓冲区让资料留在加速器上。功能包含完整控制图结构与低阶运算（如 attention、RMSNorm、KV-cache 更新）、直接从 .safetensors 等检查点读取权重、零拷贝的张量缓冲互通，也适合由程式自动生成与重接模型图。范例中 SAM 2 以 C+…
重點整理
- 开发者可先走标准转换路径，遇到效能瓶颈时再切换 Tensor API 做端到端加速器执行与图重构。
- 对需要在特定硬体上榨出效能或做代理自动调图的团队，这提供了比标准转换路径更细的控制层。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。