摘要
Google 發表 LiteRT Tensor API，用於裝置端 AI 模型的編寫與最佳化，提供原生 C++ 與 shader 層級控制，並可在 CPU、GPU（ML Drift）與 NPU 間跨平台移植。開發者可逐個運算子建構計算圖，精確選擇運算與連接方式，同時保留從標準格式轉換的彈性路徑，目標是減少手工調整與各後端改寫，並以共享緩衝區讓資料留在加速器上。功能包含完整控制圖結構與低階運算（如 attention、RMSNorm、KV-cache 更新）、直接從 .safetensors 等檢查點讀取權重、零拷貝的張量緩衝互通，也適合由程式自動生成與重接模型圖。範例中 SAM 2 以 C+…
重點整理
- 開發者可先走標準轉換路徑，遇到效能瓶頸時再切換 Tensor API 做端到端加速器執行與圖重構。
- 對需要在特定硬體上榨出效能或做代理自動調圖的團隊，這提供了比標準轉換路徑更細的控制層。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。