摘要
Google 宣布為 TPU 提供 vLLM 與 SGLang 的原生 PyTorch 後端，把 TorchTPU 延伸到可直接在 TPU 上執行這兩套推論引擎。新的 vLLM-TorchTPU 與 SGLang-TorchTPU 提供生產級服務功能與最佳化的 Pallas 核心，支援代理式多輪、低延遲互動、高吞吐批次、長上下文、分離式服務、多模態與超大模型等負載，並涵蓋 FP8/FP4/INT8/INT4 等精度選項。公開基準顯示每百萬 token 成本最低可達 2.01 美分，於 Ironwood TPU 上的代理長上下文與多輪表現穩健。目前以預覽客戶的生產部署為主，並釋出原始碼與起始儲…
重點整理
- 已用 vLLM 或 SGLang 的團隊可在不大改程式的情況下評估 TPU 部署，並以公開基準比較單位 token 成本。
- 評估推論堆疊的團隊多了一組以 PyTorch 為基礎、附公開基準的 TPU 選項。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。