摘要
Google 宣布为 TPU 提供 vLLM 与 SGLang 的原生 PyTorch 后端，把 TorchTPU 延伸到可直接在 TPU 上执行这两套推论引擎。新的 vLLM-TorchTPU 与 SGLang-TorchTPU 提供生产级服务功能与最佳化的 Pallas 核心，支援代理式多轮、低延迟互动、高吞吐批次、长上下文、分离式服务、多模态与超大模型等负载，并涵盖 FP8/FP4/INT8/INT4 等精度选项。公开基准显示每百万 token 成本最低可达 2.01 美分，于 Ironwood TPU 上的代理长上下文与多轮表现稳健。目前以预览客户的生产部署为主，并释出原始码与起始储…
重點整理
- 已用 vLLM 或 SGLang 的团队可在不大改程式的情况下评估 TPU 部署，并以公开基准比较单位 token 成本。
- 评估推论堆叠的团队多了一组以 PyTorch 为基础、附公开基准的 TPU 选项。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。