摘要
Google Cloud 宣布 TorchTPU 开源，让开发者以标准 PyTorch API 在 TPU 上训练、推论与部署模型，支援 eager 除错并透过 torch.compile 取得正式环境效能。生态整合涵盖 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face 与 LiteRT，形成跨 TPU、GPU、CPU 的统一软体堆叠。Hugging Face 方面，Transformers v5 可用 device_map="tpu" 部署，Diffusers 支援 eager 模式、torch.compile 与张量平行，并在…
重點整理
- 模型团队可用同一套 PyTorch 程式码比较 TPU 与 GPU 的单位 token 成本，采购决策不再被框架锁定。
- 对不想被单一硬体绑定的团队，开源 TorchTPU 降低了把既有 PyTorch 工作负载搬到 TPU 的改写成本。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。