摘要
Google Cloud 宣布 TorchTPU 開源，讓開發者以標準 PyTorch API 在 TPU 上訓練、推論與部署模型，支援 eager 除錯並透過 torch.compile 取得正式環境效能。生態整合涵蓋 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face 與 LiteRT，形成跨 TPU、GPU、CPU 的統一軟體堆疊。Hugging Face 方面，Transformers v5 可用 device_map="tpu" 部署，Diffusers 支援 eager 模式、torch.compile 與張量平行，並在…
重點整理
- 模型團隊可用同一套 PyTorch 程式碼比較 TPU 與 GPU 的單位 token 成本，採購決策不再被框架鎖定。
- 對不想被單一硬體綁定的團隊，開源 TorchTPU 降低了把既有 PyTorch 工作負載搬到 TPU 的改寫成本。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。