原始來源AWS
摘要
AWS 宣布，Amazon SageMaker 的即時推論端點支援 GPU 分割，讓多個模型透過 NVIDIA MIG 共用同一張 GPU。這可為較小與中型模型，例如微調變體、嵌入式模型、重排序器與分類器，建立規模合適且硬體隔離的分割區，不必為每個模型配置整張加速器。使用者可把各模型放在具硬體強制隔離的分割區，並以模型名稱呼叫，無須修改應用程式碼。可用性涵蓋 P4d、P5、G7 與 G7e 執行個體，區域包括美國東部北維吉尼亞與俄亥俄、美國西部奧勒岡、亞太新加坡與東京、歐洲法蘭克福與愛爾蘭。對推論成本敏感的團隊，這是提高 GPU 利用率的直接手段。
重點整理
- ML 平台團隊可在不改程式碼下提高 GPU 使用率，但須確認所屬區域與執行個體支援。
- 部署多個中小型模型的團隊可藉此降低單位推論的硬體成本。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。