Original sourceAWS
Summary
AWS 宣布，Amazon SageMaker 的即時推論端點支援 GPU 分割，讓多個模型透過 NVIDIA MIG 共用同一張 GPU。這可為較小與中型模型，例如微調變體、嵌入式模型、重排序器與分類器，建立規模合適且硬體隔離的分割區，不必為每個模型配置整張加速器。使用者可把各模型放在具硬體強制隔離的分割區，並以模型名稱呼叫，無須修改應用程式碼。可用性涵蓋 P4d、P5、G7 與 G7e 執行個體，區域包括美國東部北維吉尼亞與俄亥俄、美國西部奧勒岡、亞太新加坡與東京、歐洲法蘭克福與愛爾蘭。對推論成本敏感的團隊，這是提高 GPU 利用率的直接手段。
Key points
- 部署多個中小型模型的團隊可藉此降低單位推論的硬體成本。
- GPU 分割讓多模型共用加速器，直接改變推論成本結構與部署密度。
- ML 平台團隊可在不改程式碼下提高 GPU 使用率，但須確認所屬區域與執行個體支援。
Editorial note
This page is Code & Chain's editorial summary of public sources. It may be prepared with AI assistance and published through an automated workflow. Refer to the original sources; this content is not investment, legal, or tax advice.