原始來源AWS
摘要
AWS 宣布，Amazon SageMaker 的即时推论端点支援 GPU 分割，让多个模型透过 NVIDIA MIG 共用同一张 GPU。这可为较小与中型模型，例如微调变体、嵌入式模型、重排序器与分类器，建立规模合适且硬体隔离的分割区，不必为每个模型配置整张加速器。使用者可把各模型放在具硬体强制隔离的分割区，并以模型名称呼叫，无须修改应用程式码。可用性涵盖 P4d、P5、G7 与 G7e 执行个体，区域包括美国东部北维吉尼亚与俄亥俄、美国西部奥勒冈、亚太新加坡与东京、欧洲法兰克福与爱尔兰。对推论成本敏感的团队，这是提高 GPU 利用率的直接手段。
重點整理
- ML 平台团队可在不改程式码下提高 GPU 使用率，但须确认所属区域与执行个体支援。
- 部署多个中小型模型的团队可借此降低单位推论的硬体成本。
編輯說明
本頁是 Code & Chain 對公開來源的編輯摘要，可能使用 AI 輔助整理並經自動化流程發布。請以原始來源為準；內容不構成投資、法律或稅務建議。