亚马逊SageMaker推理支持NVIDIA MIG，实现GPU硬件隔离分区

Amazon SageMaker Inference 支持 GPU 分区，使用 NVIDIA Multi-Instance GPU (MIG) 将物理 GPU 划分为独立分区。每个 GPU 分区获得固定比例的 GPU 计算单元和专用内存块，隔离由硬件强制实施。GPU 分区功能适用于使用 inference components 的端点，允许在单个端点部署多个模型并设置每个模型的算力。单模型端点、无服务器端点和异构实例池不支持 GPU 分区。^[1]

NVIDIA MIG 可将一个 GPU 分割为最多七个实例，具体数量取决于 GPU 型号。在 SageMaker AI 上，MIG 布局只能在端点创建时选择，且仅在分区空闲时允许更改布局。需要多个 GPU 的模型仍需使用完整设备，无法仅通过分区满足。Amazon SageMaker AI 的 GPU 分区功能允许用户选择分区配置文件，由 SageMaker AI 处理 GPU 配置、放置和扩展。^[1]

Salesforce 参与了该功能的需求定义和初始实现验证。Salesforce 正准备使用代表性生产工作负载验证该解决方案，并与 AWS 展示强劲的客户需求。^[1]