跳到正文
原文
AWS Machine Learning Blog· Shantanu Tripathi·· 16 天前精选AI 评分60

SageMaker Inference 现在支持多实例 GPU 以最大化模型端点的 GPU 利用率

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 导读

Amazon SageMaker Inference 现在支持 GPU 分区,使用 NVIDIA 多实例 GPU (MIG) 将物理 GPU 划分为独立的分区。每个分区都获得 GPU 计算单元的固定份额和专用的内存块,硬件中强制执行隔离。这改变了两个限制:可以在每个分区中放置不同的模型,并且可以选择较新加速器的一部分而不是整个一代的整个加速器。

推荐理由

原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

来源:AWS Machine Learning Blog · aws.amazon.com