AWS Machine Learning Blog· Dmitry Soldatkin·· 3 天前AI 评分40
Amazon SageMaker AI 引入跨区域推理路由功能
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 推出跨区域推理路由功能,通过新的推理路由器资源,实现跨 AWS 区域和账户的模型服务,提高可用性和容错能力。该功能允许用户指定模型运行的位置,路由器会根据本地目的地健康状况将请求重定向到其他注册的目的地,并在恢复后逐步返回流量。
来源:AWS Machine Learning Blog · aws.amazon.com