AWS Machine Learning Blog· Joseph Cottingham·· 18 小时前AI 评分43
如何为 Amazon SageMaker AI 上的 TTS 实测设定自动扩缩容目标
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 上的 TTS 自动扩缩容方案通过实测单实例并发上限与扩容总耗时,计算扩缩容阈值及冷却时间,替代猜测配置。方案以 Kokoro-82M 为例部署自定义容器,使用原生 ConcurrentRequestsPerModel 指标,仅在实测方案就绪后挂载自动扩缩容资源。
来源:AWS Machine Learning Blog · aws.amazon.com