AWS Machine Learning Blog· Mona Mona·· 2 小时前精选AI 评分64
AWS 在 Amazon SageMaker AI 上的 MoE 内核工程优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 在 Amazon SageMaker AI 的 LMI 容器中应用多项 fused MoE 内核优化，使吞吐最高提升 10%，TTFT 最高加快 9%。
推荐理由
文章把 Hopper 的 WGMMA 布局、FP8 后端路由和 Triton JIT 编译分别对应到可操作的优化点，适合参考 fused MoE 推理的性能调优路径。
来源：AWS Machine Learning Blog · aws.amazon.com