AWS Machine Learning Blog· Kevin Shabahang·· 2 小时前AI 评分39
超越 KV cache：使用原生 PyTorch 在 AWS Trainium2 上训练和部署 i14 的 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 与 AWS 合作，通过原生 PyTorch 将 Laplace 3B 适配至 Trainium2，每序列循环状态固定为 29.5 MB，不随上下文长度增长。单台 trn2.48xlarge 的训练吞吐量约为每秒 120,000 tokens，推理在 1,280 个并发序列下达到每秒 11,544 个输出 tokens。
来源：AWS Machine Learning Blog · aws.amazon.com