热点事件持续更新

i14与AWS将Laplace 3B适配至Trainium2

1 篇报道1 个报道来源59 分钟前更新

先了解这件事

AI 综述

i14与AWS合作，通过原生PyTorch后端TorchNeuron Native测试版，将线性注意力模型Laplace 3B适配至Trainium2，并完成训练与推理优化。 AWS称，该模型每个序列的循环状态固定为29.5 MB，不随上下文长度增长；单台trn2.48xlarge的训练吞吐量约为每秒12万个tokens，推理在1,280个并发序列下达到每秒11,544个输出tokens。编译执行因BF16运算重排，与即时执行的输出略有差异；需要精确复现时应使用即时解码。

AI 根据报道生成 · 53 分钟前更新

最新进展10月21日 05:14

超越 KV cache：使用原生 PyTorch 在 AWS Trainium2 上训练和部署 i14 的 Laplace 3B 线性注意力模型

报道时间线

沿着报道，了解事件的不同侧面。

10月21日

05:14
AWS Machine Learning Blog
超越 KV cache：使用原生 PyTorch 在 AWS Trainium2 上训练和部署 i14 的 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过原生 PyTorch 将 Laplace 3B 适配至 Trainium2，每序列循环状态固定为 29.5 MB，不随上下文长度增长。单台 trn2.48xlarge 的训练吞吐量约为每秒 120,000 tokens，推理在 1,280 个并发序列下达到每秒 11,544 个输出 tokens。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。