PyTorch· Dev (Devashish) Shankar, Darren Liu, Chunzhi Yang, Jackie (Jiaqi) Xu,Markus Hoehnerbach, Jason Xie, Santosh Mohan, Han Xu, Rich Zhu, Josh Fromm, Hongtao Yu, Max Leung, John Bocharov, Alan Purvis·· 17 天前AI 评分55
PyTorch 发布 Blackwell 上端到端块缩放 MXFP8 FlashAttention-4 研究
Low Precision Flash Attention 4: End-to-End Block-Scaled Attention for Blackwell
AI 导读
PyTorch 团队扩展 FlashAttention-4 以支持 MXFP8 前向和反向传播，在 LLM 形状上达到 2.85 PF/s 前向和 2 PF/s 反向吞吐量。
来源：PyTorch · pytorch.org