PyTorch 用 TLX 优化 Jagged Flash Attention:在 Blackwell 上超越 FA4
PyTorch 团队利用 TLX 扩展在 NVIDIA Blackwell (B200) 上优化了 Meta GEM 模型的 Jagged Flash Attention 内核。该实现代码量约为 3.2K 行,比 FlashAttention-4 (FA4) 减少约 3 倍,且在 jagged 形状下前向传播快约 13%、反向传播快约 50%,超越了当前 SOTA 的 FA4 性能。