vLLM 集成 Helion 实现高性能可移植线性后端
vLLM 集成 PyTorch 原生 DSL Helion 构建线性后端，通过自动调优在 NVIDIA Hopper GPU 上超越 CUTLASS 和 DeepGEMM。该方案支持 FP8/INT8 量化，部分工作负载吞吐量提升超 10%，但面临启动延迟与维护开销挑战。
#Meta
#Meta
今日 0 条PyTorchAI 评分5050
PyTorchAI 评分4444 PyTorch 用 TLX 优化 Jagged Flash Attention：在 Blackwell 上超越 FA4
PyTorch 团队利用 TLX 扩展在 NVIDIA Blackwell (B200) 上优化了 Meta GEM 模型的 Jagged Flash Attention 内核。该实现代码量约为 3.2K 行，比 FlashAttention-4 (FA4) 减少约 3 倍，且在 jagged 形状下前向传播快约 13%、反向传播快约 50%，超越了当前 SOTA 的 FA4 性能。
PyTorchAI 评分5555 PyTorch 发布 Blackwell 上端到端块缩放 MXFP8 FlashAttention-4 研究
PyTorch 团队扩展 FlashAttention-4 以支持 MXFP8 前向和反向传播，在 LLM 形状上达到 2.85 PF/s 前向和 2 PF/s 反向吞吐量。