Meta 发布 Muse Gadgets 开源项目并推出 Muse Home Link 设备
Meta 宣布推出名为 Muse Gadgets 的开源项目,允许爱好者构建自己的 AI 硬件。该项目包含适用于 ESP32 开发板的固件以及用于连接自制设备至 Meta AI 智能体 Muse 的 Linux SDK,代码采用 Apache 2.0 许可证。
Meta 宣布推出名为 Muse Gadgets 的开源项目,允许爱好者构建自己的 AI 硬件。该项目包含适用于 ESP32 开发板的固件以及用于连接自制设备至 Meta AI 智能体 Muse 的 Linux SDK,代码采用 Apache 2.0 许可证。
vLLM 集成 PyTorch 原生 DSL Helion 构建线性后端,通过自动调优在 NVIDIA Hopper GPU 上超越 CUTLASS 和 DeepGEMM。该方案支持 FP8/INT8 量化,部分工作负载吞吐量提升超 10%,但面临启动延迟与维护开销挑战。
PyTorch 团队利用 TLX 扩展在 NVIDIA Blackwell (B200) 上优化了 Meta GEM 模型的 Jagged Flash Attention 内核。该实现代码量约为 3.2K 行,比 FlashAttention-4 (FA4) 减少约 3 倍,且在 jagged 形状下前向传播快约 13%、反向传播快约 50%,超越了当前 SOTA 的 FA4 性能。
PyTorch 团队扩展 FlashAttention-4 以支持 MXFP8 前向和反向传播,在 LLM 形状上达到 2.85 PF/s 前向和 2 PF/s 反向吞吐量。