PyTorch· Thomas Parnell (IBM), Thomas Ortner (IBM), Richard Zou (Meta), Harry Mellor (Hugging Face)·· 11 天前精选AI 评分68
vLLM 推出硬件无关模型层以兼顾前沿性能与多硬件兼容
Hardware-Agnostic Models in vLLM
AI 导读
vLLM 引入新的“硬件无关”（HW agnostic）模型层，旨在解决内部实现变更导致与 fullgraph torch.compile 不兼容的问题，从而支持非 NVIDIA 加速器、旧款 GPU 及多样化模型。
推荐理由
vLLM 引入硬件无关层以平衡前沿性能优化与多硬件兼容性，在 H100 上实现接近原生实现的吞吐量。
来源：PyTorch · pytorch.org