PyTorch· Ishan Dhanani, Jamie Li, Karen Chung·· 6 小时前精选AI 评分65
NVIDIA Dynamo 通过会话感知机制优化智能体推理
Session-Aware Agentic Inference with NVIDIA Dynamo
AI 导读
NVIDIA Dynamo 引入统一的会话级标识符，将请求级基础设施转化为程序感知系统，以优化智能体工作负载的推理服务。该方案支持 Claude Code、Codex 等主流编码代理的原生识别，并通过会话感知调度在 SWE-bench 测试中使吞吐量提升约 12-16%。
推荐理由
原文详细拆解了 NVIDIA Dynamo 如何通过会话级标识符优化智能体推理，提供了从路由调度到 KV 缓存管理的完整技术实现路径与实测数据。
来源：PyTorch · pytorch.org