跳到正文

#产品更新

今日 0 条
10月3日周六
10月2日周五
  1. 量子位78

    openJiuwen发布X-Router自演进模型路由技术,实测减少50%以上Token消耗

    openJiuwen团队发布X-Router自演进模型路由技术,通过动态决策实现Agent请求的模型最优选择。实测数据显示,在PinchBench评测中开启Bandit自演进后,相比全云基线得分仅低0.66个百分点,但模型调用成本整体降低约44.6%;在Terminal-Bench测试中,cost focused模式下成本降低51.4%,成功率达Opus的95.2%。

    推荐理由:原文展示了智能路由在降低Token消耗的同时保持任务质量的具体实测数据,为Agent成本优化提供了可参考的技术路径。

9月30日周三
9月25日周五
9月23日周三
9月22日周二
  1. PyTorch68

    vLLM 推出硬件无关模型层以兼顾前沿性能与多硬件兼容

    vLLM 引入新的“硬件无关”(HW agnostic)模型层,旨在解决内部实现变更导致与 fullgraph torch.compile 不兼容的问题,从而支持非 NVIDIA 加速器、旧款 GPU 及多样化模型。

    推荐理由:vLLM 引入硬件无关层以平衡前沿性能优化与多硬件兼容性,在 H100 上实现接近原生实现的吞吐量。