商汤大装置异构推理集群实践

2026年10月19日，量子位报道了商汤大装置在Agentic时代的异构推理集群实践。该团队通过PD分离与异构混合调度技术构建万卡级推理集群，在相同高端算力条件下，将整体Token吞吐量提升至原来的5倍。目前，其平台日均Token服务量已达6万亿。针对未来增长预期，报道称预计2026年全年规模将增长25倍，且第四季度日均Token服务量将达到10万亿。这一进展展示了商汤大装置在提升AI推理效能方面的具体成果及规模化服务能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。