商汤大装置日均6万亿Token服务背后，异构推理集群提升效能5倍

商汤大装置通过PD分离与异构混合调度构建万卡级推理集群，在相同高端算力下将整体Token吞吐量提升至原来的5倍。目前其平台日均Token服务量达6万亿，预计2026年全年规模增长25倍，第四季度将达日均10万亿。