|
中国电信研究院联合北京智源人工智能研究院、昆仑芯科技有限公司、中兴通讯、北京基流科技有限公司、中科加禾公司等产业合作伙伴，依托中国电信云网融合大科创装置，近期完成业界首次DeepSeek系列模型基于“英伟达算力+国产算力”交叉组合的异构PD分离推理试验验证，实现大模型推理集群的降本增效。
本试验完成了面向大模型推理的异构算力协同技术针对6类典型场景的推理性能验证，DeepSeek 671B模型在多种场景下实现推理集群总吞吐性能30％～72％的提升，并发能力提升2倍，同等吞吐条件下，异构算力组合推理成本下降最高达42％，真正实现“存量利旧”与“国产替代”的双重目标。
针对推理Prefill与Decode阶段特性优化芯片设计逐渐成为行业共识，英伟达和华为分别发布芯片设计规划，将PD两阶段分别适用“高算低存”和“低算高存”的思路融于芯片设计。中国电信研究院在2025年初洞察到PD分离推理对算力异质性的需求，构建异构通信优化、PD资源调配、推理任务调度全栈自研异构混推体系，展现出三大核心优势：一是通过自研异构传输引擎，实现跨架构芯片PD池间KVCache的高效传输；二是采用自研国产算力赋能工具“翼芯”，根据业务特征与算力性能自动推荐并实时优化PD资源配比；三是构建AI推理平台，实现推理任务在Prefill池与Decode池间的动态调度。
技术验证的成功体现了中国电信对智算推理优化技术的深刻理解与对国产算力适配调优的实践创新，彰显了中国电信作为算力基础设施建设方推动国产算力从“可用”到“好用”的央企担当。未来，中国电信将持续深化国产算力高质量发展布局，面向大模型训推一体、多智能体系统打造“互联互通、高效协同”的异构算力生态格局，推动新型信息基础设施协调发展。
|
