性能突破！联想问天WA7785a G3服务器单机运行671B DeepSeek大模型，吞吐量高达6708token/s

联想今日宣布，其首款搭载AMD芯片的AI大模型训练服务器——联想问天WA7785a G3，在单机运行671B DeepSeek大模型时，实现了高达6708token/s的极限吞吐量，刷新了单台服务器运行超大规模模型的性能纪录。

这一突破性进展得益于联想万全异构智算平台的强大支持。联想通过一系列创新技术，包括访存优化、显存优化、创新的PCIe5.0全互联架构以及精选SGLang框架中的最优算子，对大模型从预训练、后训练到推理的全流程进行了持续优化。

在模拟问题对话场景（上下文序列长度128/1K）中，该服务器最高可支持158的并发数，TPOT(Time Per Output Token)为93毫秒，TTFT(Time To First Token)为2.01秒。在模拟代码生成场景(上下文序列长度512/4K)中，并发数可达140，TPOT为100毫秒，TTFT为5.53秒。联想表示，这一性能表现意味着单台联想问天WA7785a G3服务器即可支撑1500人规模企业的正常使用，是继联想问天WA7780G3服务器单机部署满血版DeepSeek大模型总吞吐量突破2500token/s之后，在单机部署该大模型推理性能上的又一次重大飞跃。

联想强调，此次技术突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优、共同实现的成果。同时，这并非最终结果，联想与AMD仍在持续探索深度调优的新方法，以期实现更高的性能突破。