联念念单机部署DeepSeek推感性能结束新打破
2025-04-14中证报中证网讯(记者孟培嘉)3月17日,联念念晓喻旗下首款AMD AI大模子锻真金不怕火管事器联念念问天WA7785a G3在单机部署671B(满血版)DeepSeek大模子时,可结束极限隐隐量6708token/s,将单台管事器启动大模子的性能推向新高。 据悉,依托联念念万全异构智算平台,联念念通过访存优化、显存优化、PCIe 5.0全互联架构改进以及精选SGLang框架中性能最优算子等诸多改进方式,对大模子从预锻真金不怕火、后锻真金不怕火到推理的全进程进行抓续优化,在模拟问题对话场景时,最