中证报中证网讯(记者孟培嘉)3月17日,联念念晓喻旗下首款AMD AI大模子锻真金不怕火管事器联念念问天WA7785a G3在单机部署671B(满血版)DeepSeek大模子时,可结束极限隐隐量6708token/s,将单台管事器启动大模子的性能推向新高。
据悉,依托联念念万全异构智算平台,联念念通过访存优化、显存优化、PCIe 5.0全互联架构改进以及精选SGLang框架中性能最优算子等诸多改进方式,对大模子从预锻真金不怕火、后锻真金不怕火到推理的全进程进行抓续优化,在模拟问题对话场景时,最高可支抓并发数158,黄金交易TPOT 93毫秒,TTFT 2.01秒;而在模拟代码生成时,并发数可达140,TPOT 100毫秒,TTFT 5.53秒。
这一收获意味着,单台联念念问天WA7785a G3不错支抓1500东说念主领域企业的深广使用,是继联念念问天WA7780 G3管事器单机部署满血版DeepSeek大模子总隐隐量打破2500 token/s后,单机部署该大模子推感性能的又一次打破。