4U5cnyWXJLy v.huanqiu.comarticle我国日均词元调用量已突破500万亿/e3pmh2fmu/e3pn61vrg最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克・里德尔最佳论文奖,核心就是用PD分离技术盘活存量算力,用软件调度把现有算力用足。据悉,P负责“读入用户问题”,D负责“生成回答”。传统方式下,同一批算力轮流干两件事;PD分离让一组只读题,把结果传给另一组专门答题。同样硬件规模下,系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。真正的突破,不是一味堆硬件,而是把手里的算力用好、用精。1795071802632责编:洪祖诚央视财经179507180263211[]//img.huanqiucdn.cn/dp/api/files/imageDir/2ddfae2c03d382a8cbf712c6e4693679u1.png{"email":"hongzucheng@huanqiu.com","name":"洪祖诚"}
最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要效益。2025年,郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克・里德尔最佳论文奖,核心就是用PD分离技术盘活存量算力,用软件调度把现有算力用足。据悉,P负责“读入用户问题”,D负责“生成回答”。传统方式下,同一批算力轮流干两件事;PD分离让一组只读题,把结果传给另一组专门答题。同样硬件规模下,系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。真正的突破,不是一味堆硬件,而是把手里的算力用好、用精。