C114讯 7月20日消息(岳明)在日前召开的“中国互联网大会--国家新型互联网交换中心与算力网络融合发展论坛”上,中国电信大模型技术专家李康作了题为《大模型带来智算大算力发展》的主题演讲。
李康指出,我国智能算力总体呈现出快速增长趋势,2022年国内服务器销售72.55亿美元,预计2025年销售额可以达到121亿;2022年智算算力整体规模在268 EFlops,预计2025达到922268 EFlops。他认为,智算算力快速增长的背后,大模型功不可没。
大模型带来大集群智算中心需求。大模型训练需要大算力,比如GPT-3,1750亿的参数,使用1万张GPU卡训练14.8天。现在整体市场是玩家堆参数、堆性能的状态,很多玩家涌入市场,市场的算力缺口非常大。百亿、千亿参数的大模型只是开始,万亿参数的大模型将慢慢的会成为主流。“从大模型发展来说,大力出奇迹,万亿参数不是终点,也只是一个阶段。”
当前,国内算力是刚需,现在有一些厂商把大模型基模放到海外去训练,训练回来之后,在国内进行微调。但是,受到数据出境限制,其实这种效果是不太好的,尤其是涉及到比如行业大模型、专属大模型训练,这些数据不能出域。针对这些特点来说,这些训练只能在国内进行,因此国内的训练算力需求的发展是非常旺盛的。
李康表示,大模型的训练和推理有两个特点,总体需求呈现往上提升的状态。训练算力,因为当前大模型的爆发,训练算力属于飙升的状态。但是随着通用大模型市场趋于饱和,它的增长曲线也会逐渐放缓。但是推理算力不一样,推理是稳步上升的曲线,现在大模型市场落地还处于初步起步阶段,所以现在推理算力需求没那么旺盛。“我们预计2025年推理和需求达到相当,随后推理算力反超训练算力。”
李康指出,目前英伟达依然是智算算力的供给主力,国产的GPU也是加速追赶。2022年,国内AI芯片的主要份额英伟达占82%,这取决于它的非常强大的存在,尤其是早期性能和早期的大模型框架使用了CUDA架构,所以有天然的适配性。它的生态目前来说是无法被击破的,但是国内现在也在发展,尤其是一些头部大模型商研究机构,已经在开展国内芯片的适配工作。比如说华为就派了特战队到大模型厂商现场进行适配需求,适配做大模型训练。电信也会与国产芯片厂商联合打造信创大模型训练平台,支持开创信创大模型。