5月24日,在第七届数字中国建设峰会期间的中国移动人工智能行业生态大会AI+主旨论坛上,中国移动面向全社会发布“弈衡”大模型评测基地。作为大模型优化选型的一站式评测服务平台,该基地将秉持权威、公正的原则,面向政府机构、科研院所及行业伙伴,提供大模型横向对标、产品选型和洞察分析等评测服务,并针对首批客户推出限时免费、深度解析、首席会诊三大专属权益,以促进大模型技术迭代优化,推动国产大模型产业成熟和落地应用。
中国移动“弈衡”大模型评测基地,由中国移动研究院中国移动技术能力评测中心建设运营,依托国家人工智能评测领域战新任务,发挥中国移动工智能产业优势,为政府部委和合作伙伴提供大模型智库咨询和常态评测服务。评测中心首创“弈衡”大模型评测框架,联合业界权威机构打造全面、客观、开放的大模型评测体系,包含功能性、准确性、安全性等6大评测维度,覆盖200+项评测场景,自主构建100万+专属评测数据集,评测结果客观性跻身国内外主流基准第一阵营。成功研发“弈衡”大模型评测平台,首创大模型评测智能体,以大模型评测大模型,支持数据自学习、用例自编排、执行自适应,实现模型部署、数据管理、评测执行及报告生成等全流程自动化,评测周期缩短90%以上。
一年来,中国移动研究院中国移动技术能力评测中心打造“弈衡”大模型评测品牌,积极服务产业,为促进国产大模型发展做出突出贡献。2023年5月,联合中国中文信息学会成立CCIR大模型评测工作组,举办全国性大模型评测竞赛;2023年7月,国内首发《通用大模型评测体系白皮书》,为全产业链大模型的评测实践和落地应用提供指导;2023年下半年,为国家部委和地方政府开展大模型评测服务;2023年11月,牵头国家人工智能评测领域重大任务,重点攻关大模型评测体系和评测平台关键技术;2024年3月,面向国资央企研发大模型评测平台,为国家电网等单位提供评测服务。
目前,中国移动“弈衡”大模型评测基地已与工信部赛迪研究院、北京市大数据中心、国家电网、北京邮电大学、科大讯飞和数据堂等单位开展合作。未来,评测基地将继续面向政府部委和行业伙伴做好评测服务,欢迎产业各界合作入驻,与我们一道携手促进国产大模型选得准、用得好。