7月17日,由中国移动研究院、中国移动技术能力评测中心主办了“2023年大模型评测及应用研讨会”,会议旨在共同探讨大模型评测体系、应用实践、产业标准及合作生态等议题,推动大模型技术的广泛应用和发展。中国中文信息学会副理事长马少平、中国移动研究院副院长段晓东出席会议并致辞。
会上,中国移动研究院联合北京邮电大学、中国科学院计算技术研究所、北京市科学技术研究院、科大讯飞、百度、武汉大学和重庆理工大学等知名高校、科研机构和头部企业联合发布了《“弈衡”通用大模型评测体系白皮书》。该白皮书是行业中首个大模型评测领域白皮书,基于客观全面、公平公正和用户视角的三大原则,创新性地提出了“2-4-6”的“弈衡”通用大模型评测体系。该体系将评估场景划分为基础任务和应用任务,明确四项主要评测要素,并制定涵盖六大维度的50余个评测指标。“弈衡”评测体系可对国内外大模型开展有效评测分析,充分揭示大模型在应用中的固有问题,客观反映各模型在准确性、可靠性以及安全性等方面的差异,为大模型的评测实践和产业应用提供指导。
来自中国移动、北京邮电大学、中国科学院计算技术研究所、信通院、科大讯飞、百度等多家单位的领导和专家,围绕运营商大模型发展思路、CV大模型前沿技术、国内优秀大模型发展状况、大模型基础设施和生态、行业评测标准等主题,在会上发表了精彩演讲,为推动大模型技术发展奉献了一场知识盛宴,引起了线上线下与会观众的热烈反响。
此外,会上正式成立CCIR大模型评测工作组,并发布“2023 CCIR全国信息检索挑战杯”中国移动赛道赛题。