中国移动研究院发布通用大模型评测体系白皮书

7月17日,由中国移动研究院、中国移动技术能力评测中心主办了“2023年大模型评测及应用研讨会”,会议旨在共同探讨大模型评测体系、应用实践、产业标准及合作生态等议题,推动大模型技术的广泛应用和发展。中国中文信息学会副理事长马少平、中国移动研究院副院长段晓东出席会议并致辞。

会上,中国移动研究院联合北京邮电大学、中国科学院计算技术研究所、北京市科学技术研究院、科大讯飞、百度、武汉大学和重庆理工大学等知名高校、科研机构和头部企业联合发布了《“弈衡”通用大模型评测体系白皮书》。该白皮书是行业中首个大模型评测领域白皮书,基于客观全面、公平公正和用户视角的三大原则,创新性地提出了“2-4-6”的“弈衡”通用大模型评测体系。该体系将评估场景划分为基础任务和应用任务,明确四项主要评测要素,并制定涵盖六大维度的50余个评测指标。“弈衡”评测体系可对国内外大模型开展有效评测分析,充分揭示大模型在应用中的固有问题,客观反映各模型在准确性、可靠性以及安全性等方面的差异,为大模型的评测实践和产业应用提供指导。

来自中国移动、北京邮电大学、中国科学院计算技术研究所、信通院、科大讯飞、百度等多家单位的领导和专家,围绕运营商大模型发展思路、CV大模型前沿技术、国内优秀大模型发展状况、大模型基础设施和生态、行业评测标准等主题,在会上发表了精彩演讲,为推动大模型技术发展奉献了一场知识盛宴,引起了线上线下与会观众的热烈反响。

此外,会上正式成立CCIR大模型评测工作组,并发布“2023 CCIR全国信息检索挑战杯”中国移动赛道赛题。


微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
  • 1、回复“YD5GAI”免费领取《中国移动:5G网络AI应用典型场景技术解决方案白皮书
  • 2、回复“5G6G”免费领取《5G_6G毫米波测试技术白皮书-2022_03-21
  • 3、回复“YD6G”免费领取《中国移动:6G至简无线接入网白皮书
  • 4、回复“LTBPS”免费领取《《中国联通5G终端白皮书》
  • 5、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书
  • 6、回复“TXSB”免费领取《通信设备安装工程施工工艺图解
  • 7、回复“YDSL”免费领取《中国移动算力并网白皮书
  • 8、回复“5GX3”免费领取《R1623501-g605G的系统架构1
  • 本周热点本月热点

     

      最热通信招聘

      最新招聘信息

    最新技术文章

    最新论坛贴子