2023年8月30日,由西安交通大学中国工程院院士郑南宁团队与中信科移动通信技术股份有限公司(简称“中信科移动”)联合创建的网联协同智能实验室(简称“联合实验室”)在西安举行揭牌仪式,并在会上首次发布了联合实验室研究的三项成果:基于通信网络的多模态融合数据集、融合感知系统和超低时延相机。
中国工程院院士、西安交通大学教授、联合实验室学术委员会主任郑南宁,中信科移动总经理孙晓南,西安交通大学科研院常务副院长邵金友,西安交通大学人工智能学院执行院长、教授、联合实验室理事、主任辛景民,以及来自西安交通大学人工智能学院的师生、中信科移动的领导专家等30余人出席揭牌仪式。
中信科移动总经理孙晓南在致辞中指出,此次合作是中信科移动与西安交通大学的一次重要战略合作,也是双方在产学研合作领域的一次深度探索。通过联合实验室的建立,实现优势互补,在人才培养、技术创新、成果转化等方面开展全方位合作,共同推动科技创新和产业发展。
郑南宁院士在会上表示,联合实验室将以 5G 网络智能应用为基础,以多模态融合感知、边缘计算、算力网络、数据模型管理平台、数据融合、数据交互、自动驾驶决策系统以及数据标准和规范等方面为主要研究方向,致力于打造国际一流的科研创新平台,推动科技成果转化和产业化。同时,郑院士也指出,人工智能技术和产业的发展,需要产学研进一步协同,优势互补,在算力、算法、数据三个核心层面持续创新,共同探索通信和计算深度融合的新机制,以及更加完善且具有实际应用价值的数据标准和规范。
中信科移动5G智能应用研发总监、联合实验室理事张岩在会上首次公布了网联协同智能实验室的规划布局,并展示了实验室的最新三大研究成果:基于通信网络的多模态融合数据集、融合感知系统、超低时延相机。
基于通信网络的多模态融合数据集
在西安交通大学郑南宁院士指导下,中信科移动与北京大学、西安交通大学、香港科技大学等多所知名院校联合发布基于通信网络的多模态融合数据集,具备多车端、多路端多视角、多模态感知信息、多类型标注多场景采集、多种通信条件等完备性特征。可用于智能导航规划,车辆多感知决策;民用无人驾驶航空试验、智能融合空地系统建设等低空经济产业;实时地图构建与更新,智能AGV规划与导航等多种垂直行业应用。
融合感知系统
中信科移动依托自主研发的视觉2D/3D目标检测算法、雷达目标检测算法、融合感知算法以及定制化事件检测算法,联合西安交通大学郑南宁院士团队共同打造出业内领先的融合感知系统。分别适配激光雷达、毫米波雷达和相机等多传感器的多模态数据,可在X86、ARM及ASIC等多种异构计算平台上灵活部署。双方持续紧密合作,通过以数据为中心的AI闭环不断迭代,结合非线性优化与高斯滤波及环境先验分布,相比于业界通用方案,进一步降低对时空标定的强依赖,实现更优的时空同步,实时输出更可信且可靠的感知数据,可在实际场景中为辅助驾驶、高级别自动驾驶等提供可用感知数据,解决长尾问题,突破应用瓶颈。
超低时延相机
中信科移动联合舜宇光学研究院定制化开发了超低时延相机、ISP算法和自研系统平台,实现更低延时和更高帧率的图像输出;相机内置GPS高精度定位,支持与外部传感器(激光雷达、相机)的时间同步,进一步将融合感知的确定性时延大幅降低,真正满足数据融合的需求,降低端到端全链路时延,数据响应更加及时可靠,可用于多种时延敏感性视觉应用场景。
联合实验室将充分发挥产学研联合创新的优势,在AI核心三要素算力、算法和数据层面持续突破,深度融合5G网络和人工智能应用,依托算力基站、边缘计算单元等构建智能化算力网络,利用算力节点的动态调度,实现大规模数据应用场景中算力和通信带宽的动态均衡,最大化数据闭环的效能,为智能物流、智慧工厂、智慧矿山、智慧交通、智慧能源等垂直行业提供更高级别的智能化应用及服务,同时共享更具实际应用价值的数据集以及数据标准和规范。
未来,中信科移动将与西安交通大学一起,共同探索产学研合作的新模式、新机制,推动科技创新和产业发展,为国家重大战略及经济社会发展做出更大的贡献。