河北移动信息技术中心和华为团队在2022年正式启动BSS业务支撑领域的数智化转型,作为核心能力之一的“云运维智能连接管理能力”正式应用于生产,实现应用与数据库解耦、异构数据库智能管理,助力数据库国产化工程实施,实现核心业务系统自主可控,掌握创新发展主动权。
河北移动在落实核心能力自主可控战略过程中,数据库国产化落地面临诸多挑战
在电信软件领域的数智化、国产化转型过程中,国产数据库的替换成为自主可控的重点与难点:国内外多种数据库并存,管理和运维复杂度上升,数智云原生及微服务化应用数量呈爆炸式增长造成数据库连接数成倍增长等,亟需一款组件或能力提供智能、简洁、高效的异构数据库管理能力,降低业务支撑系统中数据库国产化替换难度与风险。
为了应对上述挑战,落实中国移动业务支撑系统全面国产化战略目标,河北移动信息技术中心和华为团队于2022年6月启动数据库国产化项目之际,充分发挥团队技术优势,攻克技术难题,合力打造“云运维智能连接管理能力”,降低数据库国产化并行及替换难度,有效支撑河北移动自主可控目标落地。
“云运维智能连接管理“解耦业务逻辑与数据库访问,实现自主可控的数据库海量交易、弹性伸缩特性,并沉淀为高可用、可复用的智慧中台能力
云运维智能连接管理能力(简称DAM)是统一管理应用与数据库智能连接管理的中间件,在业务数智云原生转型和数据库国产化背景下,应对日趋复杂化的数据库连接管理,实现全局连接池共享、可视化监控、支持XA事务、标准SQL、故障自动隔离、流量平滑切换、连接自动回切的能力。
在服务设计开发初期便注重其通用性、可复用性,秉承中国移动智慧中台“复用优先、主动沉淀”之理念,打造为面向内外部可复用的中台能力,并成功在中国移动智慧中台实现能力商用。DAM功能包含以下三个组件:
客户端:DAM JDBC Client,以jar包形式提供给应用集成,提供JDBC访问能力。
服务端:DAM Server Cluster,以集群形式部署,提供数据库访问能力。
管理界面:DAM Manage Portal,管理维护入口,提供监控、分析、告警等能力。
DAM支持如下功能特性:
全局连接池共享:整个应用集群共享数据连接池,收敛连接数,且支持应用与数据库的关系管理。
标准SQL语法校验:支持校验业务SQL是否符合SQL-92语法规则,收集不符合SQL进行改造,为数据库国产化提供支撑。
可观察性:支持连接数、耗时、事务量、慢SQL、长事务等指标的采集和监控,与业务调用链关联的SQL跟踪能力,可采集全量业务SQL。
支持XA事务:支持XA事务,提供JDBC标准接口,对应用无侵入。
异构数据库支持:应用只需集成DAM的驱动包,由DAM对接多种异构数据库,同时兼容多个版本MySQL驱动。
故障自动隔离:DAM单节点故障可自动下线隔离,平滑切换到可用节点,增强系统可用性。
数据库连接自动回切:数据库故障恢复后,根据策略将数据库连接自动回切,不需应用重启。
治理能力:支持对慢SQL的采集和隔离,快速熔断故障SQL,SQL超时、连接数等属性修改后实时生效,支持SQL回放。
云运维智能连接管理能力在自主可控项目中发挥数据库兼容测试、性能检测、自由切换、故障隔离的突出作用,有力加速数据库国产化替换进程
云运维智能连接管理DAM在河北移动BSS数据库国产化过程中累积访问2亿次,成功支撑万里开源GreateDB、中移CMDB等多种数据库上线,并且同时兼容现网的Oracle和MySQL。目前成功推广至7家省级兄弟单位使用。
DAM在国产化过程中主要发挥四方面作用:
利用SQL-92语法校验规则,快速收集待替换库的非标语法,加快国产库不兼容语法分析,快速锚定改造点。
业务应用改造过程中功能测试和性能压测工作量繁杂,使用SQL回放功能加快测试进度,通过应用和SQL配套改造,改造后的应用+国产库整体性能与原数据库持平。
通过共享连接池有效收敛连接资源,避免国产库连接数不足,同时多类数据库统一配置管理,简化自主可控过程期间国产库、非国产库切换管理。
故障隔离与数据库自动回切,进一步提升了国产化后系统整体的高可用性。
云运维智能连接管理能力实现业务运营降本增效,缩短工期30天,降低30+%数据库负载
DAM能力在订单、网掌厅、统一接触、短信、能力运营、客户交互、收入准则等国产化过程中,平均单数据库替换工期缩短30天,节省成本15%。
DAM有力提升业务性能,大幅节省资源。DAM有效收敛数据库连接数资源,数据库连接数由18000降低到10000个;数据库负载由70%降低到40%;系统平稳运行,并实现数据库单实例宕机时全业务平稳自动切换。经过演练和实际故障处理实践,故障恢复时长由30分钟缩短到30秒以内。已在全省7个集群上线使用,每年节省数据库硬件扩容费用20%以上。
河北移动信息技术中心和华为团队依托自身技术优势,助力中国移动数智云原生的技术积累,实现核心业务系统自主可控,掌握创新发展主动权。