大数据时代,用户处理的数据量越来越大,需要的容量越来越大;保存的数据越来越多样越来越复杂,包括不同的来源,不同的格式,包括结构化和非结构化数据等;需要的访问速度越来越高,访问延迟越来越低;对数据价值的挖掘能力要求越来越高。
根据Gartner的分析,满足大数据的IT架构,至少应具备下面几个特征
1) 横向扩展: 可以线性横向扩展而没有性能影响
2) 低成本组件:通过使用消费级硬件,降低采购成本
3) 高可用:硬件故障作为常态而非特例来解决
4) 不共享架构:节点之间相互独立
我们以此为基础,逐步揭开MVX的面纱。
Scale-up or Scale-out
传统的NAS设备一般使用双控制器节点提供服务,每个节点支持特定的业务负载,当容量不够时通过扩展磁盘框的方式增加存储容量。这种方式的缺陷在于,首先业务和节点的绑定,意味着一个业务及其关联的文件系统只在一个节点上工作,容易造成系统整体的负载不均。其次,这种系统本质上是Scale-up的扩容方式,追求单机性能,无法做到系统性能随容量的增加线性增加。Scale-Out方式则是横向扩展,叠加容量或性能节点,使容量性能得到扩展。
华为OceanStor MVX存储系统(以下简称MVX)采用Scale-out架构,节点之间完全对称,采用全Active的Share nothing方式,系统的数据和管理数据(元数据)分布在各个节点上,避免了系统资源争用,消除了系统瓶颈;即使出现整节点故障,系统能够自动识别故障节点,自动恢复故障节点涉及的数据和元数据,使故障对业务透明,完全不影响业务连续性。MVX支持3-288节点的弹性空间,100PB的全局统一命名空间,并且支持文件内的细粒度的全局锁,支持从多个节点并发访问相同文件的不同区域,实现高并发读,最终实现高性能的访问系统。MVX系统采用全互联组网机制,节点间采用10GE或者Infiniband高速互联,适配客户不同的组网需求,支持从集群任何一个节点并发访问系统中的任何文件。所以MVX通过节点的扩展来解决海量容量的增长,同时还能保持性能线性增长,以此满足业务发展需求。
MVX系统对数据和元数据分开管理,这样做带来的好处,MVX可以在存储容量不变的情况下,通过增加性能加速节点,进一步显著提高系统对IO的响应能力,最终向用户提供卓越的性能。