华为OceanStor MVX存储系统技术漫谈一

相关专题: 华为 大数据

  大数据时代,用户处理的数据量越来越大,需要的容量越来越大;保存的数据越来越多样越来越复杂,包括不同的来源,不同的格式,包括结构化和非结构化数据等;需要的访问速度越来越高,访问延迟越来越低;对数据价值的挖掘能力要求越来越高。

  根据Gartner的分析,满足大数据的IT架构,至少应具备下面几个特征

  1) 横向扩展: 可以线性横向扩展而没有性能影响

  2) 低成本组件:通过使用消费级硬件,降低采购成本

  3) 高可用:硬件故障作为常态而非特例来解决

  4) 不共享架构:节点之间相互独立

  我们以此为基础,逐步揭开MVX的面纱。

  Scale-up or Scale-out

  传统的NAS设备一般使用双控制器节点提供服务,每个节点支持特定的业务负载,当容量不够时通过扩展磁盘框的方式增加存储容量。这种方式的缺陷在于,首先业务和节点的绑定,意味着一个业务及其关联的文件系统只在一个节点上工作,容易造成系统整体的负载不均。其次,这种系统本质上是Scale-up的扩容方式,追求单机性能,无法做到系统性能随容量的增加线性增加。Scale-Out方式则是横向扩展,叠加容量或性能节点,使容量性能得到扩展。

  华为OceanStor MVX存储系统(以下简称MVX)采用Scale-out架构,节点之间完全对称,采用全Active的Share nothing方式,系统的数据和管理数据(元数据)分布在各个节点上,避免了系统资源争用,消除了系统瓶颈;即使出现整节点故障,系统能够自动识别故障节点,自动恢复故障节点涉及的数据和元数据,使故障对业务透明,完全不影响业务连续性。MVX支持3-288节点的弹性空间,100PB的全局统一命名空间,并且支持文件内的细粒度的全局锁,支持从多个节点并发访问相同文件的不同区域,实现高并发读,最终实现高性能的访问系统。MVX系统采用全互联组网机制,节点间采用10GE或者Infiniband高速互联,适配客户不同的组网需求,支持从集群任何一个节点并发访问系统中的任何文件。所以MVX通过节点的扩展来解决海量容量的增长,同时还能保持性能线性增长,以此满足业务发展需求。

  MVX系统对数据和元数据分开管理,这样做带来的好处,MVX可以在存储容量不变的情况下,通过增加性能加速节点,进一步显著提高系统对IO的响应能力,最终向用户提供卓越的性能。

1  2  

微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
  • 1、回复“YD5GAI”免费领取《中国移动:5G网络AI应用典型场景技术解决方案白皮书
  • 2、回复“5G6G”免费领取《5G_6G毫米波测试技术白皮书-2022_03-21
  • 3、回复“YD6G”免费领取《中国移动:6G至简无线接入网白皮书
  • 4、回复“LTBPS”免费领取《《中国联通5G终端白皮书》
  • 5、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书
  • 6、回复“TXSB”免费领取《通信设备安装工程施工工艺图解
  • 7、回复“YDSL”免费领取《中国移动算力并网白皮书
  • 8、回复“5GX3”免费领取《R1623501-g605G的系统架构1
  • 本周热点本月热点

     

      最热通信招聘

      最新招聘信息

    最新技术文章

    最新论坛贴子