相关专题：
中国电信浙江公司 吕鹏 顾炯 姚捷灵
华信咨询设计研究院有限公司 洪亮
中国电信浙江公司为解决业务云资源池中网络资源管理遇到的困境，试点引入VxLAN技术，以此为基础构建与物理网络松耦合的网络虚拟化资源池，进一步探索私有云网络资源开放的可行性。本文从VxLAN技术的实际部署设计方案出发，解析云资源池引入VxLAN的设计要点，并结合资源池的实际情况，进一步分析引入VxLAN如何为云资源池在网络资源管理效率方面带来提升。
主要问题
中国电信浙江公司自2011年开始研究部署云计算技术，建设了业务云计算资源池。经过几年的发展和优化，现已基本形成安全、可靠的云计算资源池体系。目前在资源池上已经承载了包括企业信息化系统在内的近300个应用平台。自2013年开始，伴随着资源池规模的增大、部署应用系统的增多、业务需求的不断叠加，网络能力逐渐成为了资源池演进的瓶颈：网络集中配置导致业务开通时间越来越长、不同应用的网络个性需求不断叠加到基础网络上、网络资源的SLA粒度与资源池其他资源的分配管理互不匹配等。
究其原因，我们认为主要存在以下两点。
● 资源池网络相关设备均是由传统的IP设备组成，维护人员直接管理、配置和维护物理设备，但是物理设备无法实现高效的动态化。已经可以动态按需分配的计算资源会因物理网络设备的限制而无法高效地实现自动化供给与调配；不同类型资源的统一快速配置与编排组合还难以做到，快速的自动协同更是不可能；无法满足多租户环境下不同客户对各类资源的统一快速供给需求。
● 资源池内共享的网络资源导致物理设备上配置复杂，各配置信息集中在某些核心设备上，缺乏隔离手段，会出现某一配置出错，进而导致整个资源池网络出现故障，并引发业务大面积的中断，配置压力也很大。复杂的配置决定网络的配置必须集中在1~2名对资源池网络环境非常熟悉并且对各租户网络需求充分理解的维护人员上，这不仅需要维护人员的技术水平极高，而且也形成了资源池的配置瓶颈。
因此，我们尝试了“网络资源池化”：将网络资源封装为类似计算、存储的池化资源进行多租户管理，并通过SDN网络管理能力开放的方法，解决上述问题。
软件定义网络
软件定义网络（Software-Defined-Network，SDN）技术广义上是解决云资源池网络瓶颈的理想方案，其具体的实现方案主要包括以下3种类型。
（1）基于专用接口的方案：该类方案的实现思路是不改变传统网络的实现机制和工作方式，通过对现有网络设备的操作系统进行升级改造，使之能够支持专用的可编程接口供网络管理系统调用，实现网络设备的统一配置管理和策略下发，改变原先需要逐台设备进行登录配置的手工操作方式；同时这些接口也可用于开发网络应用，实现网络设备的软件编程。其中，最典型的技术产品是思科的onePK（Open Network Environment Platform Kit）。
（2）基于叠加网络的方案：该类方案的实现思路是以现行的IP网络为基础，在其上建立叠加的逻辑网络（Overlay Logical Network）用于屏蔽掉底层物理网络的差异，实现网络资源的虚拟化，使得多个逻辑上彼此隔离的网络分区以及多种异构的虚拟网络可以在同一共享网络基础设施上共存，支持网络资源的多租户共享并突破传统网络技术对租户网络的限制。其中，最典型的技术产品包括VMware NSX及其主导推出的VxLAN、微软支持的NVGRE、IBM的DOVE等，其中VXLAN利用了现有通用的UDP传输，成熟性极高。总体比较，VxLAN技术相对具有优势。VxLAN网络设备主要有3种角色，分别是VTEP（VXLAN Tunnel End Point）、VxLAN GW（VxLAN Gateway）、VxLAN IP GW（VxLAN IP Gateway），均是物理网络的边缘设备，而由3种边缘设备构成了VxLAN Overlay网络，对于应用系统来说，只与这3种设备相关，与底层物理网络无关。
（3）基于开放协议的方案：这是当前最流行的SDN实现方案，它引入了开放的网络协议标准，强调网络中控制与转发的分离，支持南向网络设备的集中控制，并提供丰富的北向应用编程接口，能够有效降低网络架构复杂度，支持业务驱动的网络资源灵活调配。其中，最典型的技术成果是由ONF（Open Networking Foundation，开放网络基金会）提出的基于OpenFlow南向控制协议的SDN架构。
基于中国电信浙江公司云资源池的现状和需求，我们选择了对现网影响最小的叠加网络方案，同时以VxLAN作为项目实施的核心技术，其主要原因在于：
● 大规模云计算资源池对VLAN的需求远不止4096；
● 资源池大量的物理及虚拟服务器的存在，物理交换机上的MAC表项资源面临耗尽；
● 多租户需要隔离、自主的网络环境；
● 弱化运营商传统建设采购模式造成的底层物理设备差异性；
● VxLAN协议的引入，不会对现有网络造成大规模的改造工作，改造风险最小。
实施方案引入
中国电信浙江公司云资源池希望在VMware vSphere虚拟化平台基础之上 ，借助VxLAN技术实现网络的虚拟化，使网络资源成为一种可以按需动态分配的资源，期望能在确保系统安全的前提下通过平滑、稳定升级，实现资源池网络能力的多租户开放、自配置、自管理、构建灵活、高效、扩展性强的网络环境。
云资源池网络现状
中国电信浙江公司云资源池是一个部署在绍兴和金华2个物理节点的“双活统一”资源池，两物理节点以DWDM互接，节点核心交换机通过跨节点2层虚拟化堆叠实现资源池的逻辑统一，拓扑如图1。
云资源池网络采用扁平化的网络架构（核心－接入）。
● 核心层采用H3C 12518交换机，负责高速的3层交换。
● 接入层主要采用H3C 5500/5800交换机。接入交换机安装在每个服务器机柜的机架顶，实现服务器网络接入，但只开启2层转发，所有3层网关设置在核心层。核心层和接入层均采用了H3C的IRF2技术，构建了天然无环网络结构，因此没有启用STP (生成树协议)，所有机架内服务器之间的3层流量需要上行至核心层进行交换。
● 所有的部件和线路都采用双节点、双线路的部署方式，保证业务的高可靠性。网络收敛比约为1:5。
核心层－接入层的连接采用万兆以太网连接，并通过多链路捆绑提供性能扩展和高可用保护。接入层通过多条千兆连接捆绑的方式，连接服务器。网络管理上区分为资源管理网、业务数据网。
实施方案设计
方案设计整体思路
从更好地融合计算资源和网络资源的角度考虑，本次方案选择了资源池虚拟化平台同平台的NSX for vSphere（以下简称NSX）作为SDN的解决方案。
方案总体思路是一种将虚拟网络从传统物理网络中解放出来的叠加网络解决方案。以VxLAN为基础，NSX通过建立虚拟网络提供一种抽象的、运行在物理和逻辑网络之间的虚拟网络层。
根据平台不同的角色定义和硬件能力需求，总体上将环境分为不同的功能域：计算（Computing）、管理（Management）、边界（Edge）、桥接（Bridge）、网络的逻辑架构如图2所示。
物理网络设计
网络虚拟化的一个关键目标就是提供虚拟到物理网络的抽象化，因此物理网络必须提供一种健壮的IP传输并具有下列特性：
● 简易性
● 可扩展性
● 容错性
● 服务质量等级（QoS）保证
为了达到以上几种特性，且便于网络虚拟化后的运维便利，我们对原有的网络功能拓扑进行了重新设计。
● 核心交换机仍为管理网段的网关, 在此为各个管理网段配置网关IP地址。
● 将原本只是作为纯粹L2通道交换的接入交换机改造为架顶式TOR（top-of-rack）交换设计，在此为各VxLAN的VTEP配置网关地址，并开启3层路由功能。
● TOR 核心路由器为3层路由OSPF（Open Shortest Path First）交换, 资源可平行扩展, 能支持大量机架及TOR 建设。同时缩小了TOR及核心交换机管理MAC地址的数量，缩小了2层网络范围。
● 计算域（Computing）内的VNI建立以每个业务的各种服务型态为单位, 如典型业务有Web/APP/DB3种服务型态，即开设3个VNI用于该业务，便于实现服务的“东西向”传输效率及提高安全性。
● 边界域（Edge）部署在VxLAN和VLAN网关之间，其数量等于外联VLAN的数量。该设计使得每个Edge虚拟网关负载较小，但数量增加，可以选择使用户集群中的服务器进行负载均衡，且Edge虚拟网关与服务VLAN 1:1对应, 有利于问题的查找。
● 通过VxLAN流量的网络设备，需将MTU值置为>1600。
整体物理网络设计架构如图3（注：因边界集群中的TOR 6248交换机并无3层路由功能，因此边界集群的VTEP网关落在核心交换机）。
物理网络流量设计如图4。
虚拟网络设计
网络虚拟化包含3个主要的方面：解耦合、再组成和自动化。所有3方面对于达到预期的效果都是重要的。解耦合，它是使物理网络变简单与可扩展的关键。
当建立一个新的环境时，选择一个允许未来扩展的架构是必须要考虑的。此类部署的指导思路是使用一个简单的集群式架构而非通过VLAN的扩展实现。尽管这是一个简单的需求，但却对物理交换架构如何建立和扩展有深远的影响。
我们还是以3种集群的视角来设计讨论：计算集群、边界集群、管理集群（如图5）。
● 计算集群
计算集群用以为业务平台提供虚拟计算资源，计算集群需要具有如下设计属性：
> 与现有网络可交互
> 对于新部署或重新设计
> 对于虚拟机接入不需要考虑VLAN划分
> 对于计算集群的网络扩展不应该考虑VLAN方式。
> 提供一种可重复利用的架构设计
虚拟化后的主机通常会发起3种的流量：VxLAN流量、管理流量、vSphere vMotion流量。VxLAN可看作网络虚拟化后新引入的流量，通过UDP封装，用以承载所有虚拟机通信的流量。
不同的流量类型可以被VLAN隔离，从IP地址段的层面加以明确区分。VLAN在TOR交换机汇聚，设定如下:
> VTEP的VLAN提供一个3层的网络端口；
> vMotion的VLAN并不提供任何网关，不论2或3层都无法上行出去；
> 管理VLAN上行至另一独立的管理接入交换机以2层连接至核心交换机。
● 边界集群
边界集群作为连接虚拟与物理网络之间的桥梁，会有大量的数据交互，其主要功能：
> 提供“进站 / 出站”式的物理网络连接
> 通过VLAN与物理网络建立连接
> 主机式集中物理服务
边界是所有逻辑网络的终点，并且在物理和逻辑网络间提供3层跳转。设计思路的重点是区分VxLAN（叠加）流量和未封装（原始）流量。物理上这两种网络流量会有重叠，可能都汇聚在相同的边界集群接入交换机上，需要使用两个不同的VLAN加以区分。
边界节点（Edge）可以使用两种方式提供服务，根据实际情况选择适合的方案：
1. 内部地址仅在Edge内部使用，对外使用NAT的方式进行通信。外部VLAN在Edge上联口终止。外部网关设备无需额外路由配置。
2. 内部地址通过默认路由方式对外建立连接。网关使用静态路由将需要访问内部的流量向Edge传输，后者通过OSPF获得路由进行数据包分发。Edge上联口仅需配置点对点传输接口即可。
● 管理集群
集群内安装了管理组件，包括资源池虚拟化管理平台、资源池网络管理组件，管理集群内的配置不包含任何业务平台相关的地址。
实施效果
通过部署SDN将VxLAN引入云计算资源池，网络能力可以成为一种资源进行按需配置，同时将各租户的网络配置进行隔离，提高了网络安全性并简化了网络配置，很多配置可以由租户自行完成，结合在2014年底部署的分布式块存储（SVR-SAN）实现软件定义存储(SDS)，基本消除了网络和存储的供给瓶颈，将资源池变成一个基础设施能力超市。目前已经部署“天翼阅读”等业务进行商用，基本达到引入预期，概括起来主要体现在4方面。
1.通过VxLAN 可以自由定义2层网络，实现了可扩展的多租户网络，可以由租户自管理和自配置，目前VxLAN技术已经基本成熟，且业内已经基本形成产业标准，对未来企业资源池资源的全面云化、资源自助管理有着深刻的意义。
2.以业务平台（租户）为单位实现路由、负载均衡、NAT和防火墙功能，是未来资源池设计必须实现的目标，由此达到网络资源池的2次隔离和封装的目的，用以实现任何一个业务平台的网络变更、割接都不会对其他业务和大网造成影响。
3.分布式路由功能有必要在资源池网络虚拟化工作中引入，其可以大大减轻资源池核心交换机的流量压力和配置的复杂性，也为以业务为单位的QoS及SLA定义提供了便捷。
4.资源池多层次的安全控制必须被考虑，包括资源池“东西向”流量安全和“南北向”进出流量安全，可以通过软、硬结合的防火墙实现。
VxLAN作为Overlay网络技术的一种代表，引入云计算资源池的代价是相对较低的，也在一定程度上帮助实现了网络资源的虚拟化。但是，作为一项底层基础技术，距离云计算资源池对网络的终极目标还有一段距离。后续随着虚拟网络组件功能的不断完善，在实现网络资源创建、更改、释放更快捷；加速新业务开发和网络资源控制更精细；控制能力与业务的结合更密切等方面还需要做积极的尝试。
作者：吕鹏 来源：通信世界周刊
