在传统的数据中心服务器区网络设计中，通常将二层网络的范围限制在网络汇聚层以下，通过配置跨汇聚交换机的VLAN，可以将二层网络扩展到多台接入交换机，这种方案为服务器网络接入层提供了灵活扩展能力。近年来，服务器高可用集群技术和虚拟服务器动态迁移技术(如VMware的VMotion)在数据中心容灾及计算资源调配方面得以广泛应用，这两种技术不仅要求在数据中心内实现大二层网络接入，而且要求在数据中心间也实现大范围二层网络扩展(DCI: Data Center Interconnection)。

　　如图1所示，数据中心间通常部署三种互联链路，每种互联链路所承载的数据不同，实现的功能不同，并且这三种链路在逻辑上相互隔离。

　　网络三层互联。也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业园区网或企业广域网的出口。不同数据中心(主中心、灾备中心)的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性;

　　网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络(VLAN)，以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求;

　　SAN互联。也称为后端存储网络互联。借助传输技术(DWDM、SDH等)实现主中心和灾备中心间磁盘阵列的数据复制。

　　服务器集群(Cluster)，是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。多数厂商(HP、IBM、微软、Veritas等)的集群软件需要各服务器间采用二层网络互联。将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。

　　数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络：

　　当服务器被迁至新机房，如未构建新老中心间的二层互联网络，则面临重新规划新中心服务器IP地址的问题，同时还需修改DNS，或修改客户端应用程序配置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地址，进而简化迁移过程;

　　在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁至新中心，为保证业务连续性，需建立跨中心的服务器集群，构建跨越中心的二层互联网络可实现服务器平滑迁移。

　　与服务器搬迁类似的情况是“虚拟机迁移”。当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移(如图2所示)。迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运作时的状态(如TCP会话状态)，所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络(虚拟机在迁移前后的网关不变)，这种应用场景要求构建跨中心的二层互联网络。

　　选择数据中心二层互联方案的前提要素是明确用户在多个数据中心之间具有哪些网络资源。网络资源的不同直接决定了用户将采用何种组网方案：

　　运营商、大型互联网公司：裸光纤或DWDM传输资源，对应RRPP环网方案或HUB-SPOKE方案;

　　数据中心之间二层互联是为实现虚拟机的异地调度和集群异地应用，为实现这一点，一定要满足虚拟机VMotion和集群存储异地访问的时延要求。第一个限制是VMotion同步会话距离。第二个要求是存储网络。DC之间的存储必须实现同步访问或是镜像访问。

　　需要注意的是，在VPLS或是IP网络环境中，由于网络中存在大量复杂的应用，所以一定要通过部署全网QoS来保证DCI互联数据流的服务的品质。流量环境越复杂，则QoS配置工作量越大，时延指标越难以满足。VPLS网络通常应用于企业或是行业的专用业务，流量环境相对于IP网络较简单，所以在部署QoS方面有一定优势。

　　数据中心互联的核心需求之一就是保证虚拟机跨DC的迁移。vSphere 5.0之前的版本，VMotion对于迁移链路的带宽有明确的要求带宽不小于622M;vSphere 5.0的版本，VMotion对于迁移链路的带宽不小于250M。

　　从带宽资源的分配情况去看，裸光纤或DWDM的带宽资源最为充足，VPLS和IP网络的带宽资源相对紧张，必须部署全网端到端的QoS优先级来保证DCI业务流量的带宽要求。

　　数据中心二层互联的重要的条件就是怎么样提高可用性。提高HA的一个最有效的方式是设计备份链路、备份节点。如果结合提高互联带宽的需求，则建议设计负载分担的互联路径，在提高互联带宽的同时，也能确保系统异常时可以在一定程度上完成业务的快速收敛，提高HA指标。

　　以DWDM网络为例，建议利用IRF实现DCI链路的高HA和链路负载分担设计方案。

　　在裸光纤或是DWDM互联组网方案中，DCI互联的两端PE设备必须支持IRF，将PE之间的两条(或多条)链路通过聚合(LACP)技术形成一条逻辑链路，会极大的简化DCI的组网拓扑。同时，这两条HA链路的带宽会得到100%的利用，达到1:1的负载分担效果(如图3所示)。

　　裸光纤或DWDM二层互联方案需要用户在现网中拥有光纤或传输资源，对用户想要较高，但从使用的角度来看，裸光纤或DWDM方案的性能是最优的。

　　基于裸光纤或DWDM线路的二层互联方案有两种选择：HUB-SPOKE方案和RRPP环网方案。前者的优点是基于最短路径转发，所以转发效率高;后者的优点则是环网天然的转发路径冗余设计，所以HA性能较高。

　　通过裸光纤或是DWDM将多个(例如4个)数据中心互联。为了方便扩展更多的数据中心节点，一个最常用的方案就是采用HUB-SPOKE组网模型，即通过一个核心节点与各数据中心的汇聚层互联。在逻辑结构上，多个中心与核心节点构成了一个Hub-Spoke的星形拓扑，其中核心节点为HUB，各中心汇聚层为Spoke(如图4所示)。

　　在Hub-Spoke组网环境中，核心节点是最重要的，关系到全网是否能正常运作，是保证多数据中心HA的重要的条件。怎么样提高核心节点的HA性能?一个最重要的设计理念就是在核心节点应用IRF技术，将两台设备通过IRF技术形成一台设备，将核心设备故障异常的收敛时间从几十秒降低到毫秒级，也就是说可以将系统的HA性能提高将近两个量级。这一点对于Hub-Spoke组网方案是很重要的。

　　注意：建议将应用IRF技术的两台核心设备放在同一中心内，不建议部署在不同的中心(如图4所示)。具体原因如下：

　　从图5(左)能够正常的看到，两台核心设备分别部署在两个数据中心，通过DWDM连接，通过IRF将两台核心设备形成一个逻辑的核心节点。但是两个数据中心之间并不是只有一条链路相连。各数据中心的汇聚层节点一定要通过聚合链路连接到核心节点上，以便于提高链路HA性能。这样就要求聚合链路中的一条链路也需要跨越数据中心之间的距离连接到另一中心。必须要格外注意的是，一个数据中心内会存在多个汇聚节点，如果部署了扁平化二层方案(核心/接入)，则需要大量的聚合链路连接到另一中心。这样，会要求在两数据中心之间建立多条链路，可以是多条裸光纤，也可以是DWDM上的多个波长。但无论采用哪一种方式，都不可避免的导致数据中心互联成本成倍提高。

　　图5(右)是多中心链路的物理部署示意图。A设备部署在A中心，B设备部署在B中心。从A中心到核心节点有两条链路，其中一条链路是中心内的光纤，另一条链路承载于A、B中心间互联DWDM设备分配的波长上。B中心与核心节点连接方式与上面讲述的情况类似。必须要格外注意的是，将IRF之间的控制信令链路大范围延长增加了系统分裂的风险，一旦信令链路异常导致IRF分裂，会导致DCI网络的业务大量丢包，极度影响服务的可靠性。因此，该方案风险极大。

　　HUB-SPOKE组网显而易见的缺点在于各节点与核心单连接方式，一旦核心节点出现异常，会导致整网故障。

　　RRPP环网模型是一种更便捷的组网方式，即通过RRPP环网直接将各数据中心的汇聚层互联形成一个DCI核心网(如图6所示)。

　　应用RRPP环网的最大的目的是为了尽最大可能避免单一核心节点的出现。这样就避免了核心节点异常导致全网崩溃的风险。在RRPP环网中，所有的节点(即各中心的汇聚节点)都是对等的，任意节点出现异常，都能够最终靠备份路径保持互联。而且所有备份节点、链路都是分布式部署。

　　为了进一步提升RRPP环网方案的HA性能，建议在RRPP环网上部署IRF+LACP技术。即各中心的汇聚层都部署IRF技术，各汇聚节点之间通过LACP部署聚合链路互联。这样做才能够通过提高RRPP环网上各节点和环网上各链路的HA性能。

　　由此可见，RRPP环网、IRF和LACP技术将DCI的核心网的HA提高到毫秒级的水平。同时，通过聚和链路提高DCI核心网络的互联带宽，可以有效地提高DCI核心网的性能，改善用户业务的服务质量。

　　但RRPP环网方案在互联中心数量很多时，环网太大，导致环网转发路径过长，网络时延增加，降低服务质量。所以，RRPP环网方案适用于同城多个数据中心互联，规模不能太大。

　　RRPP和Hub-Spoke组网各有不足：RRPP范围小、规模小，但可靠性高;Hub-Spoke结构简单，范围大，扩展性强，但可靠性略低。因此，可以结合RRPP和Hub-Spoke形成组合组网方案。即在城域范围内部署RRPP环网连接多中心，在城际之间通过Hub-Spoke连接各RRPP环网(如图7所示)。

　　VPLS是目前最常见的二层互联技术，由于标准化程度很高，在很多行业都已经广泛部署。目前，制约VPLS组网方案的主要因素是其技术比较复杂，部署及运维管理难度较大，只有大型运营商客户拥有运维能力。而在VPLS的部署方案中，最复杂的就是CE双归属的部署。为了简化部署和运维的难度，在基于MPLS网络的二层互联中推荐VPLS+Smartlink和VPLS+IRF+LACP组网方案。前者针对不具备以太接口的VPLS网络，性能相对较低;后者针对具备以太接口的VPLS网络，性能较高。

　　如图8所示，在VPLS+Smartlink组网方案中，以现有的MPLS网络作为核心网络，每个数据中心配置两台路由器作为PE设备，每个数据中心的汇聚层设备作为CE设备(建议汇聚设备支持IRF)。在CE设备上应用Smartlink技术，保证CE上行至PE的两条链路能够实现故障毫秒级快速切换。

　　PE设备之间建立全网状连接。需要注意的是，VPLS网络的HA性能依赖于MPLS网络的HA设计。所以建议能够尽量简化MPLS网络的架构，便于流量路径的规划设计。

　　但如果PE设备不支持IRF，会导致PE数量多，广播报文数量较多;同时，Smartlink不能感知PE外侧的链路异常，会导致路由黑洞。

　　如图9所示，在这种组网方案中，以现有的MPLS网络作为核心网络，每个数据中心配置两台交换机作为PE设备，每个数据中心的汇聚层设备作为CE设备。在CE和PE设备之间应用链路聚合技术，保证CE至PE之间任意节点、任意链路异常能够实现毫秒级快速切换。同时，在简化MPLS网络的架构方面，该方案与VPLS+Smartlink组网方案的要求是一致的。

　　全网IRF设计，HA性能最高，保证任意节点、任意链路异常能够实现毫秒级收敛;

　　全网IRF设计，保证所有链路实现负载均衡，提高带宽利用率，提高整网性能。

　　但该类型的组网方案同时也对网络提出了一定的要求，相关的设备必须支持IRF特性。

　　当多个数据中心间只有IP互联网络时，可以借助VPLS Over GRE来实现二层互联方案。VPLS技术方案本身需要在PE与对端PE间建立一条可承载多个虚链路(Pseudowire)的隧道，可以是MPLS或GRE隧道。VPLS Over GRE(简称VPLSoGRE)方案在组网拓扑、二层环路避免等设计要素上，与基于MPLS隧道的VPLS的要求基本相同。

　　因此可以看到图10的组网方案与图8基于MPLS隧道的VPLS+Smartlink组网方案基本类似，方案的优势和局限也基本相同。在此不再重复详述。

　　由于数据中心之间的数据传输具有安全加密需求，而GRE是明文传输，在IP网络上无法保证报文的安全性，极可能被监听窃取。为了提高GRE隧道中数据安全级别，建议在GRE隧道上配置IPSec隧道，保证GRE隧道内传输的报文可以被IPSec加密保护。

　　VPLSoGREoIPsec的组网方案与VPLSoGRE的组网方案基本相同，差别仅仅是在GRE隧道上再增加一个IPSeC隧道配置而已。因此，它在原有组网方案的基础上增加了安全优势。但是该方案也有其不足：IP网络的服务质量较差，需要配置全网端到端的QoS，难度很大;

　　上文所述的数据中心二层互联方案很大程度上会受限于用户现有的网络类型，这种情况限制了用户对二层互联方案的应用推广。所以需要一种新的组网方案，能够无视互联网络的类型差异而统一组网，这就是Overlay网络的概念。

　　EVI是一种先进的MAC in IP技术，用于实现基于IP核心网络的L2VPN。通过EVI技术在站点的边缘设备上维护路由和转发信息，而无需改变站点内部和核心网络。

　　在EVI的组网方案中，不需要考虑数据中心之间的网络类型，只需要保证EVI边缘设备(Edge Device)之间IP可达就可以实现数据中心之间的二层互通。如图11所示，在EVI边缘设备之间建立EVI隧道，以太报文就能够最终靠该隧道到达另一个数据中心的二层域内，实现二层互联互通。

　　EVI技术可以结合IRF技术使用，从而保证边缘设备的HA性能和双归属设计。另外，如果数据中心汇聚交换机也支持IRF，就可以轻松又有效提高边缘设备与数据中心汇聚交换机之间的链路带宽利用率和HA性能。

　　支持Overlay网络，可以跨裸光纤、MPLS或是IP网络实现二层互联;

　　EVI 技术由H3C提出，目前正处在申请标准化的过程中。Cisco类似的私有技术是OTV。

　　在数据中心概念没有火之前，传统的网络都是二三层的网络结构。网络层级包括：接入层，汇聚层和核心层三大部分，接入层大多数都用在入连接各种终端设备和用户，汇聚层是一个大二层的汇合，核心层则主要是三层转发，不像现在数据中心简化成只有二层结构，接入和核心，并且核心也主张部署二层网络，在这样的网络中二层转发是最基本，也是最实用的技术。

　　中国光大银行成立于1992年8月，是一家全国性股份制商业银行。自成立以来，伴随着中国金融业的发展进程，中国光大银行不断开拓创新，在综合经营、理财业务、电子银行业务等方面具有较强的经营格局，凭借卓越的创新能力和出色的业绩表现，中国光大银行连续三年被评为“年度最具创新银行”，荣膺“CCTV中国年度品牌”。截止2015年6月末，中国光大银行资产规模...

　　在数据中心和云计算的网络方案和技术讨论中，大二层慢慢的变成了热点话题，涌现了各种软件和硬件技术、直接和间接手段等，目的都是未解决“L2overXX”的问题。那么，为什么有这么多大二层技术？在数据中心方案规划和设计中该如何明智的选择？本文进行一个总体的剖析，并在后续的文章中就主要技术与应用进行详细的分析和介绍。

　　随着全球互联网产业的发展，流媒体、在线游戏和电子商务等互联网业务规模逐步扩大，基础资源需求迅速扩张，客户对数据中心要求也慢慢变得高，且数据中心的数量每年保持20%以上的增长。据全球权威电信产业咨询公司OVUM统计，2014年底全球数据中心数量6078个，到2015年上半年上升到6519个。