EVPN小实验：分布式EVPN网关配置

我不是女神ヾ 2023-01-23 02:58 62阅读 0赞

通过上一个实验，我们已经知道EVPN是一种二层VPN技术，控制平面采用MP-BGP通告EVPN路由信息，数据平面采用VXLAN封装方式转发报文。当租户的物理站点分散在不同位置时，EVPN可以基于已有的服务提供商或企业IP网络，为同一租户的相同子网提供二层互联；通过EVPN网关为同一租户的不同子网提供三层互联，并为其提供与外部网络的三层互联。

EVPN不仅继承了MP-BGP和VXLAN的优势，还提供了新的功能。EVPN具有如下特点：

简化配置：通过MP-BGP实现VTEP自动发现、VXLAN隧道自动建立、VXLAN隧道与VXLAN自动关联，无需用户手工配置，降低网络部署难度。

分离控制平面与数据平面：控制平面负责发布路由信息，数据平面负责转发报文，分工明确，易于管理。

支持对称IRB（Integrated Routing and Bridging，集成的路由和桥接）：MP-BGP同时发布二层MAC地址和三层路由信息，VTEP既可以进行二层转发，也可以进行三层路由。这样，不仅可以保证流量采用最优路径转发，还可以减少广播流量。

在上个实验中，EVPN采用了Spine（核心）—Leaf（分支）的分层结构。Leaf层的设备作为VTEP对报文进行EVPN相关处理；Spine层为核心设备，根据报文的目的IP地址转发报文。EVPN网络中的设备属于同一个AS（Autonomous System，自治系统），为了避免在所有VTEP之间建立IBGP对等体，将核心设备配置为了RR（Route Reflector，路由反射器）。此时，RR通过发布、接收EVPN路由，实现了全网互通；同时不需要封装、解封装VXLAN报文，保证性能。

和VXLAN IP网关类似，EVPN网关也可以分为两种：

集中式EVPN网关：配置简单，但不同VXLAN之间的流量以及VXLAN访问外界网络的流量全部由集中式EVPN网关处理，网关压力较大。

分布式EVPN网关：配置比较复杂，但每台VTEP设备都可以作为EVPN网关，对本地站点的流量进行三层转发，缓解了网关的压力。

今天来看一下分布式EVPN网关配置实验。

# 组网需求 #

VSR1、VSR3为与服务器连接的VTEP设备，VSR2为与广域网连接的集中式EVPN网关设备，ISP-VFW为广域网内的三层设备，VSR-RR为RR，负责在路由器之间反射BGP路由。

虚拟机VM1和VM3同属于VXLAN10，VM2和VM4同属于VXLAN 20。相同VXLAN之间可以二层互通，确保虚拟机在站点之间进行迁移时用户的访问流量不会中断；不同VXLAN之间通过分布式EVPN网关实现三层互通；VXLAN与广域网之间通过边界网关实现三层互通。

## 实验环境 ##

VMWare ESXi 6.7.0（ProLiant DL360 Gen9，48核心，128G内存）

H3C VSR1000（Version 7.1.064, Release 0621P18，4核心，8G内存）

H3C VFW1000（Version 7.1.064, ESS 1171P13，4核心，8G内存)

Windows 7旗舰版（测试用虚拟机，8核心，16G内存）

# 组网图 #

分布式EVPN网关配置组网图，和集中式EVPN网关组网图一样。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70][]

M地址指远程管理的带外管理口地址。新建一个vSwitch，所有线路均使用该vSwitch中端口组实现，建议将不同链路隔离进不同的VLAN，避免广播风暴。

# 配置步骤 #

## 1、配置IP地址和单播路由协议 ##

调通底层网络，配置各接口的IP地址和子网掩码，并在IP核心网络内配置OSPF协议，和之前的实验配置基本相同。

将VM1和VM3的网关地址指定为192.168.2.1，将VM2和VM4的网关地址指定为192.168.10.1。

## 2、配置VSR1 ##

开启L2VPN能力，并关闭远端MAC地址和远端ARP自动学习功能。配置BGP发布EVPN路由。配置接入服务器的接口GigabitEthernet3/0与VSI实例vpna关联，接入服务器的接口GigabitEthernet1/0/2与VSI实例vpnb关联。这几部分的配置和上个实验相同，不再占用篇幅。

跟上个实验相比，VSI实例下不再配置arp suppression enable，因为分布式网关可能需要泛洪相关ARP请求，所以不再进行抑制。

在VSI实例vpna下创建EVPN实例，并配置自动生成EVPN实例的RD和RT。同时创建VXLAN 10。

vsi vpna

vxlan 10

evpn encapsulation vxlan

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

在VSI实例vpnb下创建EVPN实例，并配置自动生成EVPN实例的RD和RT。同时创建VXLAN 20。

vsi vpnb

vxlan 20

evpn encapsulation vxlan

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

配置L3VNI的RD和RT。

ip vpn-instance vpna

route-distinguisher 1:1

address-family ipv4

vpn-target 2:2 import-extcommunity

vpn-target 2:2 export-extcommunity

address-family evpn

vpn-target 1:1 import-extcommunity

vpn-target 1:1 export-extcommunity

配置VSI虚接口VSI-interface1和VSI-interface2。

interface Vsi-interface1

ip binding vpn-instance vpna

ip address 192.168.2.1 255.255.255.0

mac-address 0001-0001-0001

local-proxy-arp enable

distributed-gateway local

interface Vsi-interface2

ip binding vpn-instance vpna

ip address 192.168.10.1 255.255.255.0

mac-address 0002-0002-0002

local-proxy-arp enable

distributed-gateway local

创建VSI虚接口VSI-interface3，在该接口上配置VPN实例vpna对应的L3VNI为1000。

interface Vsi-interface3

ip binding vpn-instance vpna

l3-vni 1000

配置VXLAN 10所在的VSI实例和接口VSI-interface1关联，配置VXLAN 20所在的VSI实例和接口VSI-interface2关联。

vsi vpna

gateway vsi-interface 1

vsi vpnb

gateway vsi-interface 2

## 3、配置VSR2 ##

开启L2VPN能力，并关闭远端MAC地址和远端ARP自动学习功能。删除VSI虚接口VSI-interface1和VSI-interface2，移除VSI实例vpna和vpnb相关配置。

配置L3 VNI的RD和RT。

ip vpn-instance vpna

route-distinguisher 1:1

address-family ipv4

vpn-target 2:2 import-extcommunity

vpn-target 2:2 export-extcommunity

address-family evpn

vpn-target 1:1 import-extcommunity

vpn-target 1:1 export-extcommunity

创建VSI虚接口VSI-interface3，在该接口上配置VPN实例vpna对应的L3VNI为1000。

interface Vsi-interface3

ip binding vpn-instance vpna

l3-vni 1000

配置连接广域网的接口GigabitEthernet3/0与VPN实例vpna关联。

interface GigabitEthernet3/0

ip binding vpn-instance vpna

ip address 22.1.1.1 255.255.255.0

nat outbound

配置缺省路由，下一跳为广域网中某台设备的IP地址22.1.1.2。

ip route-static vpn-instance vpna 0.0.0.0 0 22.1.1.2

配置BGP发布EVPN路由，并将缺省路由引入到VPN实例vpna的BGP IPv4单播路由表中。

bgp 1234

peer 4.4.4.4 as-number 1234

peer 4.4.4.4 connect-interface LoopBack0

address-family l2vpn evpn

peer 4.4.4.4 enable

ip vpn-instance vpna

address-family ipv4 unicast

default-route imported

import-route static

## 4、配置VSR3 ##

VSR3和VSR1的配置大抵相同，直接上配置。

ip vpn-instance vpna

route-distinguisher 1:1

address-family ipv4

vpn-target 2:2 import-extcommunity

vpn-target 2:2 export-extcommunity

address-family evpn

vpn-target 1:1 import-extcommunity

vpn-target 1:1 export-extcommunity

l2vpn enable

vsi vpna

gateway vsi-interface 1

vxlan 10

evpn encapsulation vxlan

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

vsi vpnb

gateway vsi-interface 2

vxlan 20

evpn encapsulation vxlan

route-distinguisher auto

vpn-target auto export-extcommunity

vpn-target auto import-extcommunity

interface GigabitEthernet3/0

xconnect vsi vpna

interface GigabitEthernet4/0

xconnect vsi vpnb

interface Vsi-interface1

ip binding vpn-instance vpna

ip address 192.168.2.1 255.255.255.0

mac-address 0001-0001-0001

local-proxy-arp enable

distributed-gateway local

interface Vsi-interface2

ip binding vpn-instance vpna

ip address 192.168.10.1 255.255.255.0

mac-address 0002-0002-0002

local-proxy-arp enable

distributed-gateway local

interface Vsi-interface3

ip binding vpn-instance vpna

l3-vni 1000

bgp 1234

peer 4.4.4.4 as-number 1234

peer 4.4.4.4 connect-interface LoopBack0

address-family l2vpn evpn

peer 4.4.4.4 enable

## 5、配置VSR4 ##

配置VSR-RR作为RR路由反射器与其他路由器建立BGP连接, 配置发布EVPN路由，并关闭BGP EVPN路由的VPN-Target过滤功能。无需调整配置。

# 验证配置 #

## 1、验证分布式EVPN网关设备VSR1 ##

查看EVPN自动发现的邻居信息，包含各VSI的IMET路由和MAC/IP路由。

display evpn auto-discovery imet

dis evpn auto-discovery macip-prefix

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 1][]

查看EVPN的ARP信息和MAC地址信息。

dis evpn route arp

dis evpn route mac

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 2][]

这个地方我有点慌，因为和官网介绍的结果不一样，不过我感觉应该是官网整理的时候出问题了，VSI1接口下面怎么会有VSI2接口的ARP信息呢？应该分开写才对啊！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 3][]

查看EVPN路由表信息，因为绑定了VPN实例，所以记得带实例查看。

display evpn routing-table vpn-instance vpna

![20210712171717228.png][]

查看Tunnel接口信息，可以看到VXLAN模式的Tunnel接口处于UP状态。

display interface tunnel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 4][]

查看VSI虚接口信息，可以看到VSI虚接口处于UP状态。

display interface vsi-interface

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 5][]

查看VSI的详细信息，可以看到VSI内创建的VXLAN、与VXLAN关联的VXLAN隧道、与VSI关联的VSI虚接口等信息。多了一个自动创建的VSI接口。

display l2vpn vsi verbose

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 6][]

查看VSI的MAC地址表项信息，可以看到已学习到的MAC地址信息。

![2021071217174345.png][]

对比组网拓扑可知：000c-29cb-2b41和000c-2949-0032为VSR1连接的虚拟机，Link ID为0，表示是本地直连的；对应的VSI name表示从哪个VSI上来的，此处分别对应vpna和vpnb。000c-2999-235a和000c-290b-6ea7为VSR3连接的虚拟机，Link ID为Tunnel1，结合tunnel接口信息，可以知道是从VSR3学习到的；对应的VSI name表示从哪个VSI上来的，此处分别对应vpna和vpnb。

对比看一下ARP表项信息，可以看到关键信息大抵相同。很遗憾，看不到另外的主机，也ping不通。

![20210712171750322.png][]

查看BGP l2vpn对等体信息。

display bgp l2vpn evpn

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 7][]

VSR1设备上的VPN实例vpna的路由信息如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 8][]

查看FIB表项信息，可以看到已学习到了虚拟机的转发表项信息，都要加VPN实例了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 9][]

## 2、验证主机 ##

对比组网拓扑，在VM4这台主机（192.168.10.188）上ping测VM1（192.168.2.160）和VM2（192.168.10.110），结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 10][]

对比上个集中式EVPN网关实验，看一下tracert路径效果，是不是很神奇，10网段互访，中间出现了另一个网关的IP地址。

![20210712171846785.png][]

ping网关和ISP-VFW公网设备测试。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 11][]

可以看到，四台虚拟机之间可以互访，并且都可以访问到网关；但是，网关之外的ISP-VFW设备访问异常。

debug测试，VFW-ISP收发报文正常。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 12][]

而VSR2上就不正常了，他竟然把我的报文给丢了。这是不是BUG，我就说不清楚了，报文出去的时候好好的，回不去了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 13][]

# 总结 #

1、为了避免广播发送的ARP请求报文过多占用核心网络带宽，VTEP从本地站点、VXLAN隧道接收到ARP请求和ARP应答报文后，根据该报文在本地建立ARP泛洪抑制表项。后续当VTEP收到本站点内虚拟机请求其它虚拟机MAC地址的ARP请求时，优先根据ARP泛洪抑制表项进行代答。如果没有对应的表项，则将ARP请求泛洪到核心网。ARP泛洪抑制功能可以大大减少ARP泛洪的次数。

2、同网段的两台主机进行tracert，路径中间出现了另一个网关的IP地址，不过应该不是问题，只是显示一个IP，设备确实是经过了。

3、RT是一种BGP扩展团体属性，用于控制EVPN路由的发布与接收。也就是说， RT决定了本端的EVPN路由可以被哪些对端所接收，以及本端是否接收对端发来的EVPN路由。RT分为ERT（Export RT，本端发送EVPN路由时，携带的RT属性设置为ERT）和IRT（Import RT，本端设置接收的对端的EVPN路由属性）。本端在收到对端的EVPN路由时，将路由中携带的ERT与本端的IRT进行比较，只有两者相等时才接收该路由，否则丢弃该路由。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70]: /images/20221004/7bd3d253a3f241c7a2d84d98b50a11b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 1]: /images/20221004/43bad97615164ff5a3d09b21e78d6098.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 2]: /images/20221004/a3a5f7445baa4ae3936afc843dbf6f59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 3]: /images/20221004/8563228aa8a8405eabb0f9aca85e2167.png
[20210712171717228.png]: /images/20221004/723dee60707d4251acfe181205dcbd36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 4]: /images/20221004/f1c6ad634bdf4acd97530a0dbe3d92b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 5]: /images/20221004/d30e73ae43a2427e93156588f1cde9d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 6]: /images/20221004/936eb724924043169872fd675076220f.png
[2021071217174345.png]: /images/20221004/86ebe76a4714492c8dc3ccc55caf56f3.png
[20210712171750322.png]: /images/20221004/50bdf78bd4b44835abe264d313da8728.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 7]: /images/20221004/1ba74732b53a4f46a950dd02eb7f300c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 8]: /images/20221004/661a0e0e5a83479898c0556bc5b5b291.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 9]: /images/20221004/373998b4d0434cd8a7678185dac304f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 10]: /images/20221004/ada9a59c63bd47c1acda9761b0700320.png
[20210712171846785.png]: /images/20221004/6699cb854d434687ac8e3a94171ecfe5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 11]: /images/20221004/e4bd4a73744347cc8a7747ecf2edb305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 12]: /images/20221004/b170291e837b46e0bddc6a8c4c357cd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 13]: /images/20221004/2ded5c9151a149649f90a7a547bb84fa.png