VXLAN小实验：分布式VXLAN IP网关配置

布满荆棘的人生 2022-10-19 00:51 45阅读 0赞

从前面两个实验我们已经知道：VXLAN可以为分散的物理站点提供二层互联。实验（1）演示了二层互通的网络环境，此时如果要为VXLAN站点内的虚拟机提供三层业务，则需要在网络中部署VXLAN IP网关，以便站点内的虚拟机通过VXLAN IP网关与外界网络或其他VXLAN网络内的虚拟机进行三层通信。将实验一中的一台虚拟机换成网关，就是部署在独立的物理设备上的场景，也称为独立VXLAN IP网关。

也可以部署在其中一台VTEP设备上，像实验二中那样配置，这种就属于集中式VXLAN IP网关。与独立的VXLAN IP网关相比，该方式除了能够节省设备资源外，VXLAN IP网关功能由VXLAN对应的三层虚接口（VSI虚接口）承担，三层业务的部署和控制也更加灵活和方便。

但是由单台设备承担站点内大量虚拟机的集中式VXLAN IP网关功能，对设备的处理资源占用较高，加剧了网络带宽资源的消耗，并且对于网关的单点故障没有保护措施。在分布式VXLAN IP网关方案中，每台VTEP设备都可以作为VXLAN IP网关，对本地站点的流量进行三层转发，很好地缓解了网关的压力。

今天来操练一下分布式VXLAN IP网关小实验。

# 组网需求 #

VSR1、VSR3为与服务器连接的VTEP设备，同时为分布式VXLAN IP网关设备，VSR2为与广域网连接的边界网关设备，ISP-VFW为广域网内的三层设备。虚拟机VM1和VM3同属于VXLAN10，VM2属于VXLAN 20。通过VXLAN实现不同站点间的二层互联，确保虚拟机在站点之间进行迁移时用户的访问流量不会中断，并通过分布式VXLAN IP网关实现不同VXLAN网络的三层互联，通过边界网关实现与广域网的三层互联。

## 实验环境 ##

VMWare ESXi 6.7.0（ProLiant DL360 Gen9，48核心，128G内存）

H3C VSR1000（Version 7.1.064, Release 0621P18，4核心，8G内存）

H3C VFW1000（Version 7.1.064, ESS 1171P13，4核心，8G内存)

Windows 7旗舰版（测试用虚拟机，8核心，16G内存）

## 具体需求 ##

不同VTEP之间手工建立VXLAN隧道。

手工关联VXLAN和VXLAN隧道。

站点之间的泛洪流量采用头端复制的方式转发。

VM 1、VM 2、VM 3之间可以互访，且VM 1、VM 2和VM 3都可以访问外部网络。

# 组网图 #

分布式VXLAN IP网关配置组网图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70][]

M地址指远程管理的带外管理口地址。新建一个vSwitch，所有线路均使用该vSwitch中端口组实现，建议将不同链路隔离进不同的VLAN，避免广播风暴。

# 配置步骤 #

## 1、配置IP地址和单播路由协议 ##

调通底层网络，配置各接口的IP地址和子网掩码，并在IP核心网络内配置OSPF协议，和上个实验比，配置基本相同。

将VM1和VM3的网关地址指定为192.168.2.1，将VM2的网关地址指定为192.168.10.1。

## 2、配置VXLAN隧道 ##

相信通过前两个实验，大家对VXLAN隧道的配置已经比较熟悉了，所以二层VXLAN隧道的配置此处不再赘述。需要针对上个实验调整VSR1的Link12、VXLAN20相关配置。

### VSR1 ###

vsi vpnb

vxlan 20

tunnel 12

tunnel 13

interface GigabitEthernet4/0

xconnect vsi vpnb

## 3、配置分布式VXLAN IP网关 ##

### VSR1 ###

创建VSI虚接口VSI-interface1，并为其配置IP地址和MAC地址，该IP地址作为VXLAN 10内虚拟机的网关地址，指定该VSI虚接口为分布式本地网关接口，并开启本地代理ARP功能。

interface Vsi-interface1

ip address 192.168.2.1 255.255.255.0

mac-address 0001-0001-0001

local-proxy-arp enable

distributed-gateway local

创建VSI虚接口VSI-interface2，并为其配置IP地址和MAC地址，该IP地址作为VXLAN 20内虚拟机的网关地址，指定该VSI虚接口为分布式本地网关接口，并开启本地代理ARP功能。

interface Vsi-interface2

ip address 192.168.10.1 255.255.255.0

mac-address 0002-0002-0002

local-proxy-arp enable

distributed-gateway local

开启分布式网关的动态ARP表项同步功能。

arp distributed-gateway dynamic-entry synchronize

配置VXLAN 10所在的VSI实例和接口VSI-interface1关联，并配置该VSI实例的子网网段为10.1.1.0/24。

vsi vpna

gateway vsi-interface 1

gateway subnet 192.168.2.1 0.0.0.255

配置VXLAN 20所在的VSI实例和接口VSI-interface2关联。

vsi vpnb

gateway vsi-interface 2

gateway subnet 192.168.10.0 0.0.0.255

配置策略路由，指定VXLAN10网络中IPv4报文如果未找到匹配的路由表项，则设置报文的下一跳为VSR2上接口VSI-interface1的IP地址192.168.2.2。

acl advanced 3402

rule 0 permit ip

policy-based-route vxlan10 permit node 10

if-match acl 3402

apply default-next-hop 192.168.2.2

配置策略路由，指定VXLAN20网络中IPv4报文如果未找到匹配的路由表项，则设置报文的下一跳为VSR2上接口VSI-interface2的IP地址192.168.10.2。

policy-based-route vxlan20 permit node 10

if-match acl 3402

apply default-next-hop 192.168.10.2

在VSI虚接口VSI-interface1和VSI-interface2上应用策略路由。

interface Vsi-interface1

ip address 192.168.2.1 255.255.255.0

mac-address 0001-0001-0001

local-proxy-arp enable

ip policy-based-route vxlan10

distributed-gateway local

interface Vsi-interface2

ip address 192.168.10.1 255.255.255.0

mac-address 0002-0002-0002

local-proxy-arp enable

ip policy-based-route vxlan20

distributed-gateway local

### VSR2 ###

配置参考VSR1，但是比VSR1简单，直接贴配置。

interface Vsi-interface1

ip address 192.168.2.2 255.255.255.0

interface Vsi-interface2

ip address 192.168.10.2 255.255.255.0

vsi vpna

gateway vsi-interface 1

vxlan 10

tunnel 21

tunnel 23

vsi vpnb

gateway vsi-interface 2

vxlan 20

tunnel 21

tunnel 23

### VSR3 ###

配置参考VSR1，配置步骤类似，直接贴配置。

acl advanced 3402

rule 0 permit ip

policy-based-route vxlan10 permit node 10

if-match acl 3402

apply default-next-hop 192.168.2.2

policy-based-route vxlan20 permit node 10

if-match acl 3402

apply default-next-hop 192.168.10.2

interface Vsi-interface1

ip address 192.168.2.1 255.255.255.0

mac-address 0001-0001-0001

local-proxy-arp enable

ip policy-based-route vxlan10

distributed-gateway local

interface Vsi-interface2

ip address 192.168.10.1 255.255.255.0

mac-address 0002-0002-0002

local-proxy-arp enable

ip policy-based-route vxlan20

distributed-gateway local

arp distributed-gateway dynamic-entry synchronize

vsi vpna

gateway vsi-interface 1

gateway subnet 192.168.2.0 0.0.0.255

vxlan 10

tunnel 31

tunnel 32

vsi vpnb

gateway vsi-interface 2

gateway subnet 192.168.10.1 0.0.0.255

vxlan 20

tunnel 31

tunnel 32

# 验证配置 #

## 1、验证VTEP设备 ##

### VSR1 ###

查看Tunnel接口信息，可以看到VXLAN模式的Tunnel接口处于UP状态。

display interface tunnel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 1][]

查看VSI虚接口信息，可以看到VSI虚接口处于UP状态。

display interface vsi-interface

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 2][]

查看VSI的详细信息，可以看到VSI内创建的VXLAN、与VXLAN关联的VXLAN隧道、与VSI关联的VSI虚接口等信息。

display l2vpn vsi verbose

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 3][]

查看VSI的MAC地址表项信息，可以看到已学习到的MAC地址信息。

![20210708193805676.png][]

对比组网拓扑可知：000c-2999-235a为VSR3连接的虚拟机，Link ID为Tunnel13，表示是从VSR3学习到的；000c-29cb-2b41和000c-2949-0032为VSR1本地连接的虚拟机，Link ID为0，表示是本地学习到的。

查看ARP表项信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 4][]

### VSR2 ###

查看Tunnel接口信息，可以看到VXLAN模式的Tunnel接口处于UP状态。

display interface tunnel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 5][]

查看VSI虚接口信息，可以看到VSI虚接口处于UP状态。

display interface vsi-interface

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 6][]

查看VSI的详细信息，可以看到VSI内创建的VXLAN、与VXLAN关联的VXLAN隧道、与VSI关联的VSI虚接口等信息。

display l2vpn vsi verbose

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 7][]

查看VSI的MAC地址表项信息，可以看到已学习到的MAC地址信息。

![20210708193843328.png][]

对比组网拓扑可知：000c-2999-235a为VSR3连接的虚拟机，Link ID为Tunnel23，表示是从VSR3学习到的；000c-29cb-2b41和000c-2949-0032为VSR1连接的虚拟机，Link ID为Tunnel21，表示是从VSR1学习到的。

查看ARP表项信息，可以看到学习到了所有主机和网关的ARP信息，MAC地址为网关MAC地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 8][]

VSR2设备上的路由信息如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 9][]

查看VSR2上FIB表项信息，可以看到已学习到了虚拟机的转发表项信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 10][]

### VSR3 ###

VSR3的验证结果和VSR1相似，不再占用篇幅展示。

## 2、验证主机 ##

对比组网拓扑，在VM3这台主机（192.168.2.200）上ping测VM2（192.168.10.110），结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 11][]

在VM3上ping测同网段的VM1，可以看到因为网关开启本地ARP代理功能，学习到MAC地址为网关的MAC地址1-1-1。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 12][]

本来二层互通的两台主机，tracert时需要在两个分布式网关上绕转，所以TTL值为126。

![20210708193928232.png][]

ping网关和ISP-VFW公网设备测试。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 13][]

在VM2上ping测VM1和VM3。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 14][]

在VM2上ping测ISP-VFW公网设备。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 15][]

可以看到，三台虚拟机之间可以互访，并且都可以访问到网关，网关之外的ISP设备访问也正常。

# 总结 #

至此，VXLAN部分实验已经完结。总结几点如下：

1、VXLAN技术将已有的三层物理网络作为Underlay网络，在其上构建出虚拟的二层Overlay网络。Overlay网络通过隧道封装技术，利用Underlay网络提供的三层转发路径，实现租户二层报文跨越三层网络在不同站点间传递。对于租户来说，Underlay网络是透明的，同一租户的不同站点就像工作在一个局域网中。

2、严格上讲，也不是完全透明，如果你tracert另外一台主机就会发现，调数增加，说明你可能你的主机不再一个AZ内。

3、一路走下来，你应该会发现，实际应用中，应该最多的是分布式VXLAN网关。针对大二层网络中的ARP广播请求带来的泛洪问题，分布式VXLAN网关也有针对性的ARP广播变单播和二层代答两种解决方案，能尽可能减少ARP报文在VXLAN网络中的泛洪。注意，是减少，无法完全避免。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70]: /images/20221005/d358b4a9c03c4293a1845b753a7a619b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 1]: /images/20221005/05ded96df8fa4cb1b4b22663d59a77f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 2]: /images/20221005/9efd7878b7f74671937541b8af4c3c0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 3]: /images/20221005/4fe193d76c364a11b960a28cbc5506b7.png
[20210708193805676.png]: /images/20221005/76c0c1ed72474f03afeff5968d826be5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 4]: /images/20221005/86598ddb4f444f80bd8bdc7de5dc33db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 5]: /images/20221005/e1ddbb72d8ec46899ff639fba5a04fc2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 6]: /images/20221005/04b87ac119434e889fbcee9a73aa4093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 7]: /images/20221005/5b9e6b9b199c430fbb23916ab4037927.png
[20210708193843328.png]: /images/20221005/65c892c6b7a84db7bdffb8b8c656fe69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 8]: /images/20221005/6633e6bfd5094c52aeb666eea6b2906b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 9]: /images/20221005/64d9afcd060449e198ccfdffcd01bf46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 10]: /images/20221005/da92819fa5c94023998b31de41ed9ad6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 11]: /images/20221005/9f42db6580de4f568fa22308e6fa6e5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 12]: /images/20221005/e1e227e0988d41f296b6dcebe8aca19c.png
[20210708193928232.png]: /images/20221005/0b7e1ccf40b44cb1983ebd73d9e58bee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 13]: /images/20221005/c03baa1cd49a472993b8455fb13a4a0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 14]: /images/20221005/53562fa2bc2343e28ea8a7b704656105.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d0ajA2MTc_size_16_color_FFFFFF_t_70 15]: /images/20221005/b6999adf11ff4986ad2a5f50f517eae4.png