Apache Doris IP变更问题详解

小鱼儿 2023-10-14 22:58 105阅读 0赞

#### Apache Doris IP变更问题详解 ####

*  一、背景
 *  二、环境
 *   *  硬件信息
     *  软件信息
 *  三、FE恢复
 *   *  3.1 异常日志
     *  3.2 获取当前ip
     *  3.3 重置ip信息
     *  3.4 重置元数据记录
     *  3.5 元数据模式恢复
     *  3.6 重置fe集群节点
     *  3.7 关闭元数据模式重启fe
 *  四、BE恢复
 *   *  4.1 获取当前ip
     *  4.2 重置ip信息
     *  4.3 重置be集群节点

## 一、背景 ##

因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Apache Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority\_networks 配置项来强制指定正确的 IP。

priority\_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：

priority\_networks=10.1.3.0/24

这是一种 **CIDR** 的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP，作为自己的 localIP。

CIDR采用斜线记法，表示为：IP地址/网络ID的位数。  
具体换算方法可以看下面两个例子。

1.  192.168.0.0/16，换算为32位二进制地址：11000000.10101000.00000000.00000000。其中/16表示16位网络ID，即32位二进制地址中前16位是固定不变的，对应网段为：11000000.10101000.00000000.00000000~11000000.10101000.11111111.11111111。
2.  192.168.1.2/24，换算为32位二进制地址：11000000.10101000.00000001.00000000。其中/24表示32位二进制地址中前24位是固定不变的，对应网段为：11000000.10101000.00000001.00000000~11000000.10101000.00000001.11111111

当出现如下场景时，ip会变更，从而导致fe/be异常无法正常启动运作

1.  **集群迁移导致ip网段变更**
2.  **虚拟环境中动态地址导致ip变更**
3.  **重启fe/be前未正常配置priority\_networks导致重启后获取的ip与元数据中的不一致**

## 二、环境 ##

### 硬件信息 ###

1.  **CPU** ：1C
2.  **CPU型号**：ARM64
3.  **内存** ：2GB
4.  **硬盘** ：36GB SSD

### 软件信息 ###

1.  **VM镜像版本** ：CentOS-7
2.  **Apahce Doris版本** ：1.2.4.1
3.  **集群规模**：1FE \* 3BE

## 三、FE恢复 ##

### 3.1 异常日志 ###

> 查看fe.out会报如下异常，此时fe进程是无法启动的；  
> 操作前注意**备份所有fe的元数据**并**停止上游读写动作**！

![在这里插入图片描述][6d885de3ec6447f08e3f7037ce23da1b.png]

### 3.2 获取当前ip ###

ip addr

![在这里插入图片描述][1728ad025cf940ec88d86dd2bb3db980.png]

### 3.3 重置ip信息 ###

> 重置ip信息后还是会报如上异常

# 修改fe.conf的priority_networks
    priority_networks = 192.168.0.0/16
    # 或者
    priority_networks = 192.168.31.78/16

### 3.4 重置元数据记录 ###

> 重置元数据记录后fe进程虽然能够启动，但是不可用

# 注释掉fe元数据中之前记录的老ip
    vim doris-meta/image/ROLE

![在这里插入图片描述][56c703d8aff7455b8eca1512b7057cc7.png]

### 3.5 元数据模式恢复 ###

# 在fe.conf中新增metadata_failure_recovery=true启用恢复模式重启fe
    vim fe.conf
    metadata_failure_recovery=true
    
    # 此时进入http://192.168.31.78:8030/login 可以打开fe web ui说明可以正常启动fe了

![在这里插入图片描述][a4b86d5cc3e9471ca53c546bf1330322.png]

### 3.6 重置fe集群节点 ###

> 虽然使用元数据恢复模式fe目前能够启动，但是还没完全恢复，因为当前fe元数据中记录的集群节点中并没有刚刚修改的ip节点

# 在mysql客户端或者web ui的Playground执行如下sql更新fe元数据中记录的fe节点
    # 移除老ip节点
    ALTER SYSTEM DROP FOLLOWER "192.168.31.81:9010";
    
    # 新增新ip节点
    ALTER SYSTEM ADD FOLLOWER "192.168.31.78:9010";

> 老ip节点如下

![老ip节点][ip]

> 新ip节点如下

![新ip节点][ip 1]

### 3.7 关闭元数据模式重启fe ###

# 在fe.conf中注释metadata_failure_recovery=true关闭恢复模式重启fe
    vim fe.conf
    #metadata_failure_recovery=true
    
    # 此时进入http://192.168.31.78:8030/login 可以打开fe web ui说明fe完全恢复了

## 四、BE恢复 ##

### 4.1 获取当前ip ###

ip addr

![在这里插入图片描述][094b714f82f94460b1e6cb992274f151.png]

### 4.2 重置ip信息 ###

# 修改be.conf的priority_networks
    priority_networks = 192.168.0.0/16
    # 或者
    priority_networks = 192.168.31.136/16
    # 设置完成后重启be即可恢复

### 4.3 重置be集群节点 ###

> 虽然当前be已经能够启动，但是还没完全恢复，因为当前fe元数据中记录的be集群节点中并没有刚刚修改的be节点

# 在mysql客户端或者web ui的Playground执行如下sql更新fe元数据中记录的be节点
    # 移除老ip节点
    ALTER SYSTEM DROPP FOLLOWER "192.168.31.81:9010";
    ALTER SYSTEM DROPP FOLLOWER "192.168.31.72:9010";
    ALTER SYSTEM DROPP FOLLOWER "192.168.31.133:9010";
    
    # 新增新ip节点
    ALTER SYSTEM ADD FOLLOWER "192.168.31.78:9010";
    ALTER SYSTEM ADD FOLLOWER "192.168.31.71:9010";
    ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";

> 3台be都重置后完全恢复如下

![在这里插入图片描述][131ee9128b114ecc95a57a497ed7dad3.png]

**Apache Doris 因为IP变更导致的集群异常问题至此已处理恢复完成，查阅过程中若遇到问题欢迎留言交流**

[6d885de3ec6447f08e3f7037ce23da1b.png]: https://img-blog.csdnimg.cn/6d885de3ec6447f08e3f7037ce23da1b.png
[1728ad025cf940ec88d86dd2bb3db980.png]: https://img-blog.csdnimg.cn/1728ad025cf940ec88d86dd2bb3db980.png
[56c703d8aff7455b8eca1512b7057cc7.png]: https://img-blog.csdnimg.cn/56c703d8aff7455b8eca1512b7057cc7.png
[a4b86d5cc3e9471ca53c546bf1330322.png]: https://img-blog.csdnimg.cn/a4b86d5cc3e9471ca53c546bf1330322.png
[ip]: https://img-blog.csdnimg.cn/3d455de2e8394f239bb1fea06e143819.png
[ip 1]: https://img-blog.csdnimg.cn/6595ffb8c0244c0182773ac4e7dc8a42.png
[094b714f82f94460b1e6cb992274f151.png]: https://img-blog.csdnimg.cn/094b714f82f94460b1e6cb992274f151.png
[131ee9128b114ecc95a57a497ed7dad3.png]: https://img-blog.csdnimg.cn/131ee9128b114ecc95a57a497ed7dad3.png