TiDB学习笔记---离线部署ansible

不念不忘少年蓝@ 2022-03-16 15:36 290阅读 0赞

#### 1、在下载机上安装系统依赖包并传到中控机上 ####

##### （1）下载机上安装ansible #####

# 下载机上安装 Ansible，确认是 Ansible 2.5.0 版本，否则会有兼容问题
    # 安装系统依赖包
    tar -xzvf ansible-system-rpms.el7.tar.gz
    cd ansible-system-rpms.el7
    chmod u+x install_ansible_system_rpms.sh
    ./install_ansible_system_rpms.sh
    # pip -V 查看版本
    # 安装 Ansible
    tar -xzvf ansible-2.5.0-pip.tar.gz
    cd ansible-2.5.0-pip/
    chmod u+x install_ansible.sh
    ./install_ansible.sh
    # ansible --version查看版本

##### （2）下载机上下载 tidb-ansible #####

git clone -b release-2.0 https://github.com/pingcap/tidb-ansible.git
    # 执行 local_prepare.yml playbook，联网下载 TiDB binary 到下载机
    cd tidb-ansible
    ansible-playbook local_prepare.yml

##### （3）将执行完以上命令之后的 tidb-ansible 文件夹拷贝到中控机 /home/tidb 目录下，文件属主权限需是 tidb 用户。 #####

##### （4）中控机上安装ansible，方法同（1）中下载机上安装ansible的步骤。 #####

#### 2、在中控机上创建 tidb 用户，并生成 ssh key ####

以 root 用户登录中控机，执行以下命令

# 创建 tidb 用户
    sudo useradd -m -d /home/tidb tidb
    # 设置 tidb 用户密码
    sudo passwd tidb

配置 tidb 用户 sudo 免密码，将 tidb ALL=(ALL) NOPASSWD: ALL 添加到文件末尾即可。

sudo visudo
    ---------------
    tidb ALL=(ALL) NOPASSWD: ALL
    ----------------
    # 生成 ssh key: 执行 su 命令从 root 用户切换到 tidb 用户下。
    su - tidb
    # 创建 tidb 用户 ssh key， 提示 Enter passphrase 时直接回车即可。执行成功后，ssh 私钥文件为 /home/tidb/.ssh/id_rsa， ssh 公钥文件为 /home/tidb/.ssh/id_rsa.pub。
    ssh-keygen -t rsa

#### 3、在中控机器上下载 TiDB-Ansible ####

以 tidb 用户登录中控机并进入 /home/tidb 目录。以下为 tidb-ansible 分支与 TiDB 版本对应关系，版本选择可以咨询官方。  
下载release2.1版本，安装ansible版本为ansible 2.6.14  
（**目前 release-2.0、release-2.1 及 master 版本兼容 Ansible 2.4 及 Ansible 2.5 版**）是否需要换2.0

cd /home/tidb
    $ git clone -b release-2.1 https://github.com/pingcap/tidb-ansible.git
    # 安装
    cd /home/tidb/tidb-ansible
    sudo pip install -r ./requirements.txt
    ansible --version

#### 4、在中控机上配置部署机器 ssh 互信及 sudo 规则 ####

以 tidb 用户登录中控机，将你的部署目标机器 IP 添加到 hosts.ini 文件 \[servers\] 区块下。

cd /home/tidb/tidb-ansible
    vi hosts.ini
    -----------------
    [servers]
    172.16.10.1
    172.16.10.2
    172.16.10.3
    172.16.10.4
    172.16.10.5
    172.16.10.6
    
    [all:vars]
    username = tidb
    ntp_server = pool.ntp.org

执行以下命令，按提示输入部署目标机器 root 用户密码。该步骤将在部署目标机器上创建 tidb 用户，并配置 sudo 规则，配置中控机与部署目标机器之间的 ssh 互信。

ansible-playbook -i hosts.ini create_users.yml -u root -k

#### 5、在部署目标机器上安装 NTP 服务 ####

如果你的部署目标机器时间、时区设置一致，已开启 NTP 服务且在正常同步时间，此步骤可忽略。（可先检测NTP服务是否正确https://pingcap.com/docs-cn/op-guide/ansible-deployment/\#%E5%A6%82%E4%BD%95%E6%A3%80%E6%B5%8B-ntp-%E6%9C%8D%E5%8A%A1%E6%98%AF%E5%90%A6%E6%AD%A3%E5%B8%B8）  
该步骤将在部署目标机器上使用系统自带软件源联网安装并启动 NTP 服务，服务使用安装包默认的 NTP server 列表，见配置文件 /etc/ntp.conf 中 server 参数，如果使用默认的 NTP server，你的机器需要连接外网（**什么意思**）。 为了让 NTP 尽快开始同步，启动 NTP 服务前，系统会 ntpdate hosts.ini 文件中的 ntp\_server 一次，默认为 [pool.ntp.org][]，也可替换为你的 NTP server。  
以 tidb 用户登录中控机，执行以下命令

cd /home/tidb/tidb-ansible
    ansible-playbook -i hosts.ini deploy_ntp.yml -u tidb -b

#### 6、在部署目标机器上配置 CPUfreq 调节器模式 ####

为了让 CPU 发挥最大性能，请将 CPUfreq 调节器模式设置为 performance 模式。  
你可以通过 cpupower 命令查看系统支持的调节器模式：

# cpupower frequency-info --governors
    analyzing CPU 0:
      available cpufreq governors: performance powersave

本例中系统支持设置 performance 和 powersave 模式。如果返回 “Not Available”，表示当前系统不支持配置 CPUfreq，跳过该步骤即可。

# cpupower frequency-info --governors
    analyzing CPU 0:
      available cpufreq governors: Not Available

你可以通过 cpupower 命令查看系统当前的 CPUfreq 调节器模式：

# cpupower frequency-info --policy
    analyzing CPU 0:
      current policy: frequency should be within 1.20 GHz and 3.20 GHz.
                      The governor "powersave" may decide which speed to use
                      within this range.

本例中当前配置是 powersave 模式，你可以通过以下命令设置为 performance 模式。

cpupower frequency-set --governor performance

你也可以通过以下命令在部署目标机器上批量设置：

$ ansible -i hosts.ini all -m shell -a "cpupower frequency-set --governor performance" -u tidb -b

#### 7、在部署目标机器上添加数据盘 ext4 文件系统挂载参数 ####

部署目标机器数据盘请格式化成 ext4 文件系统，挂载时请添加 nodelalloc 和 noatime 挂载参数。nodelalloc 是必选参数，否则 Ansible 安装时检测无法通过，noatime 是可选建议参数。

# 如果你的数据盘已经格式化成 ext4 并挂载，可先执行 umount 命令卸载，从编辑 /etc/fstab 文件步骤开始执行，添加挂载参数重新挂载即可。
    umount /dev/nvme0n1

下面以 /dev/nvme0n1 数据盘为例：

# 查看数据盘
    fdisk -l
    ----------
    Disk /dev/nvme0n1: 1000 GB
    ----------
    # 创建分区表
    parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1
    # 格式化文件系统
    mkfs.ext4 /dev/nvme0n1
    # 查看数据盘分区 UUID，本例中 nvme0n1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。
    lsblk -f
    ----------------可能出现
    NAME    FSTYPE LABEL UUID                                 MOUNTPOINT
    sda
    ├─sda1  ext4         237b634b-a565-477b-8371-6dff0c41f5ab /boot
    ├─sda2  swap         f414c5c0-f823-4bb1-8fdf-e531173a72ed
    └─sda3  ext4         547909c1-398d-4696-94c6-03e43e317b60 /
    sr0
    nvme0n1 ext4         c51eb23b-195c-4061-92a9-3fad812cc12f
    ----------------------------
    # 编辑 /etc/fstab 文件，添加 nodelalloc 挂载参数
    vi /etc/fstab
    ---------------
    UUID=c51eb23b-195c-4061-92a9-3fad812cc12f /data1 ext4 defaults,nodelalloc,noatime 0 2
    -----------------
    # 挂载数据盘
    mkdir /data1
    mount -a

执行以下命令，如果文件系统为 ext4，并且挂载参数中包含 nodelalloc 表示生效：

mount -t ext4
    ---------------
    # mount -t ext4
    /dev/nvme0n1 on /data1 type ext4 (rw,noatime,nodelalloc,data=ordered)
    ------------------------

#### 8、分配机器资源，编辑 inventory.ini 文件 ####

以 tidb 用户登录中控机，inventory.ini 文件路径为 /home/tidb/tidb-ansible/inventory.ini。  
*注： 请使用内网 IP 来部署集群，如果部署目标机器 SSH 端口非默认 22 端口，需添加 ansible\_port 变量，如： TiDB1 ansible\_host=172.16.10.1 ansible\_port=5555*

[pool.ntp.org]: http://pool.ntp.org