TiDB亿级数据亚秒响应查询集群部署

矫情吗；* 2024-03-16 16:08 52阅读 0赞

#### 目录 ####

*  1 集群部署
 *   *  1.1 环境要求
     *   *  1.1.1 操作系统建议配置
         *  1.1.2 服务器建议配置
     *  1.2 环境准备
     *  1.3 安装TiUP
     *   *  1.3.1 什么是TiUP
         *  1.3.2 安装TiUP组件
         *  1.3.3 配置TiUP环境
         *  1.3.4 检查TiUP 工具是否安装
         *  1.3.5 安装 cluster 组件
         *  1.3.6 升级cluster组件
     *  1.4 编辑部署文件
     *   *  1.4.1 常见的部署场景
         *  1.4.2 单机极简部署
     *  1.5 执行集群部署命令
     *   *  1.5.1 命令格式
         *  1.5.2 检查TiDB最新版本
         *  1.5.3 执行部署命令
         *  1.5.4 启动集群
         *  1.5.5 查看节点状态
 *  2. 测试TiDB集群
 *   *  2.1 Mysql连接集群
     *   *  2.1.1 安装MySql客户端
         *  2.1.2 第三方客户端访问Mysql
     *  2.2 访问Grafana监控
     *  2.3 访问Dashboard
     *  2.4 查看集群列表
     *  2.5 查看集群拓扑

--------------------

## 1 集群部署 ##

![在这里插入图片描述][02fce8a37a4149d591a6ad7c7c97cf55.png]

### 1.1 环境要求 ###

#### 1.1.1 操作系统建议配置 ####

TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。

<table> 
 <thead> 
  <tr> 
   <th align="left">Linux 操作系统平台</th> 
   <th align="left">版本</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">Red Hat Enterprise Linux</td> 
   <td align="left">7.3 及以上</td> 
  </tr> 
  <tr> 
   <td align="left">CentOS</td> 
   <td align="left">7.3 及以上</td> 
  </tr> 
  <tr> 
   <td align="left">Oracle Enterprise Linux</td> 
   <td align="left">7.3 及以上</td> 
  </tr> 
  <tr> 
   <td align="left">Ubuntu LTS</td> 
   <td align="left">16.04 及以上</td> 
  </tr> 
 </tbody> 
</table>

#### 1.1.2 服务器建议配置 ####

TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开发，测试，及生产环境的服务器硬件配置（不包含操作系统 OS 本身的占用）有以下要求和建议：

开发及测试环境

<table> 
 <thead> 
  <tr> 
   <th align="left"><strong>组件</strong></th> 
   <th align="left"><strong>CPU</strong></th> 
   <th align="left"><strong>内存</strong></th> 
   <th align="left"><strong>本地存储</strong></th> 
   <th align="left"><strong>网络</strong></th> 
   <th align="left"><strong>实例数量(最低要求)</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">TiDB</td> 
   <td align="left">8 核+</td> 
   <td align="left">16 GB+</td> 
   <td align="left">无特殊要求</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">1（可与 PD 同机器）</td> 
  </tr> 
  <tr> 
   <td align="left">PD</td> 
   <td align="left">4 核+</td> 
   <td align="left">8 GB+</td> 
   <td align="left">SAS, 200 GB+</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">1（可与 TiDB 同机器）</td> 
  </tr> 
  <tr> 
   <td align="left">TiKV</td> 
   <td align="left">8 核+</td> 
   <td align="left">32 GB+</td> 
   <td align="left">SSD, 200 GB+</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">3</td> 
  </tr> 
  <tr> 
   <td align="left">TiFlash</td> 
   <td align="left">32 核+</td> 
   <td align="left">64 GB+</td> 
   <td align="left">SSD, 200 GB+</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">1</td> 
  </tr> 
  <tr> 
   <td align="left">TiCDC</td> 
   <td align="left">8 核+</td> 
   <td align="left">16 GB+</td> 
   <td align="left">SAS, 200 GB+</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">1</td> 
  </tr> 
 </tbody> 
</table>

生产环境

<table> 
 <thead> 
  <tr> 
   <th align="left"><strong>组件</strong></th> 
   <th align="left"><strong>CPU</strong></th> 
   <th align="left"><strong>内存</strong></th> 
   <th align="left"><strong>硬盘类型</strong></th> 
   <th align="left"><strong>网络</strong></th> 
   <th align="left"><strong>实例数量(最低要求)</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">TiDB</td> 
   <td align="left">16 核+</td> 
   <td align="left">32 GB+</td> 
   <td align="left">SAS</td> 
   <td align="left">万兆网卡（2 块最佳）</td> 
   <td align="left">2</td> 
  </tr> 
  <tr> 
   <td align="left">PD</td> 
   <td align="left">4核+</td> 
   <td align="left">8 GB+</td> 
   <td align="left">SSD</td> 
   <td align="left">万兆网卡（2 块最佳）</td> 
   <td align="left">3</td> 
  </tr> 
  <tr> 
   <td align="left">TiKV</td> 
   <td align="left">16 核+</td> 
   <td align="left">32 GB+</td> 
   <td align="left">SSD</td> 
   <td align="left">万兆网卡（2 块最佳）</td> 
   <td align="left">3</td> 
  </tr> 
  <tr> 
   <td align="left">TiFlash</td> 
   <td align="left">48 核+</td> 
   <td align="left">128 GB+</td> 
   <td align="left">1 or more SSDs</td> 
   <td align="left">万兆网卡（2 块最佳）</td> 
   <td align="left">2</td> 
  </tr> 
  <tr> 
   <td align="left">TiCDC</td> 
   <td align="left">16 核+</td> 
   <td align="left">64 GB+</td> 
   <td align="left">SSD</td> 
   <td align="left">万兆网卡（2 块最佳）</td> 
   <td align="left">2</td> 
  </tr> 
  <tr> 
   <td align="left">监控</td> 
   <td align="left">8 核+</td> 
   <td align="left">16 GB+</td> 
   <td align="left">SAS</td> 
   <td align="left">千兆网卡</td> 
   <td align="left">1</td> 
  </tr> 
 </tbody> 
</table>

### 1.2 环境准备 ###

> 准备一台部署主机，确保其软件满足需求：

*  推荐安装 CentOS 7.3 及以上版本
 *  Linux 操作系统开放外网访问，用于下载 TiDB 及相关软件安装包

> 最小规模的 TiDB 集群拓扑

<table> 
 <thead> 
  <tr> 
   <th align="left">实例</th> 
   <th align="left">个数</th> 
   <th align="left">IP</th> 
   <th align="left">配置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">TiKV</td> 
   <td align="left">3</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">避免端口和目录冲突</td> 
  </tr> 
  <tr> 
   <td align="left">TiDB</td> 
   <td align="left">1</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">默认端口 全局目录配置</td> 
  </tr> 
  <tr> 
   <td align="left">PD</td> 
   <td align="left">1</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">默认端口 全局目录配置</td> 
  </tr> 
  <tr> 
   <td align="left">TiFlash</td> 
   <td align="left">1</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">默认端口 全局目录配置</td> 
  </tr> 
  <tr> 
   <td align="left">Monitoring &amp; Grafana</td> 
   <td align="left">1</td> 
   <td align="left">192.168.10.30</td> 
   <td align="left">默认端口 全局目录配置</td> 
  </tr> 
 </tbody> 
</table>

### 1.3 安装TiUP ###

#### 1.3.1 什么是TiUP ####

从 TiDB 4.0 版本开始，TiUP 作为新的工具，承担着包管理器的角色，管理着 TiDB 生态下众多的组件，如 TiDB、PD、TiKV 等。用户想要运行 TiDB 生态中任何组件时，只需要执行 TiUP 一行命令即可，相比以前，极大地降低了管理难度。

#### 1.3.2 安装TiUP组件 ####

使用普通用户登录中控机，以 `tidb` 用户为例，后续安装 TiUP 及集群管理操作均通过该用户完成

> TiUP 安装过程十分简洁，无论是 Darwin 还是 Linux 操作系统，执行一行命令即可安装成功：

[root@linux30 ~]# curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

该命令将 TiUP 安装在 `$HOME/.tiup` 文件夹下，之后安装的组件以及组件运行产生的数据也会放在该文件夹下。同时，它还会自动将 `$HOME/.tiup/bin` 加入到 Shell Profile 文件的 PATH 环境变量中，这样你就可以直接使用 TiUP 了。

![在这里插入图片描述][18d9575ba1df4b9eab38e2f69845d3f4.png]

#### 1.3.3 配置TiUP环境 ####

> 重新声明全局环境变量

[root@linux30 tidb]# source /root/.bash_profile

#### 1.3.4 检查TiUP 工具是否安装 ####

[root@linux30 tidb]# which tiup
    /root/.tiup/bin/tiup

#### 1.3.5 安装 cluster 组件 ####

[root@linux30 tidb]# tiup cluster

![在这里插入图片描述][af9ea404b5f542f5a2f26ffcb2b12862.png]

#### 1.3.6 升级cluster组件 ####

> 如果机器已经安装 TiUP cluster，需要更新软件版本

[root@linux30 tidb]# tiup update --self && tiup update cluster

> 预期输出 `“Update successfully!”` 字样。

![在这里插入图片描述][e35c0618e71f40c1a27b8033dd5a6e53.png]

### 1.4 编辑部署文件 ###

> 请根据不同的集群拓扑，编辑 TiUP 所需的集群初始化配置文件。

#### 1.4.1 常见的部署场景 ####

最小拓扑架构

最基本的集群拓扑，包括 tidb-server、tikv-server、pd-server，适合 OLTP 业务。

增加 TiFlash 拓扑架构

包含最小拓扑的基础上，同时部署 TiFlash。TiFlash 是列式的存储引擎，已经逐步成为集群拓扑的标配。适合 Real-Time HTAP 业务。

增加 TiCDC 拓扑架构

包含最小拓扑的基础上，同时部署 TiCDC。TiCDC 是 4.0 版本开始支持的 TiDB 增量数据同步工具，支持多种下游 (TiDB/MySQL/MQ)。相比于 TiDB Binlog，TiCDC 有延迟更低、天然高可用等优点。在部署完成后，需要启动 TiCDC，通过 `cdc cli` 创建同步任务。

增加 TiDB Binlog 拓扑架构

包含最小拓扑的基础上，同时部署 TiDB Binlog。TiDB Binlog 是目前广泛使用的增量同步组件，可提供准实时备份和同步功能。

增加 TiSpark 拓扑架构

包含最小拓扑的基础上，同时部署 TiSpark 组件。TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。TiUP cluster 组件对 TiSpark 的支持目前为实验性特性。

混合部署拓扑架构

适用于单台机器，混合部署多个实例的情况，也包括单机多实例，需要额外增加目录、端口、资源配比、label 等配置。

#### 1.4.2 单机极简部署 ####

> 部署主机软件和环境要求：
> 
>  *  部署需要使用部署主机的 root 用户及密码
>  *  部署主机关闭防火墙或者开放 TiDB 集群的节点间所需端口

单机极简拓扑

<table> 
 <thead> 
  <tr> 
   <th>实例</th> 
   <th>IP</th> 
   <th>开放端口</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>grafana</td> 
   <td>192.168.10.30</td> 
   <td>3000</td> 
  </tr> 
  <tr> 
   <td>pd</td> 
   <td>192.168.10.30</td> 
   <td>2379/2380</td> 
  </tr> 
  <tr> 
   <td>prometheus</td> 
   <td>192.168.10.30</td> 
   <td>9090</td> 
  </tr> 
  <tr> 
   <td>tidb</td> 
   <td>192.168.10.30</td> 
   <td>4000/10080</td> 
  </tr> 
  <tr> 
   <td>tiflash</td> 
   <td>192.168.10.30</td> 
   <td>9000/8123/3930/20170/20292/8234</td> 
  </tr> 
  <tr> 
   <td>tikv</td> 
   <td>192.168.10.30</td> 
   <td>20160/20180</td> 
  </tr> 
  <tr> 
   <td>tikv</td> 
   <td>192.168.10.30</td> 
   <td>20161/20181</td> 
  </tr> 
  <tr> 
   <td>tikv</td> 
   <td>192.168.10.30</td> 
   <td>20162/20182</td> 
  </tr> 
 </tbody> 
</table>

编辑配置文件

> 按下面的配置模板，编辑配置文件，命名为 `topo.yaml`

*  `user: "tidb"`：表示通过 `tidb` 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端口通过 ssh 登录目标机器
 *  `replication.enable-placement-rules`：设置这个 PD 参数来确保 TiFlash 正常运行
 *  `host`：设置为本部署主机的 IP

# # Global variables are applied to all deployments and used as the default value of
    # # the deployments if a specific deployment value is missing.
    global:
     user: "tidb"
     ssh_port: 22
     deploy_dir: "/opt/tidb/tidb-deploy"
     data_dir: "/opt/tidb/tidb-data"
    
    # # Monitored variables are applied to all the machines.
    monitored:
     node_exporter_port: 9100
     blackbox_exporter_port: 9115
    
    server_configs:
     tidb:
       log.slow-threshold: 300
     tikv:
       readpool.storage.use-unified-pool: false
       readpool.coprocessor.use-unified-pool: true
     pd:
       replication.enable-placement-rules: true
       replication.location-labels: ["host"]
     tiflash:
       logger.level: "info"
    
    pd_servers:
     - host: 192.168.10.30
    
    tidb_servers:
     - host: 192.168.10.30
    
    tikv_servers:
     - host: 192.168.10.30
       port: 20160
       status_port: 20180
       config:
         server.labels: {
         host: "logic-host-1" }
    
     - host: 192.168.10.30
       port: 20161
       status_port: 20181
       config:
         server.labels: {
         host: "logic-host-2" }
    
     - host: 192.168.10.30
       port: 20162
       status_port: 20182
       config:
         server.labels: {
         host: "logic-host-3" }
    
    tiflash_servers:
     - host: 192.168.10.30
    
    monitoring_servers:
     - host: 192.168.10.30
    
    grafana_servers:
     - host: 192.168.10.30

### 1.5 执行集群部署命令 ###

#### 1.5.1 命令格式 ####

tiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p

参数解释

*  参数 `<cluster-name>` 表示设置集群名称
 *  参数 `<tidb-version>` 表示设置集群版本，可以通过 `tiup list tidb` 命令来查看当前支持部署的 TiDB 版本
 *  参数：`--use.r root`通过 root 用户登录到目标主机完成集群部署，该用户需要有 ssh 到目标机器的权限，并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。

#### 1.5.2 检查TiDB最新版本 ####

> 可以通过执行 `tiup list tidb` 来查看 TiUP 支持的版本

[root@linux30 tidb]# tiup list tidb

> 经过执行发现 可用的TiDB版本有 v5.3.0

#### 1.5.3 执行部署命令 ####

[root@linux30 tidb]# tiup cluster deploy tidb-cluster 5.3.0 ./topo.yaml --user root -p

> 下面输入`y`继续后输入密码进行安装界面

![在这里插入图片描述][6f253142834c432595ebc78328ebb584.png]

> 进入安装界面，等待安装即可

![在这里插入图片描述][79150b4eb14c48e8af3ac37dbc75ac16.png]

> 如果出现`deployed successfully`表示部署成功,集群名称是`tidb-cluster`

#### 1.5.4 启动集群 ####

[root@linux30 tidb]# tiup cluster start tidb-cluster

![在这里插入图片描述][5790e3e1c15e4b69a990d6f76d0e154a.png]

#### 1.5.5 查看节点状态 ####

[root@linux30 tidb]# tiup cluster display tidb-cluster

> 所有节点都是Up状态说明都已经启动就绪了

![在这里插入图片描述][f7967d26926749afa34ac204dc5570e7.png]

## 2. 测试TiDB集群 ##

### 2.1 Mysql连接集群 ###

> TiDB的连接端口默认是4000， 密码是空，可用使用Mysql客户端以及第三方工具进行连接

#### 2.1.1 安装MySql客户端 ####

yum -y install mysql

MySql客户端连接

> 访问 TiDB 数据库，密码为空

[root@linux30 tidb]# mysql -uroot -p -P 4000 -h 192.168.10.30

![在这里插入图片描述][9b20572d83694b4fa10797d488a6bb3a.png]

#### 2.1.2 第三方客户端访问Mysql ####

> 使用SQLyog访问TiDB

2.1.2.1 创建TiDB连接

![在这里插入图片描述][c409a01ca1494523ac495050da989e3e.png]

> 连接后就可以操作数据库了

![在这里插入图片描述][30095001f2a14ef994f3c5e9790e5d74.png]

### 2.2 访问Grafana监控 ###

> 通过 [http://192.168.10.30:3000][http_192.168.10.30_3000] 访问集群 Grafana 监控页面，默认用户名和密码均为 admin。

![在这里插入图片描述][e494284933af429fbc53c6a89552c10b.png]

### 2.3 访问Dashboard ###

> 通过 http://192.168.10.30:2379/dashboard 访问集群 TiDB Dashboard监控页面，默认用户名为 root，密码为空。

![在这里插入图片描述][b94d0ab844c54a90ba3fddb629133ffb.png]

### 2.4 查看集群列表 ###

[root@linux30 tidb]# tiup cluster list

![在这里插入图片描述][f8f4889a7ddf49efb607584a456c5595.png]

### 2.5 查看集群拓扑 ###

[root@linux30 tidb]# tiup cluster display tidb-cluster

![在这里插入图片描述][a776a0cfdd6c49f581dfe3c5f54b281e.png]

[02fce8a37a4149d591a6ad7c7c97cf55.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/027654ca294f4f93975c7778d981f83a.png
[18d9575ba1df4b9eab38e2f69845d3f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/60df1f43229f4261aee2c8e5c006e5d5.png
[af9ea404b5f542f5a2f26ffcb2b12862.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1b367cf4956b44f3b05a7415db392372.png
[e35c0618e71f40c1a27b8033dd5a6e53.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0ab58d4a83f2497f9e79575240e55d55.png
[6f253142834c432595ebc78328ebb584.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f06435c87d2648358d8b54873581c181.png
[79150b4eb14c48e8af3ac37dbc75ac16.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1e4ee8c7761f413a829e872dc89268d8.png
[5790e3e1c15e4b69a990d6f76d0e154a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/62b9de9b983a47c39d2e07b06faf7d2c.png
[f7967d26926749afa34ac204dc5570e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/01f2d75c23e948a088609ff3c4cae6ca.png
[9b20572d83694b4fa10797d488a6bb3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/01d2c0a0b02c49f697c9718d6d4695a2.png
[c409a01ca1494523ac495050da989e3e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d4c5751fcd4c48ee8c6f6b6102f1ce8c.png
[30095001f2a14ef994f3c5e9790e5d74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/44486bdb17124292949c222f5fdff01c.png
[http_192.168.10.30_3000]: http://192.168.10.30:3000/
[e494284933af429fbc53c6a89552c10b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fefe786c35d44804bffb744bba0fd6b3.png
[b94d0ab844c54a90ba3fddb629133ffb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d369524367d8459eb43badbe954ecb3c.png
[f8f4889a7ddf49efb607584a456c5595.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0ca315ef1a994ebd8053acdfef921aa3.png
[a776a0cfdd6c49f581dfe3c5f54b281e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/030e318261df4e968a0df9b4fe97d9ff.png