使用 Docker Compose 快速构建Tidb集群

╰半橙微兮° 2022-03-18 01:44 367阅读 0赞

本文档介绍如何在单机上通过 Docker Compose 快速一键部署一套 TiDB 测试集群。[Docker Compose][] 可以通过一个 YAML 文件定义多个容器的应用服务，然后一键启动或停止。

> **注**：对于生产环境，不要使用 Docker Compose 进行部署，而应[使用 Ansible 部署 TiDB 集群][Ansible _ TiDB]。

## 准备环境 ##

确保你的机器上已安装：

*  Docker（17.06.0 及以上版本）
 *  Docker Compose
 *  Git

## 快速部署 ##

1.  下载 `tidb-docker-compose`
    
        git clone https://github.com/pingcap/tidb-docker-compose.git
2.  创建并启动集群
    
        cd tidb-docker-compose && docker-compose pull # Get the latest Docker images
        docker-compose up -d
3.  访问集群
    
        mysql -h 127.0.0.1 -P 4000 -u root
    
    访问集群 Grafana 监控页面：[http://localhost:3000][http_localhost_3000] 默认用户名和密码均为 admin。
    
    [集群数据可视化][Link 1]：[http://localhost:8010][http_localhost_8010]

## 自定义集群 ##

在完成快速部署后，以下组件已默认部署：3 个 PD，3 个 TiKV，1 个 TiDB 和监控组件 Prometheus，Pushgateway，Grafana 以及 tidb-vision。

如果想自定义集群，可以直接修改 `docker-compose.yml`，但是手动修改比较繁琐而且容易出错，强烈建议使用 [Helm][] 模板引擎生成 `docker-compose.yml` 文件。

1.  安装 Helm
    
    [Helm][] 可以用作模板渲染引擎，只需要下载其 binary 文件即可以使用。
    
        curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get | bash
    
    如果是 Mac 系统，也可以通过 Homebrew 安装：
    
        brew install kubernetes-helm
2.  下载 `tidb-docker-compose`
    
        git clone https://github.com/pingcap/tidb-docker-compose.git
3.  自定义集群
    
        cd tidb-docker-compose
        cp compose/values.yaml values.yaml
        vim values.yaml
    
    修改 `values.yaml` 里面的配置，例如集群规模，TiDB 镜像版本等。
    
    [tidb-vision][Link 1] 是 TiDB 集群可视化页面，可以可视化地显示 PD 对 TiKV 数据的调度。如果不想部署该组件，可以将 `tidbVision` 项留空。
    
    PD，TiKV，TiDB 和 tidb-vision 支持从 GitHub 源码或本地文件构建 Docker 镜像，供开发测试使用。
    
     *  如果希望从本地已编译好的 binary 文件构建 PD，TiKV 或 TiDB 镜像，需要将其 `image` 字段留空，并将已编译好的 binary 拷贝到对应的 `pd/bin/pd-server`，`tikv/bin/tikv-server`，`tidb/bin/tidb-server`。
     *  如果希望从本地构建 tidb-vision 镜像，需要将其 `image` 字段留空，并将 tidb-vision 项目拷贝到 `tidb-vision/tidb-vision`。
4.  生成 `docker-compose.yml` 文件
    
        helm template -f values.yaml compose > generated-docker-compose.yml
5.  使用生成的 `docker-compose.yml` 创建并启动集群
    
        docker-compose -f generated-docker-compose.yml pull # Get the latest Docker images
        docker-compose -f generated-docker-compose.yml up -d
6.  访问集群
    
        mysql -h 127.0.0.1 -P 4000 -u root  
        （如报错ERROR 1105 (HY000): Unknown charset id 255），请加上 --default-character-set=utf8 
        mysql -h 127.0.0.1 -P 4000 -u root --default-character-set=utf8
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZmemhpaHVh_size_16_color_FFFFFF_t_70][]
7.  访问集群 Grafana 监控页面：[http://localhost:3000][http_localhost_3000] 默认用户名和密码均为 admin。
    
    如果启用了 tidb-vision，可以通过 [http://localhost:8010][http_localhost_8010] 查看。

## 访问 Spark shell 并加载 TiSpark ##

向 TiDB 集群中插入一些样本数据：

$ docker-compose exec tispark-master bash
    $ cd /opt/spark/data/tispark-sample-data
    $ mysql -h tidb -P 4000 -u root < dss.ddl

当样本数据加载到 TiDB 集群之后，可以使用

docker-compose exec tispark-master /opt/spark/bin/spark-shell

来访问 Spark shell。

$ docker-compose exec tispark-master /opt/spark/bin/spark-shell
    ...
    Spark context available as 'sc' (master = local[*], app id = local-1527045927617).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 2.1.1
          /_/
    
    Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_172)
    Type in expressions to have them evaluated.
    Type :help for more information.
    
    scala> import org.apache.spark.sql.TiContext
    ...
    scala> val ti = new TiContext(spark)
    ...
    scala> ti.tidbMapDatabase("TPCH_001")
    ...
    scala> spark.sql("select count(*) from lineitem").show
    +--------+
    |count(1)|
    +--------+
    |   60175|
    +--------+

你也可以通过 Python 或 R 来访问 Spark：

docker-compose exec tispark-master /opt/spark/bin/pyspark
    docker-compose exec tispark-master /opt/spark/bin/sparkR

[Docker Compose]: https://docs.docker.com/compose/overview
[Ansible _ TiDB]: https://github.com/pingcap/docs-cn/blob/master/op-guide/ansible-deployment.md
[http_localhost_3000]: http://localhost:3000/
[Link 1]: https://github.com/pingcap/tidb-vision
[http_localhost_8010]: http://localhost:8010/
[Helm]: https://helm.sh/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZmemhpaHVh_size_16_color_FFFFFF_t_70]: /images/20220318/c700dab1908d465abfe723028876e94e.png