docker实战2 (docker swarm的应用，docker集群的构建，在docker集群中部署服务的创建与更新)

骑猪看日落 2022-06-15 09:43 240阅读 0赞

# 前言： #

在之前曾写过一个关于docker集群创建的教程，但是不够深入，只是停留到集群的初始化和节点加入上，这次具体到服务，并详细讲解其中的原理。而且总结了很多自己做的过程中所踩过的很多坑(比如镜像的digest问题)。在查阅资料的过程还了解到了谷歌的kubernetes和swarm是一个类似的东西，准备在之后开一篇入门的坑，毕竟谷歌的东西还是很有意思的。

# 集群拓扑： #

![这里写图片描述][SouthEast]  
Linux版本:Red Hat Enterprise Linux Server release 7.3 (Maipo  
docker版本：

Client:
     Version:      17.03.0-ce
     API version:  1.26
     Go version:   go1.7.5
     Git commit:   3a232c8
     Built:        Tue Feb 28 08:10:07 2017
     OS/Arch:      linux/amd64
    
    Server:
     Version:      17.03.0-ce
     API version:  1.26 (minimum version 1.12)
     Go version:   go1.7.5
     Git commit:   3a232c8
     Built:        Tue Feb 28 08:10:07 2017
     OS/Arch:      linux/amd64
     Experimental: false

# 一.创建docker swarm集群 #

官方文档中对应的部分:[docker swarm官方][docker swarm]  
这一部是关于docker这个服务的集群，并不是我们容器所涉及服务的集群

docker swarm init --advertise-addr 172.25.3.250

只用这条命令就可以创建以172.25.3.250为manager的docker集群,–advertise-addr不是必须的，但是当你的计算机上有多个网卡时候就要指定了。

docker swarm join --token ***** ip:2377

别的机器想要加入这个docker集群使用上面的命令就可以了。

[root@foundation3 ~]# docker swarm join-token worker 
    To add a worker to this swarm, run the following command:
    
        docker swarm join \
        --token SWMTKN-1-4jlxqqc9jg39a7ll5npktriayhnk040vuunhcwj2h6ntvcy3j0-3x6za4vgrabq5ydivyxvd6kma \
        172.25.3.250:2377
    
    [root@foundation3 ~]# docker swarm join-token manager 
    To add a manager to this swarm, run the following command:
    
        docker swarm join \
        --token SWMTKN-1-4jlxqqc9jg39a7ll5npktriayhnk040vuunhcwj2h6ntvcy3j0-602yfdl0qc5zmhcvo1etytu7y \
        172.25.3.250:2377

根据token的不同，我们来区分加入集群的是manager节点还是普通的系节点。

[root@foundation3 ~]# docker swarm join-token manager --quiet
    SWMTKN-1-4jlxqqc9jg39a7ll5npktriayhnk040vuunhcwj2h6ntvcy3j0-602yfdl0qc5zmhcvo1etytu7y

通过加入–quiet参数可以只输出token，在需要保存token的时候还是十分有用的。

# 二.在docker集群中部署服务 #

## **1.部署服务前注意** ##

按照本教程做的小伙伴，建议每台机器都可以连接外网，可以从docker镜像仓库下载镜像。原因在稍后解释。  
讲到下载镜像，可能很多兄弟要说下载镜像速度太慢了从Docker Hub上，这里我推荐一个国内的镜像加速器非常好用[DaoCloud – 企业级云计算领域的创新领导者][DaoCloud _]。  
![这里写图片描述][SouthEast 1]  
注册账号后进入自己的用户界面，在右上角点击我上图画圈处，进入加速器界面。  
![这里写图片描述][SouthEast 2]  
直接输入这个所指示的命令即可配置加速器。如果使用他指示的命令配置失败的也可以手动配置

[root@foundation3 docker]# pwd
    /etc/docker
    [root@foundation3 docker]# ls
    daemon.json  key.json  test1.tar  test2.tar
    [root@foundation3 docker]#

编写daemon.json文件(下面的\*替换成你的私有镜像地址)

"registry-mirrors":["http://**********"]

现在就可以畅快的pull镜像了，我们本次需要的镜像是Nginx的镜像。

[root@foundation3 docker]# docker search nginx
    NAME                                     DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
    nginx                                    Official build of Nginx.                        6085      [OK]       
    jwilder/nginx-proxy                      Automated Nginx reverse proxy for docker c...   1038                 [OK]
    richarvey/nginx-php-fpm                  Container running Nginx + PHP-FPM capable ...   381                  [OK]
    jrcs/letsencrypt-nginx-proxy-companion   LetsEncrypt container to use with nginx as...   182                  [OK]
    webdevops/php-nginx                      Nginx with PHP-FPM                              78                   [OK]
    million12/nginx-php                      Nginx + PHP-FPM 5.5, 5.6, 7.0 (NG), CentOS...   77                   [OK]

通过这里我们可以看到很多nginx的镜像，根据stars数量我们可以选择最可靠的镜像，在这里我们要强调一个事情，就是docker 的tag。我们建议我们使用的每个镜像都要带上tag，比如我列出我的几个Nginx镜像

[root@foundation3 docker]# docker images | grep nginx
    nginx                         1.12                17daebd00e2c        2 weeks ago         109 MB
    nginx                         1.13                3448f27c273f        2 weeks ago         109 MB

这些tag并不是默认的latest，因为这个默认的tag会造成很多困扰，因为很多时候那个带latest的镜像并不一定是”latest”，这会很让人困扰。那么既然我们使用镜像要带tag但是根据上search出的官方docker镜像信息并没有tag信息，怎么办呢，我建议大家在查找需要下载的镜像时去镜像的官网查看下，但是DockerHub官网访问速度太慢，这时还是用我们国内的这个docker镜像源。  
![这里写图片描述][SouthEast 3]  
通过这里提供的接口我们可以看到Docker Hub的镜像信息  
![这里写图片描述][SouthEast 4]  
进入nginx的详情页后我们就可以看到具体的tag了。比如我们想下载1.12.0版本的nginx镜像可以使用的tag就有 stable,1.12等

docker pull nginx:1.12

**现在都配置好后，我们在manager,node1,node2上将nginx:1.12和nginx:1.13镜像均pull下来**。如果你只是在manager上pull下来会导致部署服务失败。

## **2.部署单节点服务** ##

[root@foundation3 docker]# docker service create --name web_t nginx:1.12

这条命令让我们在manager节点上部署了一个Nginx容器。

[root@foundation3 docker]# docker service ls
    ID            NAME   MODE        REPLICAS  IMAGE
    gy0slheb99he  web_t  replicated  1/1       nginx:1.12

通过REPLICAS项目可以看到集群节点的启动状况，”/”左面是集群中启动的个数，”/”右面是集群节点的总个数。

[root@foundation3 docker]# docker service ps web_t
    ID            NAME     IMAGE       NODE                         DESIRED STATE  CURRENT STATE          ERROR  PORTS
    6qzlzycuageu  web_t.1  nginx:1.12  Nored.example.com  Running        Running 4 minutes ago

docker service ps可以看到集群节点具体运行在哪台机器上。运行时间等。本次是单节点集群，我们可以看到，容器就运行在本机上。

## **3.部署多节点集群** ##

[root@foundation3 docker]# docker service create --replicas 3 --name web_a nginx:1.12

添加–replicas 3就是代表集群的个数变为3。manager会将容器平均分配到三个节点上

[root@foundation3 docker]# docker service ls
    ID            NAME   MODE        REPLICAS  IMAGE
    q8dsqiesl347  web_a  replicated  3/3       nginx:1.12

通过docker service ls 可以看到三个节点均运行了起来。

[root@foundation3 docker]# docker service ps web_a
    ID            NAME     IMAGE       NODE                         DESIRED STATE  CURRENT STATE          ERROR  PORTS
    5pavjoz2f7wi  web_a.1  nginx:1.12  worker1.mo.com               Running        Running 6 minutes ago         
    ug3hbmlfy95g  web_a.2  nginx:1.12  foundation3.ilt.example.com  Running        Running 6 minutes ago         
    94dyllk3k1sg  web_a.3  nginx:1.12  worker2.mo.com               Running        Running 6 minutes ago

通过docker service ps 可以看到nginx容器分别运行在三台不同的主机上，为了证明他在另一台主机上运行，我们登陆其中的worker1.mo.com

[root@worker2 ~]# docker ps
    CONTAINER ID        IMAGE                                                                           COMMAND                  CREATED             STATUS              PORTS               NAMES
    ed905660baeb        nginx@sha256:0d71ff22db29a08ac7399d1b35b0311c5b0cbe68d878993718275758811f652a   "nginx -g 'daemon ..."   29 minutes ago      Up 29 minutes       80/tcp              web_a.3.94dyllk3k1sgy44fha1ho0kss
    e5423ea1a6aa

可以看到在docker2上这个容器正在运行。

## **4.部署服务过程踩过的坑(解释为什么每个节点都要从DockerHub上pull镜像)** ##

我在第一次部署服务的时候由于node1,node2无法联网，所以将Manager上pull下来的镜像直接save成了tar包，在node1,node2上使用load导入这个tar包后部署的nginx服务，但是发现容器只能在manager上运行，接下来问题重现。  
**将你的node1与node2与外网的连接断开**

[root@worker2 ~]# ls | grep nginx_1.12.tar 
    nginx_1.12.tar

这个是Nginx镜像的tar包我们将他导入到node1和node2上。在这之前删掉原本有的nginx镜像

docker rmi nginx:1.12

导入镜像

[root@worker2 ~]# docker load -i nginx_1.13.tar 
    Loaded image: nginx:1.12
    f12c15fc56f1: Loading layer [==================================================>] 52.75 MB/52.75 MB
    08e6bf75740d: Loading layer [==================================================>] 3.584 kB/3.584 kB
    Loaded image ID: sha256:17daebd00e2c95abb02cd48bcbf562c1993460d40d626501f23985126ea26b21
    Loaded image ID: sha256:3448f27c273f3122fc554d7acf33796efb4df2ad9886efc092c3bfe716e897b7

现在开始重新部署服务

[root@foundation3 images]# docker service create --replicas 3 --name web nginx:1.12
    x4s7b1iccoebir6avpdnwjcb2

查看集群状态

[root@foundation3 images]# docker service ps web
    ID            NAME       IMAGE       NODE                         DESIRED STATE  CURRENT STATE            ERROR                             PORTS
    gf040hgh3krc  web.1      nginx:1.12  foundation3.ilt.example.com  Running        Preparing 3 seconds ago                                    
    jradnn5lgvxl  web.2      nginx:1.12  worker2.mo.com               Ready          Rejected 1 second ago    "No such image: nginx@sha256:0…"  
    tez20wghmtpf   \_ web.2  nginx:1.12  worker2.mo.com               Shutdown       Rejected 3 seconds ago   "No such image: nginx@sha256:0…"  
    yge4dufnmozw  web.3      nginx:1.12  worker1.mo.com               Ready          Rejected 1 second ago    "No such image: nginx@sha256:0…"  
    esprx0otnwj5   \_ web.3  nginx:1.12  worker1.mo.com               Shutdown       Rejected 2 seconds ago   "No such image: nginx@sha256:0…"

可以看到明明在node1,node2上load nginx:1.12的镜像了怎么会创建失败呢。根据ps的显示node1,node2拒绝了的原因是没有nginx的镜像，仔细看后发现后面还有个@sha….，我们猜测是不是由于我们导入的镜像的@后面的值和manager上的不一致导致node1,node2拒绝创建的呢。  
现在就引出了一个问题，就是我们如何确定nginx:1.12镜像就是官方给的那个镜像呢，根据后面的tag吗，显然不够安全，这时就需要一个类似于hash签名的东西来标记，但在docker这里这个值叫digests。我们查看下manager上nginx:1.12的digests。

[root@foundation3 images]# docker images --digests|grep nginx
    nginx                         1.12                sha256:0d71ff22db29a08ac7399d1b35b0311c5b0cbe68d878993718275758811f652a   17daebd00e2c        2 weeks ago         109 MB

再看下node2上的nginx:1.12镜像的digests呢

[root@worker2 ~]# docker images --digests
    REPOSITORY          TAG                 DIGEST              IMAGE ID            CREATED             SIZE
    nginx               1.12                <none>              17daebd00e2c        2 weeks ago         109 MB

可以看到是一个none。看到这里我想大家应该明白为什么重新部署的这次服务失败了，因为虽然我们自己可以确定那个nginx镜像是我们自己save再load过去的，但是docker无法解析根据这个tag解析出digests所以认为镜像不同，导致服务创建失败。  
**解决方法**：目前只能让你的所有节点都连上网，如果你的镜像在save过程没有出错的话，那么我们现在将node1,node2连上外网，再重新部署集群node1,node2上的docker就会自己去DockerHub上查询tag对应的digests了，也就部署成功了。但是有些环境下，我们的节点无法连接外网该怎么办呢，目前还没有解决，解决之后我会马上更新告诉大家。本部分涉及的像digests这些知识点在[Docker官网链接][Docker]。

# **三.创建服务时的详细参数配置与更新部署的服务** #

**1.将主机中的文件挂载到服务中**

[root@foundation3 tmp]# docker service create --name web --mount type=bind,src=/tmp/in_in,dst=/ini  nginx:1.12

将本机中的/tmp/in\_in文件挂载到容器中的/ini上。这个参数与docker run中的-v差不多，但是要记住指定type。  
![type类型][type](图片引自Docker官网)  
**只读挂载**

[root@foundation3 ~]# docker service create --mount type=bind,src=/tmp/in_in,dst=/in,ro=true --name web nginx:1.12

默认挂载是读写挂载的，如果你不希望容器修改数据，请加上ro=true参数。

**2.创建时更新方法的配置**

docker service create \
      --replicas 12 \   --name my_web \   --update-delay 10s \   --update-parallelism 2 \   --update-failure-action continue \   nginx:1.12

上面是创建了一个节点的docker集群，通过指定”–update-delay”来确定每组更新的间隔，”–update-parallelism”来确定同时更新的容器数量，”–update-failure-action continue”来却id那个当更新失败时候执行的操作，是继续允许还是不继续。

docker service update \
      --rollback \   --update-delay 0s   web

上面是回滚服务使用的命令。

[SouthEast]: /images/20220615/7b7a289e900944688697334dbe47c8f6.png
[docker swarm]: https://docs.docker.com/engine/swarm/swarm-tutorial/create-swarm/
[DaoCloud _]: http://www.daocloud.io/
[SouthEast 1]: /images/20220615/dfbf94b202e14b8f86bc0c52dfe60c94.png
[SouthEast 2]: /images/20220615/12eb6d451bee4699a4e1ecb2b0df4929.png
[SouthEast 3]: /images/20220615/a2bfdccab5d0417b809ef0abd504aee0.png
[SouthEast 4]: /images/20220615/3f70085dee594223a365f04c03da8138.png
[Docker]: https://docs.docker.com/engine/swarm/services/#update-a-services-image-after-creation
[type]: /images/20220615/69f70b5f29de4ad5bf84c99ed9f537d5.png