Docker+Rancher容器部署Spring Cloud项目

阳光穿透心脏的1/2处 2022-04-11 10:16 741阅读 0赞

### 部署eureka和config ###

最后我们在rancher上部署eureka和config项目，首先我们需要在本地创建这两个项目的docker镜像，然后推送到网易云镜像仓库上。

关于使用Docker部署项目以及Rancher的安装及使用，可以参考我另外两篇文章，本文则不再赘述了：

*  [Docker化你的SpringBoot项目][Docker_SpringBoot]
 *  [安装 Rancher2.x 并部署工作负载][Rancher2.x]

在eureka项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine
    
    MAINTAINER zeroJun xxx@example.com
    
    ADD target/*.jar app.jar
    
    EXPOSE 8761
    
    ENTRYPOINT ["java", "-jar", "/app.jar"]

然后push到git仓库上，接着到服务器上，克隆这个仓库，并且登录你的网易云镜像仓库账户：

[root@01server ~]# cd /tmp
    [root@01server /tmp]# git clone git@gitee.com:Zero-One/eureka.git
    ...
    [root@01server /tmp]# cd eureka/
    [root@01server /tmp/eureka]# docker login -u {登录账号} -p {你的网易云密码} hub.c.163.com
    [root@01server /tmp/eureka]#

注：由于windows下不太方便使用docker，所以我将项目上传到远程的git仓库，然后在一台CentOS服务器上完成这些操作。

编写一个简单的shell脚本来完成build镜像的工作：

[root@01server /tmp/eureka]# vim build_eureka.sh
    #!/bin/bash
    mvn clean package -Dmaven.test.skip=true
    docker build -t hub.c.163.com/zerojun/eureka .
    docker push hub.c.163.com/zerojun/eureka
    [root@01server /tmp/eureka]#

运行脚本：

[root@01server /tmp/eureka]# sh ./build_eureka.sh

脚本执行完成后，到镜像仓库上可以看到镜像已经成功push上来了：  
![容器部署Spring Cloud项目][Spring Cloud]

--------------------

完成eureka镜像的build后，我们使用同样的套路build config项目的docker镜像。同样的，在config项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine
    
    MAINTAINER zeroJun xxx@example.com
    
    ADD target/*.jar app.jar
    
    EXPOSE 8080
    
    ENTRYPOINT ["java", "-jar", "/app.jar"]

并且修改配置文件中eureka的地址为服务名称，如下：

eureka:
      client:
        service-url:
          defaultZone: http://eureka:8761/eureka/  # 修改为rancher上的服务名称

然后push到git仓库上，接着到服务器上，克隆这个仓库，由于之前已经登录过网易云镜像仓库账户，所以不用登录了：

[root@01server /tmp]# git clone git@gitee.com:Zero-One/config.git
    ...
    [root@01server /tmp]# cd config/
    [root@01server /tmp/config]#

同样编写一个简单的shell脚本来完成build镜像的工作：

[root@01server /tmp/config]# vim build_config.sh
    #!/bin/bash
    mvn clean package -Dmaven.test.skip=true
    docker build -t hub.c.163.com/zerojun/config .
    docker push hub.c.163.com/zerojun/config
    [root@01server /tmp/config]#

运行脚本：

[root@01server /tmp/config]# sh ./build_config.sh

--------------------

脚本执行完成后，此时镜像仓库上就有eureka和config的镜像了：  
![容器部署Spring Cloud项目][Spring Cloud 1]

默认push的镜像都是私有的访问权限，我们需要设置为公开的，否则无法被外部访问：  
![容器部署Spring Cloud项目][Spring Cloud 2]

点击镜像可以查看到镜像仓库详情，复制镜像的下载地址：  
![容器部署Spring Cloud项目][Spring Cloud 3]

到rancher上部署工作负载：  
![容器部署Spring Cloud项目][Spring Cloud 4]

部署完成：  
![容器部署Spring Cloud项目][Spring Cloud 5]

使用浏览器看看是否能访问到eureka的信息面板：  
![容器部署Spring Cloud项目][Spring Cloud 6]

eureka部署成功后，使用同样的方式去部署config：  
![容器部署Spring Cloud项目][Spring Cloud 7]

不过我这里部署config失败，错误日志如下，提示无法启动内嵌的Tomcat：  
![容器部署Spring Cloud项目][Spring Cloud 8]

尝试多次更改配置后，最后发现原来在pom.xml中，需要增加如下依赖（然而我本地没这个依赖运行却是正常的）：

<dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-config-server</artifactId>
    </dependency>

并且需要修改配置文件如下：

spring:
      application:
        name: config
      cloud:
        config:
          server:
            git:
              uri: https://gitee.com/Zero-One/config-repo
              username: username
              password: password
      rabbitmq:
        host: 127.0.0.1
        port: 5672
        username: username
        password: password
    eureka:
      client:
        service-url:
          defaultZone: http://192.168.190.130/eureka/  # 修改为主机ip
      instance:
        prefer-ip-address: true  # 让eureka上的地址能够跳转到实例的ip地址
    management:
      endpoints:
        web:
          exposure:
            include: "*"

修改之后，需要重新push代码并build镜像，接着再到rancher上重新部署，这次就部署成功了：  
![容器部署Spring Cloud项目][Spring Cloud 9]

也成功在注册中心注册上了：  
![容器部署Spring Cloud项目][Spring Cloud 10]

但是我在浏览器上尝试去访问配置文件的时候无法访问，错误提示无法克隆仓库：

Cannot clone or checkout repository: https://gitee.com/Zero-One/config-repo

浏览器返回的信息如下：  
![容器部署Spring Cloud项目][Spring Cloud 11]

经过一番排查后，发现是这个容器内无法ping通外网，所以无法克隆远程的仓库。确定问题后，马上查找不能ping通外网的原因。发现是因为Alpine系统使用了musl libc，与其他Linux发行版使用的glibc实现会有所不同，即musl实现的DNS服务不会使用resolv.conf文件中的search和domain两个配置。于是进入到容器中手动配置一下DNS解析，如下：

# vi /etc/resolv.conf
    nameserver 218.2.135.1
    nameserver 202.102.24.35

另一个方法是到rancher上修改容器的网络设置，这种方式会方便一些，因为容器会经常销毁、重建，每次都手动去配置DNS比较麻烦。如下：  
![容器部署Spring Cloud项目][Spring Cloud 12]

注：使用这种方法会导致无法使用rancher的服务发现功能，也就是不能配置rancher里的服务名了，只能配置主机的ip地址

问题解决后，这时终于能够成功访问到配置文件了：  
![容器部署Spring Cloud项目][Spring Cloud 13]

--------------------

### 构建eureka高可用服务 ###

在上一小节中，我们完成了eureka和config服务的部署，也解决了一些坑，但是还有个问题，就是目前eureka是单点的。eureka作为整个服务的注册中心，必然是需要高可用的，所以本小节我们来看看如何构建eureka高可用服务。首先创建application-eureka1.yml和application-eureka2.yml两个配置文件，如下：  
![容器部署Spring Cloud项目][Spring Cloud 14]

application-eureka1.yml内容如下：

eureka:
      client:
        service-url:
          defaultZone: http://eureka2:8762/eureka/
        register-with-eureka: false
      server:
        enable-self-preservation: false
    spring:
      application:
        name: eureka
    server:
      port: 8761

application-eureka2.yml内容如下：

eureka:
      client:
        service-url:
          defaultZone: http://eureka1:8761/eureka/
        register-with-eureka: false
      server:
        enable-self-preservation: false
    spring:
      application:
        name: eureka
    server:
      port: 8762

application.yml文件内容如下，默认选择eureka1：

spring:
      profiles:
        active: eureka1

然后push这些改动到远程的git仓库上，然后到服务器上拉取代码并重新build镜像：

[root@01server ~]# cd /tmp/eureka/
    [root@01server /tmp/eureka]# git pull origin master
    ...
    [root@01server /tmp/eureka]# sh ./build_eureka.sh
    [root@01server /tmp/eureka]#

镜像制作完成并推送到仓库上后，到rancher上删除之前的eureka，然后部署eureka1：  
![容器部署Spring Cloud项目][Spring Cloud 15]

接着部署eureka2：  
![容器部署Spring Cloud项目][Spring Cloud 16]

相对的，config也需要修改一下配置文件，需要增加eureka节点，如下：

eureka:
      client:
        service-url:
          defaultZone: http://192.168.190.130:8761/eureka/,http://192.168.190.130:8762/eureka/
      instance:
        prefer-ip-address: true

修改完之后，也需要重新build，重新部署一下：  
![容器部署Spring Cloud项目][Spring Cloud 17]

至于config的高可用这里就不演示了，因为config也属于一个服务，只需要部署多个config注册到eureka上就可以实现高可用了

--------------------

### 构建product服务 ###

这一小节我们来部署product服务，首先需要修改配置文件，将mysql、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则product服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
      cloud:
        config:
          discovery:
            enabled: true
            service-id: CONFIG
          profile: dev
      application:
        name: product
    eureka:
      client:
        service-url:
          defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
      instance:
        prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
      application:
        name: product
      datasource:
        driver-class-name: com.mysql.jdbc.Driver
        username: root
        password: password
        url: jdbc:mysql://192.168.190.129:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
      jpa:
        show-sql: true
      rabbitmq:
        host: 127.0.0.1
        port: 5672
        username: username
        password: password

与之前的过程类似，在product项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine
    
    MAINTAINER zeroJun xxx@example.com
    
    ADD sell_product-server/target/*.jar app.jar
    
    EXPOSE 8080
    
    ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[root@01server ~]# cd /tmp
    [root@01server /tmp]# git clone git@gitee.com:Zero-One/product.git
    ...
    [root@01server /tmp]# cd product/
    # 因为order服务需要用到product服务里的client模块所以需要安装一下
    [root@01server /tmp/product]# mvn clean package -Dmaven.test.skip=true install  
    [root@01server /tmp/product]# vim build_product.sh
    #!/bin/bash
    mvn clean package -Dmaven.test.skip=true
    docker build -t hub.c.163.com/zerojun/product .
    docker push hub.c.163.com/zerojun/product
    [root@01server /tmp/product]# sh ./build_product.sh
    ...
    [root@01server /tmp/product]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：  
![容器部署Spring Cloud项目][Spring Cloud 18]

镜像准备好后，到rancher上，部署服务：  
![容器部署Spring Cloud项目][Spring Cloud 19]

如果你的product服务，需要通过域名访问外网服务的话，记得进入容器中手动配置一下DNS解析地址：

# vi /etc/network/resolv.conf
    nameserver 218.2.135.1
    nameserver 202.102.24.35

或设置容器的网络：  
![容器部署Spring Cloud项目][Spring Cloud 20]

部署成功：  
![容器部署Spring Cloud项目][Spring Cloud 21]

通过浏览器测试接口成功：  
![容器部署Spring Cloud项目][Spring Cloud 22]

--------------------

### 构建order服务 ###

构建完product服务后，这一小节我们来部署order服务，首先需要修改配置文件，将mysql、rabbitmq、zipkin的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则order服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
      cloud:
        config:
          discovery:
            enabled: true
            service-id: CONFIG
          profile: dev
      application:
        name: order
    eureka:
      client:
        service-url:
          defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
      instance:
        prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
      application:
        name: order
      datasource:
        driver-class-name: com.mysql.jdbc.Driver
        username: root
        password: password
        url: jdbc:mysql://192.168.190.130:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
      jpa:
        show-sql: true
      rabbitmq:
        host: 127.0.0.1
        port: 5672
        username: username
        password: password
      redis:
        port: 6379
        host: 127.0.0.1     
        stream:
          bindings:
            myMessageOutput:
              group: order
              content-type: application/json
      zipkin:
        base-url: http://127.0.0.1:9411/
        sender:
          type: web
      sleuth:
        sampler:
          probability: 1
    
    hystrix:
      command:
        default:
          execution:
            isolation:
              thread:
                timeoutInMilliseconds: 6000
          circuitBreaker:
            enabled: true
            requestVolumeThreshold: 10
            sleepWindowInMilliseconds: 10000
            errorThresholdPercentage: 60
    
    feign:
      client:
        config:
          default:
            connectTimeout: 5000
            readTimeout: 5000
            loggerLevel: basic
      hystrix:
        enabled: true
    
    logging:
      level:
        org.springframework.cloud.openfeign: debug
    
    env:
      dev

在order项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine
    
    MAINTAINER zeroJun xxx@example.com
    
    ADD sell_order-server/target/*.jar app.jar
    
    EXPOSE 8080
    
    ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[root@01server ~]# cd /tmp/
    [root@01server /tmp]# git clone git@gitee.com:Zero-One/order.git
    ...
    [root@01server /tmp]# cd order/
    [root@01server /tmp/order]# vim build_order.sh
    #!/bin/bash
    mvn clean package -Dmaven.test.skip=true
    docker build -t hub.c.163.com/zerojun/order .
    docker push hub.c.163.com/zerojun/order
    [root@01server /tmp/order]# sh ./build_product.sh
    ...
    [root@01server /tmp/order]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：  
![容器部署Spring Cloud项目][Spring Cloud 23]

镜像准备好后，到rancher上，部署order服务：  
![容器部署Spring Cloud项目][Spring Cloud 24]

部署成功：  
![容器部署Spring Cloud项目][Spring Cloud 25]

通过postman测试接口成功：  
![容器部署Spring Cloud项目][Spring Cloud 26]

--------------------

### 构建api-gateway ###

构建完order服务后，最后我们来部署api-gateway服务，首先需要修改配置文件，将redis、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则api-gateway服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
      cloud:
        config:
          discovery:
            enabled: true
            service-id: CONFIG
          profile: dev
      application:
        name: api-gateway
    eureka:
      client:
        service-url:
          defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
      instance:
        prefer-ip-address: true

修改远程git仓库上的api-gateway-dev.yml文件内容如下：

spring:
      application:
        name: api-gateway
      redis:
        port: 6379
        host: 127.0.0.1
      rabbitmq:
        host: 127.0.0.1
        port: 5672
        username: username
        password: password
    zuul:
      # 全局忽略敏感头
      sensitive-headers: 
      host:
        connect-timeout-millis: 10000
        socket-timeout-millis: 60000
      routes:
        yourProduct:
          path: /myProduct/**
          serviceId: product
      ignored-patterns:
        - /**/buyer/product/listForOrder
    
    ribbon:
      ReadTimeout: 30000
      SocketTimeout: 30000
    hystrix:
      command:
        default:
          execution:
            isolation:
              thread:
                timeoutInMilliseconds: 62000

在api-gateway项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine
    
    MAINTAINER zeroJun xxx@example.com
    
    ADD target/*.jar app.jar
    
    EXPOSE 8080
    
    ENTRYPOINT ["java", "-jar", "/app.jar"]

[root@01server ~]# cd /tmp/
    [root@01server /tmp]# git clone git@gitee.com:Zero-One/api-gateway.git
    ...
    [root@01server /tmp]# cd api-gateway/
    [root@01server /tmp/api-gateway]# vim build_aip-gateway.sh
    #!/bin/bash
    mvn clean package -Dmaven.test.skip=true
    docker build -t hub.c.163.com/zerojun/api-gateway .
    docker push hub.c.163.com/zerojun/api-gateway
    [root@01server /tmp/api-gateway]# sh ./build_aip-gateway.sh
    ...
    [root@01server /tmp/api-gateway]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：  
![容器部署Spring Cloud项目][Spring Cloud 27]

镜像准备好后，到rancher上，部署api-gateway服务：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70][]

部署成功：  
![容器部署Spring Cloud项目][Spring Cloud 28]

Spring Cloud的架构图如下所示，Zuul(api-gateway)一般由负载均衡组成  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 1][]

添加bl-api-gateway负载均衡服务  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 3][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 4][]  
在api-gateway建立高可用的Zuul服务，使得bl-api-gateway服务在api-gateway的两个服务之间切换实现负载均衡  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 5][]  
测试接口成功：  
![容器部署Spring Cloud项目][Spring Cloud 29]

到此为止，我们就通过Docker和Rancher完成了整个微服务项目的部署。

[Docker_SpringBoot]: http://blog.51cto.com/zero01/2173463
[Rancher2.x]: http://blog.51cto.com/zero01/2168999
[Spring Cloud]: /images/20220411/8cb2eb86e51b494b884d200b696cf4d1.png
[Spring Cloud 1]: /images/20220411/0cc616ccd4c14ad8be497d8650b2a766.png
[Spring Cloud 2]: /images/20220411/e4e233458dea4820bf92815ec51ac833.png
[Spring Cloud 3]: /images/20220411/91dc40d992db40c28370618dd8ec8678.png
[Spring Cloud 4]: /images/20220411/a33a8068b5004a8cb65369aeda2753dc.png
[Spring Cloud 5]: /images/20220411/16316ab42fa6435fa8772aa25126efbe.png
[Spring Cloud 6]: /images/20220411/2a894e3c669c4aa59463d7392dc4d7c8.png
[Spring Cloud 7]: /images/20220411/d1f366212a4f47d69e7169997ec642b1.png
[Spring Cloud 8]: /images/20220411/e0b5b800146c485a90a170af4c1a4290.png
[Spring Cloud 9]: /images/20220411/db11c266e4c8410dbefd250f9cd6c784.png
[Spring Cloud 10]: /images/20220411/5cd633f331974f68a505dbc3a1b8e316.png
[Spring Cloud 11]: /images/20220411/b7b79b398cab4deeb540d8b80248074e.png
[Spring Cloud 12]: /images/20220411/918ef115c7ee489990991f99a7913b7d.png
[Spring Cloud 13]: /images/20220411/44b4d1db2ba2432c8bba341765616b61.png
[Spring Cloud 14]: /images/20220411/9ac41b90404a43e7946aea75df0ee86e.png
[Spring Cloud 15]: /images/20220411/cf1fcc58c44946709ad9b5dfc435f490.png
[Spring Cloud 16]: /images/20220411/d85afde4da2e497bbb3960196b91edf0.png
[Spring Cloud 17]: /images/20220411/1bec7d0ebbbb41468aeedc941ad2c47d.png
[Spring Cloud 18]: /images/20220411/0dc5c4a576ad4544b41b2e89aae87aa8.png
[Spring Cloud 19]: /images/20220411/97584a4bc5dd492bb2bf8dbf2dff8c4d.png
[Spring Cloud 20]: /images/20220411/7107efff6a3c468c9f3fc4dee367cd1d.png
[Spring Cloud 21]: /images/20220411/9e1098d6718746d7b72ce3b271fd98f3.png
[Spring Cloud 22]: /images/20220411/c8305dc596764265bc210bce81aa24c6.png
[Spring Cloud 23]: /images/20220411/c14e4b4e3b91490597fa92b72d061184.png
[Spring Cloud 24]: /images/20220411/ba6c2c9db7b646d8be3d5228677123ae.png
[Spring Cloud 25]: /images/20220411/9433653563a445bab7f49b94b2948c49.png
[Spring Cloud 26]: /images/20220411/7c29b7dd0d1c487395903356b8fccfff.png
[Spring Cloud 27]: /images/20220411/32f11ae96fa24159bc11ed4386c4b724.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70]: /images/20220411/3dba3a6baf9f45fea0db3ba27b2991e6.png
[Spring Cloud 28]: /images/20220411/75742eb09571404a99a7ab2ff05f8a9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 1]: /images/20220411/9d0f6f930c334f4f8ee3f4cb0221fd4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 2]: /images/20220411/b2527439da1e46a6a0a55c99f8ad8a3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 3]: /images/20220411/04edf0336256421fa175eeb5d9f0b277.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 4]: /images/20220411/2ec16f7343224750bea7bd73b78ed167.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMjY3Mzc4_size_16_color_FFFFFF_t_70 5]: /images/20220411/bf30b40b122a47b59cad2a4082c0e38b.png
[Spring Cloud 29]: /images/20220411/66f1c1297f744e01a2eb53d36f24049f.png