Harbor管理docker镜像（1.7.5版本-主从复制）

￡神魔★判官ぃ 2022-01-15 12:15 313阅读 0赞

**harbor简介**

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制，镜像全部保存在私有Registry中， 确保数据和知识产权在公司内部网络中管控。另外，Harbor也提供了高级的安全特性，诸如用户管理，访问控制和活动审计等。

**harbor组件**

Harbor在架构上主要由6个组件构成：

Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
    Registry： 负责储存Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker 
    pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
    Core services： 这是Harbor的核心功能，主要提供以下服务：
    UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
    webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
    token 服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
    Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
    Job Services：提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。
    Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析

Harbor实现组成

[root@localhost harbor]# docker-compose ps
           Name                     Command                  State                                    Ports                              
    -------------------------------------------------------------------------------------------------------------------------------------
    harbor-adminserver   /harbor/start.sh                 Up (healthy)                                                                   
    harbor-core          /harbor/start.sh                 Up (healthy)                                                                   
    harbor-db            /entrypoint.sh postgres          Up (healthy)   5432/tcp                                                        
    harbor-jobservice    /harbor/start.sh                 Up                                                                             
    harbor-log           /bin/sh -c /usr/local/bin/ ...   Up (healthy)   127.0.0.1:1514->10514/tcp                                       
    harbor-portal        nginx -g daemon off;             Up (healthy)   80/tcp                                                          
    nginx                nginx -g daemon off;             Up (healthy)   0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp
    redis                docker-entrypoint.sh redis ...   Up             6379/tcp                                                        
    registry             /entrypoint.sh /etc/regist ...   Up (healthy)   5000/tcp                                                        
    registryctl          /harbor/start.sh                 Up (healthy)

每个组件都是以Docker容器的形式构建的，官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,这个模板文件写明，Harbor是由7个容器组成的；

nginx：nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，所以开放https的443端口，它将流量分发到后端的ui和正在docker镜像存储的docker registry。
    harbor-jobservice：harbor-jobservice 是harbor的job管理模块，job在harbor里面主要是为了镜像仓库之前同步使用的;
    harbor-ui：harbor-ui是web管理页面，主要是前端的页面和后端CURD的接口;
    registry：registry就是docker原生的仓库，负责保存镜像。
    harbor-adminserver：harbor-adminserver是harbor系统管理接口，可以修改系统配置以及获取系统信息。
    这几个容器通过Docker link的形式连接在一起，在容器之间通过容器名字互相访问。对终端用户而言，只需要暴露proxy （即Nginx）的服务端口。
    harbor-db：harbor-db是harbor的数据库，这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据，在生产环节大多对接到企业的ldap中；
    harbor-log：harbor-log是harbor的日志服务，统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。

**服务器准备**

<table> 
 <tbody> 
  <tr> 
   <td>主机<br></td> 
   <td>系统及配置<br></td> 
   <td>docker版本<br></td> 
   <td>docker-compose版本<br></td> 
   <td>harbor版本<br></td> 
  </tr> 
  <tr> 
   <td>192.168.0.201（主）<br></td> 
   <td>centos7.2&nbsp;&nbsp; 2核2G 30G盘<br></td> 
   <td>18.09.5<br></td> 
   <td>1.24.0</td> 
   <td>1.7.5<br></td> 
  </tr> 
  <tr> 
   <td>192.168.0.202（从）<br></td> 
   <td>centos7.2&nbsp;&nbsp; 2核2G 30G盘<br></td> 
   <td>18.09.5</td> 
   <td>1.24.0</td> 
   <td>1.7.5<br></td> 
  </tr> 
 </tbody> 
</table>

安装centos7.2系统，最小化安装

设置好网络和防火墙  网络需要能访问外网，

ip 192.168.0.201（主）  192.168.0.202（从）

下面关闭防火墙

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

sed -i 's/enforcing/disabled/g' /etc/sysconfig/selinux

**设置yum源**

cd /etc/yum.repos.d/

yum install vim unzip lrzsz wget net-tools -y

wget [http://mirrors.aliyun.com/repo/Centos-7.repo][http_mirrors.aliyun.com_repo_Centos-7.repo]

wget [http://mirrors.aliyun.com/repo/epel-7.repo][http_mirrors.aliyun.com_repo_epel-7.repo]

yum -y install epel-release

**安装docker**

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
    yum clean all  && yum makecache fast
    yum install docker-ce -y 
    systemctl enable docker && systemctl restart docker
    
    修改docker启动文件并重启docker
    vim /usr/lib/systemd/system/docker.service
    ExecStart=/usr/bin/dockerd --insecure-registry 192.168.0.201    #修改此处增加橙色内容（后面ip可换成域名）
    systemctl daemon-reload
    systemctl restart docker

[root@localhost harbor]# docker version
    Client:
     Version:           18.09.5
     API version:       1.39
     Go version:        go1.10.8
     Git commit:        e8ff056
     Built:             Thu Apr 11 04:43:34 2019
     OS/Arch:           linux/amd64
     Experimental:      false

**安装docker-compose**

yum install python-pip -y  
pip install --upgrade pip  
pip install docker-compose \#默认最新版本，可以使用 docker-compose==version指定安装版本  
docker-compose -version

[root@localhost harbor]# docker-compose -v
    docker-compose version 1.24.0, build 0aa5906

**安装Harbor**

harbor有offline和online两种，这里选offline，下载地址[https://github.com/goharbor/harbor/releases][https_github.com_goharbor_harbor_releases]

![图片.png][.png]

wget方式无法正常下载或者速度超慢，建议先用浏览器下载  然后上传到两个机器，

wget [https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-offline-installer-v1.7.5.tgz][https_storage.googleapis.com_harbor-releases_release-1.7.0_harbor-offline-installer-v1.7.5.tgz]

cd /home

tar xf harbor-offline-installer-v1.7.5.tgz.tar

cd harbor/

修改配置文件

多数信息无需更改，把hostname变成自己的域名或者ip即可，其他可以保持不变，/data/cert 目录自行需要创建。

mkdir -p /data/cert

vim harbor.cfg

\[root@localhost harbor\]\# cat harbor.cfg |grep -v "^\#"|grep -v "^$"

_version = 1.7.0
    hostname = 192.168.0.201
    ui_url_protocol = http
    max_job_workers = 10 
    customize_crt = on
    ssl_cert = /data/cert/server.crt
    ssl_cert_key = /data/cert/server.key
    secretkey_path = /data
    admiral_url = NA
    log_rotate_count = 50
    log_rotate_size = 200M
    http_proxy =
    https_proxy =
    no_proxy = 127.0.0.1,localhost,core,registry
    email_identity = 
    email_server = smtp.mydomain.com
    email_server_port = 25
    email_username = sample_admin@mydomain.com
    email_password = abc
    email_from = admin <sample_admin@mydomain.com>
    email_ssl = false
    email_insecure = false
    harbor_admin_password = Harbor12345
    auth_mode = db_auth
    ldap_url = ldaps://ldap.mydomain.com
    ldap_basedn = ou=people,dc=mydomain,dc=com
    ldap_uid = uid 
    ldap_scope = 2 
    ldap_timeout = 5
    ldap_verify_cert = true
    ldap_group_basedn = ou=group,dc=mydomain,dc=com
    ldap_group_filter = objectclass=group
    ldap_group_gid = cn
    ldap_group_scope = 2
    self_registration = on
    token_expiration = 30
    project_creation_restriction = everyone
    db_host = postgresql
    db_password = root123
    db_port = 5432
    db_user = postgres
    redis_host = redis
    redis_port = 6379
    redis_password = 
    redis_db_index = 1,2,3
    clair_db_host = postgresql
    clair_db_password = root123
    clair_db_port = 5432
    clair_db_username = postgres
    clair_db = postgres
    clair_updaters_interval = 12
    uaa_endpoint = uaa.mydomain.org
    uaa_clientid = id
    uaa_clientsecret = secret
    uaa_verify_cert = true
    uaa_ca_cert = /path/to/ca.pem
    registry_storage_provider_name = filesystem
    registry_storage_provider_config =
    registry_custom_ca_bundle =

执行安装

./install

执行命令，Harbor服务就会根据当期目录下的`docker-compose.yml`开始下载依赖的镜像，检测并按照顺序依次启动各个服务

用docker-compose ps 命令查看

Harbor的启动和停止命令：

启动Harbor
    # docker-compose start
    停止Harbor
    # docker-comose stop
    重启Harbor
    # docker-compose restart

================================

以上步骤两个机器都做

================================

然后浏览器登陆[http://192.168.0.201/][http_192.168.0.201]

账户密码是默认admin / Harbor12345

![QQ截图20190430161245.jpg][QQ_20190430161245.jpg]

![QQ截图20190430161314.jpg][QQ_20190430161314.jpg]

创建test01项目，非公开

如果是非公开模式，要使用docker login 192.168.0.201 登陆  才能上传下载镜像；

如果想其他机器直接访问拉取，可以设置为公开，docker pull 192.168.0.201/test01/busybox:latest  命令才不会出login的错误。

![QQ截图20190430161824.jpg][QQ_20190430161824.jpg]

![QQ截图20190430161838.jpg][QQ_20190430161838.jpg]

项目创建完成后，回到201服务器上，用命令操作镜像

下载nginx和busybox原始镜像

docker pull nginx  
docker pull busybox

给镜像打test01项目标签

docker tag busybox:latest 192.168.0.201/test01/busybox:latest  
docker tag nginx:latest 192.168.0.201/test01/nginx:latest  
  
接着登录    docker login 192.168.0.201

用admin，密码Harbor12345
    Username (admin): admin
    Password: 
    Login Succeeded

登陆后将镜像push到仓库

docker push 192.168.0.201/test01/nginx  
docker push 192.168.0.201/test01/busybox

测试本地仓库中拉取镜像

docker pull 192.168.0.201/test01/nginx:latest

本机可以直接拉取

其他机器需要修改docker的配置 ，增加 --insecure-registry 192.168.0.201  然后重启docker才行

并且要求test01项目是设置为公开的，才能直接拉取，否则必须用docker login 192.168.0.201登录后才能拉取。

**下面设置主从复制**

从机器启动后，无需配置界面

主要在主机界面进行配置

仓库管理--新建目标--设置从仓库

![QQ截图20190430165246.jpg][QQ_20190430165246.jpg]

然后 复制管理--新建规则

源项目是指主机器上要同步的项目，比如之前创建的test01

目标指的是 从机器

![QQ截图20190430165914.jpg][QQ_20190430165914.jpg]

设置完成后 可以看到同步状态

![QQ截图20190430165947.jpg][QQ_20190430165947.jpg]

然后打开从机器的web界面查看是否成功，这里看到已经成功同步

![图片.png][.png 1]

可参考文章：

[https://www.cnblogs.com/panwenbin-logs/p/10218099.html][https_www.cnblogs.com_panwenbin-logs_p_10218099.html]

[https://www.jianshu.com/p/4f9474081c8a][https_www.jianshu.com_p_4f9474081c8a]

[https://www.cnblogs.com/pangguoping/p/7650014.html][https_www.cnblogs.com_pangguoping_p_7650014.html]

[https://blog.51cto.com/10950710/2301257][https_blog.51cto.com_10950710_2301257]

## Harbor配置TLS证书 ##

上面对Harbor的配置都是使用的http协议访问，但是我们工作中一般都是配置https访问。

下面演示一下怎么配置Harbor可以使用https访问，以及配置TLS证书都需要做哪些工作。

下面是简要步骤，详细请结合自己项目调整。

1 修改harbor配置

hostname = docker-hub.vonechain.com
    ui_url_protocol = https
    customize_crt = on
    ssl_cert = /data/cert/server.crt
    ssl_cert_key = /data/cert/server.key

2 增加hosts解析

cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.0.201  docker-hub.vonechain.com

3 生成自签名证书

mkdir -p /data/cert

cd /data/cert/

生成key文件

openssl genrsa -out /data/cert/server.key 2048

生成crt文件   \#\#注意CN

openssl req -x509 -new -nodes -key /data/cert/server.key -subj "/CN=docker-hub.vonechain.com" -days 5000 -out /data/cert/server.crt

[root@localhost cert]# ll
    总用量 8
    -rw-r--r-- 1 root root 1135 4月  30 21:01 server.crt
    -rw-r--r-- 1 root root 1679 4月  30 21:00 server.key

4 执行安装harbor

cd /home/harbor

./install     \#\#就会生成 https 连接了，https://docker-hub.vonechain.com.

Creating network "harbor_harbor" with the default driver
    Creating harbor-log ... done
    Creating harbor-db          ... done
    Creating harbor-adminserver ... done
    Creating redis              ... done
    Creating registryctl        ... done
    Creating registry           ... done
    Creating harbor-core        ... done
    Creating harbor-portal      ... done
    Creating harbor-jobservice  ... done
    Creating nginx              ... done
    ✔ ----Harbor has been installed and started successfully.----
    
    Now you should be able to visit the admin portal at https://docker-hub.vonechain.com. 
    For more details, please visit https://github.com/goharbor/harbor .

然后，windows访问https://docker-hub.vonechain.com  
需要添加本地hosts，界面配置test01项目并设置公开    然后在本机上作一些镜像上传

docker pull busybox

docker tag busybox:latest docker-hub.vonechain.com/test01/busybox:latest

docker login -u admin -p 'Harbor12345' docker-hub.vonechain.com

docker push docker-hub.vonechain.com/test01/busybox:latest

5 配置客户端 192.168.0.88

安装docker

yum install docker -y

增加hosts解析

192.168.0.201  docker-hub.vonechain.com

创建证书目录

mkdir -p /etc/docker/certs.d/docker-hub.vonechain.com

回到harbor主机上把crt文件复制过去

scp server.crt root@192.168.0.88:/etc/docker/certs.d/docker-hub.vonechain.com/

重启客户端docker

vim /usr/lib/systemd/system/docker.service
    ExecStart=/usr/bin/dockerd --insecure-registry docker-hub.vonechain.com

systemctl restart docker

执行拉取镜像

docker pull docker-hub.vonechain.com/test01/busybox:latest

[root@localhost ~]# docker pull docker-hub.vonechain.com/test01/busybox:latest
    Trying to pull repository docker-hub.vonechain.com/test01/busybox ... 
    latest: Pulling from docker-hub.vonechain.com/test01/busybox
    fc1a6b909f82: Pull complete 
    Digest: sha256:f79f7a10302c402c052973e3fa42be0344ae6453245669783a9e16da3d56d5b4
    Status: Downloaded newer image for docker-hub.vonechain.com/test01/busybox:latest
    [root@localhost ~]# docker images
    REPOSITORY        TAG     IMAGE ID       CREATED             SIZE
    docker-hub.vonechain.com/test01/busybox   latest     af2f74c517aa     3 weeks ago     1.2 MB

到此https模式可用了，所有客户端机器必须用ssl证书才能访问harbor

可参考：[https://www.cnblogs.com/pangguoping/p/7650014.html][https_www.cnblogs.com_pangguoping_p_7650014.html]

转载于:https://blog.51cto.com/superleedo/2387925

[http_mirrors.aliyun.com_repo_Centos-7.repo]: http://mirrors.aliyun.com/repo/Centos-7.repo
[http_mirrors.aliyun.com_repo_epel-7.repo]: http://mirrors.aliyun.com/repo/epel-7.repo
[https_github.com_goharbor_harbor_releases]: https://github.com/goharbor/harbor/releases
[.png]: https://s1.51cto.com/images/20190430/1556620182353370.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[https_storage.googleapis.com_harbor-releases_release-1.7.0_harbor-offline-installer-v1.7.5.tgz]: https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-offline-installer-v1.7.5.tgz
[http_192.168.0.201]: http://192.168.0.xn--201-6y3b
[QQ_20190430161245.jpg]: https://s1.51cto.com/images/20190430/1556622184671877.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430161314.jpg]: https://s1.51cto.com/images/20190430/1556622248444021.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430161824.jpg]: https://s1.51cto.com/images/20190430/1556622269461875.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430161838.jpg]: https://s1.51cto.com/images/20190430/1556622542715338.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430165246.jpg]: https://s1.51cto.com/images/20190430/1556623803754891.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430165914.jpg]: https://s1.51cto.com/images/20190430/1556623852587506.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[QQ_20190430165947.jpg]: https://s1.51cto.com/images/20190430/1556624021352013.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[.png 1]: https://s1.51cto.com/images/20190430/1556624099517574.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[https_www.cnblogs.com_panwenbin-logs_p_10218099.html]: https://www.cnblogs.com/panwenbin-logs/p/10218099.html
[https_www.jianshu.com_p_4f9474081c8a]: https://www.jianshu.com/p/4f9474081c8a
[https_www.cnblogs.com_pangguoping_p_7650014.html]: https://www.cnblogs.com/pangguoping/p/7650014.html
[https_blog.51cto.com_10950710_2301257]: https://blog.51cto.com/10950710/2301257