实战 | 某小公司项目环境部署演变之路

分手后的思念是犯贱 2023-07-07 11:23 2阅读 0赞

![format_png][]

![format_png 1][]

作者 | 邵磊

来源 | juejin.im/post/5ade8a37f265da0b8d418dff

# 前言 #

在环境部署问题上，我们经历了3个阶段：传统安装、镜像恢复、自动发现注册+指令下达。目前镜像恢复后，启动虚拟机，一旦能ping通我们公司地址，就会自动注册这台机器（即使没有其他外网访问权限、也未开放任何对外端口），我们也就有了这台机器的管理权限，可批量群控下发指令。（第二阶段、第三阶段均为我自主设计。）

![format_png 2][]

# 背景 #

我们是一家产品+定制化需求公司，项目做好之后会直接部署到客户服务器上。而客户很少选择云服务器，因为他们有自己的机房，部署前会提供给我们1-2台虚拟机，然后整个环境部署问题就交给我们了。

# 演变 #

## 第一阶段：传统安装 ##

使用时间：？~2016年

1.  需甲方提供windows或linux服务器远程连接方式（这里各个甲方提供都不一样，有堡垒机、vpn、直接定向开放端口、vpn+堡垒机等）非常复杂，只能case by case
2.  远程到服务器上
3.  上传数据库、jdk、tomcat各类安装包（受限带宽因素，往往很耗时）
4.  安装安装数据库
5.  安装jdk、tomcat、nginx（linux环境下，使用写好的sh脚本直接运行，依然比较耗时）
6.  人工部署war包等 等

![format_png 3][]

此方式缺点太多，往往需要3-5人天才能完成所有部署，但我们只有一位运维人员，所以当项目冲突时，极为被动。而且因为各个软件版本发生变动、甲方提供的虚拟机3个盘符、2个盘符，或者没有D盘（虽然可以通过计算机管理更改驱动器显示号，但可能导致其他软件无法运行）所以环境比较乱。

这种方式比较老，我也不介绍更多。当然，据我了解，目前还有一些小公司在沿用这种部署方式，所以在这里劝采用这种方式的公司尽快完成转型。

## 第二阶段：镜像恢复 ##

使用时间：2016年~2017年

1.  需甲方提供windows或linux服务器远程连接方式（这里各个甲方提供都不一样，有堡垒机、vpn、直接定向开放端口、vpn+堡垒机等）非常复杂，只能case by case
2.  使用vm镜像恢复虚拟机并设置好ip（内含docker）
3.  通过deploy模块一键部署war包

![format_png 4][]

此方式，我们将第一阶段的2、3、4、5封装成vm虚拟机镜像、开发了deploy模块、抽取项目无状态。

这时我们对运维人员依赖大大减少，工作量大大减少至2-6小时。（这个阶段起，我们公司没有运维人员，进入DevOps时代。事实上，此阶段初我们运维人员离职，使得我不得不加快设计）

## 第三阶段：自动发现注册+指令下达 ##

使用时间：2017年~2018年

1.  甲方使用我们vm镜像恢复并设置好ip，保证能ping通我们公司地址
2.  自动发现注册+指令下达
3.  通过deploy模块一键部署war包

此阶段，我们部署耗时在5-10分钟，而且我们不再需要甲方提供远程，我们还可以批量管理所有机器，不仅满足了此时的需求，并为后面扩展做了铺垫。

# 具体技术 #

这里主要讲二、三两个阶段

因为传统方式缺点特别多，所以在我向领导介绍方案后，领导很感兴趣，很快就安排我着手去干。为了提高效率，期间选型多款工具或框架组成的方案，本文只介绍最终选型的设计。

## frp ##

frp是一款内网穿透软件，可以使得没有外网ip的机器暴露在外网里，但本文利用它将一台内网机器端口暴露在另外一个内网中的特性。

### 安装frp服务端 ###

选择一台内网机器比如172.0.0.2，需临时保证这台服务器走公网固定ip线路

wget --no-check-certificate https://raw.githubusercontent.com/clangcn/onekey-install-shell/master/frps/install-frps.sh -O ./install-frps.sh
    chmod 700 ./install-frps.sh
    ./install-frps.sh install

全部参数都有默认值，直接回车就是输入默认值：

Please input frps bind_port [1-65535](Default Server Port: 5443): #输入frp提供服务的端口，用于服务器端和客户端通信，默认即可
    Please input frps vhost_http_port [1-65535](Default vhost_http_port: 80): #输入frp进行http穿透的http服务端口，建议不用默认
    Please input frps vhost_https_port [1-65535](Default vhost_https_port: 443): #输入frp进行https穿透的https服务端口，建议不用默认
    Please input frps dashboard_port [1-65535](Default dashboard_port: 6443):#输入frp的控制台服务端口，用于查看frp工作状态，默认即可
    Please input dashboard_user (Default: admin):#登录控制台的用户名，默认即可
    Please input dashboard_pwd (Default: kpkpM7VZ):#登录控制台的密码，如果记不住默认的建议修改
    Please input privilege_token (Default: 9m2UAOWa6hx5Eise):#输入frp服务器和客户端通信的密码，默认是随机生成的，默认即可
    Please input frps max_pool_count [1-200](Default max_pool_count: 50):#设置每个代理可以创建的连接池上限，默认50
    ##### Please select log_level #####
    1: info
    2: warn
    3: error
    4: debug
    #####################################################
    Enter your choice (1, 2, 3, 4 or exit. default [1]): 默认即可
    Please input frps log_max_days [1-30](Default log_max_days: 3 day):
    ##### Please select log_file #####
    1: enable
    2: disable
    #####################################################
    Enter your choice (1, 2 or exit. default [1]):默认即可

至此frp服务端就搭建好了

### 客户端 ###

这里我们以linux为例

打开http://diannaobos.iok.la:81/frp/frp-v0.14.0/

下载frp\_0.14.0\_linux\_amd64.tar.gz文件，只保留frpc开头的文件（frp客户端）

以frp文件夹形式解压到linux的home目录

### 编写reg.sh脚本 ###

reg.sh也放在linux的home目录

UUID=$(cat /sys/class/dmi/id/product_uuid)
    wget -O frpc.ini http://114.114.114.114/frp.php?file=$UUID;
    a=`du -s frpc.ini | awk '{print $1}'`
    if [ $a -lt 1 ]
    then
        echo none
    else
        echo action
        pkill frpc
        sleep 2s
        rm -rf ~/frp/frpc.ini
        cp frpc.ini ~/frp/frpc.ini
        ~/frp/./frp.sh
    fi

其中UUID为服务器唯一标识，即使vm虚拟机镜像相同，但uuid不会相同。

其中114.114.114.114为公司对外注册中心

### 编写crontab ###

crontab -e
    */5  * * * * ~/reg.sh

每隔5分钟执行一次，意思是每隔5分钟去注册一次或者说是拉取一次变更请求，当服务端配置不改变时不会重启服务。

### frp开机自启 ###

linux

chmod +x ~/frp/frp.sh
    vi /etc/rc.d/rc.local
    #文件底部追加
    bash ~/frp/frp.sh
    
    chmod +x  /etc/rc.d/rc.local
    #重启即可

### frp.php简易版内容如下 ###

<?php
    $filename=$_GET['file'].'.ini';
    $filename='frp/'.$filename;
    
    if(!file_exists($filename)){
        file_put_contents($filename,);
        file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
    } else {
        if (!file_exists($filename.'.update')){
            $str = file_get_contents($filename);
            echo $str;
           file_put_contents($filename.'.update',$_SERVER['REMOTE_ADDR']);
        }
    }
    ?>

![format_png 5][]

当有机器注册时，frp文件夹下会有id对应的文件名，我们只需要在.ini中写入配置，再删除.update文件即可，待服务端收到frp新配置后，会自动再创建一个.update文件，并且将ip写入.update文件。

### .ini例子 ###

[common]
    server_addr = 114.114.114.114
    server_port = 5443
    privilege_token =密钥
    
    [webserver]
    type = tcp
    local_ip = 127.0.0.1
    local_port = 22
    use_encryption = false
    use_compression = false
    remote_port = 7001
    
    
    [a-web]
    type = http
    local_ip = 127.0.0.1
    local_port = 80
    use_encryption = false
    use_compression = true
    custom_domains = a.a.com

common为公共部分

webserver是将本地22端口使用隧道技术穿透到公司的172.0.0.2机器里

内网机器远程只需访问172.0.0.2的7001端口

a-web是本机80端口在公司内网中的直接访问url：a.a.com

![format_png 6][]

通过frp管理后台，可以实时查看到各个机器连接情况。

![format_png 7][]

至此，我们可以远程机器、访问该机器80端口，理论上可以访问该机器所有端口，如新增端口穿透，只需要去修改.ini，这是一简易版的介绍。

再接入ansible即可远程群控。

## ansible ##

ansible 是一款自动化运维工具，具体使用可参考另外一篇《自动化运维工具ansible的实践》：https://juejin.im/post/59decdb9518825422c0ca44c

## 外网映射 ##

假设公司外网为114.114.114.114 需将114.114.114.114的5443端口映射到172.0.0.2的5443上，其他端口均不要映射，

## docker ##

![format_png 8][]

前两年docker很火，DevOps很火，所以我们选择了docker，以便我们docker镜像快速部署我们系统。可参考一篇博文《我是如何重构整个研发项目，促进自动化运维DevOps的落地？》：https://juejin.im/post/59e1d92d51882578db27c2e1

## Portainer ##

可参考这篇博文《Docker的web端管理平台对比（DockerUI 、Shipyard、Portainer、Daocloud）》：https://juejin.im/post/596587a56fb9a06baa63d435

## deploy ##

deploy为我们自研，底层原理可参考《java web项目war包自动升级部署方案》：https://juejin.im/post/59633a126fb9a06ba024ffdd

## **总结** ##

本文主要讲利用frp内网穿透、构建隧道的技术实现对无外网、无端口机器的运维部署；利用ansible工具实现群控；利用docker进行快速部署；通过自研deploy进行版本控制等。

该套方案极大的节省了我们的运维成本，使我们这样的小公司跑步进入了一个无运维人员、DevOps时代。

如果你有类似场景，希望本文对你有所帮助。

![format_png 9][]

*  [  文档写作利器：Markdown][_Markdown]  
    
 *  [微服务架构下的核心话题 (一)：微服务架构下各类项目的顺势崛起][Link 1]
 *  [微服务架构下的核心话题 (二)：微服务架构的设计原则和核心话题][Link 2]
 *  [微服务架构下的核心话题 (三)：微服务架构的技术选型][Link 3]
 *  [【JVM系列】1.Java虚拟机内存模型][JVM_1.Java]
 *  [以后要是再写for循环，我就捶自己][for]
 *  [什么？你项目还在用Date表示时间？][Date]

![format_png 10][]

喜欢就点个"在看"呗，留言、转发朋友圈

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi91ZndmMmRONDh6U0M0dGlhOWliUTVsZ1V3cFplaWExaEw5SkQxNllqWm1pYXY3MGtMbVBXeUl5N1FlS01jc3VPMkREMDVjYXh1OG4yZFNMQnV3N0pLYjY3aEEvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy91ZndmMmRONDh6U3VTSTRFVmxpY1NrTWdLMjVpYVl1NklHblY1MFRVYnpFcHpDQncxaWE0c3QzUDZDeTdZSU4xVkpJSFk4d2lhNzJIck1DbmRQMW1TQzg3aWJnLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd25OdkJNcmJwaWFCRzJ2aWJmT05uNHlvVkNqd2pVdENZeU4zTXVyNGNMaWFTUnk5MWRNdnZFbVUxQS82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd2JFQWhYZG1VMFJ5Y0xiRkJIcE45ZEpqVVFpY3NVQUVERnhxYXFpY0EzUDJzaWJoMXVUUkF1WnRpYlEvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd0pVVGNzVDVKZWIxOTg0em9NZnplRk41VURrZFVabWlhQVplZHk4aWNORnIxdTVsVWlhaWNtejN5ckEvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd1VDZ2Fld3hBeWdBSVowVDJQRW9KaWJua3l3YXdvZDYzaWE0ZHRjQkkweVVITlNVTTJmd0pQaWNody82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd0tEaWI0OWRBWlRNN0hiWDFXV0g5Sk9rNU50ZVljTXZ1U2hhUWxxQjRYdG1tNFdNVVMwTEh0T3cvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd2liSVY0cTZTZDBaWVlEYmdRaWNXRXY0eE9tbDlFNDZSS05pYVcycTNEQXVRRHJNczA0VE0wTGVxdy82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9KZExrRUk5c1pmZlBGaWJMRVZtRHM4aWJrdU5UM2liZjVEd3NHdkFnQUxYbHRWUDBLZE1maGZWQnNaamliVVhTMnhuYzhVQkRwNUQ1bDA4aWE2ZTlLZmhvSTFRLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9MaWFoaWNudEoyV0RxOE5qWmdoNU1xdmtHdlA4ektLaWNLZnJmMEhpYU1wSEJJN0p4T3dScUVsV0Eya0ppYzFsWURPZkxSUDlnRUtpYk1iSlh6a2NMQkhPMnVvZy82NDA?x-oss-process=image/format,png
[_Markdown]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d89d3a72a00c52aaa0d63f93b02bf9846cb93bcbb39012ce52ebf7d145825d77a67f79f06&idx=1&mid=2247485577&scene=21&sn=2343d1d4a3ee2dd77861cd469d367c58#wechat_redirect
[Link 1]: https://blog.csdn.net/xcbeyond/article/details/97503091
[Link 2]: https://blog.csdn.net/xcbeyond/article/details/98392304
[Link 3]: https://blog.csdn.net/xcbeyond/article/details/102511891
[JVM_1.Java]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d86dda72a0fcbfbd17df8e1111eeb557ed632d354170302a585f42b735b9237ed71ffd67f&idx=1&mid=2247485319&scene=21&sn=2b3b8c0a2073dcae9c7ce2314f3a1797#wechat_redirect
[for]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d8961a72a00772f4eec9bdf2fa3541add84bc0c0467ae96b274f3bf40f68a24be79d4a849&idx=1&mid=2247485499&scene=21&sn=ecd09623871a1f46a4bed02710d2690b#wechat_redirect
[Date]: https://blog.csdn.net/xcbeyond/article/details/103813637
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi91ZndmMmRONDh6UWhmVThyQ2IyaWJ2VWliVWVSMGxFQVcwS3VKYVFXVkZpY1NxR0cwWjlJTTdxc2dJOWNpYkFnVGZwOFRIUFltaWNaOUdrMnduUWlhZzFrQ0w3US82NDA?x-oss-process=image/format,png