脚本达人总结的Linux Shell脚本编写经验，看完不踩坑

浅浅的花香味﹌ 2022-10-10 02:06 117阅读 0赞

![705b1bcfdbccc4ba582b44df3fa1151d.png][]

无论是系统运维，还是应用运维，均可分为“纯手工”—> “脚本化”—> “自动化”—>“智能化”几个阶段，其中自动化阶段，主要是将一些重复性人工操作和运维经验封装为程序或脚本，一方面避免重复性操作及风险，另一方面提高执行效率。在自动化运维的转变过程中，经常使用的可能就是shell脚本了，今天主要分享下shell脚本开发在运维工作中的一些经验总结。

小脚本有大智慧，别小看几十行代码，夹杂着系统设计、代码规范和操作经验等等细节，在建设自动化运维的工作中，还是很值得我们研究学习的，下面总结这些也都是源于各位脚本达人和我们在自身工作中“遇到的坑”、“摔过的跟头”和“排过的雷”，与大家共享。

![4a9e6434e272be4587fbc9a66617ca03.png][]

这里主要介绍并参考我行已经形成的一些shell编写规范，编写时严格遵守这些规范，不仅使编写人受益，同时也能提高使用者的执行效率。

1）脚本开头部分应有脚本功能说明、参数使用说明、作者姓名、创建/修改日期、版本信息，格式为:

![af033871fe9f5d1f522dea5fb8b5749f.png][]

2）脚本编写时，注意格式对齐，如所有的循环或者判断语句前后的语句进行对齐，以及case的选取完全，如：

![988c671409407762ba06827f48150cfe.png][]

3）脚本开头执行时，执行如下命令，在执行过程中若遇到使用了未定义的变量或命令返回值为非零，将直接报错退出：

![cadd454ae6370f3bf96a2ed9555163fd.png][]

4）建议将命令行的每个参数放在单引号、双引号中，特别是rm、mv等可能对生产现有数据造成修改的操作，建议使用垃圾箱策略：rm操作转意为mv操作，制定文件保存目录，以防回退，并定期清理：

![d968d8d8f4e966f2e7d957b5a18941b2.png][]

5）命令行中参数需要使用‘\*’、‘？’通配符的，应依据最精确匹配原则，如能确定文件、目录名称的前缀、后缀、扩展名及其他可识别关键字的，须在参数中包含该信息，如能确定文件、目录的长度应使用‘？’通配符，不得使用‘\*’，推荐的使用方式：

![277263cb2854da656c54bf53282dd989.png][]

不推荐使用的方式：

![fe49c3ce10b9cb2ec28ec0bc2603360f.png][]

禁止使用的方式：

![7780735ecb1683a51308264cca5e4761.png][]

6）给数值型变量的赋值后，需由手段保证变量的值为数值型，避免在后续的处理中出现异常：

![5f658b2ecfcb3cc0e06bbbf8d092738b.png][]

7）在判断条件中使用的变量，必须包含在双引号中，如：

![9887b5d06756c7d11dba3c8dba0ee554.png][]

禁止使用的方式：

![fbd59a8022bbb256df90c613ce4fba53.png][]

![f3ff90b2a72cdebea54170237e9067ea.png][]

8）对文件进行打包备份时，必须使用相对路径进行打包，如：

![169dc3f9e5d29419a6d0232684f14948.png][]

严禁将全路径打入tar包， 如：

![9b717f58abc6c31f8af908ca7b871786.png][]

9）对于打包后还需进行压缩的文件，建议使用管道进行处理，如：

![7f9b7a74dd6dd8723dbe2bc7e755238c.png][]

不建议两部分分开执行：

![88dba9a5ad2178cac9ce4c68458ea7aa.png][]

10）使用ps命令筛选进程时，如能确定进程所属用户，必须在参数中指定用户名称，如其输出作为kill命令的输入，则必须指定进程所属用户，如：

![557d360587940e9abc8c146716240bdb.png][]

![9487798b55274ed5b6ca5974727a1cf4.png][]

这里介绍的主要是日常shell编写中遇到比较隐蔽或看似简单，却难以发现的“坑”，编写中应尽量避免使用，使用更优的方法避免重蹈覆辙。

1）更新文件使用>不用cp

使用>修改和回退文件时，保留原文件的属组和权限，避免使用cp时权限属组被修改。

![85751d17577790143c1bd382262df120.png][]

2）使用kill前确认

关键字用-w 精确匹配字段；

kill前后都保留现场, 两次ps -ef|grep -w 关键字|grep -v grep >>/tmp/kill\_进程名\_.backup；

删除前要校验，获取进程号是否唯一，避免多杀或误杀的情况。

![e51a42af6520ec5e1b0290ae5878de70.png][]

3）使用rm前确认

删除前备份删除对象信息，避免使用变量，直接使用文件和目录名；

如果必须使用时，删除前，建议检查避免误删，删除目录和文件信息保留：

![7a0011d2a895760da705aea67be33827.png][]

建议禁用find遍历根目录进行查找，同时删除前进行确认，避免多删或误删的情况。

4）For循环的坑

for循环的in条件按空格来区分，避免进入不正确或死循环。

![d412009551754a798cfeff7826daac12.png][]

5）while循环的禁忌

如果还想使用循环中的变量，不要while结合管道使用。

![39f968df745c7b6e83c918e50ef09db5.png][]

6）慎用cp

这句话基本上正确，但同样有空格分词的问题。所以应当用双引号：

![9eb7e8355aa511c8a90e4f7cb6944c65.png][]

但是如果凑巧文件名以 - 开头，这个文件名会被 cp 当作命令行选项来处理。

可以试试下面这个：

![191d344508011da6498e501ae94aa099.png][]

但也可能再碰上一个不支持 -- 选项的系统，所以最好用下面的方法：

![08cadcfd32428198c3c5a38af808e378.png][]

7）慎用cd

避免使用cd到操作目录再操作的方式，可能导致进入目录失败，误删除，如：

![c619a80158eb0dd75b349338c6387837.png][]

建议如下：

![8689c7c2781bf80c2490ee34a7e73447.png][]

8）     用\[\[  \]\]代替\[ \]

![7fb8d8f3e01de1fcc48a3d48a61f4480.png][]

当$var为空时，上面的命令就变成了\[ ="bar" \]

类似地，当$var包含空格时：

\[ space words here = "var" \]两者都会出错。所以应当用双引号将变量括起来：

\[ "$var" = var \]  几乎完美了。

但是，当$var以 - 开头时依然会有问题。在较新的bash中你可以用下面的方法来代替，\[\[ \]\]关键字能正确处理空白、空格、带横线等问题。

![62ccb5f0b3d6e593fe64cd34af1df123.png][]

另注意，\[\[适用于字符串，如果是数值，要用如：(( $var > 8 ))

9）管道操作中不要同时读写文件

![7b6327d7a1a21f090a2348f2526fc429.png][]

你不能在同一条管道操作中同时读写一个文件。根据管道的实现方式，file要么被截断成0字节，要么会无限增长直到填满整个硬盘。如果想改变原文件的内容，只能先将输出写到临时文件中再用mv命令。

![e6f735618b13e9fa90af0313df5964aa.png][]

10）cd的易错问题

cd 有可能会出错，导致要执行的命令就会在你预想不到的目录里执行了。所以一定要记得判断cd的返回值。

![1de9176f424520b97b995f78633e293f.png][]

如果你要根据cd的返回值执行多条命令，可以用 ||。

![9a6e3a1945b4a2c86d165434ddd11365.png][]

关于目录的一点题外话，假设你要在shell程序中频繁变换工作目录，如下面的代码：

![e151cfa94bcb6b5e067bb03e0d33e507.png][]

不如这样写：

![635822594ccedfa3ff87bdc735a09b89.png][]

括号会强制启动一个子shell，这样在这个子shell中改变工作目录不会影响父shell（执行这个脚本的shell），就可以省掉cd - 的麻烦。

![b3a611ddc3c478cc3c6bc61f49437505.png][]

目前行里自动化工具越来越多，无论是应用的MAOP或系统的SMDB，自动化实现都还是日常运维脚本的调用，结合日常运维的一些经验，脚本中就更需要考虑周全和控制风险。这里介绍一些结合运维场景的脚本应用，希望规避以前犯过的错，重点在控制风险。

**1）     ****支持交互式脚本的应用**

很多脚本中需要进行交互，在规避风险的同时，需要通过自动化工具发布来支持交互，可以使用expect，示例如下：

![90a49a56788809a50253a351141f624c.png][]

也可以使用curl工具来替代简单的交互：

\#FTP SFTP下载

**curl-u ftpuser:ftppassword -O "sftp://ftp\_ip:ftp\_port/pathfile"**

\#FTP SFTP上传

**curl-u ftpuser:ftppassword  --ftp-create-dirs-T upfile "sftp://ftp\_ip:ftp\_port/filepath/upfile"**

**2****）脚本规范执行和日志追溯**

直接执行的脚本很危险，要提示用户如何使用脚本，并记录日志以便跟踪。

示例如下：

![d87a0d6d6b877303006f338a656111d0.png][]

**3)****脚本的并发锁控制**

避免多人同时执行或并发同时执行的异常问题，建议增加锁机制，示例如下：

![19530b9aa456737450fce5d4322f41d6.png][]

**4****）控制脚本不退出的风险**

周期频繁执行的脚本，需要防止脚本hang住不退出，导致后续脚本再次执行。

![873156bbb303c1d120e2b0c2102cb3e8.png][]

**5****）避免集中发布脚本造成的风险**

使用ftp、sftp传输、下载文件，或者集中访问存储端口时，尽量增加发布对象散列，避免集中操作造成存储端口拥堵，跨防火墙流量超限报警等影响。

![7157ad5b028d121475e01dc8a63d2f52.png][]

**6****）避免文件无限增长的风险**

向一个文件中追加数据时，一定要设置阀值，必要时清空，避免文件无限增大：

![2c03ce974c7017ed00f54d19004e5ac2.png][]

目录增加清理过期文件策略，避免产生的文件越来越多，造成文件节点用尽:

![bc560845a32f3d36485faa929d77aef7.png][]

目录中的文件过多，会报参数太长错误无法删除，建议放在循环中遍历删除：

![a9f4e2be1b6689e3048dfb45dfa70816.png][]

> 总结：

鉴于以上脚本，我们可以从中汲取一些经验,规避一些风险：

通过增加日志记录输出和脚本执行的方法说明，并自动交互和传递参数，避免执行脚本的操作风险；利用文件锁机制和运维中一些规避风险的方法，使得脚本自动执行起来更便捷更安全。

1. 通过规范类脚本的定义，标准常量定义、清晰的注释、函数和变量大小写用法，细节中可以看出严谨，即使只有几行，也能体现出一名优秀脚本开发人员的素质。

2. 通过易错类脚本中的“坑”，使得 shell面向过程的编写更得心应手，让脚本规范的同时，逻辑也更严谨清晰，避免了错误,也提高了脚本的开发效率。

3. 通过运维场景的脚本应用，规避各种开发和执行过程中的风险，使得shell脚本不仅能支持自动化发布，更可以全面智能化的为运维服务。

▼

**点击阅读**

▼

往期推荐

[设计微服务架构，相关设计模式如何运用？][Link 1]

[这份Redis6.0集群搭建教程，项目肯定用得上][Redis6.0]

[4种SpringBoot 接口幂等性的实现方案！最后一个80%以上的开发会踩坑][4_SpringBoot _80]

[掌握Git命令的本质，开发时才会得心应手][Git]

[Shell 脚本进阶，经典用法及其案例][Shell]

[Java 线程池配置的常见误区][Java]

[优化 Nginx HTTPS 延迟 - 看我如何让Nginx提速 30%的？][Nginx HTTPS _ - _Nginx_ 30]

[在实际项目开发中，你遇到过Spring事务失效的场景吗？如何解决？][Spring]

[请你谈谈Linux中用于文本处理的awk命令？][Linux_awk]

[2.3W字，这可能是把Nginx讲得最全面的一篇文章了，建议收藏备用][2.3W_Nginx]

[各个大厂喜欢用的Hystrix到底有什么优点？][Hystrix]

END

**若觉得文章对你有帮助，****随手转发分享，也是侠梦继续更新的动力。**

![2ed35d6c8423ea77c69d100e352d055a.gif][]

![068df978f74295ba2fe7213f2e24c665.png][]

![8bae00bd64730e8e1b7bd7a394af518e.gif][]

[705b1bcfdbccc4ba582b44df3fa1151d.png]: /images/20221005/632e57f552bd4083b83a0677fa66c27e.png
[4a9e6434e272be4587fbc9a66617ca03.png]: /images/20221005/f06574e589d342eb9b17f4614c9ee17d.png
[af033871fe9f5d1f522dea5fb8b5749f.png]: /images/20221005/2c1b832d407b4242b579ded5be7880da.png
[988c671409407762ba06827f48150cfe.png]: /images/20221005/b3af3446353546518be7fd8ee73981a1.png
[cadd454ae6370f3bf96a2ed9555163fd.png]: /images/20221005/9b23c8e6ef3c4aa5beb2a851a0dded64.png
[d968d8d8f4e966f2e7d957b5a18941b2.png]: /images/20221005/18a39af34a6a49ca9f042b8bfa445de0.png
[277263cb2854da656c54bf53282dd989.png]: /images/20221005/8059643082d940c2a0b6791770830718.png
[fe49c3ce10b9cb2ec28ec0bc2603360f.png]: /images/20221005/c5b801c4ada34c9982f80b8580cb163b.png
[7780735ecb1683a51308264cca5e4761.png]: /images/20221005/a426348c813441f7b5ad14e42407e4ea.png
[5f658b2ecfcb3cc0e06bbbf8d092738b.png]: /images/20221005/40b3a7b2e3dd4a1ea78e20123336675f.png
[9887b5d06756c7d11dba3c8dba0ee554.png]: /images/20221005/60eca49c35e6453ab9252cacc4a9ca60.png
[fbd59a8022bbb256df90c613ce4fba53.png]: /images/20221005/578f3b08ffe64cef9b746b3a5e322139.png
[f3ff90b2a72cdebea54170237e9067ea.png]: /images/20221005/01e693d65e9940438efd080d2ccc63d3.png
[169dc3f9e5d29419a6d0232684f14948.png]: /images/20221005/7e62374099af47f39168e72b5571fad6.png
[9b717f58abc6c31f8af908ca7b871786.png]: /images/20221005/520e400b44ad4aa882468382d016d109.png
[7f9b7a74dd6dd8723dbe2bc7e755238c.png]: /images/20221005/cbd081580e75424eb215edcd8dc17bf5.png
[88dba9a5ad2178cac9ce4c68458ea7aa.png]: /images/20221005/2424e3eb5d824dfba7de33363043dbb1.png
[557d360587940e9abc8c146716240bdb.png]: /images/20221005/f8060d81e7ad4afaac730484d82edcac.png
[9487798b55274ed5b6ca5974727a1cf4.png]: /images/20221005/1ee8046e04d94d36a2d6a427ffbe8c68.png
[85751d17577790143c1bd382262df120.png]: /images/20221005/e82d05fa610049198dddd838c315a077.png
[e51a42af6520ec5e1b0290ae5878de70.png]: /images/20221005/efd758c789e44f93bcc38fddf1180fbd.png
[7a0011d2a895760da705aea67be33827.png]: /images/20221005/1c8e53d0c39a4ee29d24741ad800715f.png
[d412009551754a798cfeff7826daac12.png]: /images/20221005/ba351deebb7e40ca873b7a211d14a9e7.png
[39f968df745c7b6e83c918e50ef09db5.png]: /images/20221005/2a75e984289b441ca76e1feb8be0578d.png
[9eb7e8355aa511c8a90e4f7cb6944c65.png]: /images/20221005/7e86c86711ef42ab87d9d87f1bc9a8ea.png
[191d344508011da6498e501ae94aa099.png]: /images/20221005/abf4c114c96649fcbae5d49618484301.png
[08cadcfd32428198c3c5a38af808e378.png]: /images/20221005/61c3a8faddcf4208946153584361a52e.png
[c619a80158eb0dd75b349338c6387837.png]: /images/20221005/da46de43518b44478fa987452661c13d.png
[8689c7c2781bf80c2490ee34a7e73447.png]: /images/20221005/2a50f009d9cb49eb87d78b6c5357c47d.png
[7fb8d8f3e01de1fcc48a3d48a61f4480.png]: /images/20221005/fda36abe0913457d97ea4091c4047c28.png
[62ccb5f0b3d6e593fe64cd34af1df123.png]: /images/20221005/e82cb67c7eb0434392bdc9f48f48aa20.png
[7b6327d7a1a21f090a2348f2526fc429.png]: /images/20221005/308d0bcbb0254544af22ae9496075f1b.png
[e6f735618b13e9fa90af0313df5964aa.png]: /images/20221005/a5db24bd3f5e4f658c43824c45b41cb0.png
[1de9176f424520b97b995f78633e293f.png]: /images/20221005/917e2f0dbf22442eb550f801ea355131.png
[9a6e3a1945b4a2c86d165434ddd11365.png]: /images/20221005/31b52d2921454799939bbc327c07c075.png
[e151cfa94bcb6b5e067bb03e0d33e507.png]: /images/20221005/b4019246db064522a43a26bbedeac2b0.png
[635822594ccedfa3ff87bdc735a09b89.png]: /images/20221005/9133a1fbd22848b483d37a69115872e5.png
[b3a611ddc3c478cc3c6bc61f49437505.png]: /images/20221005/25365fb6527b4b7593ccf0edbfd593e6.png
[90a49a56788809a50253a351141f624c.png]: /images/20221005/8494946ee7d141589075bb5cc05b0e49.png
[d87a0d6d6b877303006f338a656111d0.png]: /images/20221005/555e563f0ee74b689d694b7ee60d37e2.png
[19530b9aa456737450fce5d4322f41d6.png]: /images/20221005/9f1c6da43133436da06b0d072456b482.png
[873156bbb303c1d120e2b0c2102cb3e8.png]: /images/20221005/0e492999d74c48cda86d67254425432b.png
[7157ad5b028d121475e01dc8a63d2f52.png]: /images/20221005/a3ade059df48410a8c0adef2f2a167c0.png
[2c03ce974c7017ed00f54d19004e5ac2.png]: /images/20221005/a9f728174733488f855b9bdced18784f.png
[bc560845a32f3d36485faa929d77aef7.png]: /images/20221005/0d7f321233ca4fae85a201ee9197cef6.png
[a9f4e2be1b6689e3048dfb45dfa70816.png]: /images/20221005/234d9e5c8e3f459ea3cde62a0e4a4f01.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e288cb336b9eca3ccbaa6ce20ef0a2baae306b3d83953d7d292bda2a1a46052a556fe1ba&idx=1&mid=2247489457&scene=21&sn=28d2cca81052ce5c4618e73469343f42#wechat_redirect
[Redis6.0]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e286cb336b9019559254e2e2c6742603f94acbace76e3709b693258c64d4286d8e47beb5&idx=1&mid=2247489471&scene=21&sn=6107931e6e39331b2a1fd7b2951b865b#wechat_redirect
[4_SpringBoot _80]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e2adcb336bbb0e3ae396e56ad2b85c3eca812ea6ca96b0e615b029e7b61e960dccfb4f18&idx=1&mid=2247489428&scene=21&sn=2dcd64b6ef51b4082509805940f899ac#wechat_redirect
[Git]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e2bccb336baa68dbfc520df82f75b8edab064a25413360e92e17ab17bb90642004d2a469&idx=1&mid=2247489413&scene=21&sn=bf22fdb5fbdbfbeeaea2c8a8ba0bcb14#wechat_redirect
[Shell]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e262cb336b7473252b2fcd998e60bd457e98bd348e325493acd82a69e3de8133d1685d0f&idx=1&mid=2247489371&scene=21&sn=f5d677e7370d286c1c0f89d95689d334#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e26acb336b7ca018458fe2fe119ad3a201df0d6d716f1ce8dc5a5db79b70ec1b34c2841a&idx=1&mid=2247489363&scene=21&sn=b8db4cb36813b1864db8958b0e9257e9#wechat_redirect
[Nginx HTTPS _ - _Nginx_ 30]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e270cb336b666b5522ce71ea3b0dbcd472e1c993432bec1493236bcf38efb2d66bdda674&idx=1&mid=2247489353&scene=21&sn=aa967c27b700725dc69f88e1922f76a8#wechat_redirect
[Spring]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e20ccb336b1aacfb900a5f0e19c0540e5b490aa147b1f70628785c6608e3bafac2ced936&idx=1&mid=2247489333&scene=21&sn=c748098c146b59cb465777a850241fba#wechat_redirect
[Linux_awk]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e213cb336b050c8444c5868180c38f57a253815d9f172461c6fa567390d74cb4b1914c1e&idx=1&mid=2247489322&scene=21&sn=7662a22c3a67536c1c6ab6ccfa1df110#wechat_redirect
[2.3W_Nginx]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e21bcb336b0d5ff409803f5d39624da19e003aacb6dc06a9b90307042dd261d4def791a6&idx=1&mid=2247489314&scene=21&sn=0902698c72c55d1a86fdd35b6775bf4b#wechat_redirect
[Hystrix]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44e220cb336b367c257ce79315e7bb42d32adb4c5425b42ccae769412350c1fa1f617e1960&idx=1&mid=2247489305&scene=21&sn=5192cb28ed4a536c2b6183c55391b37b#wechat_redirect
[2ed35d6c8423ea77c69d100e352d055a.gif]: /images/20221005/6f0df11321ff43d8aedbccf28402a6cd.png
[068df978f74295ba2fe7213f2e24c665.png]: /images/20221005/9512ca4928b54beeb94cd155c581fb5c.png
[8bae00bd64730e8e1b7bd7a394af518e.gif]: /images/20221005/1c40181632a341c0afbc225d3d7ec90c.png