【Linux】Shell脚本学习总结篇

- 日理万妓 2022-06-14 05:25 233阅读 0赞

**【Linux】Shell脚本学习总结篇**

--------------------

shell学习分为下面3个部分：

*  shell基本命令回顾
 *  shell基本语法学习
 *  awk/sed 工具学习

关于shell的介绍之类的在这里不做赘述！

--------------------

**shell基本命令回顾**

1.1 **最基础的常用命令**

（注：命令选项直接 man 查看，不做说明）

1.1.1 **查看文件和目录的命令**

ls : 列出目录下的清单；
    cat: 连接显示文件内容
    less/more: 分页显示文件内容，建议使用less，相比于more更方便；
    head: 显示文件头部，可指定行数，默认显示10行；
    tail: 显示文件尾部，可指定行数，默认显示10行；
    file: 显示文件类型；
    wc: 查看文件或统计信息；
    find: 查找文件或目录（选项比较多，前面有博客专门介绍过）

部分演示：

![这里写图片描述][SouthEast]

1.1.2 **操作文件和目录**

touch:创建新文件（可以直接使用vim/vi/gredit等编辑器直接创建）
    mkdir:创建目录，可以利用 -r选项递归创建
    cp: 拷贝命令，拷贝目录时可以使用 -r 选项
    ln: 创建链接命令，分为软连接和硬链接（有专门的文章介绍）
    mv: 移动文件或者目录的命令，同时也是改名命令
    rm: 删除命令，-r 删除目录， 谨慎使用；

1.1.3 **管理文件或者目录的权限**

ls -l : 可以列出文件和目录的权限信息；
    chmod: 修改文件和目录的权限（需要了解字母及数字权限表示）
    chown/chgrp: 改变属组和属主
    setuid/setgid：设置用户或组权限位；

1.1.4 **文本处理命令**

sort : 文本排序
    uniq : 文本去重
    tr : 替换命令
    grep : 查找字符串
    diff: 文件对比，找出文件差异

部分演示：  
![这里写图片描述][SouthEast 1]

**解释：** history 命令列出用户的历史使用命令，然后通过awk 过滤出第二列，因为第一列是文件的行数标号， 接着进行一个sort排序，将所有相同的命令都放在一起方便接下来的uniq -c命令去重并且统计出每个命令出现的次数，再然后是 sort -nr -n选项的意思是按照数字的大小即uniq统计出的次数进行排序 -r 则是反向的意思，即本来是正序变为逆序；然后取其前十，即最常用的前十个命令，最后用一下 tr 命令将小写字母替换为大写字母；

对于命令的选项，我一贯的思想都是记住命令和常用的选项即可，太多的选项不需要强行去记忆，用的时候 man 一下或者 –help 看一下即可；

1.1.5 **其它常用的命令**

hostname : 查看主机名
    w, who : 列出系统登录的用户
    uptime : 查看系统运行时间
    uname : 查看系统信息
    date : 显示和设置系统日期和时间
    id  : 显示用户属性

1.1.6 **shell命令进阶**

paster : 合并文本
    dd : 备份和拷贝文件（和vim 和剪切命令一样）
    tar : 打包和解包文件
    mount, umount : 挂载和卸载存储介质
    df : 报告文件系统磁盘空间利用率
    du : 评估文件空间利用率
    ps : 查看系统的进程
    pidof : 列出进程的pid
    top : 相当于 Linux 的任务管理器
    & : 将作业后台运行
    jobs : 查看作业
    bg : 让挂起的进程在后台继续执行
    fg : 将后台进程放入前台
    fdisk: 查看系统的磁盘信息

部分演示：  
![这里写图片描述][SouthEast 2]

前后台切换演示：  
![这里写图片描述][SouthEast 3]

**解释：** 先执行 sleep 100 & 让这个进程在后台执行，然后我们先使用 ps 配合 grep 命令查看一下 sleep 进程的信息，接着 jobs 查看一下后台运行的作业， 使用 fg 命令使其继续在前台执行，我们可以看到显示了sleep 100 ， 接着我们又不想让他继续执行了，使用 ctrl + z 使其挂起，我们用jobs查看，可以看出其处于 stopped 状态，接着使用 bg 命令使其继续在后台执行，查看状态， 处于running状态；

至此，shell的基本命令回顾完毕，这些都是脚本中常用的命令；

--------------------

**shell基本语法学习**

这部分学习编写shell脚本的基本语法，估计篇幅比较长，因为要敲很多代码，所以，有瑕疵的地方请指出；

2.1 **shell 语法篇**

（这是回顾与复习的过程，所以不是小白教程，起码都吃过猪肉，看过猪跑）

2.1.1 **shell 编程基础**

1> 上面刚说过，得吃过猪肉，看过猪跑，那么最基本的shell脚本的编写格式应该知道；

#!/bin/bash
    echo "hello world"

**分析：**还是 hello world 起步，第一行的 \#！叫做 Shebang(我也不知道为什么这么叫)， 然后后面的 /bin/bash 则是指定解释器，既然shell是门解释性语言，自然需要解释器，类似的，如果是 python脚本，则是 \#! /bin/python 可能还需要一些编码格式的规定（utf - 8），如果没有指定解释器，默认选择 sh ； 同时还需要给文件可执行权限，否则会报错，虽然我们一般把shell 脚本文件命名为 .sh 的文件（在Linux中文件后缀只能起到标识的作用，没有实际意义）；

2> **shell 中的注释，在shell中注释的符号是 “\#”；**

3> **shell 的变量**

在shell中设置变量和平时在命令行设置变量是一样的，可以直接定义一个变量，例如： a=10  不需要声明类型，不需要分号；
    
    如果需要明确指定变量的类型的话，可以只用declare的选项指定类型；
    
    变量的作用域: 在shell 中，变量默认都具有全局属性，如果需要局部的变量则需要在变量的声明处加 local 关键字。如： local  a=10
    
    变量的操作: 
        3.1 获取变量的值
        在命令行获取变量的值是通过 echo ${a}  打印变量的值到终端的，那么echo的作用是打印，'${}' 的作用不言而喻（花括号可省略，起分割的作用）。
        3.2 变量的运算
        let a+=1
        即使用 let 命令，当然除了 let 命令还有 '(())' 双括号，都可以进行变量的运算；
        3.3 参数变量
        说到shell的参数，有两个点，一个是命令行参数，一个是函数的参数，这里先说明命令行参数，函数的参数在后面学习函数的时候补充；
    
        首先，记住这几个特殊符号: $# $@ $* $1 $2 ...
    
        在运行程序的时候，经常需要带一些初始的参数，那么这些命令行参数到底是怎么传递进来的呢？

![这里写图片描述][SouthEast 4]

$# : 除$0以外的参数的个数（文件名，命令除外，它们用$0查看）；
        $@/*: 表示所有参数的集合
        $0,1,2...: 表示参数

**注：取消变量的定义 unset**

这里既然说到了变量，就顺带提一下环境变量和普通变量；

4> **shell环境变量和普通变量**

首先，明确两点，第一点即环境变量和普通变量在虚拟地址空间的存放位置，环境变量在栈顶的位置（高地址处），而普通变量是在数据段存放的；第二点，子进程会继承父进程的环境变量；
    
    普通变量的命令行声明： a=10
    将普通变量变为环境变量：export a
    
    如何验证？
    4.1  在父bash 中声明变量 a=10, 命令行敲 'bash' 命令相当于起了一个子bash， 在子 bash 中查找是否有 a变量；

![这里写图片描述][SouthEast 5]

（set 命令查看所有变量， env 命令查看所有环境变量，exit或者ctrl + d 退出子bash）
    
    4.2  在父bash 中将变量 a 声明为环境变量 'export a', 在子bash 中查看变量 a;

![这里写图片描述][SouthEast 6]

2.1.2 **shell 的条件执行**

shell的条件执行其实和C差不多，具体的差异就在于语法格式的一些差别；

1> **if 条件执行**

不同于C的是，bash的条件测试不单单只是可以通过if进行判断，还要结合一些特殊的符号，命令和参数；

先列出基本的if语句的使用格式：

if true
    then
        echo "hello world!"
    else
        echo "see you world!"
    fi

：这就是 if 语句的基本使用格式，当然，中间还可以有 ’ elif ’ 相当于 C 的 else if ; 值得注意的是开始的 then 和 最后的 fi ， 每个 if 都必须有一个fi 与之对应代表结束，因为没有了 ’ \{\} ‘;

前面说了，shell的条件判断需要结合一些命令，符号，选项来配合使用；

2.1 '[]' 和 test
    
    '[]' 和 test 都被用作测试，如：

if [ -f install.log ]
    then
        echo "hello"
    fi
    
    test -f install.log; echo "hello"

’ \[ \] ’ 和 test 有很多选项，这里我就不一一演示，需要的话直接 man test; ( 注意： 使用 ‘\[ \]’ 时， 需要两个空格，‘\[’的后面， ‘\]’的前面各一个)；

不但这些，还有比较的符号；其中又分字符串和算数的不同；

![这里写图片描述][SouthEast 7]

（注： $? 查看上一条命令的返回值 ）

**追加一个知识点：** 因为字符串的比较使用 ‘\[\]’ 时需要对 ><进行转义，所以shell提供 ’ \[\[ \]\] ’ 符号，则不再需要转义，对于算术，shell提供 ’ (( )) ’ 则可以直接使用比较符进行比较（这在后面的例子中有体现）；

算术：  
![这里写图片描述][SouthEast 8]

2.1.3 **&& 和 ||**

&& : &&符号的前面的表达式为真才会执行 &&后面的表达式；
    || : || 符号前面的表达式为假才会执行 || 后面的表达式；
    '!': 逻辑非
    
    通常 && 和 || 配合使用，如：

‘’![这里写图片描述][SouthEast 9]

2.1.4 **shell 的 case 语句**

shell的case语句的格式如下：

case $1 in 
    1)
        echo "1"
        ;;
    2)
        echo "2"
        ;;
    esac

上面就是case语句的格式，这里刚好提醒一点，就是在shell中，不允许出现空语句，如果非要有空语句，则必须写上一个 冒号 ’ : ‘;

2.1.5 **Bash 循环**

shell的循环：for/while/until
    
    下面只演示前两种，until不太用到；

**for循环**

for i in $(seq 10)
    do
        echo -n $i
    done
    
    #类C 的for 循环：
    
    for (( i=0; i<10; ++i ))
    do
        echo -n $i
    done

注： seq 是生成连续序列的命令，而shell中执行命令的话，会用 ’ $() ‘;  
echo -n 选项则是取消换行，每个echo语句都会带一个换行，直接一个echo则代表换行；

![这里写图片描述][SouthEast 10]

**while循环**

值得一提的是break和continue关键字在shell中依然有效；

i=1
    while true
    do
        if [ $i -gt 2 ];then
            echo $i
            break
        fi
        let i++
    done

![这里写图片描述][SouthEast 11]

continue语句不做演示；

2.1.6 **shell的函数**

首先，shell函数的定义：

function  fun()
    {
        if [ $# -ne 2 ];then
            return 1
        fi
        local a=$1
        local b=$2
        let c = a + b
        echo "hello $c"
        return 0
    }
    
    fun 1 2
    if [ $? -ne 0 ];then
        echo "arguments fault!"
        exit
    else
        echo "used right"
    fi

上面就是一个简单的脚本，起作用是调用一个fun函数，判断调用是否正确；

**分析：** 从这个脚本中我们可以看出shell脚本函数的使用方式，从定义到参数的获取，再到返回值；最后还有函数的调用方式其实和命令的执行方式是一样的；

（注： function关键字可以省略但不建议，return 可以返回的值是 0-255）

**额外知识点：**在shell脚本中 双引号 和 单引号是有区别的，虽然在大部分场景中它们是一致的，但是如果含有特殊字符的话，双引号是没有对特殊字符进行转义的，所以上面的脚本中 “hello $c”可以顺利执行，但是单引号的话默认会对特殊字符转义的，例如：  
![这里写图片描述][SouthEast 12]

（注：shell函数对于参数的处理还有 shift 和 getopts 的处理方法，后期补充）

2.1.7 **shell 重定向**

说起重定向，估计不少同学都想到了管道；
    
    但是，管道并不是重定向，重定向是将一个命令的输出结果作为下一个命令的输入，而重定向是将输出和文件相链接的；

重定向分为输入重定向和输出重定向，其中又有追加和覆盖的区别，总的来说就是下面四个符号：

’ > ‘, ’ >> ‘, ’ << ’ , ’ < ‘；

举例来说：  
![这里写图片描述][SouthEast 13]

当然，不仅可以这样，还可以将标准错误也重定向到文件；

ls l 2>test.sh

**输入重定向：**

例如: tr a-z  A-Z <<END
            abcdef
            END

![这里写图片描述][SouthEast 14]

注： 这里的END不是固定的，只是起一个标签的作用，代表下次遇到END就结束输入；

重定向的这种用法还被用到项目中的configure文件，使configure文件可以自动生成Makefile文件，例如：  
![这里写图片描述][SouthEast 15]

2.1.8 **shell 脚本从标准输入读取**

这个其实只是一个read的使用，在shell中使用read从标准输入读取数据；

例如：  
![这里写图片描述][SouthEast 16]

结果：  
![这里写图片描述][SouthEast 17]

当然，read还有很多其他的使用方法，这里就不列了；

shell的基本语法复习到这，写的比较粗，中间还有一些遗漏，以后会更完善！

--------------------

**3.1 sed/awk 工具的简单使用**

3.1.1  sed 工具
    
        sed 的背景我就不在这百科了，直接上手一些sed工具的基本使用规则，和一些简单的例子即可，不管是sed和awk工具在以后的工作中都肯定是常用的工具，但是，作为大学的学生，想熟练使用这两个工具估计得下挺大功夫，毕竟不常用；  所以我也只学习了一些简单的用法；
    
        sed 是一个文本处理工具，它为我们提供了很多的方便，刚开始知道sed这个工具的时候，其实挺害怕，觉得好复杂，估计用不了，而且在尝试了几次之后发现过几天就忘了，也就不了了之，这很正常，因为这些工具的使用就是唯手熟尔；现在只要了解它就够了；
    
    学习sed和awk工具还有一个前提就是正则表达式的学习，这也是很多同学望而却步的原因，这里我就不对正则表达式进行百科了，不会就查，用的时间长了就记住了；

（）**sed的工作方式**

sed是一行一行处理文本的，还有需要知道sed有一个HOLD空间和模式空间，HOLD用来作为文档处理的暂存空间，不能有任何的操作，所有的操作只能在模式空间进行；
    
    sed常用的选项：
        -e: 它告诉sed将下一个参数解释为sed指令，即需要连续多个处理时使用；
        -f : 指定由sed指令组成的脚本的名称；
        -i : 直接在读取的内容进行修改，如果没有—i，不会源文件造成任何修改；
        -n: 静默模式，即只输出匹配的行，如果没有-n则匹配行会和源文件全部输出；
    
    
    现在先不做演示，等把下面的编辑命令也复习完毕，一块做演示；
    
    sed的编辑命令有24个之多，在这里只学习常用的几个：
    追加（a）,更改（c）,删除（d），插入（i），替换（s），打印（l），打印行号（=），转换（y）;

部分演示：  
![这里写图片描述][SouthEast 18]

这些小的编辑命令多练习一下就熟悉了，接下来练习一个模式空间和HOLD空间的切换的例子，结束sed的复习；

下面这些选项则是需要用到暂存空间时要用到的选项：

+ g：[address[,address]]g 将hold space中的内容拷⻉贝到pattern space中，原来pattern space⾥里的内容清除
     + G：[address[,address]]G 将hold space中的内容append到pattern space\n后
    + h：[address[,address]]h 将pattern space中的内容拷⻉贝到hold space中，原来的hold space⾥里的内容被清除
    + H：[address[,address]]H 将pattern space中的内容append  hold space\n后
    + d：[address[,address]]d 删除pattern中的所有⾏行，并读⼊入下⼀一新⾏行到pattern中
    + D：[address[,address]]D 删除multiline pattern中的第⼀一⾏行，不读⼊入下⼀一⾏行
    + N,添加下一行至pattern space内;
    + x：交换保持空间和模式空间的内容

**求1~100的和**

两种方式：

![这里写图片描述][SouthEast 19]

分析：第一个例子利用了暂存空间和模式空间的特点进行求和，其中 $ 代表最后一行； ‘^’ 代表第一行； 然后利用选项H 和 x; 其中利用sed的s编辑命令和正则表达式把换行换为加号，最后通过管道把表达式交给bc计算器，得到最终结果；

第二个例子则是利用sed的标签，没有用到暂存空间； 其中 ：a是设置了一个 a标签， ba的作用是跳转到a标签；

感觉这种工具只有自己去实践了才能领会，反正我是写的晕晕的；

**awk工具的简单使用**

awk可是厉害了，awk严格说也是一门语言，语法很多，也很强大，在这里我只学了个皮毛，也就只负责皮毛的这块了；
    
    既然有了sed为什么还要有awk呢？   肯定是因为awk比sed更加强大，就最明显的一点，sed只能一行一行处理数据，不能处理一列一列的数据，而awk就可以做到，而且awk还可以利用类C的语法结构，简直强大，可是我用的还是不熟；
    
    关于awk的使用，在前面复习shell语法的时候其实都用到了，就是找出你在Linux上最常用的十个命令：
    history | awk '{print $1}' | sort | uniq -c | sort -nr |head
    
    awk 的默认的列分割符是空格，我们也可以指定分割符，利用 -F选项;
    例如：

![这里写图片描述][SouthEast 20]

awk 还有一个特点就是它的 BEGIN 块和 END 块；

BEGIN块的作用是在awk执行匹配之前先执行的语句，END自然就是awk处理完之后执行的语句；

例如：  
![这里写图片描述][SouthEast 21]

awk和sed简单的使用就写到这了，感觉烂尾了，写的好累写不下去了，也是这俩个工具要掌握的话需要很多篇幅的，总之就这样了，下一篇，mysql数据库的学习！

[SouthEast]: /images/20220614/9ab6fd9f4c5142e9bc8e0e3bac369c44.png
[SouthEast 1]: /images/20220614/0829048258d14f1ba1c02a5975c14ef2.png
[SouthEast 2]: /images/20220614/b032280515734a268f5243688ca97f6a.png
[SouthEast 3]: /images/20220614/b82eeb89fa5a4e21932e215fd0794d32.png
[SouthEast 4]: /images/20220614/3ef201e9632f485eb217e9fb28cd7fdb.png
[SouthEast 5]: /images/20220614/2f6f3706bbf846e9a9b89382702986e4.png
[SouthEast 6]: /images/20220614/2132503a923a4098a0b8f86afad25651.png
[SouthEast 7]: /images/20220614/5944887e68e34b6a9dd73e0606a4d4e9.png
[SouthEast 8]: /images/20220614/dbed2fd9609e4436b05cab4b57328822.png
[SouthEast 9]: /images/20220614/8cff24f6095745a8a26d8666fca0a594.png
[SouthEast 10]: /images/20220614/adfde0ecc1e544d891edda44eb25ff90.png
[SouthEast 11]: /images/20220614/df5a4eaa548b4780b9815658938c2557.png
[SouthEast 12]: /images/20220614/8ba88bde4e574c368dd12d77269663ff.png
[SouthEast 13]: /images/20220614/e000617a004e4cbe9aa1b6202ff3132b.png
[SouthEast 14]: /images/20220614/e5da08382f694bcbb069d7843b64dab7.png
[SouthEast 15]: /images/20220614/dcd2715334724ab8aac409b510cafff5.png
[SouthEast 16]: /images/20220614/58bf39decf864f5d86124a02ea06ff79.png
[SouthEast 17]: /images/20220614/0c8b07de7996404583c4186985a0d8f8.png
[SouthEast 18]: /images/20220614/71dd479018b543bfb1a167dba4ec9402.png
[SouthEast 19]: /images/20220614/c51098395b144c578874f484488b3a1e.png
[SouthEast 20]: /images/20220614/6b1e39578b0d4d25b264b68e43dddc65.png
[SouthEast 21]: /images/20220614/c82f705f5a484d1ab73359b69ee8caca.png