shell编程

缺乏、安全感 2022-05-20 02:00 301阅读 0赞

# 一、  概述 #

Shell的作用是解释执行用户的命令，用户输入一条命令，Shell就解释执行一条，这种方式称为交互式（Interactive），Shell还有一种执行命令的方式称为批处理（Batch），用户事先写一个Shell脚本（Script），其中有很多条命令，让Shell一次把这些命令执行完，而不必一条一条地敲命令。Shell脚本和编程语言很相似，也有变量和流程控制语句，但Shell脚本是解释执行的，不需要编译，Shell程序从脚本中一行一行读取并执行这些命令，相当于一个用户把脚本中的命令一行一行敲到Shell提示符下执行。

由于历史原因，UNIX系统上有很多种Shell：

sh（Bourne Shell）：由Steve Bourne开发，各种UNIX系统都配有sh。

csh（C Shell）：由Bill Joy开发，随BSD UNIX发布，它的流程控制语句很像C语言，支持很多Bourne Shell所不支持的功能：作业控制，命令历史，命令行编辑。

ksh（Korn Shell）：由David Korn开发，向后兼容sh的功能，并且添加了csh引入的新功能，是目前很多UNIX系统标准配置的Shell，在这些系统上/bin/sh往往是指向/bin/ksh的符号链接。

tcsh（TENEX C Shell）：是csh的增强版本，引入了命令补全等功能，在FreeBSD、MacOS X等系统上替代了csh。

bash（Bourne Again Shell）：由GNU开发的Shell，主要目标是与POSIX标准保持一致，同时兼顾对sh的兼容，bash从csh和ksh借鉴了很多功能，是各种Linux发行版标准配置的Shell，在Linux系统上/bin/sh往往是指向/bin/bash的符号链接。虽然如此，bash和sh还是有很多不同的，一方面，bash扩展了一些命令和参数，另一方面，bash并不完全和sh兼容，有些行为并不一致，所以bash需要模拟sh的行为：当我们通过sh这个程序名启动bash时，bash可以假装自己是sh，不认扩展的命令，并且行为与sh保持一致。

vim /etc/passwd可以查看用户使用的shell。

用户在命令行输入命令后，一般情况下Shell会fork并exec该命令，但是Shell的内建命令例外，执行内建命令相当于调用Shell进程中的一个函数，并不创建新的进程。cd、alias、umask、exit等命令即是内建命令，凡是用which命令查不到程序文件所在位置的命令都是内建命令，内建命令没有单独的man手册，要在man手册中查看内建命令，应该执行man bash-builtins

如export、shift、if、eval、\[、for、while等等。内建命令虽然不创建新的进程，但也会有Exit Status，通常也用0表示成功非零表示失败，虽然内建命令不创建新的进程，但执行结束后也会有一个状态码，也可以用特殊变量$?读出。

# 二、  执行脚本 #

编写一个简单的脚本test.sh

#！  /bin/sh
    
    cd /home
    
    ls

Shell脚本中用\#表示注释，相当于C语言的//注释。但如果\#位于第一行开头，并且是\#!（称为Shebang）则例外，它表示该脚本使用后面指定的解释器/bin/sh解释执行。如果把这个脚本文件加上可执行权限然后执行：

chmod a+x  test.sh
    
    ./test.sh

Shell会fork一个子进程并调用exec执行./test.sh这个程序，exec系统调用应该把子进程的代码段替换成./test.sh程序的代码段，并从它的\_start开始执行。然而test.sh是个文本文件，根本没有代码段和\_start函数，其实exec还有另外一种机制，如果要执行的是一个文本文件，并且第一行用Shebang指定了解释器，则用解释器程序的代码段替换当前进程，并且从解释器的\_start开始执行，而这个文本文件被当作命令行参数传给解释器。因此，执行上述脚本相当于执行程序

/bin/sh ./test.sh

以这种方式执行不需要test.sh文件具有可执行权限。

如果将命令行下输入的命令用()括号括起来，那么也会fork出一个子Shell执行小括号中的命令，一行中可以输入由分号;隔开的多个命令，比如： (cd ..;ls-l)

和上面两种方法执行Shell脚本的效果是相同的，cd ..命令改变的是子Shell的PWD，而不会影响到交互式Shell。然而命令cd ..;ls -l

则有不同的效果，cd ..命令是直接在交互式Shell下执行的，改变交互式Shell的PWD，然而这种方式相当于这样执行Shell脚本：

source ./test.sh

或者

.  ./test.sh

source或者.命令是Shell的内建命令，这种方式也不会创建子Shell，而是直接在交互式Shell下逐行执行脚本中的命令。

# 三、  基本语法 #

## 1.         变量 ##

按照惯例，Shell变量通常由字母加下划线开头，由任意长度的字母、数字、下划线组成。有两种类型的Shell变量：

### 1)        环境变量 ###

环境变量可以从父进程传给子进程，因此Shell进程的环境变量可以从当前Shell进程传给fork出来的子进程。用printenv命令可以显示当前Shell进程的环境变量。

### 2)        本地变量 ###

只存在于当前Shell进程，用set命令可以显示当前Shell进程中定义的所有变量（包括本地变量和环境变量）和函数。

环境变量是任何进程都有的概念，而本地变量是Shell特有的概念。在Shell中，环境变量和本地变量的定义和用法相似。在Shell中定义或赋值一个变量：VARNAME=value

注意等号两边都不能有空格，否则会被Shell解释成命令和命令行参数。

一个变量定义后仅存在于当前Shell进程，它是本地变量，用export命令可以把本地变量导出为环境变量，定义和导出环境变量通常可以一步完成：

export VARNAME=value
    
    也可以分两步完成：
    
    VARNAME=value
    
    export VARNAME

用unset命令可以删除已定义的环境变量或本地变量。

unset VARNAME

如果一个变量叫做VARNAME，用' VARNAME ' 可以表示它的值，在不引起歧义的情况下也可以用VARNAME表示它的值。通过以下例子比较这两种表示法的不同：

echo $SHELL

注意，在定义变量时不用“'”取变量值时要用。和C语言不同的是，Shell变量不需要明确定义类型，事实上Shell变量的值都是字符串，比如我们定义VAR=45，其实VAR的值是字符串45而非整数。Shell变量不需要先定义后使用，如果对一个没有定义的变量取值，则值为空字符串。

## 2.         文件名代换globbing ##

这些用于匹配的字符称为通配符（Wildcard），如：\* ? \[ \] 具体如下：

\*匹配0个或多个任意字符

?匹配一个任意字符

\[若干字符\] 匹配方括号中任意一个字符的一次出现

haha$ ls /dev/ttyS*
    
    haha$ ls ch0?.doc
    
    haha$ ls ch0[0-2].doc
    
    haha$ ls ch[012] [0-9].doc

注意，Globbing所匹配的文件名是由Shell展开的，也就是说在参数还没传给程序之前已经展开了，比如上述ls ch0\[012\].doc命令，如果当前目录下有ch00.doc和ch02.doc，则传给ls命令的参数实际上是这两个文件名，而不是一个匹配字符串。

## 3.         命令代换 ##

由“\`”反引号括起来的也是一条命令，Shell先执行该命令，然后将输出结果立刻代换到当前命令行中。例如定义一个变量存放date命令的输出：

DATE=`date`
    
    echo $DATE

命令代换也可以用$()表示：

DATE=$(date)

## 4.         算数代换 ##

使用$(())，用于算术计算，(())中的Shell变量取值将转换成整数，同样含义的$\[ \]等价例如：

haha$ VAR=45

haha$ echo $(($VAR+3))     等价于       echo $\[VAR+3\]或 $\[$VAR+3\]

$(())中只能用+-\*/和()运算符，并且只能做整数运算。

$\[base\#n\]，其中base表示进制，n按照base进制解释，后面再有运算数，按十进制解释。

echo $[2#10+11]
    
    echo $[8#10+11]
    
    echo $[16#10+11]

## 5.         转义字符 ##

和C语言类似，\\在Shell中被用作转义字符，用于去除紧跟其后的单个字符的特殊意义（回车除外），换句话说，紧跟其后的字符取字面值。例如：

haha$ echo $SHELL
    
    /bin/bash
    
    haha$ echo \$SHELL
    
    $SHELL
    
    haha$ echo \\
    
    \

比如创建一个文件名为“$ $”的文件（$间含有空格）可以这样：

haha$ touch \\$\\ \\$

还有一个字符虽然不具有特殊含义，但是要用它做文件名也很麻烦，就是-号。如果要创建一个文件名以-号开头的文件，这样是不正确的：

haha$ touch -hello
    
    touch: invalid option -- h
    
    Try `touch --help' for more information.

即使加上\\转义也还是报错：

haha$ touch \-hello
    
    touch: invalid option -- h
    
    Try `touch --help' for more information.

因为各种UNIX命令都把-号开头的命令行参数当作命令的选项，而不会当作文件名。如果非要处理以-号开头的文件名，可以有两种办法：

haha$ touch ./-hello

或者

haha$ touch -- -hello

\\还有一种用法，在\\后敲回车表示续行，Shell并不会立刻执行命令，而是把光标移到下一行，给出一个续行提示符>，等待用户继续输入，最后把所有的续行接到一起当作一个命令执行。例如：

haha$ ls \\

> -l

（ls -l命令的输出）

## 6.         单双引号 ##

和C语言同，Shell脚本中的单引号和双引号一样都是字符串的界定符（双引号下一节介绍），而不是字符的界定符。单引号用于保持引号内所有字符的字面值，即使引号内的\\和回车也不例外，但是字符串中不能出现单引号。如果引号没有配对就输入回车，Shell会给出续行提示符，要求用户把引号配上对。例如：

haha$ echo '$SHELL'
    
    $SHELL
    
    haha$ echo 'ABC\（回车）
    
    > DE'（再按一次回车结束命令）
    
    ABC\
    
    DE

被双引号用括住的内容，将被视为单一字串。它防止通配符扩展，但允许变量扩展。这点与单引号的处理方式不同

haha$ DATE=$(date)
    
    haha$ echo "$DATE"
    
    haha$ echo '$DATE'

再比如：

haha$ VAR=200
    
    haha$ echo $VAR      
    
    200
    
    haha$ echo '$VAR'
    
    $VAR
    
    haha$ echo "$VAR"
    
    200

# 四、  shell脚本语法 #

## 1.         条件测试 ##

命令test或 \[ 可以测试一个条件是否成立，如果测试结果为真，则该命令的Exit Status为0，如果测试结果为假，则命令的Exit Status为1（注意与C语言的逻辑表示正好相反）。例如测试两个数的大小关系：

var=3
    
    test $var  -gt  1
    
    echo $?
    
    test $var  -gt  3
    
    echo $?

或者

\[  $var  -gt  3  \]

echo $?

$VAR、-gt、3、\] 是 \[ 命令的四个参数，它们之间必须用空格隔开。命令test或 \[ 的参数形式是相同的，只不过test命令不需要 \] 参数。以 \[ 命令为例，常见的测试命令如下表所示：

\[ -d DIR \] 如果DIR存在并且是一个目录则为真

\[ -f FILE \] 如果FILE存在且是一个普通文件则为真

\[ -z STRING \] 如果STRING的长度为零则为真

\[ -n STRING \] 如果STRING的长度非零则为真

\[ STRING1 = STRING2 \] 如果两个字符串相同则为真

\[ STRING1 != STRING2 \] 如果字符串不相同则为真

\[ ARG1 OP ARG2 \] ARG1和ARG2应该是整数或者取值为整数的变量，OP是-eq（等于）-ne（不等于）-lt（小于）-le（小于等于）-gt（大于）-ge（大于等于）之中的一个

和C语言类似，测试条件之间还可以做与、或、非逻辑运算：

\[ ! EXPR \] EXPR可以是上表中的任意一种测试条件，!表示“逻辑反(非)”

\[ EXPR1 -a EXPR2 \] EXPR1和EXPR2可以是上表中的任意一种测试条件，-a表示“逻辑与”

\[ EXPR1 -o EXPR2 \] EXPR1和EXPR2可以是上表中的任意一种测试条件，-o表示“逻辑或”

例如：

$ VAR=abc
    
    $ [ -d Desktop -a $VAR = 'abc' ]
    
    $ echo $?
    
    0

注意，如果上例中的$VAR变量事先没有定义，则被Shell展开为空字符串，会造成测试条件的语法错误（展开为\[-d Desktop -a = ‘abc’ \]），作为一种好的Shell编程习惯，应该总是把变量取值放在双引号之中（展开为\[ -d Desktop -a “” = ‘abc’ \]）：

$ unset VAR
    
    $ [ -d Desktop -a $VAR = 'abc' ]
    
    bash: [: too many arguments
    
    $ [ -d Desktop -a "$VAR" = 'abc']
    
    $ echo $?

## 2.         分支 ##

### 1)        if/then/elif/else/fi ###

和C语言类似，在Shell中用if、then、elif、else、fi这几条命令实现分支控制。这种流程控制语句本质上也是由若干条Shell命令组成的，例如先前讲过的

if [ -f ~/.bashrc ]; then
    
             .~/.bashrc
    
    fi

其实是三条命令，if \[ -f ∼/.bashrc\]是第一条，then . ∼/.bashrc是第二条，fi是第三条。如果两条命令写在同一行则需要用;号隔开，一行只写一条命令就不需要写;号了，另外，then后面有换行，但这条命令没写完，Shell会自动续行，把下一行接在then后面当作一条命令处理。和\[命令一样，要注意命令和各参数之间必须用空格隔开。if命令的参数组成一条子命令，如果该子命令的Exit Status为0（表示真），则执行then后面的子命令，如果Exit Status非0（表示假），则执行elif、else或者fi后面的子命令。if后面的子命令通常是测试命令，但也可以是其它命令。Shell脚本没有\{\}括号，所以用fi表示if语句块的结束。见下例：

#! /bin/sh
    
    
    
    if [ -f /bin/bash ]
    
    then
    
             echo"/bin/bash is a file"
    
    else
    
             echo"/bin/bash is NOT a file"
    
    fi
    
    if :; then echo "always true"; fi

“:”是一个特殊的命令，称为空命令，该命令不做任何事，但Exit Status总是真。此外，也可以执行/bin/true或/bin/false得到真或假的ExitStatus。再看一个例子：

#! /bin/sh
    
    
    
    echo "Is it morning? Please answer yesor no."
    
    read YES_OR_NO
    
    if [ "$YES_OR_NO" ="yes" ]; then
    
             echo"Good morning!"
    
    elif [ "$YES_OR_NO" ="no" ]; then
    
             echo"Good afternoon!"
    
    else
    
             echo"Sorry, $YES_OR_NO not recognized. Enter yes or no."
    
             exit1
    
    fi
    
    exit 0

上例中的read命令的作用是等待用户输入一行字符串，将该字符串存到一个Shell变量中。

此外，Shell还提供了&&和||语法，和C语言类似，具有Short-circuit特性，很多Shell脚本喜欢写成这样：

test "$(whoami)" != 'root'&& (echo you are using a non-privileged account; exit 1)

&&相当于“if…then…”，而||相当于“if not…then…”。&&和||用于连接两个命令，而上面讲的-a和-o仅用于在测试表达式中连接两个测试条件，要注意它们的区别，例如：

test "$VAR" -gt 1 -a"$VAR" -lt 3

和以下写法是等价的

test "$VAR" -gt 1 && test"$VAR" -lt 3

### 2)        case/esac ###

case命令可类比C语言的switch/case语句，esac表示case语句块的结束。C语言的case只能匹配整型或字符型常量表达式，而Shell脚本的case可以匹配字符串和Wildcard，每个匹配分支可以有若干条命令，末尾必须以;;结束，执行时找到第一个匹配的分支并执行相应的命令，然后直接跳到esac之后，不需要像C语言一样用break跳出。

#! /bin/sh
    
    
    
    echo "Is it morning? Please answer yesor no."
    
    read YES_OR_NO
    
    case "$YES_OR_NO" in
    
    yes|y|Yes|YES)
    
             echo"Good Morning!";;
    
    [nN]*)
    
             echo"Good Afternoon!";;
    
    *)
    
             echo"Sorry, $YES_OR_NO not recognized. Enter yes or no."
    
             exit1;;
    
    esac
    
    exit 0

使用case语句的例子可以在系统服务的脚本目录/etc/init.d中找到。这个目录下的脚本大多具有这种形式（以/etc/init.d/nfs-kernel-server为例）：

case "$1" in
    
             start)
    
                       ...
    
             ;;
    
             stop)
    
                       ...
    
             ;;
    
             reload| force-reload)
    
                       ...
    
             ;;
    
             restart)
    
                       ...
    
             *)
    
                 log_success_msg"Usage:nfs-kernel-server {start|stop|status|reload|force-reload|restart}"
    
                 exit 1
    
             ;;
    
    esac

启动nfs-kernel-server服务的命令是

$ sudo /etc/init.d/nfs-kernel-server start

$1是一个特殊变量，在执行脚本时自动取值为第一个命令行参数，也就是start，所以进入start)分支执行相关的命令。同理，命令行参数指定为stop、reload或restart可以进入其它分支执行停止服务、重新加载配置文件或重新启动服务的相关命令。

## 3.         循环 ##

### 1)        for/do/done ###

Shell脚本的for循环结构和C语言很不一样，它类似于某些编程语言的foreach循环。例如：

#! /bin/sh
    
    
    
    for FRUIT in apple banana pear; do
    
             echo"I like $FRUIT"
    
    done

FRUIT是一个循环变量，第一次循环$FRUIT的取值是apple，第二次取值是banana，第三次取值是pear。再比如，要将当前目录下的chap0、chap1、chap2等文件名改为chap0~、chap1~、chap2~等（按惯例，末尾有~字符的文件名表示临时文件），这个命令可以这样写：

$ for FILENAME in chap?; do mv $FILENAME$FILENAME~; done

也可以这样写：

$ for FILENAME in `ls chap?`; do mv$FILENAME $FILENAME~; done

### 2)        while/do/done ###

while的用法和C语言类似。比如一个验证密码的脚本：

#! /bin/sh
    
    
    
    echo "Enter password:"
    
    read TRY
    
    while [ "$TRY" !="secret" ]; do
    
             echo"Sorry, try again"
    
             readTRY
    
    done

下面的例子通过算术运算控制循环的次数：

#! /bin/sh
    
    
    
    COUNTER=1
    
    while [ "$COUNTER" -lt 10 ]; do
    
             echo"Here we go again"
    
             COUNTER=$(($COUNTER+1))
    
    done
    
    
    
    
    
    #! /bin/bash
    
    echo "input a passwd"
    
    count=3
    
    read psd
    
    while [ "$psd" !="haha" -a $count -gt 1 ]; do
    
           count=$[count-1]
    
           printf "还有%d次机会\n" $count
    
           printf "enter again\n"
    
           read psd
    
    done

另，Shell还有until循环，类似C语言的do…while。

### 3)        break和continue ###

break\[n\]可以指定跳出几层循环；continue跳过本次循环，但不会跳出循环。

即break跳出，continue跳过。

将上面验证密码的程序修改一下，如果用户输错五次密码就报错退出。

### 4)        位置参数和特殊变量 ###

有很多特殊变量是被Shell自动赋值的，比如 $?和$1。其他常用的位置参数和特殊变量总结：

$0                       相当于C语言main函数的argv\[0\]

$1、$2...    这些称为位置参数（Positional Parameter），相当于C语言main函数的argv\[1\]、argv\[2\]...

$\#                       相当于C语言main函数的argc - 1，注意这里的\#后面不表示注释

$@                     表示参数列表"$1" "$2" ...，例如可以用在for循环中的in后面。

$\*                       表示参数列表"$1" "$2" ...，同上

$?                       上一条命令的Exit Status

$$                       当前进程号

位置参数可以用shift命令左移。比如shift 3表示原来的$4现在变成$1，原来的$5现在变成$2等等，原来的$1、$2、$3丢弃，$0不移动。不带参数的shift命令相当于shift 1。例如：

#! /bin/sh
    
    
    
    echo "The program $0 is nowrunning"
    
    echo "The first parameter is $1"
    
    echo "The second parameter is $2"
    
    echo "The parameter list is $@"
    
    shift
    
    echo "The first parameter is $1"
    
    echo "The second parameter is $2"
    
    echo "The parameter list is $@"

### 5)        输入输出 ###

**e**cho

显示文本行或变量，或者把字符串输入到文件。

echo \[option\] string

\-e 解析转义字符

\-n 不回车换行。默认情况echo回显的内容后面跟一个回车换行。

echo "hello\n\n"
    
    echo -e "hello\n\n"
    
    echo "hello"
    
    echo -n "hello"

管道

可以通过 | 把一个命令的输出传递给另一个命令做输入。

cat myfile | more
    
    ls -l | grep "myfile"
    
    df -k | awk '{print $1}' | grep -v "文件系统"

df -k 查看磁盘空间，找到第一列，去除“文件系统”，并输出

tee

tee命令把结果输出到标准输出，另一个副本输出到相应文件。

df -k | awk '\{print $1\}' | grep -v "文件系统" | tee a.txt

tee -a a.txt表示追加操作。

df -k | awk '\{print $1\}' | grep -v "文件系统" | tee -a a.txt

文件重定向

cmd > file                                     把标准输出重定向到新文件中

cmd >> file                          追加

cmd > file 2>&1                  标准出错也重定向到1所指向的file里

cmd >> file 2>&1

cmd < file1 > file2    输入输出都定向到文件里

cmd < &fd                                     把文件描述符fd作为标准输入

cmd > &fd                                     把文件描述符fd作为标准输出

cmd < &-                              关闭标准输入

## 4.         函数 ##

和C语言类似，Shell中也有函数的概念，但是函数定义中没有返回值也没有参数列表。例如：

#! /bin/sh
    
    
    
    foo(){ echo "Function foo iscalled";}
    
    echo "-=start=-"
    
    foo
    
    echo "-=end=-"

注意函数体的左花括号 \{ 和后面的命令之间必须有空格或换行，如果将最后一条命令和右花括号 \} 写在同一行，命令末尾必须有分号;。但，不建议将函数定义写至一行上，不利于脚本阅读。

#! /bin/bash
    
    
    
    foo()
    
    {
    
           echo $0
    
           echo $1
    
           echo $2
    
           echo $3
    
           echo $#
    
           echo $@
    
           echo $$
    
           echo "func1\n"
    
    }
    
    echo "-start-"
    
    foo 1 2 3 4
    
    echo "-end-"

在定义foo()函数时并不执行函数体中的命令，就像定义变量一样，只是给foo这个名一个定义，到后面调用foo函数的时候（注意Shell中的函数调用不写括号）才执行函数体中的命令。Shell脚本中的函数必须先定义后调用，一般把函数定义语句写在脚本的前面，把函数调用和其它命令写在脚本的最后（类似C语言中的main函数，这才是整个脚本实际开始执行命令的地方）。

Shell函数没有参数列表并不表示不能传参数，事实上，函数就像是迷你脚本，调用函数时可以传任意个参数，在函数内同样是用$0、$1、$2等变量来提取参数，函数中的位置参数相当于函数的局部变量，改变这些变量并不会影响函数外面的$0、$1、$2等变量。函数中可以用return命令返回，如果return后面跟一个数字则表示函数的Exit Status。

下面这个脚本可以一次创建多个目录，各目录名通过命令行参数传入，脚本逐个测试各目录是否存在，如果目录不存在，首先打印信息然后试着创建该目录。

#! /bin/sh
    
    
    
    is_directory()
    
    {
    
             DIR_NAME=$1
    
             if [ ! -d$DIR_NAME ]; then
    
                       return1
    
             else
    
                       return0
    
             fi
    
    }
    
    for DIR in "$@"; do
    
             ifis_directory "$DIR"
    
             then :
    
             else
    
                       echo"$DIR doesn't exist. Creating it now..."
    
                       mkdir$DIR > /dev/null 2>&1
    
                       if[ $? -ne 0 ]; then
    
                                echo"Cannot create directory $DIR"
    
                                exit1
    
                       fi
    
             fi
    
    done

注意：is\_directory()返回0表示真返回1表示假。

# 五、  Shell脚本调试方法 #

Shell提供了一些用于调试脚本的选项，如：

\-n               读一遍脚本中的命令但不执行，用于检查脚本中的语法错误。

\-v                一边执行脚本，一边将执行过的脚本命令打印到标准错误输出。

\-x                提供跟踪执行信息，将执行的每一条命令和结果依次打印出来。

这些选项有三种常见的使用方法：

在命令行提供参数。如：

$ sh -x ./script.sh

在脚本开头提供参数。如：

\#! /bin/sh -x

在脚本中用set命令启用或禁用参数。如：

#! /bin/sh
    
    
    
    if [ -z "$1" ]; then
    
             set-x
    
             echo"ERROR: Insufficient Args."
    
             exit1
    
             set+x
    
    fi

set -x和set +x分别表示启用和禁用-x参数，这样可以只对脚本中的某一段进行跟踪调试。

# 六、  正则表达式 #

## 1.         基本语法 ##

### 1)        字符类 ###

.                  匹配任意一个字符                                  abc.可以匹配abdc，abce等

\[\]                匹配括号中的任意一个字符                 \[abc\]可以匹配ad、bd或cd

\-                    在\[\]括号内表示字符范围             \[0-9a-fA-F\]可以匹配一位十六进制数字

^                 位于\[\]括号内的开头，匹配除括号中的字符外的任意一个字符     \[^xy\]匹配除xy之外的任一字符

\[\[:xxx:\]\]      grep工具预定义的一些命名字符类    \[\[:alpha:\]\]匹配一个字母，\[\[:digit:\]\]匹配一个数字。

### 2)        数量限定符 ###

?                 紧跟在它前面的单元应匹配零次或一次

\+                 紧跟在它前面的单元应匹配一次或多次

\*                 紧跟在它前面的单元应匹配零次或多次

\{N,\}            紧跟在它前面的单元应匹配至少N次

\{,M\}            紧跟在它前面的单元应匹配做多M次

\{N,M\}         紧跟在它前面的单元应匹配至少N次，最多M次

### 3)        位置限定符 ###

^                 匹配行首的位置

$                 匹配行末的位置

\\<               匹配单词开头的位置

\\>               匹配单词结尾的位置

\\b               匹配单词开头或结尾的位置

\\B               匹配非单词开头和结尾的位置

### 4)        其他特殊字符 ###

\\                 转义字符，普通字符转义为特殊字符，特殊字符转义为普通字符。

()                将正则表达式的一部分括起来组成一个单元，可以对整个单元使用数量限定符。

|                 连接两个子表达式，表示或的关系。

### 5)        basic正则和extended正则 ###

以上介绍的是grep正则表达式的Extended规范，Basic规范也有这些语法，只是字符?+\{\}|()应解释为普通字符，要表示上述特殊含义则需要加\\转义。如果用grep而不是egrep，并且不加-E参数，则应该遵照Basic规范来写正则表达式。

# 七、  sed #

sed意为流编辑器（Stream Editor），在Shell脚本和Makefile中作为过滤器使用非常普遍，也就是把前一个程序的输出引入sed的输入，经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具，所以很多sed命令和vi的末行命令是相同的。

sed命令行的基本格式为

sed option 'script' file1 file2 ...
    
    sed option -f scriptfile file1 file2 ...

常用参数

\--version                              显示sed版本。

\--help                                             显示帮助文档。

\-n,--quiet,--silent     静默输出，默认情况下，sed程序在所有的脚本指令执行完毕后，将自动打印模式空间中的内容，这些选项可以屏蔽自动打印。

\-e script                               允许多个脚本指令被执行。

\-f script-file,

\--file=script-file                 从文件中读取脚本指令，对编写自动脚本程序来说很棒！

\-i,--in-place                        直接修改源文件，经过脚本指令处理后的内容将被输出至源文件（源文件被修改）慎用！

\-l N, --line-length=N          该选项指定l指令可以输出的行长度，l指令用于输出非打印字符。

\--posix                                 禁用GNU sed扩展功能。

\-r, --regexp-extended        在脚本指令中使用扩展正则表达式

\-s, --separate                     默认情况下，sed将把命令行指定的多个文件名作为一个长的连续的输入流。而GNU sed则允许把他们当作单独的文件，这样如正则表达式则不进行跨文件匹配。

\-u, --unbuffered                 最低限度的缓存输入与输出。

常用脚本命令

a,      append                     追加

i,       insert                         插入

d,      delete                       删除

s,      substitution             替换

如：$ sed "2a haha"./testfile 在输出testfile内容的第二行后添加"haha"。

sed处理的文件既可以由标准输入重定向得到，也可以当命令行参数传入，命令行参数可以一次传入多个文件，sed会依次处理。sed的编辑命令可以直接当命令行参数传入，也可以写成一个脚本文件然后用-f参数指定，编辑命令的格式为：

/pattern/action

其中pattern是正则表达式，action是编辑操作。sed程序一行一行读出待处理文件，如果某一行与pattern匹配，则执行相应的action，如果一条命令没有pattern而只有action，这个action将作用于待处理文件的每一行。

常用的sed命令

/pattern/p 打印匹配pattern的行

/pattern/d 删除匹配pattern的行

/pattern/s/pattern1/pattern2/ 查找符合pattern的行，将该行第一个匹配pattern1的字符串替换为pattern2

/pattern/s/pattern1/pattern2/g 查找符合pattern的行，将该行所有匹配pattern1的字符串替换为pattern2

使用p命令需要注意，sed是把待处理文件的内容连同处理结果一起输出到标准输出的，因此p命令表示除了把文件内容打印出来之外还额外打印一遍匹配pattern的行。

使用查找替换命令时，可以把匹配pattern1的字符串复制到pattern2中，比如：

$ sed 's/bc/-&-/' testfile

123

a-bc-

456

pattern2中的&表示原文件的当前行中与pattern1相匹配的字符串

$ sed 's/\$\[0-9\]\$\$\[0-9\]\$/-\\1-~\\2~/'testfile

\-1-~2~3

abc

\-4-~5~6

pattern2中的\\1表示与pattern1的第一个()括号相匹配的内容，\\2表示与pattern1的第二个()括号相匹配的内容。sed默认使用Basic正则表达式规范，如果指定了-r选项则使用Extended规范，那么()括号就不必转义了。如：

sed -r 's/(\[0-9\])(\[0-9\])/-\\1-~\\2~/' out.sh

替换结束后，所有行，含有连续数字的第一个数字前后都添加了“-”号；第二个数字前后都添加了“~”号。

可以一次指定多条不同的替换命令，用“;”隔开：

$ sed 's/yes/no/;s/static/dhcp/' ./testfile

注：使用分号隔开指令。

也可以使用 -e 参数来指定不同的替换命令，有几个替换命令需添加几个 -e 参数：

$ sed -e 's/yes/no/' -e 's/static/dhcp/'testfile

注：使用-e选项。

如果testfile的内容是

<html><head><title>HelloWorld</title></head>
    
    <body>Welcome to the world ofregexp!</body></html>

现在要去掉所有的HTML标签，使输出结果为：

Hello World
    
    Welcome to the world of regexp!

如果用下面的命令

$ sed 's/<.\*>//g' testfile

结果是两个空行，把所有字符都过滤掉了。这是因为，正则表达式中的数量限定符会匹配尽可能长的字符串，这称为贪心的(Greedy)。比如sed在处理第一行时，<.\*>匹配的并不是<html>或<head>这样的标签，而是

<html><head><title>HelloWorld</title>

这样一整行，因为这一行开头是<，中间是若干个任意字符，末尾是>。

sed 's/<\[^<>\]\*>//g' html

# 八、  awk #

sed以行为单位处理文件，awk比sed强的地方在于不仅能以行为单位还能以列为单位处理文件。awk缺省的行分隔符是换行，缺省的列分隔符是连续的空格和Tab，但是行分隔符和列分隔符都可以自定义，比如/etc/passwd文件的每一行有若干个字段，字段之间以:分隔，就可以重新定义awk的列分隔符为:并以列为单位处理这个文件。awk实际上是一门很复杂的脚本语言，还有像C语言一样的分支和循环结构，但是基本用法和sed类似，awk命令行的基本形式为：

awk option 'script' file1 file2 ...
    
    awk option -f scriptfile file1 file2 ...

和sed类似，pattern是正则表达式，actions是一系列操作。awk程序一行一行读出待处理文件，如果某一行与pattern匹配，或者满足condition条件，则执行相应的actions，如果一条awk命令只有actions部分，则actions作用于待处理文件的每一行。

比如文件testfile的内容表示某商店的库存量：

ProductA 30
    
    ProductB 76
    
    ProductC 55

打印每一行的第二列:

$ awk '{print $2;}' testfile
    
    30
    
    76
    
    55

自动变量$1、$2分别表示第一列、第二列等，类似于Shell脚本的位置参数，而$0表示整个当前行。再比如，如果某种产品的库存量低于75则在行末标注需要订货：

$ awk '$2<75 {printf"%s\t%s\n", $0, "REORDER";} $2>=75 {print $0;}' testfile
    
    ProductA 30 REORDER
    
    ProductB 76
    
    ProductC 55 REORDER

awk也有和C语言非常相似的printf函数。

awk命令的condition部分还可以是两个特殊的condition－BEGIN和END，对于每个待处理文件，BEGIN后面的actions在处理整个文件之前执行一次，END后面的actions在整个文件处理完之后执行一次。

awk命令可以像C语言一样使用变量（但不需要定义变量），比如统计一个文件中的空行数

$ awk '/^ \*$/ \{x=x+1;\} END \{print x;\}'testfile

就像Shell的环境变量一样，有些awk变量是预定义的有特殊含义的：

awk常用的内建变量

FILENAME          当前输入文件的文件名，该变量是只读的

NR                      当前行的行号，该变量是只读的，R代表record

NF                      当前行所拥有的列数，该变量是只读的，F代表field

OFS                    输出格式的列分隔符，缺省是空格

FS                       输入文件的列分融符，缺省是连续的空格和Tab

ORS                             输出格式的行分隔符，缺省是换行符

RS                       输入文件的行分隔符，缺省是换行符

例如打印系统中的用户帐号列表

$ awk 'BEGIN \{FS=":"\} \{print$1;\}' /etc/passwd

awk也可以像C语言一样使用if/else、while、for控制结构。

# 九、  c程序中使用正则 #

POSIX规定了正则表达式的C语言库函数，详见regex(3)。根据regex(3)自己总结正则表达式在C语言中的用法，写一些简单的程序，例如验证用户输入的IP地址或email地址格式是否正确。

C语言处理正则表达式常用的函数有regcomp()、regexec()、regfree()和regerror()，一般分为三个步骤，如下所示：

C语言中使用正则表达式一般分为三步：

编译正则表达式 regcomp()

匹配正则表达式 regexec()

释放正则表达式 regfree()

int regcomp (regex\_t \*compiled, const char\*pattern, int cflags)

regex\_t    是一个结构体数据类型，用来存放编译后的正则表达式，它的成员re\_nsub 用来存储正则表达式中的子正则表达式的个数，子正则表达式就是用圆括号包起来的部分表达式。

pattern   是指向写好的正则表达式的指针。

cflags               有如下4个值或者是它们或运算(|)后的值：

REG\_EXTENDED        以功能更加强大的扩展正则表达式的方式进行匹配。

REG\_ICASE                 匹配字母时忽略大小写。

REG\_NOSUB              不用存储匹配后的结果,只返回是否成功匹配。如果设置该标志位，那么在regexec将忽略nmatch和pmatch两个参数。

REG\_NEWLINE 识别换行符，这样'$'就可以从行尾开始匹配，'^'就可以从行的开头开始匹配。

当我们编译好正则表达式后，就可以用regexec匹配我们的目标文本串了，如果在编译正则表达式的时候没有指定cflags的参数为REG\_NEWLINE，则默认情况下是忽略换行符的，也就是把整个文本串当作一个字符串处理。

执行成功返回0。

regmatch\_t 是一个结构体数据类型，在regex.h中定义：

typedef struct \{

regoff\_trm\_so;

regoff\_trm\_eo;

\} regmatch\_t;

成员rm\_so 存放匹配文本串在目标串中的开始位置，rm\_eo 存放结束位置。通常以数组的形式定义一组这样的结构。因为往往正则表达式中还包含子正则表达式。数组0单元存放主正则表达式位置，后边的单元依次存放子正则表达式位置。

int regexec (regex\_t \*compiled, char\*string, size\_t nmatch, regmatch\_t matchptr\[\], int eflags)

compiled          是已经用regcomp函数编译好的正则表达式。

string                 是目标文本串。

nmatch              是regmatch\_t结构体数组的长度。

matchptr regmatch\_t类型的结构体数组，存放匹配文本串的位置信息。

eflags 有两个值:

REG\_NOTBOL让特殊字符^无作用

REG\_NOTEOL让特殊字符＄无作用

使用完编译好的正则表达式后，或者要重新编译其他正则表达式的时候，可以用这个函数清空compiled指向的regex\_t结构体的内容，请记住，如果是重新编译的话，一定要先清空regex\_t结构体。

void regfree (regex\_t \*compiled)

当执行regcomp 或者regexec 产生错误的时候，就可以调用这个函数而返回一个包含错误信息的字符串。

size\_t regerror (int errcode, regex\_t\*compiled, char \*buffer, size\_t length)

errcode    是由regcomp 和 regexec 函数返回的错误代号。

compiled          是已经用regcomp函数编译好的正则表达式，这个值可以为NULL。

buffer                指向用来存放错误信息的字符串的内存空间。

length               指明buffer的长度，如果这个错误信息的长度大于这个值，则regerror函数会自动截断超出的字符串，但他仍然会返回完整的字符串的长度。所以我们可以用如下的方法先得到错误字符串的长度。

例如： size\_t length =regerror (errcode, compiled, NULL, 0);

例子

#include <sys/types.h>
    
    #include <regex.h>
    
    #include <stdio.h>
    
    
    
    int main(int argc, char ** argv)
    
    {
    
             if (argc !=3) {
    
                       printf("Usage:%s RegexString Text\n", argv[0]);
    
                       return1;
    
             }
    
             const char* pregexstr = argv[1];
    
             const char* ptext = argv[2];
    
             regex_toregex;
    
             intnerrcode = 0;
    
             charszerrmsg[1024] = {0};
    
             size_tunerrmsglen = 0;
    
             if((nerrcode = regcomp(&oregex, pregexstr, REG_EXTENDED|REG_NOSUB)) == 0) {
    
                       if((nerrcode = regexec(&oregex, ptext, 0, NULL, 0)) == 0)   {
    
                                printf("%smatches %s\n", ptext, pregexstr);
    
                                regfree(&oregex);
    
                                return0;
    
                       }
    
             }
    
             unerrmsglen= regerror(nerrcode, &oregex, szerrmsg, sizeof(szerrmsg));
    
             unerrmsglen= unerrmsglen < sizeof(szerrmsg) ? unerrmsglen : sizeof(szerrmsg) - 1;
    
             szerrmsg[unerrmsglen]= '\0';
    
             printf("ErrMsg:%s\n", szerrmsg);
    
             regfree(&oregex);
    
    
    
             return 1;
    
    }

匹配网址：

./a.out "http:\\/\\/www\\..\*\\.com""http://www.taobao.com"

匹配邮箱：

./a.out"^\[a-zA-Z0-9\]+@\[a-zA-Z0-9\]+.\[a-zA-Z0-9\]+" "ddd@haha.com"

./a.out"\\w+(\[-+.\]\\w+)\*@\\w+(\[-.\]\\w+)\*\\.\\w+(\[-.\]\\w+)\*" "aaa@qq.com"

注：\\w匹配一个字符，包含下划线