跟散仙学shell编程(五)

忘是亡心i 2022-04-13 11:57 158阅读 0赞

上一篇写的是处理用户输入，本篇散仙要写的是linux里面的标准输入，输出，以及文件描述符的使用。  
  
  
linux系统将每个对象当做文件来处理，这包括输入和输出的过程，linux用文件描述符来标识每个文件对象，文件描述符是一个非负整数，可以唯一的的标识会话中打开的文件，每个过程最多可以有9个文件描述符，linux系统默认占用了0，1，2三个文件描述符  
  
\[table\]  
|序号|文件描述符符号|缩写|描述  
|1|0|STDIN|标准输入  
|2|1|STDOUT|标准输出  
|3|2|STDERR|标准错误  
\[/table\]  
  
我们使用2<文件名，将一个错误的消息重定向到一个文件中，而不再屏幕上显示

[search@h1 a813]$ ll -al bbb > t2
    ls: 无法访问bbb: 没有那个文件或目录
    [search@h1 a813]$ ll -al bbb 2> t3
    [search@h1 a813]$ ll
    总用量 8
    -rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
    -rw-rw-r-- 1 search search  0 8月  14 03:59 t2
    -rw-rw-r-- 1 search search 49 8月  14 03:59 t3
    [search@h1 a813]$ more t3 
    ls: 无法访问bbb: 没有那个文件或目录
    [search@h1 a813]$

同样我们可以正确的消息重定向到一个文本里，把错误的消息重定向到另外一个文件里，这样就很分明了，不用我们去一大堆的log里面查找错误信息了。

[search@h1 a813]$ ll
    总用量 12
    -rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
    -rw-rw-r-- 1 search search  0 8月  14 04:04 error.txt
    -rw-rw-r-- 1 search search 52 8月  14 04:04 ok.txt
    -rw-rw-r-- 1 search search  0 8月  14 03:59 t2
    -rw-rw-r-- 1 search search 49 8月  14 03:59 t3
    [search@h1 a813]$ rm -rf error.txt 
    [search@h1 a813]$ rm -rf ok.txt 
    [search@h1 a813]$ ls -al abc.txt  bb 2> error.txt 1> ok.txt
    [search@h1 a813]$ ll
    总用量 16
    -rw-rw-r-- 1 search search  9 8月  14 03:56 abc.txt
    -rw-rw-r-- 1 search search 48 8月  14 04:06 error.txt
    -rw-rw-r-- 1 search search 52 8月  14 04:06 ok.txt
    -rw-rw-r-- 1 search search  0 8月  14 03:59 t2
    -rw-rw-r-- 1 search search 49 8月  14 03:59 t3
    [search@h1 a813]$ more ok.txt 
    -rw-rw-r-- 1 search search 9 8月  14 03:56 abc.txt
    [search@h1 a813]$ more error.txt 
    ls: 无法访问bb: 没有那个文件或目录
    [search@h1 a813]$

注意重定向的写法2> 文本， 中间有个空格  
正确输出和错误输出都重定向到一个文件里，命令如下：

[search@h1 a813]$ ls -al abc.txt  cc &> test2
    [search@h1 a813]$ ll
    总用量 20
    -rw-rw-r-- 1 search search   9 8月  14 03:56 abc.txt
    -rw-rw-r-- 1 search search  48 8月  14 04:06 error.txt
    -rw-rw-r-- 1 search search  52 8月  14 04:06 ok.txt
    -rw-rw-r-- 1 search search   0 8月  14 03:59 t2
    -rw-rw-r-- 1 search search  49 8月  14 03:59 t3
    -rw-rw-r-- 1 search search 100 8月  14 04:09 test2
    [search@h1 a813]$ more test2 
    ls: 无法访问cc: 没有那个文件或目录
    -rw-rw-r-- 1 search search 9 8月  14 03:56 abc.txt
    [search@h1 a813]$

下面演示临时重定向的用法：

[search@h1 a813]$ more b.sh 
    
    #强制此句变成一个错误的输出
    echo "this is a error" >&2
    
    echo "this is a normal output"
    [search@h1 a813]$ sh b.sh  2> e2.txt
    this is a normal output
    [search@h1 a813]$ more e2.txt 
    this is a error
    [search@h1 a813]$

临时重定向只对单个消息管用，如果脚本里有大量的数据需要重定向，那么就需要使用永久重定向了，演示如下：

[search@h1 a813]$ cat a.sh 
    
    
    exec 1>out
    
    echo "11我输出的会被重定向在out里面"
    echo "1我输出的会被重定向在out里面"
    echo "111我输出的会被重定向在out里面"
    [search@h1 a813]$ sh a.sh 
    [search@h1 a813]$ cat out 
    11我输出的会被重定向在out里面
    1我输出的会被重定向在out里面
    111我输出的会被重定向在out里面
    [search@h1 a813]$ echo "haha"
    haha
    [search@h1 a813]$ more out 
    11我输出的会被重定向在out里面
    1我输出的会被重定向在out里面
    111我输出的会被重定向在out里面
    [search@h1 a813]$

exec命令会启动一个新的shell，并将STDOUT文件描述符重定向到文件

[search@h1 a813]$ more c.sh 
    
    
    exec 2>err
    echo "a"
    echo "aa"
    echo "ab"
    
    
    exec 1>pp
    
    echo "bb"
    echo "cc"  >&2
    
    
    [search@h1 a813]$ sh c.sh 
    a
    aa
    ab
    [search@h1 a813]$ more pp
    bb
    [search@h1 a813]$ more err
    cc
    [search@h1 a813]$

下面我们看下，如何在脚本中重定向输入

[search@h1 a813]$ more testfile 
    JAVA
    SOLR
    Lucene
    Hadoop
    Hive
    [search@h1 a813]$ cat d.sh 
    
    
    exec 0< testfile
    count=1
    while read line
    do
    
    echo "行号:$count: $line"
    
    count=$[ $count + 1  ]
    
    
    done
    [search@h1 a813]$ sh d.sh 
    行号:1: JAVA
    行号:2: SOLR
    行号:3: Lucene
    行号:4: Hadoop
    行号:5: Hive
    [search@h1 a813]$

下面我们看下如何创建自己的文件描述符，还记得开头说的吗，linux默认有10个文件描述符，其中linux用了前3个（0,1,2），所以我们可以使用剩余的来自定义自己的描述符

[search@h1 a813]$ cat e.sh 
    
    
    exec 3> test3out
    
    echo "桌面显示1"
    echo "桌面显示21"
    echo "桌面显示12"
    
    
    echo "到自定义的文件描述符里面" >&3
    
    [search@h1 a813]$ sh e.sh 
    桌面显示1
    桌面显示21
    桌面显示12
    [search@h1 a813]$ cat test3out 
    到自定义的文件描述符里面
    [search@h1 a813]$

当然我们也可以追加进去exec 3>> testout文件  
  
重定向文件描述符恢复：

[search@h1 a813]$ cat s.sh 
    
    
    exec 3>&1
    
    exec 1>out4
    
    
    echo "a"
    
    echo "b"
    
    
    exec 1>&3
    
    
    echo "c"
    [search@h1 a813]$ sh s.sh 
    c
    [search@h1 a813]$ cat out4 
    a
    b

分析下上面的例子：  
首先将文件描述符3重定向到1中，也就是标准的屏幕输出，但是第二行又把标准的屏幕输出重定向到一个文件里面了，所以打印的a，b会被直接写到文件中，最后的一行又把1标准输出重定向到3描述符里面，而3又是重定向到标准输出1里面，所以最后会打印在屏幕上。  
这个重定向例子，可以用来恢复原来设置的文件描述符。  
  
  
下面看下输入重定向：

[search@h1 a813]$ cat testfile 
    JAVA
    SOLR
    Lucene
    Hadoop
    Hive
    [search@h1 a813]$ sh g.sh 
    1: JAVA
    2: SOLR
    3: Lucene
    4: Hadoop
    5: Hive
    yes or no : y
    you input yes
    [search@h1 a813]$ sh g.sh 
    1: JAVA
    2: SOLR
    3: Lucene
    4: Hadoop
    5: Hive
    yes or no : n
    you input no
    [search@h1 a813]$

创建读写文件描述符：

[search@h1 a813]$ cat testfile 
    JAVA
    SOLR
    Lucene
    Hadoop
    Hive
    [search@h1 a813]$ sh rw.sh 
    Read:  JAVA
    [search@h1 a813]$ cat testfile 
    JAVA
     this is a test line 
    e
    [search@h1 a813]$

读写文件描述符，容易造成文件指针混乱，所以不建议使用，  
下面看下如何关闭一个文件描述符：

[search@h1 a813]$ sh w.sh 
    w.sh: line 9: 3: 错误的文件描述符
    [search@h1 a813]$ cat o1.txt 
    good hah 
    [search@h1 a813]$ cat w.sh 
    
    
    exec 3> o1.txt
    echo "good hah " >&3
    
    
    exec 3>&-
    
    echo "bad hah" >&3
    [search@h1 a813]$

需要注意的两次先后打开一个文件描述符，后面的内容，会覆盖原来的：

[search@h1 a813]$ sh dd.sh 
    第一次哈哈
    [search@h1 a813]$ cat o2.txt 
    第二次哈哈
    [search@h1 a813]$ cat dd.sh 
    
    
    exec 3>o2.txt
    
    
    echo "第一次哈哈" >&3
    
    cat o2.txt
    
    
    exec 3>o2.txt
    
    echo "第二次哈哈" >&3
    
    
    [search@h1 a813]$

下面看下如何查看文件描述符的信息，如果执行lsof命令提示，没有这个命令，我们可以使用yum install lsof命令先安装一个，Debian可以执行：apt-get install lsof 安装。  
  
lsof命令用法如下：

lsof  filename 显示打开指定文件的所有进程
    lsof -a 表示两个参数都必须满足时才显示结果
    lsof -c string   显示COMMAND列中包含指定字符的进程所有打开的文件
    
    lsof -p 进程号         查看该进程打开了哪些文件
    lsof -u username  显示所属user进程打开的文件
    lsof -g gid 显示归属gid的进程情况
    lsof +d /DIR/ 显示目录下被进程打开的文件
    lsof +D /DIR/ 同上，但是会搜索目录下的所有目录，时间相对较长
    lsof -d FD 显示指定文件描述符的进程
    lsof -n 不将IP转换为hostname，缺省是不加上-n参数
    lsof -i 用以显示符合条件的进程情况
    lsof -i[46] [protocol][@hostname|hostaddr][:service|port]
    46 –> IPv4 or IPv6
    protocol –> TCP or UDP
    hostname –> Internet host name
    hostaddr –> IPv4地址
    service –> /etc/service中的 service name (可以不只一个)
    port –> 端口号 (可以不只一个)

列名的说明：

每行显示一个打开的文件，若不指定条件默认将显示所有进程打开的所有文件。lsof输出各列信息的意义如下：
    
    COMMAND：进程的名称
    PID：进程标识符
    USER：进程所有者
    FD：文件描述符，应用程序通过文件描述符识别该文件。如cwd、txt等
    TYPE：文件类型，如DIR、REG等
    DEVICE：指定磁盘的名称
    SIZE：文件的大小
    NODE：索引节点（文件在磁盘上的标识）
    NAME：打开文件的确切名称

默认执行会产生大量输出，一般我们需要过滤，最常用的命令有-p 和 -d，前者允许指定PID,后者允许要显示的文件描述符的个数，也可以使用特殊的编辑变量$$,shel会把它设为当前的pid:  
\[code="java"\]\# lsof -a -p $$  
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME  
bash 1487 root cwd DIR 253,0 4096 392508 /usr/sbin  
bash 1487 root rtd DIR 253,0 4096 2 /  
bash 1487 root txt REG 253,0 903336 14 /bin/bash  
bash 1487 root mem REG 253,0 99154480 394480 /usr/lib/locale/locale-archive  
bash 1487 root mem REG 253,0 65928 261665 /lib64/libnss\_files-2.12.so  
bash 1487 root mem REG 253,0 1921216 261649 /lib64/libc-2.12.so  
bash 1487 root mem REG 253,0 19536 261655 /lib64/libdl-2.12.so  
bash 1487 root mem REG 253,0 135896 261691 /lib64/libtinfo.so.5.7  
bash 1487 root mem REG 253,0 154520 261642 /lib64/ld-2.12.so  
bash 1487 root mem REG 253,0 26060 654464 /usr/lib64/gconv/gconv-modules.cache  
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 255u CHR 136,0 0t0 3 /dev/pts/0  
\# lsof -a -p $$ 0,1,2  
lsof: status error on 0,1,2: No such file or directory  
lsof 4.82  
latest revision: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/  
latest FAQ: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ  
latest man page: ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/lsof\_man  
usage: \[-?abhlnNoOPRtUvVX\] \[+|-c c\] \[+|-d s\] \[+D D\] \[+|-f\[gG\]\] \[+|-e s\]  
\[-F \[f\]\] \[-g \[s\]\] \[-i \[i\]\] \[+|-L \[l\]\] \[+m \[m\]\] \[+|-M\] \[-o \[o\]\] \[-p s\]  
\[+|-r \[t\]\] \[-s \[p:s\]\] \[-S \[t\]\] \[-T \[t\]\] \[-u s\] \[+|-w\] \[-x \[fl\]\] \[--\] \[names\]  
Use the \`\`-h'' option to get more help information.  
\# lsof -a -p $$ -d 0,1,2  
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME  
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0  
\# lsof -a -p $$ -d 0,1,2,3  
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME  
bash 1487 root 0u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 1u CHR 136,0 0t0 3 /dev/pts/0  
bash 1487 root 2u CHR 136,0 0t0 3 /dev/pts/0  
\#  
\[/code\]  
  
  
下面做个小测试，看我们自己定义的文件描述符：

[search@h1 a813]$ echo "a" >> o1
    [search@h1 a813]$ echo "a" >> o2
    [search@h1 a813]$ echo "a" >> o3
    [search@h1 a813]$ cat v.sh 
    
    
    exec 3> o1
    exec 4> o2
    exec 7< o3
    
    
    lsof -a -p $$ 
    [search@h1 a813]$ sh v.sh 
    COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
    sh      1562 search  cwd    DIR  253,0     4096 274764 /home/search/a813
    sh      1562 search  rtd    DIR  253,0     4096      2 /
    sh      1562 search  txt    REG  253,0   903336     14 /bin/bash
    sh      1562 search  mem    REG  253,0 99154480 394480 /usr/lib/locale/locale-archive
    sh      1562 search  mem    REG  253,0  1921216 261649 /lib64/libc-2.12.so
    sh      1562 search  mem    REG  253,0    19536 261655 /lib64/libdl-2.12.so
    sh      1562 search  mem    REG  253,0   135896 261691 /lib64/libtinfo.so.5.7
    sh      1562 search  mem    REG  253,0   154520 261642 /lib64/ld-2.12.so
    sh      1562 search  mem    REG  253,0    26060 654464 /usr/lib64/gconv/gconv-modules.cache
    sh      1562 search    0u   CHR  136,0      0t0      3 /dev/pts/0
    sh      1562 search    1u   CHR  136,0      0t0      3 /dev/pts/0
    sh      1562 search    2u   CHR  136,0      0t0      3 /dev/pts/0
    sh      1562 search    3w   REG  253,0        0 275196 /home/search/a813/o1
    sh      1562 search    4w   REG  253,0        0 275198 /home/search/a813/o2
    sh      1562 search    7r   REG  253,0        2 275201 /home/search/a813/o3
    sh      1562 search  255r   REG  253,0       55 275199 /home/search/a813/v.sh
    [search@h1 a813]$

如果不想看到任何的错误消息，我们可以将到重定向到一个空的设备中  
ls -al > /dev/null  
  
当然我们也可以利用cat /dev/null > tesfile 来清空一个文件  
  
  
mktemp test.XXXXXX会创建一个唯一的文件，后面的六个X会被生成一个随机数，从而能创建一个临时文件：

[search@h1 a813]$ mktemp t.XXXXXX
    t.xhqQbm
    [search@h1 a813]$ ll t.*
    -rw------- 1 search search 0 8月  14 05:27 t.cEjS56
    -rw------- 1 search search 0 8月  14 05:24 t.GLcGV0
    -rw------- 1 search search 0 8月  14 05:27 t.xhqQbm
    [search@h1 a813]$

我们知道在linux的tmp目录下的临时文件，都会在系统退出启动后删除，我们可以使用mktemp -t t.XXXXXX来创建一个临时文件：

[search@h1 ~]$ mktemp -t t.XXXXXX
    /tmp/t.36bSRP
    [search@h1 ~]$ ls -al /tmp/t.36bSRP 
    -rw------- 1 search search 0 8月  14 05:29 /tmp/t.36bSRP
    [search@h1 ~]$

命令创建完毕后，会返回一个路径，这样我们就能引用这个文件了，而不用管它将临时文件放在了什么位置  
  
mktemp -d dir.XXXXXX命令可以同-t一样，能创建一个临时目录，用来存储临时一些数据。  
  
有时候我们想将一些文件，即在屏幕上显示，又能记录到文件里面，这时候我们不需要重定向2次，我们可以使用tee命令，tee命令是一个T字形的管道，它将STDIN读取过来的数据，同时发送到2个目的地，一个是STOUT，一个是tee指定的文件里面。

[search@h1 ~]$ date | tee vv.txt
    2014年 08月 14日 星期四 05:36:12 CST
    [search@h1 ~]$ cat vv.txt 
    2014年 08月 14日 星期四 05:36:12 CST
    [search@h1 ~]$

默认会覆盖上次数据，如果不想覆盖，可以加个-a命令。

[search@h1 ~]$ date | tee vv.txt
    2014年 08月 14日 星期四 05:36:12 CST
    [search@h1 ~]$ cat vv.txt 
    2014年 08月 14日 星期四 05:36:12 CST
    [search@h1 ~]$ date | tee vv.txt
    2014年 08月 14日 星期四 05:37:26 CST
    [search@h1 ~]$ date | tee vv.txt
    2014年 08月 14日 星期四 05:37:30 CST
    [search@h1 ~]$ cat vv.txt 
    2014年 08月 14日 星期四 05:37:30 CST
    [search@h1 ~]$ date | tee -a vv.txt
    2014年 08月 14日 星期四 05:37:43 CST
    [search@h1 ~]$ date | tee -a vv.txt
    2014年 08月 14日 星期四 05:37:47 CST
    [search@h1 ~]$ cat vv.txt 
    2014年 08月 14日 星期四 05:37:30 CST
    2014年 08月 14日 星期四 05:37:43 CST
    2014年 08月 14日 星期四 05:37:47 CST
    [search@h1 ~]$

利用这个方法，我们就可以既能将数据保存着日志文件里，又可以在屏幕上显示

[search@h1 ~]$ cat ddd.sh 
    
    
    file=bb
    
    
    echo "abc" | tee $file
    
    
    echo "bbb" | tee  -a  $file
    
    
    echo "ddd" | tee -a  $file
    
    
    [search@h1 ~]$ sh ddd.sh 
    abc
    bbb
    ddd
    [search@h1 ~]$ cat bb 
    abc
    bbb
    ddd
    [search@h1 ~]$

现在我们就可以将输出给用户的同时，也给自己永久保留一份文件了。