入门知识——Linux入门

缺乏、安全感 2022-04-16 03:26 431阅读 0赞

# 1.Linux系统简介： #

操作系统linux=系统调用和内核  
linux本身只是操作系统的内核，内核是使其他程序运行的基础，它实现了多任务和硬件管理，用户和系统管理员交互运行的所有程序都运行在内核之上；  
shell（命令行解释器），用于用户交互和编写shell脚本  
linux操作系统发行版，Ubuntu，CentOS，Fedora，OpenSUSE，Debian，Mint  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70][]

# 2.基本概念和操作 #

linux上图形界面，是运行在linux上的一套软件，xorg：是通过x窗口系统实现的，x本身是工具包和协议架构，xorg是x架构的实现体，也就是说它是实现了x协议规范的一个提供图形界面服务的服务器，当然还需要一个客户端，称为x client,比较熟知的桌面环境就是：KDE，GNOME，XFCE，LXDE

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 1][]

终端模拟器：Terminal，xterm  
终端本质是对应linux上的/dev/tty设备，多用户登录是通过不同的/tty设备完成的，linux默认提供6个纯命令界面terminal让用户登录，物理机上通过ctrl+alt+F1-F6切换  
shell,提供给使用者的软件，它是交互界面，也是控制系统的脚本语言  
linux上比较流行的shell是bash，zsh，ksh，csh

Tab：补全命令，目录，命令参数  
Ctrl+c；强行终止当前程序

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 2][]

\*、？：对字符串迷糊匹配（文件名，参数名），输入的通配符是由shell处理的，它只会出现在命令的参数里，命令可以用tab补全，shell在参数值中找到通配符时候，将其当做路径或者文件名磁盘中查找匹配，找到了进行替换，否则将其作为一个普通字符传给命令，再由命令进行处理，总之：  
通配符只是一种shell实现路径扩展功能，通配符被处理以后，shell先完成命令的重组，然后继续处理重组后的命令，直到执行命令(ls \*.txt)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 3][]

创建多个文件：touch \{1..10\}\_jerry.txt

$man(manual pages):man <command\_name>(ls --help)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 4][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 5][]

# 3.用户和文件权限操作 #

$who am i:用户名 伪终端，打开时间

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 6][]

root权限，系统权限的一种，与system权限可以理解成一个，是超级管理员用户账户，拥有系统至高无上的权利，要创建用户需要root权限；sudo：需要知道当前用户的密码，同时当前用户属于sudo用户组

su,su-,sudo:

su <user>切换用户，执行需要输入用户密码，sudo <cmd>可以特权命令运行cmd命令，需要当前用户属于sudo用户组，且需要输入当前用户密码，su - <user>,命令切换用户，同时环境变量改成目标用户的环境变量；

$sudo adduser jerry：新建用户jerry，添加用户到系统，同时默认为用户创建了home目录（ls /home）

$su -l jerry：切换登陆

$exit+d/exit：退出当前用户，退出终端；

linux中每个用户都属于用户组，用户组简单理解就是一组用户的集合，共享一些资源和权限，同时拥有私有资源，一个用户可以属于多个用户组

$groups jerry&cat /etc/group：查看用户属于哪些用户组，冒号之前表示用户，后面表示用户属于的用户组，每次创建用户不指定用户组，默认会创建一个和用户名相同的用户组，默认情况下，sudo用户组里可以使用sudo命令获得root权限

$cat /etc/group |sort：cat 命令用户读取指定文件内容然后打印到终端输出，sort将读取的文本进行字典排序在输出

etc/group 文件格式说明  
/etc/group 的内容包括用户组（Group）、用户组口令、GID 及该用户组所包含的用户（User），每个用户组一条记录。格式如下：

group\_name:password:GID:user\_list

你看到上面的 password 字段为一个 x 并不是说密码就是它，只是表示密码不可见而已

将其它用户加入 sudo 用户组  
默认情况下新创建的用户是不具有 root 权限的，也不在 sudo 用户组，可以让其加入 sudo 用户组从而获取 root 权限：

$ su -l lilei  
$ sudo ls  
会提示 lilei 不在 sudoers 文件中，意思就是 lilei 不在 sudo 用户组中，至于 sudoers 文件（/etc/sudoers）你现在最好不要动它，操作不慎会导致比较麻烦的后果。

usemod：使用 usermod 命令可以为用户添加用户组，同样使用该命令你必需有 root 权限，你可以直接使用 root 用户为其它用户添加用户组，或者用其它已经在 sudo 用户组的用户使用 sudo 命令获取权限来执行该命令

这里我用 shiyanlou 用户执行 sudo 命令将 lilei 添加到 sudo 用户组，让它也可以使用 sudo 命令获得 root 权限：

$ su jerry \# 此处需要输入jerry用户密码  
$ groups lilei  
$ sudo usermod -G sudo lilei  
$ groups lilei 然后你再切换回 lilei 用户，现在就可以使用 sudo 获取 root 权限

ls -l：

![wm][]

![wm 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 7][]

文件类型  
Linux 里面一切皆文件，正因为这一点才有了设备文件（ /dev 目录下有各种设备文件，大都跟具体的硬件设备相关）

socket：网络套接字。pipe 管道，软链接文件：链接文件是分为两种的，另一种当然是“硬链接”（硬链接不常用，而软链接等同于 Windows 上的快捷方式,你记住这一点就够了）。

文件权限  
读权限，表示你可以使用 $cat <file name> 之类的命令来读取某个文件的内容；

写权限，表示你可以编辑和修改某个文件；

执行权限，通常指可以运行的二进制程序文件或者脚本文件，如同 Windows 上的 exe 后缀的文件，不过 Linux 上不是通过文件后缀名来区分文件的类型。需要注意的一点是，一个目录同时具有读权限和执行权限才可以打开并查看内部文件，而一个目录要有写权限才允许在其中创建其它文件，这是因为目录文件实际保存着该目录里面的文件的列表等信息。

所有者权限，这一点相信你应该明白了，至于所属用户组权限，是指你所在的用户组中的所有其它用户对于该文件的权限

链接数  
链接到该文件所在的 inode 结点的文件名数目

文件大小  
以 inode 结点大小为单位来表示的文件大小，你可以给 ls 加上 -lh 参数来更直观的查看文件的大小。

$ls -A/-Al：显示除了 .（当前目录）和 ..（上一级目录）之外的所有文件，包括隐藏文件（Linux 下以 . 开头的文件为隐藏文件）

$ls -dl <目录名>：查看某一个目录的完整属性，而不是显示目录里面的文件属性

$ ls -AsSh：显示所有文件大小，并以普通人类能看懂的方式呈现，其中小 s 为显示文件大小，大 S 为按文件大小排序，若需要知道如何按其它方式排序，请使用“man”命令查询。

sudo chown shiyanlou iphone6:变更文件所有者

修改文件权限：

![wm 2][]

每个文件的三组权限（拥有者，所属用户组，其他用户，记住这个顺序是一定的）对应一个 " rwx "，也就是一个 “ 7 ” ，所以如果我要将文件“ iphone6 ”的权限改为只有我自己可以用那么就这样：

$chmod 600 iphone6

加减赋值权限：

$ chmod go-rw iphone6，g、o 还有 u 分别表示 group、others 和 user，+ 和 - 分别表示增加和去掉相应的权限

useradd 只创建用户，创建完了用 passwd lilei 去设置新用户的密码。adduser 会创建用户，创建目录，创建密码（提示你设置），做这一系列的操作。其实 useradd、userdel 这类操作更像是一种命令，执行完了就返回。而 adduser 更像是一种程序，需要你输入、确定等一系列操作

# 4.Linux目录和文件基本操作： #

Linux 是以树形目录结构的形式来构建整个系统的，可以理解为树形目录是一个用户可操作系统的骨架,

虽然本质上无论是目录结构还是操作系统内核都是存储在磁盘上的，但从逻辑上来说 Linux 的磁盘是“挂在”（挂载在）目录上的，每一个目录不仅能使用本地磁盘分区的文件系统，也可以使用网络上的文件系统

FHS 定义了两层规范，第一层是， / 下面的各个目录应该要放什么文件数据，例如 /etc 应该放置设置文件，/bin 与 /sbin 则应该放置可执行文件等等

第二层则是针对 /usr 及 /var 这两个目录的子目录来定义。例如 /var/log 放置系统日志文件，/usr/share 放置共享数据等等

![wm 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 8][]

$ tree /

使用 cd 命令可以切换目录，在 Linux 里面使用 . 表示当前目录，.. 表示上一级目录（注意，我们上一节介绍过的，以 . 开头的文件都是隐藏文件，所以这两个目录必然也是隐藏的，你可以使用 ls -a 命令查看隐藏文件）, - 表示上一次所在目录，～ 通常表示当前用户的 home 目录。使用 pwd 命令可以获取当前所在路径（绝对路径)

进入上一级目录：

$ cd ..  
进入你的 home 目录：

$ cd ~  
\# 或者 cd /home/<你的用户名>  
使用 pwd 获取当前路径：

$ pwd

提示：在进行目录切换的过程中请多使用 Tab 键自动补全，可避免输入错误，连续按两次 Tab 可以显示全部候选结果

$touch:新建空白文件，只指定一个文件名，则可以创建一个指定文件名的空白文件（不会覆盖已有同名文件）

$mkdir:mkdir（make directories）命令可以创建一个空目录，也可同时指定创建目录的权限属性

$ mkdir -p father/son/grandson:使用 -p 参数，同时创建父目录（如果不存在该父目录），如下我们同时创建一个多级目录（这在安装软件、配置安装路径时非常有用）

$cp:使用 cp（copy）命令复制一个文件到指定目录,要成功复制目录需要加上 -r 或者 -R 参数，表示递归复制，就是说有点“株连九族”的意思（$ cp test father/son/grandson）

$rm:使用 rm（remove files or directories）命令删除一个文件,权限不足，你如果想忽略这提示，直接删除文件，可以使用 -f 参数强制删除，跟复制目录一样，要删除一个目录，也需要加上 -r 或 -R 参数

$mv(mv 源目录文件 目的目录):使用 mv（move or rename files）命令移动文件（剪切）。将文件“ file1 ”移动到 Documents 目录($ mv file1 Documents)

$mv(mv 旧的文件名 新的文件名)

rename 命令可以批量重命名

$ cd /home/shiyanlou/

\# 使用通配符批量创建 5 个文件:  
$ touch file\{1..5\}.txt

\# 批量将这 5 个后缀为 .txt 的文本文件重命名为以 .c 为后缀的文件:  
$ rename 's/\\.txt/\\.c/' \*.txt

\# 批量将这 5 个文件，文件名和后缀改为大写:  
$ rename 'y/a-z/A-Z/' \*.c

简单解释一下上面的命令，rename 是先使用第二个参数的通配符匹配所有后缀为 .txt 的文件，然后使用第一个参数提供的正则表达式将匹配的这些文件的 .txt 后缀替换为 .c

cat，tac 和 nl 命令查看文件:前两个命令都是用来打印文件内容到标准输出（终端），其中 cat 为正序显示，tac 为倒序显示

标准输入输出：当我们执行一个 shell 命令行时通常会自动打开三个标准文件，即标准输入文件（stdin），默认对应终端的键盘、标准输出文件（stdout）和标准错误输出文件（stderr），后两个文件都对应被重定向到终端的屏幕，以便我们能直接看到输出内容。进程将从标准输入文件中得到输入数据，将正常输出数据输出到标准输出文件，而将错误信息送到标准错误文件中。

$ cat -n passwd:可以加上 -n 参数显示行号,

$nl 命令，添加行号并打印，这是个比 cat -n 更专业的行号打印命令

\-b : 指定添加行号的方式，主要有两种：  
\-b a:表示无论是否为空行，同样列出行号("cat -n"就是这种方式)  
\-b t:只列出非空行的编号并列出（默认为这种方式）  
\-n : 设置行号的样式，主要有三种：  
\-n ln:在行号字段最左端显示  
\-n rn:在行号字段最右边显示，且不加 0  
\-n rz:在行号字段最右边显示，且加 0  
\-w : 行号字段占用的位数(默认为 6 位)

使用 more 和 less 命令分页查看文件：其中 more 命令比较简单，只能向一个方向滚动，而 less 为基于 more 和 vi

**可以使用 Enter 键向下滚动一行，使用 Space 键向下滚动一屏，按下 h 显示帮助，q 退出**

$tail:

甚至更直接的只看一行， 加上 -n 参数，后面紧跟行数：

参数 -f，这个参数可以实现不停地读取某个文件的内容并显示。这可以让我们动态查看日志，达到实时监视的目的

$file:file 命令查看文件的类型

# 5.环境变量与文件查找 #

使用 declare 命令创建一个变量名为 tmp 的变量：

$ declare tmp

使用 = 号赋值运算符，将变量 tmp 赋值为 jerry：

$ tmp=jerry

读取变量的值，使用 echo 命令和 $ 符号（$ 符号用于表示引用一个变量的值，初学者经常忘记输入）：

$ echo $tmp

Shell 的环境变量作用于自身和它的子进程。在所有的 UNIX 和类 UNIX 系统中，每个进程都有其各自的环境变量设置，且默认情况下，当一个进程被创建时，除了创建过程中明确指定的话，它将继承其父进程的绝大部分环境设置。Shell 程序也作为一个进程运行在操作系统之上，而我们在 Shell 中运行的大部分命令都将以 Shell 的子进程的方式运行

![wm 4][]

通常我们会涉及到的变量类型有三种：

当前 Shell 进程私有用户自定义变量，如上面我们创建的 tmp 变量，只在当前 Shell 中有效。  
Shell 本身内建的变量。  
从自定义变量导出的环境变量。

也有三个与上述三种环境变量相关的命令：set，env，export。这三个命令很相似，都是用于打印环境变量信息，区别在于涉及的变量范围不同。详见下表：

命 令 说 明  
set 显示当前 Shell 所有变量，包括其内建环境变量（与 Shell 外观等相关），用户自定义变量及导出的环境变量。  
env 显示与当前用户相关的环境变量，还可以让命令在指定环境中运行。  
export 显示从 Shell 中导出成环境变量的变量，也能通过它将自定义变量导出为环境变量。

![wm 5][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 9][]

按变量的生存周期来划分，Linux 变量可分为两类：

永久的：需要修改配置文件，变量永久生效；

临时的：使用 export 命令行声明即可，变量在关闭 shell 时失效。

这里介绍两个重要文件 /etc/bashrc（有的 Linux 没有这个文件） 和 /etc/profile ，它们分别存放的是 shell 变量和环境变量。还有要注意区别的是每个用户目录下的一个隐藏文件：

.profile 可以用 ls -a 查看  
cd /home/jerry  
ls -a  
这个 .profile 只对当前用户永久生效。而写在 /etc/profile 里面的是对所有用户永久生效，所以如果想要添加一个永久生效的环境变量，只需要打开 /etc/profile，在最后加上你想添加的环境变量就好啦。

Shell 中输入一个命令，Shell 是怎么知道去哪找到这个命令然后执行的呢？这是通过环境变量 PATH 来进行搜索的

$ echo $PATH:查看 PATH 环境变量的内容：

默认情况下你会看到如下输出：/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games,系统就会按照 PATH 中设定的路径按照顺序依次到目录中去查找，如果存在同名的命令，则执行先找到的那个。

$ gedit hello\_shell.sh:创建一个 Shell 脚本文件：

创建一个 C 语言“ hello world ”程序：

$ gedit hello\_world.c  
\#include <stdio.h>

int main(void)  
\{  
printf("hello world!\\n");  
return 0;  
\}  
保存后使用 gcc 生成可执行文件：gcc 生成二进制文件默认具有可执行权限，不需要修改

$ gcc -o hello\_world hello\_world.c

$ PATH=$PATH:/home/shiyanlou/mybin:在前面我们应该注意到 PATH 里面的路径是以 : 作为分割符的，所以我们可以这样添加自定义路径

在每个用户的 home 目录中有一个 Shell 每次启动时会默认执行一个配置脚本，以初始化环境，包括添加一些用户自定义环境变量等等。zsh 的配置文件是 .zshrc，相应 Bash 的配置文件为 .bashrc 。它们在 etc 下还都有一个或多个全局的配置文件，不过我们一般只修改用户目录下的配置文件

我们可以简单地使用下面命令直接添加内容到 .zshrc 中：

$ echo "PATH=$PATH:/home/shiyanlou/mybin" >> .zshrc  
上述命令中 >> 表示将标准输出以追加的方式重定向到一个文件中，注意前面用到的 > 是以覆盖的方式重定向到一个文件中，使用的时候一定要注意分辨。在指定文件不存在的情况下都会创建新的文件

$ unset temp:变量删除,可以使用 unset 命令删除一个环境变量

$ source .zshrc:环境变量立即生效，

source 命令还有一个别名就是 .，注意与表示当前路径的那个点区分开，虽然形式不一样，但作用和使用方式一样，上面的命令如果替换成 . 的方式就该是：

$ . ./.zshrc  
注意第一个点后面有一个空格，而且后面的文件必须指定完整的绝对或相对路径名，source 则不需要

与搜索相关的命令常用的有 whereis，which，find 和 locate

whereis 简单快速：whereis 只能搜索二进制文件(-b)，man 帮助文件(-m)和源代码文件(-s)。如果想要获得更全面的搜索结果可以使用 locate 命令。

locate 快而全：它可以用来查找指定目录下的不同文件类型，如查找 /etc 下所有以 sh 开头的文件

which 小而精：因为它只从 PATH 环境变量指定的路径中去搜索命令

find 精而细：这条命令表示去 /etc/ 目录下面 ，搜索名字叫做 interfaces 的文件或者目录。这是 find 命令最常见的格式，千万记住 find 的第一个参数是要搜索的地方：$ sudo find /etc/ -name interfaces

# 6.文件打包和解压缩 #

文件后缀名 说明  
\*.zip zip 程序打包压缩的文件  
\*.rar rar 程序压缩的文件  
\*.7z 7zip 程序压缩的文件  
\*.tar tar 程序打包，未压缩的文件  
\*.gz gzip 程序（GNU zip）压缩的文件  
\*.xz xz 程序压缩的文件  
\*.bz2 bzip2 程序压缩的文件  
\*.tar.gz tar 打包，gzip 程序压缩的文件  
\*.tar.xz tar 打包，xz 程序压缩的文件  
\*tar.bz2 tar 打包，bzip2 程序压缩的文件  
\*.tar.7z tar 打包，7z 程序压缩的文件

zip 压缩打包程序：-r 参数表示递归打包包含子目录的全部内容，-q 参数表示为安静模式，即不向屏幕输出信息，-o，表示输出文件，需在其后紧跟打包输出文件名。后面使用 du 命令查看打包后文件的大小（后面会具体说明该命令）

$ cd /home/shiyanlou  
$ zip -r -q -o shiyanlou.zip /home/shiyanlou/Desktop  
$ du -h shiyanlou.zip  
$ file shiyanlou.zip

$ zip -r -9 -q -o shiyanlou\_9.zip /home/shiyanlou/Desktop -x ~/\*.zip

这里添加了一个参数用于设置压缩级别 -\[1-9\]，1 表示最快压缩但体积大，9 表示体积最小但耗时最久。最后那个 -x 是为了排除我们上一次创建的 zip 文件，否则又会被打包进这一次的压缩文件中，注意：这里只能使用绝对路径，否则不起作用

$ unzip shiyanlou.zip：将 shiyanlou.zip 解压到当前目录

$ unzip -q shiyanlou.zip -d ziptest：使用安静模式，将文件解压到指定目录，指定目录不存在，将会自动创建。

$ unzip -l shiyanlou.zip：如果你不想解压只想查看压缩包的内容你可以使用 -l 参数

tar：tar 原本只是一个打包工具，只是同时还是实现了对 7z、gzip、xz、bzip2 等工具的支持，这些压缩工具本身只能实现对文件或目录（单独压缩目录中的文件）的压缩，没有实现对文件的打包压缩，所以我们也无需再单独去学习其他几个工具，tar 的解压和压缩都是同一个命令，只需参数不同，使用比较方便

创建一个 tar 包：  
$ tar -cf shiyanlou.tar /home/shiyanlou/Desktop  
上面命令中，-c 表示创建一个 tar 包文件，-f 用于指定创建的文件名，注意文件名必须紧跟在 -f 参数之后，比如不能写成 tar -fc shiyanlou.tar，可以写成 tar -f shiyanlou.tar -c ~。你还可以加上 -v 参数以可视的的方式输出打包的文件。上面会自动去掉表示绝对路径的 /，你也可以使用 -P 保留绝对路径符。

解包一个文件（-x 参数）到指定路径的已存在目录（-C 参数）：  
$ mkdir tardir  
$ tar -xf shiyanlou.tar -C tardir

只查看不解包文件 -t 参数：  
$ tar -tf shiyanlou.tar

说了这么多，其实平常使用的参数并没有那么复杂，只需要记住常用的组合就可以了。 常用命令：

zip：  
打包 ：zip something.zip something （目录请加 -r 参数）  
解包：unzip something.zip  
指定路径：-d 参数  
tar：  
打包：tar -cf something.tar something  
解包：tar -xf something.tar  
指定路径：-C 参数

# 7.文件系统操作与磁盘管理 #

$ df：使用 df 命令查看磁盘的容量

物理主机上的 /dev/sda2 是对应着主机硬盘的分区，后面的数字表示分区号，数字前面的字母 a 表示第几块硬盘（也可能是可移动磁盘），你如果主机上有多块硬盘则可能还会出现 /dev/sdb，/dev/sdc 这些磁盘设备都会在 /dev 目录下以文件的存在形式

$ df -h：看懂的方式展示

$du:使用 du 命令查看目录的容量

这个命令前面其实已经用了很多次了：

\# 默认同样以 块 的大小展示  
$ du  
\# 加上\`-h\`参数，以更易读的方式展示  
$ du -h  
\-d参数指定查看目录的深度

\# 只查看1级目录的信息  
$ du -h -d 0 ~  
\# 查看2级  
$ du -h -d 1 ~

# 8.Linux帮助命令： #

**内建命令实际上是 shell 程序的一部分，其中包含的是一些比较简单的 Linux 系统命令，这些命令是写在bash源码的builtins里面的，由 shell 程序识别并在 shell 程序内部完成运行，通常在 Linux 系统加载运行时 shell 就被加载并驻留在系统内存中。而且解析内部命令 shell 不需要创建子进程，因此其执行速度比外部命令快。比如：history、cd、exit 等等。**

**外部命令是 Linux 系统中的实用程序部分，因为实用程序的功能通常都比较强大，所以其包含的程序量也会很大，在系统加载时并不随系统一起被加载到内存中，而是在需要时才将其调入内存。虽然其不包含在 shell 中，但是其命令执行过程是由 shell 程序控制的。外部命令是在 Bash 之外额外安装的，通常放在/bin，/usr/bin，/sbin，/usr/sbin等等。比如：ls、vi等。**

type 命令来区分命令是内建的还是外部的。例如这两个得出的结果是不同的

type exit

type vim

$help:因为 help 命令是用于显示 shell 内建命令的简要帮助信息。帮助信息中显示有该命令的简要说明以及一些参数的使用以及说明，一定记住 help 命令只能用于显示内建命令的帮助信息

其实外部命令基本上都有一个参数--help,这样就可以得到相应的帮助

$man:man 工具是显示系统手册页中的内容，也就是一本电子版的字典，这些内容大多数都是对命令的解释信息，还有一些相关的描述。通过查看系统文档中的 man 也可以得到程序的更多相关信息和 Linux 的更多特性。

$info:info 来自自由软件基金会的 GNU 项目，是 GNU 的超文本帮助系统，能够更完整的显示出 GNU 信息。所以得到的信息当然更多

# 9.crontab: #

Linux 系统的计划工具:crontab 命令常见于 Unix 和类 Unix 的操作系统之中（Linux 就属于类 Unix 操作系统），用于设置周期性被执行的指令

crontab 命令从输入设备读取指令，并将其存放于 crontab 文件中，以供之后读取和执行。通常，crontab 储存的指令被守护进程激活，crond 为其守护进程，crond 常常在后台运行，每一分钟会检查一次是否有预定的作业需要执行

通过 crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell　script 脚本。时间间隔的单位可以是分钟、小时、日、月、周的任意组合。

这里我们看一看crontab 的格式

\# Example of job definition:  
\# .---------------- minute (0 - 59)  
\# | .------------- hour (0 - 23)  
\# | | .---------- day of month (1 - 31)  
\# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...  
\# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat  
\# | | | | |  
\# \* \* \* \* \* user-name command to be executed

$crontab -e:添加一个计划任务

$crontab -l :添加了哪些任务

是否成功的在后台启动，默默的帮我们做事，若是没有就得执行上文准备中的第二步了

ps aux | grep cron or pgrep cron

$sudo tail -f /var/log/syslog:我们通过这样一个命令可以查看到执行任务命令之后在日志中的信息反馈

每个用户使用 crontab -e 添加计划任务，都会在 /var/spool/cron/crontabs 中添加一个该用户自己的任务文档，这样目的是为了隔离。

如果是系统级别的定时任务，应该如何处理？只需要以 sudo 权限编辑 /etc/crontab 文件就可以。

cron 服务监测时间最小单位是分钟，所以 cron 会每分钟去读取一次 /etc/crontab 与 /var/spool/cron/crontabs 里面的內容。

每个目录的作用：

/etc/cron.daily，目录下的脚本会每天执行一次，在每天的6点25分时运行；  
/etc/cron.hourly，目录下的脚本会每个小时执行一次，在每小时的17分钟时运行；  
/etc/cron.monthly，目录下的脚本会每月执行一次，在每月1号的6点52分时运行；  
/etc/cron.weekly，目录下的脚本会每周执行一次，在每周第七天的6点47分时运行；  
系统默认执行时间可以根据需求进行修改。

# 10.命令执行顺序控制与管道 #

简单的顺序执行你可以使用;来完成

上面的&&就是用来实现选择性执行的，它表示如果前面的命令执行结果（不是表示终端输出的内容，而是表示命令执行状态的结果）返回0则执行后面的，否则不执行，你可以从$?环境变量获取上一次命令的返回结果

当上一条命令执行结果为≠0($?≠0)时则执行它后面的命令：

除了上述基本的使用之外，我们还可以结合着&&和||来实现一些操作，比如：

$ which cowsay>/dev/null && echo "exist" || echo "not exist"

管道是什么？管道是一种通信机制，通常用于进程间的通信（也可通过socket进行网络通信），它表现出来的形式就是将前面每一个进程的输出(stdout)直接作为下一个进程的输入(stdin)。

使用一些过滤程序时经常会用到的就是匿名管道，在命令行中由|分隔符表示，|在前面的内容中我们已经多次使用到了。具名管道简单的说就是有名字的管道，通常只会在源程序中用到具名管道。下面我们就将通过一些常用的可以使用管道的"过滤程序"来帮助你熟练管道的使用。

$ ls -al /etc | less：有太多内容，屏幕不能完全显示，这时候可以使用滚动条或快捷键滚动窗口来查看。不过这时候可以使用管道

$cut:cut 命令，打印每一行的某一字段

打印/etc/passwd文件中每一行的前N个字符：

\# 前五个（包含第五个）  
$ cut /etc/passwd -c -5  
\# 前五个之后的（包含第五个）  
$ cut /etc/passwd -c 5-  
\# 第五个  
$ cut /etc/passwd -c 5  
\# 2到5之间的（包含第五个）  
$ cut /etc/passwd -c 2-5

grep 命令，在文本中或 stdin 中查找匹配字符串,grep命令是很强大的，也是相当常用的一个命令，它结合正则表达式可以实现很复杂却很高效的匹配和查找

\-r 参数表示递归搜索子目录中的文件,-n表示打印匹配项行号，-I表示忽略二进制文件。这个操作实际没有多大意义，但可以感受到grep命令的强大与实用

wc 命令用于统计并输出一个文件中行、单词和字节的数目，比如输出/etc/passwd文件的统计信息

分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数：

\# 行数  
$ wc -l /etc/passwd  
\# 单词数  
$ wc -w /etc/passwd  
\# 字节数  
$ wc -c /etc/passwd  
\# 字符数  
$ wc -m /etc/passwd  
\# 最长行字节数  
$ wc -L /etc/passwd

sort 排序命令

默认为字典排序：

$ cat /etc/passwd | sort  
反转排序：

$ cat /etc/passwd | sort -r  
按特定字段排序：

$ cat /etc/passwd | sort -t':' -k 3

上面的-t参数用于指定字段的分隔符，这里是以":"作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是以字典序排序的，如果要按照数字排序就要加上-n参数：

$ cat /etc/passwd | sort -t':' -k 3 -n

uniq命令可以用于过滤或者输出重复行,过滤重复行

# 11.简单的文本处理 #

$tr: 命令可以用来删除一段文本信息中的某些文字。或者将其进行转换

常用的选项有：  
选项 说明  
\-d 删除和set1匹配的字符，注意不是全词匹配也不是按字符顺序匹配  
\-s 去除set1指定的在输入文本中连续并重复的字符

操作举例：  
\# 删除 "hello shiyanlou" 中所有的'o','l','h'  
$ echo 'hello shiyanlou' | tr -d 'olh'  
\# 将"hello" 中的ll,去重为一个l  
$ echo 'hello' | tr -s 'l'  
\# 将输入文本，全部转换为大写或小写输出  
$ echo 'input some text here' | tr '\[:lower:\]' '\[:upper:\]'  
\# 上面的'\[:lower:\]' '\[:upper:\]'你也可以简单的写作'\[a-z\]' '\[A-Z\]',当然反过来将大写变小写也是可以的

$col :命令可以将Tab换成对等数量的空格键，或反转这个操作

常用的选项有：  
选项 说明  
\-x 将Tab转换为空格  
\-h 将空格转换为Tab（默认选项）  
操作举例：  
\# 查看 /etc/protocols 中的不可见字符，可以看到很多 ^I ，这其实就是 Tab 转义成可见字符的符号  
$ cat -A /etc/protocols  
\# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,然后再使用 cat 查看，你发现 ^I 不见了  
$ cat /etc/protocols | col -x | cat -A

$join:命令就是用于将两个文件中包含相同内容的那一行合并在一起

常用的选项有：  
选项 说明  
\-t 指定分隔符，默认为空格  
\-i 忽略大小写的差异  
\-1 指明第一个文件要用哪个字段来对比，默认对比第一个字段  
\-2 指明第二个文件要用哪个字段来对比，默认对比第一个字段  
操作举例：  
\# 创建两个文件  
$ echo '1 hello' > file1  
$ echo '1 shiyanlou' > file2  
$ join file1 file2  
\# 将/etc/passwd与/etc/shadow两个文件合并，指定以':'作为分隔符  
$ sudo join -t':' /etc/passwd /etc/shadow  
\# 将/etc/passwd与/etc/group两个文件合并，指定以':'作为分隔符, 分别比对第4和第3个字段  
$ sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group

$paste:这个命令与join 命令类似，它是在不对比数据的情况下，简单地将多个文件合并一起，以Tab隔开。

使用方式：  
paste \[option\] file...  
常用的选项有：  
选项 说明  
\-d 指定合并的分隔符，默认为Tab  
\-s 不合并到一行，每个文件为一行  
操作举例：  
$ echo hello > file1  
$ echo shiyanlou > file2  
$ echo www.shiyanlou.com > file3  
$ paste -d ':' file1 file2 file3  
$ paste -s file1 file2 file3

# 12.数据流重定向 #

Linux 默认提供了三个特殊设备，用于终端的显示和输出，分别为stdin（标准输入,对应于你在终端的输入），stdout（标准输出，对应于终端的输出），stderr（标准错误输出，对应于终端的输出）。

文件描述符 设备文件 说明  
0 /dev/stdin 标准输入  
1 /dev/stdout 标准输出  
2 /dev/stderr 标准错误  
文件描述符：文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于 UNIX、Linux 这样的操作系统。

管道默认是连接前一个命令的输出到下一个命令的输入，而重定向通常是需要一个文件来建立两个命令的连接

重定向标准输出到文件，这是一个很实用的操作，另一个很实用的操作是将标准错误重定向，标准输出和标准错误都被指向伪终端的屏幕显示，所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的

\# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面  
$ cat Documents/test.c hello.c >somefile 2>&1  
\# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件  
$ cat Documents/test.c hello.c &>somefilehell  
注意你应该在输出重定向文件描述符前加上&,否则shell会当做重定向到一个文件名为1的文件中

使用tee命令同时重定向到多个文件  
你可能还有这样的需求，除了需要将输出重定向到文件,也需要将信息打印在终端。那么你可以使用tee命令来实现：

$ echo 'hello shiyanlou' | tee hello

# 13.正则表达式 #

而正则表达式作为这三个命令的一种使用方式（命令输出中可以包含正则表达式）

什么是正则表达式呢？

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。

许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在 Perl 中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由 UNIX 中的工具软件（例如sed和grep）普及开的。正则表达式通常缩写成“regex”，单数有 regexp、regex，复数有 regexps、regexes、regexen。

简单的说形式和功能上正则表达式和我们前面讲的通配符很像，不过它们之间又有很大差别，特别在于一些特殊的匹配字符的含义上，希望初学者注意不要将两者弄混淆。

假设我们有这样一个文本文件，包含"shiyanlou"，和"shilouyan"这两个字符串，同样一个表达式：

shi\*  
如果这作为一个正则表达式，它将只能匹配 shi，而如果不是作为正则表达式\*作为一个通配符，则将同时匹配这两个字符串。这是为什么呢？因为在正则表达式中\*表示匹配前面的子表达式（这里就是它前面一个字符）零次或多次，比如它可以匹配"sh","shii","shish","shiishi"等等，而作为通配符表示匹配通配符后面任意多个任意字符，所以它可以匹配"shiyanlou"，和"shilouyan"两个字符。

体验完了，下面就来开始正式学习正则表达式吧。

2.2 基本语法  
一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。

选择  
|竖直分隔符表示选择，例如"boy|girl"可以匹配"boy"或者"girl"

数量限定  
数量限定除了我们举例用的\*,还有+加号,?问号,如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：

\+表示前面的字符必须出现至少一次(1次或多次)，例如，"goo+gle",可以匹配"gooogle","goooogle"等；  
?表示前面的字符最多出现一次(0次或1次)，例如，"colou?r",可以匹配"color"或者"colour";  
\*星号代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次），例如，“0\*42”可以匹配42、042、0042、00042等。  
范围和优先级  
()圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，"gr(a|e)y"等价于"gray|grey"，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），"(grand)?father"匹配father和grandfather（这里体验了范围，?将圆括号内容作为一个整体匹配）。

语法（部分）  
正则表达式有多种不同的风格，下面列举一些常用的作为 PCRE 子集的适用于perl和python编程语言及grep或egrep的正则表达式匹配规则：(由于markdown表格解析的问题，下面的竖直分隔符用全角字符代替，实际使用时请换回半角字符)

PCRE（Perl Compatible Regular Expressions中文含义：perl语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库，比Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。

字符 描述  
\\ 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\\n”匹配一个换行符。序列“\\\\”匹配“\\”而“\\(”则匹配“(”。  
^ 匹配输入字符串的开始位置。  
$ 匹配输入字符串的结束位置。  
\{n\} n是一个非负整数。匹配确定的n次。例如，“o\{2\}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。  
\{n,\} n是一个非负整数。至少匹配n次。例如，“o\{2,\}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o\{1,\}”等价于“o+”。“o\{0,\}”则等价于“o\*”。  
\{n,m\} m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o\{1,3\}”将匹配“fooooood”中的前三个o。“o\{0,1\}”等价于“o?”。请注意在逗号和两个数之间不能有空格。  
\* 匹配前面的子表达式零次或多次。例如，zo\*能匹配“z”、“zo”以及“zoo”。\*等价于\{0,\}。  
\+ 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于\{1,\}。  
? 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于\{0,1\}。  
? 当该字符紧跟在任何一个其他限制符（\*,+,?，\{n\}，\{n,\}，\{n,m\}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。  
. 匹配除“\\n”之外的任何单个字符。要匹配包括“\\n”在内的任何字符，请使用像“(.｜\\n)”的模式。  
(pattern) 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“\$”或“\$”。  
x｜y 匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。  
\[xyz\] 字符集合（character class）。匹配所包含的任意一个字符。例如，“\[abc\]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符。  
\[^xyz\] 排除型（negate）字符集合。匹配未列出的任意字符。例如，“\[^abc\]”可以匹配“plain”中的“plin”。  
\[a-z\] 字符范围。匹配指定范围内的任意字符。例如，“\[a-z\]”可以匹配“a”到“z”范围内的任意小写字母字符。  
\[^a-z\] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“\[^a-z\]”可以匹配任何不在“a”到“z”范围内的任意字符。  
优先级  
优先级为从上到下从左到右，依次降低：

运算符 说明  
\\ 转义符  
(), (?:), (?=), \[\] 括号和中括号  
\*、+、?、\{n\}、\{n,\}、\{n,m\} 限定符  
^、$、\\任何元字符 定位点和序列  
｜ 选择  
更多正则表达式的内容可以参考以下链接：

正则表达式wiki  
几种正则表达式引擎的语法差异  
各语言各平台对正则表达式的支持  
regex的思导图：

三、grep模式匹配命令  
上面空谈了那么多正则表达式的内容也并没有提及具体该如何使用它，实在枯燥，如果说正则表达式是一门武功，那它也只能算得上一些口诀招式罢了，要把它真正练起来还得需要一些兵器在手才行，这里我们要介绍的grep命令以及后面要讲的sed,awk这些就该算作是这样的兵器了。

3.1 基本操作  
grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定：

参数 说明  
\-E POSIX扩展正则表达式，ERE  
\-G POSIX基本正则表达式，BRE  
\-P Perl正则表达式，PCRE  
不过在你没学过perl语言的大多数情况下你将只会使用到ERE和BRE,所以我们接下来的内容都不会讨论到PCRE中特有的一些正则表达式语法（它们之间大部分内容是存在交集的，所以你不用担心会遗漏多少重要内容）

在通过grep命令使用正则表达式之前，先介绍一下它的常用参数：

参数 说明  
\-b 将二进制文件作为文本来进行匹配  
\-c 统计以模式匹配的数目  
\-i 忽略大小写  
\-n 显示匹配文本所在行的行号  
\-v 反选，输出不匹配行的内容  
\-r 递归匹配查找  
\-A n n为正整数，表示after的意思，除了列出匹配行之外，还列出后面的n行  
\-B n n为正整数，表示before的意思，除了列出匹配行之外，还列出前面的n行  
\--color=auto 将输出中的匹配项设置为自动颜色显示  
注：在大多数发行版中是默认设置了grep的颜色的，你可以通过参数指定或修改GREP\_COLOR环境变量。

3.2 使用正则表达式  
使用基本正则表达式，BRE  
位置  
查找/etc/group文件中以"shiyanlou"为开头的行

$ grep 'shiyanlou' /etc/group  
$ grep '^shiyanlou' /etc/group

数量  
\# 将匹配以'z'开头以'o'结尾的所有字符串  
$ echo 'zero\\nzo\\nzoo' | grep 'z.\*o'  
\# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串  
$ echo 'zero\\nzo\\nzoo' | grep 'z.o'  
\# 将匹配以'z'开头,以任意多个'o'结尾的字符串  
$ echo 'zero\\nzo\\nzoo' | grep 'zo\*'  
注意：其中\\n为换行符

选择  
\# grep默认是区分大小写的，这里将匹配所有的小写字母  
$ echo '1234\\nabcd' | grep '\[a-z\]'  
\# 将匹配所有的数字  
$ echo '1234\\nabcd' | grep '\[0-9\]'  
\# 将匹配所有的数字  
$ echo '1234\\nabcd' | grep '\[\[:digit:\]\]'  
\# 将匹配所有的小写字母  
$ echo '1234\\nabcd' | grep '\[\[:lower:\]\]'  
\# 将匹配所有的大写字母  
$ echo '1234\\nabcd' | grep '\[\[:upper:\]\]'  
\# 将匹配所有的字母和数字，包括0-9,a-z,A-Z  
$ echo '1234\\nabcd' | grep '\[\[:alnum:\]\]'  
\# 将匹配所有的字母  
$ echo '1234\\nabcd' | grep '\[\[:alpha:\]\]'

下面包含完整的特殊符号及说明：

特殊符号 说明  
\[:alnum:\] 代表英文大小写字母及数字，亦即 0-9, A-Z, a-z  
\[:alpha:\] 代表任何英文大小写字母，亦即 A-Z, a-z  
\[:blank:\] 代表空白键与 \[Tab\] 按键两者  
\[:cntrl:\] 代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等  
\[:digit:\] 代表数字而已，亦即 0-9  
\[:graph:\] 除了空白字节 (空白键与 \[Tab\] 按键) 外的其他所有按键  
\[:lower:\] 代表小写字母，亦即 a-z  
\[:print:\] 代表任何可以被列印出来的字符  
\[:punct:\] 代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : \# $...  
\[:upper:\] 代表大写字母，亦即 A-Z  
\[:space:\] 任何会产生空白的字符，包括空白键, \[Tab\], CR 等等  
\[:xdigit:\] 代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节  
注意：之所以要使用特殊符号，是因为上面的\[a-z\]不是在所有情况下都管用，这还与主机当前的语系有关，即设置在LANG环境变量的值，zh\_CN.UTF-8的话\[a-z\]，即为所有小写字母，其它语系可能是大小写交替的如，"a A b B...z Z"，\[a-z\]中就可能包含大写字母。所以在使用\[a-z\]时请确保当前语系的影响，使用\[:lower:\]则不会有这个问题。

\# 排除字符  
$ $ echo 'geek\\ngood' | grep '\[^o\]'  
注意:当^放到中括号内为排除字符，否则表示行首。

使用扩展正则表达式，ERE  
要通过grep使用扩展正则表达式需要加上-E参数，或使用egrep。

数量  
\# 只匹配"zo"  
$ echo 'zero\\nzo\\nzoo' | grep -E 'zo\{1\}'  
\# 匹配以"zo"开头的所有单词  
$ echo 'zero\\nzo\\nzoo' | grep -E 'zo\{1,\}'  
注意：推荐掌握\{n,m\}即可，+,?,\*，这几个不太直观，且容易弄混淆。

选择  
\# 匹配"www.shiyanlou.com"和"www.google.com"  
$ echo 'www.shiyanlou.com\\nwww.baidu.com\\nwww.google.com' | grep -E 'www\\.(shiyanlou|google)\\.com'  
\# 或者匹配不包含"baidu"的内容  
$ echo 'www.shiyanlou.com\\nwww.baidu.com\\nwww.google.com' | grep -Ev 'www\\.baidu\\.com'  
注意：因为.号有特殊含义，所以需要转义。

关于正则表达式和grep命令的内容就介绍这么多，下面会介绍两个更强大的工具sed和awk，但同样也正是因为这两个工具的强大，我们的内容无法包含它们的全部，这里将只对基本内容作介绍。

四、sed 流编辑器  
sed工具在 man 手册里面的全名为"sed - stream editor for filtering and transforming text "，意即，用于过滤和转换文本的流编辑器。

在 Linux/UNIX 的世界里敢称为编辑器的工具，大都非等闲之辈，比如前面的"vi/vim(编辑器之神)","emacs(神的编辑器)","gedit"这些个编辑器。sed与上述的最大不同之处在于它是一个非交互式的编辑器，下面我们就开始介绍sed这个编辑器。

4.1 sed常用参数介绍  
sed 命令基本格式：

sed \[参数\]... \[执行命令\] \[输入文件\]...  
\# 形如：  
$ sed -i 's/sad/happy/' test \# 表示将test文件中的"sad"替换为"happy"  
参数 说明  
\-n 安静模式，只打印受影响的行，默认打印输入数据的全部内容  
\-e 用于在脚本中添加多个执行命令一次执行，在命令行中执行多个命令通常不需要加该参数  
\-f filename 指定执行filename文件中的命令  
\-r 使用扩展正则表达式，默认为标准正则表达式  
\-i 将直接修改输入文件内容，而不是打印到标准输出设备  
4.2 sed编辑器的执行命令（这里”执行“解释为名词）  
sed执行命令格式：

\[n1\]\[,n2\]command  
\[n1\]\[~step\]command  
\# 其中一些命令可以在后面加上作用范围，形如：  
$ sed -i 's/sad/happy/g' test \# g表示全局范围  
$ sed -i 's/sad/happy/4' test \# 4表示指定行中的第四个匹配字符串  
其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作，下面为一些常用动作指令：

命令 说明  
s 行内替换  
c 整行替换  
a 插入到指定行的后面  
i 插入到指定行的前面  
p 打印指定行，通常与-n参数配合使用  
d 删除指定行  
4.3 sed操作举例  
我们先找一个用于练习的文本文件：

$ cp /etc/passwd ~  
打印指定行  
\# 打印2-5行  
$ nl passwd | sed -n '2,5p'  
\# 打印奇数行  
$ nl passwd | sed -n '1~2p'

行内替换  
\# 将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令  
$ sed -n 's/shiyanlou/hehe/gp' passwd  
注意： 行内替换可以结合正则表达式使用。

行间替换  
$ nl passwd | grep "shiyanlou"  
\# 删除第21行  
$ sed -n '21c\\www.shiyanlou.com' passwd  
（这里我们只把要删的行打印出来了，并没有真正的删除，如果要删除的话，请使用-i参数）

关于sed命令就介绍这么多，你如果希望了解更多sed的高级用法，你可以参看如下链接：

sed简明教程  
sed单行脚本快速参考  
sed完全手册  
五、awk文本处理语言  
看到上面的标题，你可能会感到惊异，难道我们这里要学习的是一门“语言”么，确切的说，我们是要在这里学习awk文本处理语言，只是我们并不会在这里学习到比较完整的关于awk的内容，还是因为前面的原因，它太强大了，它的应用无处不在，我们无法在这里以简短的文字描述面面俱到，如果你有目标成为一个linux系统管理员，确实想学好awk，你一不用担心，实验楼会在之后陆续上线linux系统管理员的学习路径，里面会有单独的关于正则表达式,awk,sed等相关课程，敬请期待吧。下面的内容，我们就作为一个关于awk的入门体验章节吧，其中会介绍一些awk的常用操作。

5.1 awk介绍  
AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一.其名称得自于它的创始人Alfred Aho（阿尔佛雷德·艾侯）、Peter Jay Weinberger（彼得·温伯格）和Brian Wilson Kernighan（布莱恩·柯林汉)姓氏的首个字母.AWK程序设计语言，三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。最简单地说，AWK是一种用于处理文本的编程语言工具。

在大多数linux发行版上面，实际我们使用的是gawk（GNU awk，awk的GNU版本），在我们的环境中ubuntu上，默认提供的是mawk，不过我们通常可以直接使用awk命令（awk语言的解释器），因为系统已经为我们创建好了awk指向mawk的符号链接。

$ ll /usr/bin/awk

nawk： 在 20 世纪 80 年代中期，对 awk语言进行了更新，并不同程度地使用一种称为 nawk(new awk) 的增强版本对其进行了替换。许多系统中仍然存在着旧的awk 解释器，但通常将其安装为 oawk (old awk) 命令，而 nawk 解释器则安装为主要的 awk 命令，也可以使用 nawk 命令。Dr. Kernighan 仍然在对 nawk 进行维护，与 gawk 一样，它也是开放源代码的，并且可以免费获得; gawk： 是 GNU Project 的awk解释器的开放源代码实现。尽管早期的 GAWK 发行版是旧的 AWK 的替代程序，但不断地对其进行了更新，以包含 NAWK 的特性; mawk 也是awk编程语言的一种解释器，mawk遵循 POSIX 1003.2 （草案 11.3）定义的 AWK 语言，包含了一些没有在AWK 手册中提到的特色，同时 mawk 提供一小部分扩展,另外据说mawk是实现最快的awk

5.2 awk的一些基础概念  
awk所有的操作都是基于pattern(模式)—action(动作)对来完成的，如下面的形式：

$ pattern \{action\}  
你可以看到就如同很多编程语言一样，它将所有的动作操作用一对\{\}花括号包围起来。其中pattern通常是表示用于匹配输入的文本的“关系式”或“正则表达式”，action则是表示匹配后将执行的动作。在一个完整awk操作中，这两者可以只有其中一个，如果没有pattern则默认匹配输入的全部文本，如果没有action则默认为打印匹配内容到屏幕。

awk处理文本的方式，是将文本分割成一些“字段”，然后再对这些字段进行处理，默认情况下，awk以空格作为一个字段的分割符，不过这不是固定的，你可以任意指定分隔符，下面将告诉你如何做到这一点。

5.3 awk命令基本格式  
awk \[-F fs\] \[-v var=value\] \[-f prog-file | 'program text'\] \[file...\]  
其中-F参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式） ，-v用于预先为awk程序指定变量，-f参数用于指定awk命令要执行的程序文件，或者在不加-f参数的情况下直接将程序语句放在这里，最后为awk需要处理的文本输入，且可以同时输入多个文本文件。现在我们还是直接来具体体验一下吧。

5.4 awk操作体验  
先用vim新建一个文本文档

$ vim test  
包含如下内容：

I like linux  
www.shiyanlou.com  
使用awk将文本内容打印到终端  
\# "quote>" 不用输入  
$ awk '\{  
> print  
> \}' test  
\# 或者写到一行  
$ awk '\{print\}' test

说明:在这个操作中我是省略了pattern，所以awk会默认匹配输入文本的全部内容，然后在"\{\}"花括号中执行动作，即print打印所有匹配项，这里是全部文本内容

将test的第一行的每个字段单独显示为一行  
$ awk '\{  
> if(NR==1)\{  
> print $1 "\\n" $2 "\\n" $3  
> \} else \{  
> print\}  
> \}' test

\# 或者  
$ awk '\{  
> if(NR==1)\{  
> OFS="\\n"  
> print $1, $2, $3  
> \} else \{  
> print\}  
> \}' test

说明:你首先应该注意的是，这里我使用了awk语言的分支选择语句if,它的使用和很多高级语言如C/C++语言基本一致，如果你有这些语言的基础，这里将很好理解。另一个你需要注意的是NR与OFS，这两个是awk内建的变量，NR表示当前读入的记录数，你可以简单的理解为当前处理的行数，OFS表示输出时的字段分隔符，默认为" "空格，如上图所见，我们将字段分隔符设置为\\n换行符，所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是$N其中N为相应的字段号，这也是awk的内建变量，它表示引用相应的字段，因为我们这里第一行只有三个字段，所以只引用到了$3。除此之外另一个这里没有出现的$0，它表示引用当前记录（当前行）的全部内容。

将test的第二行的以点为分段的字段换成以空格为分隔  
$ awk -F'.' '\{  
> if(NR==2)\{  
> print $1 "\\t" $2 "\\t" $3  
> \}\}' test

\# 或者  
$ awk '  
> BEGIN\{  
> FS="."  
> OFS="\\t" \# 如果写为一行，两个动作语句之间应该以";"号分开  
> \}\{  
> if(NR==2)\{  
> print $1, $2, $3  
> \}\}' test

说明：这里的-F参数，前面已经介绍过，它是用来预先指定待处理记录的字段分隔符。我们需要注意的是除了指定OFS我们还可以在print 语句中直接打印特殊符号如这里的\\t，print打印的非变量内容都需要用""一对引号包围起来。上面另一个版本，展示了实现预先指定变量分隔符的另一种方式，即使用BEGIN，就这个表达式指示了，其后的动作将在所有动作之前执行，这里是FS赋值了新的"."点号代替默认的" "空格

注意:首先说明一点，我们在学习和使用awk的时候应该尽可能将其作为一门程序语言来理解，这样将会使你学习起来更容易，所以初学阶段在练习awk时应该尽量按照我那样的方式分多行按照一般程序语言的换行和缩进来输入，而不是全部写到一行（当然这在你熟练了之后是没有任何问题的）。

5.5 awk常用的内置变量  
变量名 说明  
FILENAME 当前输入文件名，若有多个文件，则只表示第一个。如果输入是来自标准输入，则为空字符串  
$0 当前记录的内容  
$N N表示字段号，最大值为NF变量的值  
FS 字段分隔符，由正则表达式表示，默认为" "空格  
RS 输入记录分隔符，默认为"\\n"，即一行为一个记录  
NF 当前记录字段数  
NR 已经读入的记录数  
FNR 当前输入文件的记录数，请注意它与NR的区别  
OFS 输出字段分隔符，默认为" "空格  
ORS 输出记录分隔符，默认为"\\n"

# 14.Linux软件安装 #

通常 Linux 上的软件安装主要有四种方式：

在线安装  
从磁盘安装deb软件包  
从二进制软件包安装  
从源代码编译安装

在不同的linux发行版上面在线安装方式会有一些差异包括使用的命令及它们的包管理工具，因为我们的开发环境是基于ubuntu的，所以这里我们涉及的在线安装方式将只适用于ubuntu发行版，或其它基于ubuntu的发行版如国内的ubuntukylin(优麒麟)，ubuntu又是基于debian的发行版，它使用的是debian的包管理工具dpkg，所以一些操作也适用与debian。而在一些采用其它包管理工具的发行版如redhat，centos,fedora等将不适用(redhat和centos使用rpm)

APT是Advance Packaging Tool（高级包装工具）的缩写，是Debian及其派生发行版的软件包管理器，APT可以自动下载，配置，安装二进制或者源代码格式的软件包，因此简化了Unix系统上管理软件的过程。APT最早被设计成dpkg的前端，用来处理deb格式的软件包。现在经过APT-RPM组织修改，APT已经可以安装在支持RPM的系统管理RPM包。这个包管理器包含以 apt- 开头的多个工具，如 apt-get apt-cache apt-cdrom 等，在Debian系列的发行版中使用。

当你在执行安装操作时，首先apt-get 工具会在本地的一个数据库中搜索关于 w3m 软件的相关信息，并根据这些信息在相关的服务器上下载软件安装，这里大家可能会一个疑问：既然是在线安装软件，为啥会在本地的数据库中搜索？要解释这个问题就得提到几个名词了：

软件源镜像服务器  
软件源  
我们需要定期从服务器上下载一个软件包列表，使用 sudo apt-get update 命令来保持本地的软件包列表是最新的（有时你也需要手动执行这个操作，比如更换了软件源），而这个表里会有软件依赖信息的记录，对于软件依赖，我举个例子：我们安装 w3m 软件的时候，而这个软件需要 libgc1c2 这个软件包才能正常工作，这个时候 apt-get 在安装软件的时候会一并替我们安装了，以保证 w3m 能正常的工作。

2.3 apt-get  
apt-get 是用于处理 apt包的公用程序集，我们可以用它来在线安装、卸载和升级软件包等，下面列出一些apt-get包含的常用的一些工具：

工具 说明  
install 其后加上软件包名，用于安装一个软件包  
update 从软件源镜像服务器上下载/更新用于更新本地软件源的软件包列表  
upgrade 升级本地可更新的全部软件包，但存在依赖问题时将不会升级，通常会在更新之前执行一次update  
dist-upgrade 解决依赖关系并升级(存在一定危险性)  
remove 移除已安装的软件包，包括与被移除软件包有依赖关系的软件包，但不包含软件包的配置文件  
autoremove 移除之前被其他软件包依赖，但现在不再被使用的软件包  
purge 与remove相同，但会完全移除软件包，包含其配置文件  
clean 移除下载到本地的已经安装的软件包，默认保存在/var/cache/apt/archives/  
autoclean 移除已安装的软件的旧版本软件包  
下面是一些apt-get常用的参数：

参数 说明  
\-y 自动回应是否安装软件包的选项，在一些自动化安装脚本中使用这个参数将十分有用  
\-s 模拟安装  
\-q 静默安装方式，指定多个q或者-q=\#,\#表示数字，用于设定静默级别，这在你不想要在安装软件包时屏幕输出过多时很有用  
\-f 修复损坏的依赖关系  
\-d 只下载不安装  
\--reinstall 重新安装已经安装但可能存在问题的软件包  
\--install-suggests 同时安装APT给出的建议安装的软件包

关于安装，如前面演示的一样你只需要执行apt-get install <软件包名>即可，除了这一点，你还应该掌握的是如何重新安装软件包。 很多时候我们需要重新安装一个软件包，比如你的系统被破坏，或者一些错误的配置导致软件无法正常工作。

你可以使用如下方式重新安装：

$ sudo apt-get --reinstall install w3m  
另一个你需要掌握的是，如何在不知道软件包完整名的时候进行安装。通常我们是使用Tab键补全软件包名，后面会介绍更好的方法来搜索软件包。有时候你需要同时安装多个软件包，你还可以使用正则表达式匹配软件包名进行批量安装。

2.5 软件升级  
\# 更新软件源  
$ sudo apt-get update  
\# 升级没有依赖问题的软件包  
$ sudo apt-get upgrade  
\# 升级并解决依赖关系  
$ sudo apt-get dist-upgrade

3.1 dpkg 介绍  
dpkg 是 Debian 软件包管理器的基础，它被伊恩·默多克创建于 1993 年。dpkg 与 RPM 十分相似，同样被用于安装、卸载和供给和 .deb 软件包相关的信息。

dpkg 本身是一个底层的工具。上层的工具，像是 APT，被用于从远程获取软件包以及处理复杂的软件包关系。"dpkg"是"Debian Package"的简写。

我们经常可以在网络上见到以deb形式打包的软件包，就需要使用dpkg命令来安装。

dpkg常用参数介绍：

参数 说明  
\-i 安装指定deb包  
\-R 后面加上目录名，用于安装该目录下的所有deb安装包  
\-r remove，移除某个已安装的软件包  
\-I 显示deb包文件的信息  
\-s 显示已安装软件的信息  
\-S 搜索已安装的软件包  
\-L 显示已安装软件包的目录信息

二进制包的安装比较简单，我们需要做的只是将从网络上下载的二进制包解压后放到合适的目录，然后将包含可执行的主程序文件的目录添加进PATH环境变量即可

# 15.Linux进程 #

进程（process）：进程是程序在一个数据集合上的一次执行过程

简单来说，程序是为了完成某种任务而设计的软件，比如 vim 是程序。什么是进程呢？进程就是运行中的程序。

程序只是一些列指令的集合，是一个静止的实体，而进程不同，进程有以下的特性：

动态性：进程的实质是一次程序执行的过程，有创建、撤销等状态的变化。而程序是一个静态的实体。  
并发性：进程可以做到在一个时间段内，有多个程序在运行中。程序只是静态的实体，所以不存在并发性。  
独立性：进程可以独立分配资源，独立接受调度，独立地运行。  
异步性：进程以不可预知的速度向前推进。  
结构性：进程拥有代码段、数据段、PCB（进程控制块，进程存在的唯一标志）。也正是因为有结构性，进程才可以做到独立地运行。  
并发：在一个时间段内，宏观来看有多个程序都在活动，有条不紊的执行（每一瞬间只有一个在执行，只是在一段时间有多个程序都执行过）

并行：在每一个瞬间，都有多个程序都在同时执行，这个必须有多个 CPU 才行

线程（thread）是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。因为线程中几乎不包含系统资源，所以执行更快、更有效率

第一个角度来看，我们可以分为用户进程与系统进程：

用户进程：通过执行用户程序、应用程序或称之为内核之外的系统程序而产生的进程，此类进程可以在用户的控制下运行或关闭。  
系统进程：通过执行系统内核程序而产生的进程，比如可以执行内存资源分配和进程切换等相对底层的工作；而且该进程的运行不受用户的干预，即使是 root 用户也不能干预系统进程的运行。  
第二角度来看，我们可以将进程分为交互进程、批处理进程、守护进程

交互进程：由一个 shell 终端启动的进程，在执行过程中，需要与用户进行交互操作，可以运行于前台，也可以运行在后台。  
批处理进程：该进程是一个进程集合，负责按顺序启动其他的进程。  
守护进程：守护进程是一直运行的一种进程，在 Linux 系统启动时启动，在系统关闭时终止。它们独立于控制终端并且周期性的执行某种任务或等待处理某些发生的事件。例如 httpd 进程，一直处于运行状态，等待用户的访问。还有经常用的 cron（在 centOS 系列为 crond）进程，这个进程为 crontab 的守护进程，可以周期性的执行用户设定的某些任务。

关于父进程与子进程便会提及这两个系统调用 fork() 与 exec()

fork-exec是由 Dennis M. Ritchie 创造的

fork() 是一个系统调用（system call），它的主要作用就是为当前的进程创建一个新的进程，这个新的进程就是它的子进程，这个子进程除了父进程的返回值和 PID 以外其他的都一模一样，如进程的执行代码段，内存信息，文件描述，寄存器状态等等

exec() 也是系统调用，作用是切换子进程中的执行程序也就是替换其从父进程复制过来的代码段与数据段

子进程就是父进程通过系统调用 fork() 而产生的复制品，fork() 就是把父进程的 PCB 等进程的数据结构信息直接复制过来，只是修改了 PID，所以一模一样，只有在执行 exec() 之后才会不同，而早先的 fork() 比较消耗资源后来进化成 vfork(),效率高了不少，感兴趣的同学可以查查为什么。

既然子进程是通过父进程而衍生出来的，那么子进程的退出与资源的回收定然与父进程有很大的相关性。当一个子进程要正常的终止运行时，或者该进程结束时它的主函数 main() 会执行 exit(n); 或者 return n，这里的返回值 n 是一个信号，系统会把这个 SIGCHLD 信号传给其父进程，当然若是异常终止也往往是因为这个信号。

在将要结束时的子进程代码执行部分已经结束执行了，系统的资源也基本归还给系统了，但若是其进程的进程控制块（PCB）仍驻留在内存中，而它的 PCB 还在，代表这个进程还存在（因为 PCB 就是进程存在的唯一标志，里面有 PID 等消息），并没有消亡，这样的进程称之为僵尸进程（Zombie）。

如图中第四列标题是 S，S 表示的是进程的状态，而在下属的第三行的 Z 表示的是 Zombie 的意思

正常情况下，父进程会收到两个返回值：exit code（SIGCHLD 信号）与 reason for termination 。之后，父进程会使用 wait(&status) 系统调用以获取子进程的退出状态，然后内核就可以从内存中释放已结束的子进程的 PCB；而如若父进程没有这么做的话，子进程的 PCB 就会一直驻留在内存中，一直留在系统中成为僵尸进程（Zombie）。

虽然僵尸进程是已经放弃了几乎所有内存空间，没有任何可执行代码，也不能被调度，在进程列表中保留一个位置，记载该进程的退出状态等信息供其父进程收集，从而释放它。但是 Linux 系统中能使用的 PID 是有限的，如果系统中存在有大量的僵尸进程，系统将会因为没有可用的 PID 从而导致不能产生新的进程。

另外如果父进程结束（非正常的结束），未能及时收回子进程，子进程仍在运行，这样的子进程称之为孤儿进程。在 Linux 系统中，孤儿进程一般会被 init 进程所“收养”，成为 init 的子进程。由 init 来做善后处理，所以它并不至于像僵尸进程那样无人问津，不管不顾，大量存在会有危害。

进程 0 是系统引导时创建的一个特殊进程，也称之为内核初始化，其最后一个动作就是调用 fork() 创建出一个子进程运行 /sbin/init 可执行文件,而该进程就是 PID=1 的进程 1，而进程 0 就转为交换进程（也被称为空闲进程），进程 1 （init 进程）是第一个用户态的进程，再由它不断调用 fork() 来创建系统里其他的进程，所以它是所有进程的父进程或者祖先进程。同时它是一个守护程序，直到计算机关机才会停止。

通过以下的命令我们可以很明显的看到这样的结构

pstree

其中 pid 就是该进程的一个唯一编号，ppid 就是该进程的父进程的 pid，command 表示的是该进程通过执行什么样的命令或者脚本而产生的

我们还可以使用这样一个命令来看，其中 pid 就是该进程的一个唯一编号，ppid 就是该进程的父进程的 pid，command 表示的是该进程通过执行什么样的命令或者脚本而产生的

ps －fxo user,ppid,pid,pgid,command

每一个进程都会是一个进程组的成员，而且这个进程组是唯一存在的，他们是依靠 PGID（process group ID）来区别的，而每当一个进程被创建的时候，它便会成为其父进程所在组中的一员。

一般情况，进程组的 PGID 等同于进程组的第一个成员的 PID，并且这样的进程称为该进程组的领导者,也就是领导进程，进程一般通过使用 getpgrp() 系统调用来寻找其所在组的 PGID，领导进程可以先终结，此时进程组依然存在，并持有相同的PGID，直到进程组中最后一个进程终结。

与进程组类似，每当一个进程被创建的时候，它便会成为其父进程所在 Session 中的一员，每一个进程组都会在一个 Session 中，并且这个 Session 是唯一存在的，

Session 主要是针对一个 tty 建立，Session 中的每个进程都称为一个工作(job)。每个会话可以连接一个终端(control terminal)。当控制终端有输入输出时，都传递给该会话的前台进程组。Session 意义在于将多个 jobs 囊括在一个终端，并取其中的一个 job 作为前台，来直接接收该终端的输入输出以及终端信号。 其他 jobs 在后台运行。

前台（foreground）就是在终端中运行，能与你有交互的

后台（background）就是在终端中运行，但是你并不能与其任何的交互，也不会显示其执行的过程

我们都知道当一个进程在前台运作时我们可以用 ctrl + c 来终止它，但是若是在后台的话就不行了。

我们可以通过 & 这个符号，让我们的命令在后台中运行

$jobs:被停止并放置在后台的工作我们可以使用这个命令来查看

其中第一列显示的为被放置后台 job 的编号，而第二列的 ＋ 表示最近(刚刚、最后)被放置后台的 job，同时也表示预设的工作，也就是若是有什么针对后台 job 的操作，首先对预设的 job，- 表示倒数第二（也就是在预设之前的一个）被放置后台的工作，倒数第三个（再之前的）以后都不会有这样的符号修饰，第三列表示它们的状态，而最后一列表示该进程执行的命令

\#kill的使用格式如下  
kill -signal %jobnumber

\#signal从1-64个信号值可以选择，可以这样查看  
kill －l  
其中常用的有这些信号值

信号值 作用  
\-1 重新读取参数运行，类似与restart  
\-2 如同 ctrl+c 的操作退出  
\-9 强制终止该任务  
\-15 正常的方式终止该任务

注意

若是在使用kill＋信号值然后直接加 pid，你将会对 pid 对应的进程进行操作

若是在使用kill+信号值然后 ％jobnumber，这时所操作的对象是 job，这个数字就是就当前 bash 中后台的运行的 job 的 ID

# 16.进程管理 #

们可以通过 top 实时的查看进程的状态，以及系统的一些信息（如 CPU、内存信息等），我们还可以通过 ps 来静态查看当前的进程信息，同时我们还可以使用 pstree 来查看当前活跃进程的树形结构

top 工具是我们常用的一个查看工具，能实时的查看我们系统的一些关键信息的变化:

top 是一个在前台执行的程序，所以执行后便进入到这样的一个交互界面，正是因为交互界面我们才可以实时的获取到系统与进程的信息。在交互界面中我们可以通过一些指令来操作和筛选。在此之前我们先来了解显示了哪些信息

我们看到 top 显示的第一排，

内容 解释  
top 表示当前程序的名称  
11:05:18 表示当前的系统的时间  
up 8 days,17:12 表示该机器已经启动了多长时间  
1 user 表示当前系统中只有一个用户  
load average: 0.29,0.20,0.25 分别对应1、5、15分钟内cpu的平均负载

load average 在 wikipedia 中的解释是 the system load is a measure of the amount of work that a computer system is doing 也就是对当前 CPU 工作量的度量，具体来说也就是指运行队列的平均长度，也就是等待 CPU 的平均进程数相关的一个计算值。

我们该如何看待这个load average 数据呢？

假设我们的系统是单 CPU、单内核的，把它比喻成是一条单向的桥，把CPU任务比作汽车。

load = 0 的时候意味着这个桥上并没有车，cpu 没有任何任务；  
load < 1 的时候意味着桥上的车并不多，一切都还是很流畅的，cpu 的任务并不多，资源还很充足；  
load = 1 的时候就意味着桥已经被车给沾满了，没有一点空隙，cpu 的已经在全力工作了，所有的资源都被用完了，当然还好，这还在能力范围之内，只是有点慢而已；  
load > 1 的时候就意味着不仅仅是桥上已经被车占满了，就连桥外都被占满了，cpu 已经在全力的工作了，系统资源的用完了，但是还是有大量的进程在请求，在等待。若是这个值大于２，大于３，超过 CPU 工作能力的 2，３。而若是这个值 > 5 说明系统已经在超负荷运作了。【注释1】  
这是单个 CPU 单核的情况，而实际生活中我们需要将得到的这个值除以我们的核数来看。我们可以通过以下的命令来查看 CPU 的个数与核心数

通过上面的指数我们可以得知 load 的临界值为 1 ，但是在实际生活中，比较有经验的运维或者系统管理员会将临界值定为0.7。这里的指数都是除以核心数以后的值，不要混淆了

若是 load < 0.7 并不会去关注他；  
若是 0.7< load < 1 的时候我们就需要稍微关注一下了，虽然还可以应付但是这个值已经离临界不远了；  
若是 load = 1 的时候我们就需要警惕了，因为这个时候已经没有更多的资源的了，已经在全力以赴了；  
若是 load > 5 的时候系统已经快不行了，这个时候你需要加班解决问题了  
通常我们都会先看 15 分钟的值来看这个大体的趋势，然后再看 5 分钟的值对比来看是否有下降的趋势。

查看 busybox 的代码可以知道，数据是每 5 秒钟就检查一次活跃的进程数，然后计算出该值，然后 load 从 /proc/loadavg 中读取的。而这个 load 的值是如何计算的呢，这是 load 的计算的源码

我们回归正题，来看 top 的第二行数据，基本上第二行是进程的一个情况统计

内容 解释  
Tasks: 26 total 进程总数 　  
1 running 1个正在运行的进程数  
25 sleeping 25个睡眠的进程数  
0 stopped 　没有停止的进程数  
0 zombie 没有僵尸进程数  
来看 top 的第三行数据，这一行基本上是 CPU 的一个使用情况的统计了

内容 解释  
Cpu(s): 1.0%us 用户空间进程占用CPU百分比  
1.0% sy 内核空间运行占用CPU百分比  
0.0%ni 用户进程空间内改变过优先级的进程占用CPU百分比  
97.9%id 空闲CPU百分比  
0.0%wa 等待输入输出的CPU时间百分比  
0.1%hi 硬中断(Hardware IRQ)占用CPU的百分比  
0.0%si 软中断(Software IRQ)占用CPU的百分比  
0.0%st (Steal time) 是 hypervisor 等虚拟服务中，虚拟 CPU 等待实际 CPU 的时间的百分比  
CPU 利用率是对一个时间段内 CPU 使用状况的统计，通过这个指标可以看出在某一个时间段内 CPU 被占用的情况，而 Load Average 是 CPU 的 Load，它所包含的信息不是 CPU 的使用率状况，而是在一段时间内 CPU 正在处理以及等待 CPU 处理的进程数情况统计信息，这两个指标并不一样。

来看 top 的第四行数据，这一行基本上是内存的一个使用情况的统计了：

内容 解释  
8176740 total 物理内存总量  
8032104 used 使用的物理内存总量  
144636 free 空闲内存总量  
313088 buffers 用作内核缓存的内存量  
注意

系统中可用的物理内存最大值并不是 free 这个单一的值，而是 free + buffers + swap 中的 cached 的和

来看 top 的第五行数据，这一行基本上是交换区的一个使用情况的统计了

内容 解释  
total 交换区总量  
used 使用的交换区总量  
free 空闲交换区总量  
cached 缓冲的交换区总量,内存中的内容被换出到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖  
再下面就是进程的一个情况了

列名 解释  
　PID 进程id  
USER 该进程的所属用户  
PR 该进程执行的优先级 priority 值  
NI 该进程的 nice 值  
VIRT 该进程任务所使用的虚拟内存的总数  
RES 该进程所使用的物理内存数，也称之为驻留内存数  
SHR 该进程共享内存的大小  
S 该进程进程的状态: S=sleep R=running Z=zombie  
%CPU 该进程CPU的利用率  
%MEM 该进程内存的利用率  
TIME+ 该进程活跃的总时间  
COMMAND 该进程运行的名字  
注意

NICE 值叫做静态优先级，是用户空间的一个优先级值，其取值范围是-20至19。这个值越小，表示进程”优先级”越高，而值越大“优先级”越低。nice值中的 -20 到 19，中 -20 优先级最高， 0 是默认的值，而 19 优先级最低

PR 值表示 Priority 值叫动态优先级，是进程在内核中实际的优先级值，进程优先级的取值范围是通过一个宏定义的，这个宏的名称是 MAX\_PRIO，它的值为 140。Linux 实际上实现了 140 个优先级范围，取值范围是从 0-139，这个值越小，优先级越高。而这其中的 0 - 99 是实时进程的值，而 100 - 139 是给用户的。

其中 PR 中的 100 to 139 值部分有这么一个对应 PR = 20 + (-20 to +19)，这里的 -20 to +19 便是nice值，所以说两个虽然都是优先级，而且有千丝万缕的关系，但是他们的值，他们的作用范围并不相同

VIRT 任务所使用的虚拟内存的总数，其中包含所有的代码，数据，共享库和被换出 swap空间的页面等所占据空间的总数

在上文我们曾经说过 top 是一个前台程序，所以是一个可以交互的

常用交互命令 解释  
q 退出程序  
I 切换显示平均负载和启动时间的信息  
P 根据CPU使用百分比大小进行排序  
M 根据驻留内存大小进行排序  
i 忽略闲置和僵死的进程，这是一个开关式命令  
k 终止一个进程，系统提示输入 PID 及发送的信号值。一般终止进程用 15 信号，不能正常结束则使用 9 信号。安全模式下该命令被屏蔽。  
好好的利用 top 能够很有效的帮助我们观察到系统的瓶颈所在，或者是系统的问题所在。

ps aux：他将会罗列出所有的进程信息

pstree：通过 pstree 可以很直接的看到相同的进程数量，最主要的还是我们可以看到所有进程之间的相关性。

# 17.Linux日志系统 #

在 Linux 中大部分的发行版都内置使用 syslog 系统日志，那么通过前期的课程我们了解到常见的日志一般存放在 /var/log 中，我们来看看其中有哪些日志

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70]: /images/20220416/a4546bcca0094cca8288f916c5457a5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 1]: /images/20220416/031716cd4ac44648aac9c3b122d6ad3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 2]: /images/20220416/b431fefb85f245759a700f71407a89a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 3]: /images/20220416/69649c34937e423a9cf3c2d8af3fc963.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20181116124859283.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 5]: /images/20220416/b8fe898e142d4f0f861d155ae9087ae4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 6]: /images/20220416/5cf163a64c224164a92664c98fbb0ad4.png
[wm]: /images/20220416/0d862b3b69e44f1c9aca24974faaaf7e.png
[wm 1]: https://doc.shiyanlou.com/linux_base/3-10.png/wm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 7]: /images/20220416/13912fc5a06b4fcf91bec488406fa620.png
[wm 2]: /images/20220416/56499309b699425c9329f275e1df506c.png
[wm 3]: https://doc.shiyanlou.com/linux_base/4-1.png/wm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 8]: /images/20220416/9064cbc55ff54071a54111bbf55a3340.png
[wm 4]: /images/20220416/1c6e277bea1648e3a01543c543ad861a.png
[wm 5]: https://doc.shiyanlou.com/linux_base/5-3.png/wm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppamVycnk_size_16_color_FFFFFF_t_70 9]: /images/20220416/62ea723092bf4e2d8ae783eec66ea365.png