Linux Shell常用技巧

admin — Mon, 12 Dec 2011 21:52:11 +0800

十九. 和系统运行进程相关的Shell命令:

    1. 进程监控命令(ps):
    要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而ps命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等。总之大部分信息都是可以通过执行该命令得到的。
    ps命令存在很多的命令行选项和参数，然而我们最为常用只有两种形式，这里先给出与它们相关的选项和参数的含义：
    a: 显示终端上的所有进程，包括其他用户的进程。
    u: 以用户为主的格式来显示程序状况。
    x: 显示所有程序，不以终端来区分。
    -e:显示所有进程。
    o: 其后指定要输出的列，如user，pid等，多个列之间用逗号分隔。
    -p:后面跟着一组pid的列表，用逗号分隔，该命令将只是输出这些pid的相关数据。

    /> ps aux
    root         1 0.0 0.1   2828 1400 ?        Ss   09:51   0:02 /sbin/init
    root         2 0.0 0.0      0        0 ?        S    09:51   0:00 [kthreadd]
    root         3 0.0 0.0      0          0 ?        S    09:51   0:00 [migration/0]
    ... ...
    /> ps -eo user,pid,%cpu,%mem,start,time,command | head -n 4
    USER       PID %CPU %MEM STARTED     TIME        COMMAND
    root         1         0.0    0.1   09:51:08     00:00:02 /sbin/init
    root         2         0.0    0.0   09:51:08     00:00:00 [kthreadd]
    root         3         0.0    0.0   09:51:08 00:00:00 [migration/0]
    这里需要说明的是，ps中存在很多和进程性能相关的参数，它们均以输出表格中的列的方式显示出来，在这里我们只是给出了非常常用的几个参数，至于更多参数，我们则需要根据自己应用的实际情况去看ps的man手册。
    #以完整的格式显示pid为1(init)的进程的相关数据
   /> ps -fp 1
   UID        PID PPID C STIME TTY          TIME   CMD
   root         1        0 0 05:16   ?        00:00:03 /sbin/init

    2. 改变进程优先级的命令(nice和renice):
    该Shell命令最常用的使用方式为：nice [-n <优先等级>][执行指令]，其中优先等级的范围从-20-19，其中-20最高，19最低，只有系统管理者可以设置负数的等级。
    #后台执行sleep 100秒，同时在启动时将其nice值置为19
    /> nice -n 19 sleep 100 &
    [1] 4661
    #后台执行sleep 100秒，同时在启动时将其nice值置为-19
    /> nice -n -19 sleep 100 &
    [2] 4664
    #关注ps -l输出中用黄色高亮的两行，它们的NI值和我们执行是设置的值一致。
    /> ps -l
    F S   UID   PID PPID C PRI NI ADDR SZ    WCHAN TTY       TIME        CMD
    4 S     0 2833 2829 0 80   0     -      1739     -     pts/2    00:00:00 bash
    0 S     0 4661 2833 0 99 19    -      1066     -         pts/2    00:00:00 sleep
    4 S     0 4664 2833 0 61 -19    -      1066     -     pts/2    00:00:00 sleep
    4 R     0 4665 2833 1 80   0     -      1231 -     pts/2    00:00:00 ps

    renice命令主要用于为已经执行的进程重新设定nice值，该命令包含以下几个常用选项：
    -g:　使用程序群组名称，修改所有隶属于该程序群组的程序的优先权。
　 -p: 改变该程序的优先权等级，此参数为预设值。
　 -u: 指定用户名称，修改所有隶属于该用户的程序的优先权。

    #切换到stephen用户下执行一个后台进程，这里sleep进程将在后台睡眠1000秒。
    /> su stephen
    /> sleep 1000&
    [1] 4812
    /> exit   #退回到切换前的root用户
    #查看已经启动的后台sleep进程，其ni值为0，宿主用户为stephen
    /> ps -eo user,pid,ni,command | grep stephen
    stephen   4812   0 sleep 1000
    root        4821    0 grep stephen
    #以指定用户的方式修改该用户下所有进程的nice值
    /> renice -n 5 -u stephen
    500: old priority 0, new priority 5
    #从再次执行ps的输出结果可以看出，该sleep后台进程的nice值已经调成了5
    /> ps -eo user,pid,ni,command | grep stephen
    stephen   4812   5 sleep 1000
    root     4826 0 grep stephen
    #以指定进程pid的方式修改该进程的nice值
    /> renice -n 10 -p 4812
    4812: old priority 5, new priority 10
    #再次执行ps，该sleep后台进程的nice值已经从5变成了10
    /> ps -eo user,pid,ni,command | grep stephen
    stephen   4812 10 sleep 1000
    root        4829   0 grep stephen

    3. 列出当前系统打开文件的工具(lsof):
   lsof(list opened files)，其重要功能为列举系统中已经被打开的文件。众所周知，linux环境中任何事物都是文件，如设备、目录、sockets等。所以，用好lsof命令，对日常的linux管理非常有帮助。下面先给出该命令的常用选项：
   -c command_prefix: 显示以command_prefix开头的进程打开的文件。
   -p PID: 显示指定PID已打开文件的信息
   +d directory: 从文件夹directory来搜寻(不考虑子目录)，列出该目录下打开的文件信息。
   +D directory: 从文件夹directory来搜寻(考虑子目录)，列出该目录下打开的文件信息。
   -d num_of_fd: 以File Descriptor的信息进行匹配，可使用3-10，表示范围，3,10表示某些值。
   -u user: 显示某用户的已经打开的文件，其中user可以使用正则表达式。
   -i: 监听指定的协议、端口、主机等的网络信息，格式为：[proto][@host|addr][:svc_list|port_list]

   #查看打开/dev/null文件的进程。
   /> lsof /dev/null | head -n 5
   COMMAND    PID      USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
   init         1      root    0u   CHR    1,3      0t0 3671 /dev/null
   init         1      root    1u   CHR    1,3      0t0 3671 /dev/null
   init         1      root    2u   CHR    1,3      0t0 3671 /dev/null
   udevd 397      root    0u   CHR    1,3      0t0 3671 /dev/null

   #查看打开22端口的进程
   /> lsof -i:22
   COMMAND PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
   sshd    1582 root    3u IPv4 11989      0t0 TCP *:ssh (LISTEN)
   sshd    1582 root    4u IPv6 11991      0t0 TCP *:ssh (LISTEN)
   sshd    2829 root    3r   IPv4 19635      0t0 TCP bogon:ssh->bogon:15264 (ESTABLISHED)

   #查看init进程打开的文件
   /> lsof -c init
   COMMAND PID USER   FD   TYPE     DEVICE   SIZE/OFF   NODE NAME
   init      1 root cwd      DIR        8,2     4096      2 /
   init      1 root rtd       DIR        8,2     4096      2 /
   init      1 root txt       REG       8,2   136068   148567     /sbin/init
   init      1 root mem    REG        8,2    58536   137507     /lib/libnss_files-2.12.so
   init      1 root mem    REG        8,2   122232 186675     /lib/libgcc_s-4.4.4-20100726.so.1
   init      1 root mem    REG        8,2   141492 186436     /lib/ld-2.12.so
   init      1 root mem    REG        8,2 1855584 186631     /lib/libc-2.12.so
   init      1 root mem    REG        8,2   133136 186632     /lib/libpthread-2.12.so
   init      1 root mem    REG        8,2    99020   180422     /lib/libnih.so.1.0.0
   init      1 root mem    REG        8,2    37304   186773     /lib/libnih-dbus.so.1.0.0
   init      1 root mem    REG        8,2    41728   186633     /lib/librt-2.12.so
   init      1 root mem    REG        8,2   286380 186634     /lib/libdbus-1.so.3.4.0
   init      1 root    0u     CHR        1,3      0t0        3671      /dev/null
   init      1 root    1u     CHR        1,3      0t0        3671      /dev/null
   init      1 root    2u     CHR        1,3      0t0        3671      /dev/null
   init      1 root    3r      FIFO       0,8      0t0        7969      pipe
   init      1 root    4w     FIFO       0,8      0t0        7969      pipe
   init      1 root    5r      DIR        0,10        0             1      inotify
   init      1 root    6r      DIR        0,10        0             1      inotify
   init      1 root    7u     unix   0xf61e3840 0t0    7970      socket
   init      1 root    9u     unix   0xf3bab280 0t0   11211     socket
   在上面输出的FD列中，显示的是文件的File Descriptor number，或者如下的内容：
   cwd: current working directory;
   mem: memory-mapped file;
   mmap: memory-mapped device;
   pd:   parent directory;
   rtd: root directory;
   txt: program text (code and data);
   文件的File Descriptor number显示模式有:
   r for read access;
   w for write access;
   u for read and write access;

   在上面输出的FD列中，显示的是文件的File Descriptor number，或者如下的内容：
   DIR: 目录
   LINK: 链接文件

   #查看pid为1的进程(init)打开的文件，其输出结果等同于上面的命令，他们都是init。
   /> lsof -p 1
   #查看owner为root的进程打开的文件。
   /> lsof -u root
   #查看owner不为root的进程打开的文件。
   /> lsof -u ^root
   #查看打开协议为tcp，ip为192.168.220.134，端口为22的进程。
   /> lsof -i tcp@192.168.220.134:22
   COMMAND PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
   sshd        2829 root     3r    IPv4 19635      0t0      TCP    bogon:ssh->bogon:15264 (ESTABLISHED)
   #查看打开/root文件夹，但不考虑目录搜寻
   /> lsof +d /root
   #查看打开/root文件夹以及其子目录搜寻
   /> lsof +D /root
   #查看打开FD(0-3)文件的所有进程
   /> lsof -d 0-3

    4. 进程查找/杀掉命令(pgrep/pkill)：
   查找和杀死指定的进程, 他们的选项和参数完全相同, 这里只是介绍pgrep。下面是常用的命令行选项：
   -d：定义多个进程之间的分隔符, 如果不定义则使用换行符。
   -n：表示如果该程序有多个进程正在运行，则仅查找最新的，即最后启动的。
   -o：表示如果该程序有多个进程正在运行，则仅查找最老的，即最先启动的。
   -G：其后跟着一组group id，该命令在搜索时，仅考虑group列表中的进程。
   -u：其后跟着一组有效用户ID(effetive user id)，该命令在搜索时，仅考虑该effective user列表中的进程。
   -U：其后跟着一组实际用户ID(real user id)，该命令在搜索时，仅考虑该real user列表中的进程。
   -x：表示进程的名字必须完全匹配, 以上的选项均可以部分匹配。
   -l：将不仅打印pid,也打印进程名。
   -f：一般与-l合用, 将打印进程的参数。

   #手工创建两个后台进程
   /> sleep 1000&
   3456
   /> sleep 1000&
   3457

   #查找进程名为sleep的进程，同时输出所有找到的pid
   /> pgrep sleep
   3456
   3457
   #查找进程名为sleep的进程pid，如果存在多个，他们之间使用:分隔，而不是换行符分隔。
   /> pgrep -d: sleep
   3456:3457
   #查找进程名为sleep的进程pid，如果存在多个，这里只是输出最后启动的那一个。
   /> pgrep -n sleep
   3457
   #查找进程名为sleep的进程pid，如果存在多个，这里只是输出最先启动的那一个。
   /> pgrep -o sleep
   3456
   #查找进程名为sleep，同时这个正在运行的进程的组为root和stephen。
   /> pgrep -G root,stephen sleep
   3456
   3457
   #查找有效用户ID为root和oracle，进程名为sleep的进程。
   /> pgrep -u root,oracle sleep
   3456
   3457
   #查找实际用户ID为root和oracle，进程名为sleep的进程。
   /> pgrep -U root,oracle sleep
   3456
   3457
   #查找进程名为sleep的进程，注意这里找到的进程名必须和参数中的完全匹配。
   /> pgrep -x sleep
   3456
   3457
   #-x不支持部分匹配，sleep进程将不会被查出，因此下面的命令没有结果。
   /> pgrep -x sle
   #查找进程名为sleep的进程，同时输出所有找到的pid和进程名。
   /> pgrep -l sleep
   3456 sleep
   3457 sleep
   #查找进程名为sleep的进程，同时输出所有找到的pid、进程名和启动时的参数。
   /> pgrep -lf sleep
   3456 sleep 1000
   3457 sleep 1000
   #查找进程名为sleep的进程，同时以逗号为分隔符输出他们的pid，在将结果传给ps命令，-f表示显示完整格式，-p显示pid列表，ps将只是输出该列表内的进程数据。
   /> pgrep -f sleep -d, | xargs ps -fp
   UID        PID PPID C STIME TTY          TIME CMD
   root      3456 2138 0 06:11 pts/5    00:00:00 sleep 1000
   root      3457 2138 0 06:11 pts/5    00:00:00 sleep 1000

二十. 通过管道组合Shell命令获取系统运行数据:

   1. 输出当前系统中占用内存最多的5条命令:
   #1) 通过ps命令列出当前主机正在运行的所有进程。
   #2) 按照第五个字段基于数值的形式进行正常排序(由小到大)。
   #3) 仅显示最后5条输出。
   /> ps aux | sort -k 5n | tail -5
   stephen   1861 0.2 2.0 96972 21596 ? S     Nov11   2:24 nautilus
   stephen   1892 0.0 0.4 102108 4508 ? S    stephen   1874 0.0 0.9 107648 10124 ? S     Nov11   0:00 gnome-volume
   stephen   1855 0.0 1.2 123776 13112 ? Sl     Nov11   0:00 metacity
   stephen   1831 0.0 0.9 125432 9768 ? Ssl   Nov11   0:05 /usr/libexec/gnome

   2. 找出cpu利用率高的20个进程:
   #1) 通过ps命令输出所有进程的数据，-o选项后面的字段列表列出了结果中需要包含的数据列。
   #2) 将ps输出的Title行去掉，grep -v PID表示不包含PID的行。
   #3) 基于第一个域字段排序，即pcpu。n表示以数值的形式排序。
   #4) 输出按cpu使用率排序后的最后20行，即占用率最高的20行。
   /> ps -e -o pcpu,pid,user,sgi_p,cmd | grep -v PID | sort -k 1n | tail -20

    3. 获取当前系统物理内存的总大小:
   #1) 以兆(MB)为单位输出系统当前的内存使用状况。
   #2) 通过grep定位到Mem行，该行是以操作系统为视角统计数据的。
   #3) 通过awk打印出该行的第二列，即total列。
   /> free -m | grep "Mem" | awk '{print $2, "MB"}'
   1007 MB

二十一. 通过管道组合Shell命令进行系统管理:

   1. 获取当前或指定目录下子目录所占用的磁盘空间，并将结果按照从大到小的顺序输出:
   #1) 输出/usr的子目录所占用的磁盘空间。
   #2) 以数值的方式倒排后输出。
   /> du -s /usr/* | sort -nr
   1443980 /usr/share
   793260   /usr/lib
   217584   /usr/bin
   128624   /usr/include
   60748    /usr/libexec
   45148    /usr/src
   21096    /usr/sbin
   6896      /usr/local
   4           /usr/games
   4           /usr/etc
   0           /usr/tmp

   2. 批量修改文件名:
   #1) find命令找到文件名扩展名为.output的文件。
   #2) sed命令中的-e选项表示流编辑动作有多次，第一次是将找到的文件名中相对路径前缀部分去掉，如./aa改为aa。
    #    流编辑的第二部分，是将20110311替换为mv & 20110310，其中&表示s命令的被替换部分，这里即源文件名。
   #    1表示被替换部分中#的(.*)。
    #3) 此时的输出应为
   #   mv 20110311.output 20110310.output
   #   mv 20110311abc.output 20110310abc.output
   #    最后将上面的输出作为命令交给bash命令去执行，从而将所有20110311*.output改为20110311*.output
   /> find ./ -name "*.output" -print | sed -e 's/.///g' -e 's/20110311(.*)/mv & 201103101/g' | bash

   3. 统计当前目录下文件和目录的数量:
   #1) ls -l命令列出文件和目录的详细信息。
    #2) ls -l输出的详细列表中的第一个域字段是文件或目录的权限属性部分，如果权限属性部分的第一个字符为d，
   #    该文件为目录，如果是-，该文件为普通文件。
    #3) 通过wc计算grep过滤后的行数。
   /> ls -l * | grep "^-" | wc -l
   /> ls -l * | grep "^d" | wc -l

   4. 杀掉指定终端的所有进程:
   #1) 通过ps命令输出终端为pts/1的所有进程。
   #2) 将ps的输出传给grep，grep将过滤掉ps输出的Title部分，-v PID表示不包含PID的行。
   #3) awk打印输出grep查找结果的第一个字段，即pid字段。
   #4) 上面的三个组合命令是在反引号内被执行的，并将执行的结果赋值给数组变量${K}。
   #5) kill方法将杀掉数组${K}包含的pid。
   /> kill -9 ${K}=`ps -t pts/1 | grep -v PID | awk '{print $1}'`

   5. 将查找到的文件打包并copy到指定目录:
   #1) 通过find找到当前目录下(包含所有子目录)的所有*.txt文件。
   #2) tar命令将find找到的结果压缩成test.tar压缩包文件。
   #3) 如果&&左侧括号内的命令正常完成，则可以执行&&右侧的shell命令了。
   #4) 将生成后的test.tar文件copy到/home/.目录下。
   /> (find . -name "*.txt" | xargs tar -cvf test.tar) && cp -f test.tar /home/.

   #1) cpio从find的结果中读取文件名，将其打包压缩后发送到./dest/dir(目标目录)。
   #2) cpio的选项介绍：
   #   -d：创建需要的目录。
   #   -a：重置源文件的访问时间。
   #   -m：保护新文件的修改时间。
   #   -p：将cpio设置为copy pass-through模式。
   /> find . -name "*" | cpio -dampv ./dest/dir

　最后需要说明的是，该篇Blog中绝大多数的示例来自于互联网，是本人经过一天左右的时间收集和整理之后筛选出来的，其中注释部分是我在后来添加的，以便于我们阅读时的理解。如果今后再发现更好更巧妙的Shell组合命令，本人将持续更新该Blog。如果您有确实非常不错的Shell命令组合，且愿意和我们在这里分享，可以直接放在回复中，本人将对该篇Blog始终保持重点关注。

摘至：http://www.cnblogs.com/stephen-liu74/archive/2011/12/12/2262298.html

成刚网志 && CBolg Application

Linux Shell常用技巧