linux命令学习
1. sort 对行排序命令
sort是对行排序！！！每一行的前后顺升序排序、
sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
sort文件名> newfile
将文件排序后的输出到newfile，是用输出重定向，如果不使用，那么只会在屏幕上输出排序的结果，原始文件内容不会改变
sort的-u选项
它的作用很简单，就是在输出行中去除重复行。
sort的-r选项:降序排序
sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了。
sort的-o选项：输出到原始文件
由于sort默认是把结果输出到标准输出，所以需要用重定向才能将结果写入文件，形如sort filename > newfile。
但是，如果你想把排序结果输出到原文件中，用重定向可就不行了。
sort的-n选项：数值排序
你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了，排序程序会先比较1和2，显然1小，所以就将10放在2前面喽。这也是sort的一贯作风。
我们如果想改变这种现状，就要使用-n选项，来告诉sort，“要以数值来排序”！
sort的-t选项和-k选项： -k选项指定按照第几列排序， -t：列与列的分隔符，分隔符两侧不同列
如果有一个文件的内容是这样：
[rocrocket@rocrocket programming]
$ cat facebook.txt banana:30:5.5 apple:10:2.5 pear:90:2.3 orange:20:3.4 这个文件有三列，列与列之间用冒号隔开了，第一列表示水果类型，第二列表示水果数量，第三列表示水果价格。 那么我想以水果数量来排序，也就是以第二列来排序，如何利用sort实现？ 幸好，sort提供了-t选项，后面可以设定间隔符。（是不是想起了cut和paste的-d选项，共鸣～～） 指定了间隔符之后，就可以用-k来指定列数了。
[rocrocket@rocrocket programming]
$ sort -n -k 2 -t : facebook.txt 其他的sort常用选项： -f会将小写字母都转换为大写字母来进行比较，亦即忽略大小写 -c会检查文件是否已排好序，如果乱序，则输出第一个乱序的行的相关信息，最后返回1 -C会检查文件是否已排好序，如果乱序，不输出内容，仅返回1 -M会以月份来排序，比如JAN小于FEB等等 -b会忽略每一行前面的所有空白部分，从第一个可见字符开始比较。
grep搜索命令
Linux grep 命令用于查找文件里符合条件的字符串。
grep pattern file
gerp pattern 目标文件
-a 或 --text : 不要忽略二进制的数据。
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
-b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
-c 或 --count : 计算符合样式的列数。
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> :** 指定字符串做为查找文件内容的样式。**
注意 -e "pattern1" -e "patttern2" 可以同时匹配多个pattern
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。注意：pattern ：可以有通配符
^ 匹配行开头
$ 匹配行结尾
. 匹配单个字符串
* 匹配任意长度字符串
[] 匹配【】中的任一个字符ps -ef 任务管理器
ps -ef 查看当前所用用户的进程等详细信息管道 |
在任何一个shell中，都可以使用“|”连接两个命令，shell会将前后两个进程的输入输出用一个管道相连，以便达到进程间通信的目的：
管道本质上就是一个文件，前面的进程以写方式打开文件，后面的进程以读方式打开。这样前面写完后面读，于是就实现了通信。虽然实现形态上是文件，但是管道本身并不占用磁盘或者其他外部存储的空间。在Linux的实现上，它占用的是内存空间。所以，Linux上的管道就是一个操作方式为文件的内存缓冲区。
重点：
优点：相对于向硬盘中写入读取文件，|管道只会使用内存空间，因此会更加快的执行
命令1|命令2
管道作用就是将命令1的输出送给命令2，因此，命令2一般可以接收字符输入，上一级输出直接给下一级输入
有些命令可以接受”标准输入”（stdin）作为参数。如果命令2 不能接受标准输入作为参数（不是文件命令），但是，大多数命令都不接受标准输入作为参数，只能直接在命令行输入参数，这导致无法用管道命令传递参数。举例来说，echo命令就不接受管道传参。可以使用xargs工具将上一级数据转换成下一级的命令的参数
xargs命令
作用：是将标准输入转为命令行参数。
$ echo "hello world" | xargs echo
hello worlds
上面的代码将管道左侧的标准输入，转为命令行参数hello world，传给第二个echo命令。
命令1| xargs 命令2-d 参数与分隔符
默认情况下，xargs将换行符和空格作为分隔符，把标准输入分解成一个个命令行参数。
$ echo "one two three" | xargs mkdir上面代码中，mkdir会新建三个子目录，因为xargs将one two three分解成三个命令行参数，执行mkdir one two three。
-d参数可以更改分隔符。
$ echo -e "a\tb\tc" | xargs -d "\t" echo
a b c上面的命令指定制表符\t作为分隔符，所以a\tb\tc就转换成了三个命令行参数。echo命令的-e参数表示解释转义字符。
使用xargs命令以后，由于存在转换参数过程，有时需要确认一下到底执行的是什么命令。
-p参数打印出要执行的命令，询问用户是否要执行。
$ echo 'one two three' | xargs -p touch
touch one two three ?...上面的命令执行以后，会打印出最终要执行的命令，让用户确认。用户输入y以后（大小写皆可），才会真正执行。
-t参数则是打印出最终要执行的命令，然后直接执行，不需要用户确认。
$ echo 'one two three' | xargs -t rm
rm one two three-n参数指定每次将多少项，作为命令行参数。
$ xargs find -name
"*.txt" "*.md"
find: paths must precede expression: `*.md'
上面的命令将同一行的两项作为命令行参数，导致报错。$ xargs -n 1 find -name上面命令指定将每一项（-n 1）标准输入作为命令行参数，分别执行一次命令（find -name）。
如果xargs要将命令行参数传给多个命令，可以使用-I参数。
-I指定每一项命令行参数的替代字符串。
$ cat foo.txt
one
two
three
$ cat foo.txt | xargs -I file sh -c 'echo file; mkdir file'
one
two
three
$ ls
one two three注意：上面的file是一个替代字符串，可以随便写，一般写为{}，但是注意必须和后面命令对应
命令1| xargs -I {} 命令2（将2中的部分替换为{}）
上面代码中，foo.txt是一个三行的文本文件。我们希望对每一项命令行参数，执行两个命令（echo和mkdir），使用-I file表示file是命令行参数的替代字符串。执行命令时，具体的参数会替代掉echo file; mkdir file里面的两个file。
Linux cut命令 列截取字符串
用于显示每行从开头算起 num1 到 num2 的文字。
cut -c num1-num2 file 显示每一行的第num1-num2个子元
cut -c num1,num2,num3 file 显示每一行的第num1、num2、num3 子元
语法
cut [-bn] [file]
cut [-c] [file]
cut [-df] [file]
使用说明:
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
参数:
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的
范围之内，该字符将被写出；否则，该字符将被排除cut -f 1-3 file
-f 参数用于截取第m-n栏(这里的栏值得是通过 -d分隔符确定的列，默认tab)
例如：
dfgf ddg 3
cut -f 1 file
那么就将dfgf取出，因为是tab分割的第一栏
-d
cut -d " " -f file
则将“ ” 空格作为分割列符重难点
sed
sed是一种流编辑器，也是文本处理中非常好的工具，配合正则使用更强大处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区的内容，完成后输出到屏幕，接着处理下一行。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
sed功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk功能复杂，对列处理的功能比较强大。
命令格式
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
常用参数
-e #以指定的指令来处理输入的文本文件
-n #取消默认输出（如果和p命令同时使用只会打印发生改变的行）
-h #帮助
-V #显示版本信息
常用动作
a #在当前行下面插入文本
i #在当前行上面插入文本
c #把选定的行改为新的文本
d #删除，删除选择的行
D #删除模板块的第一行
s #替换指定字符
h #拷贝模板块的内容到内存中的缓冲区
H #追加模板块的内容到内存中的缓冲区
g #获得内存缓冲区的内容，并替代当前模板块中的文本
G #获得内存缓冲区的内容，并追加到当前模板块文本的后面
l #列表不能打印字符的清单
n #读取下一个输入行，用下一个命令处理新的行而不是用第一个命令
N #追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码
p #打印匹配的行
P #(大写)打印模板的第一行
q #退出Sed
b #lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾
r #file 从file中读行
t #label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
T #label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
w #file 写并追加模板块到file末尾**
W #file 写并追加模板块的第一行到file末尾**
! #表示后面的命令对所有没有被选定的行发生作用**
= #打印当前行号码**
# #把注释扩展到下一个换行符以前**
Sed替换命令
g #表示行内全面替换（全局替换配合s命令使用）
p #表示打印行
w #表示把行写入一个文件
x #表示互换模板块中的文本和缓冲区中的文本
y #表示把一个字符翻译为另外的字符（但是不用于正则表达式）
1 #子串匹配标记
& #已匹配字符串标记
Sed正则
^ #匹配行开始
$ #匹配行结束
. #匹配一个非换行符的任意字符
* #匹配0个或多个字符
[] #匹配一个指定范围内的字符
[^] #匹配一个不在指定范围内的字符
(..) #匹配子串
& #保存搜索字符用来替换其他字符
< #匹配单词的开始
> #匹配单词的结束
x{m} #重复字符x，m次
x{m,} #重复字符x，至少m次
x{m,n} #重复字符x，至少m次，不多于n次
Sed常用实例
1、替换操作
echo "hello world" |sed 's/ /-/1g'
hello-world
#从第一个空格开始全局替换成-，只不过文本中只有一个空格
2、删除操作
sed '/^$/d' filename #删除空白行
sed '2d' filename #删除第二行
sed '2，$d' filename #删除第二直到未尾所有行
sed '$d' filename #删除最后一行
sed '/^test/'d filename #删除以test开头行
3、匹配替换
echo "hello world" |sed 's/w+/[&]/g'
[hello]
[world] echo “hello world” |sed ‘s/w+/”&”/g’ “hello” “world” #w+匹配每一个单词，&表示匹配到的字符串 echo AAA bbb |sed ‘s/([A-Z]+) ([a-z]+)/[2] [1]/’
[bbb]
[AAA] #子串匹配替换 4、选定范围 sed -n ‘/= 0/,/max/p’ svnserve.conf #min-encryption = 0 #max-encryption = 256 #所有在=0到max范围内的行都会被打印出
awk 命令
awk是处理文本文件的一个应用程序，几乎所有 Linux 系统都自带这个程序。
它依次处理文件的每一行，并读取里面的每一个字段。对于日志、CSV 那样的每行格式相同的文本文件，awk可能是最方便的工具。
awk其实不仅仅是工具软件，还是一种编程语言。不过，本文只介绍它的命令行用法，对于大多数场合，应该足够用了。
awk的基本用法就是下面的形式。
# 格式
$ awk 动作 文件名
# 示例
$ awk '{print $0}' demo.txt上面示例中，demo.txt是awk所要处理的文本文件。前面单引号内部有一个大括号，里面就是每一行的处理动作print $0。其中，print是打印命令，$0代表当前行，因此上面命令的执行结果，就是把每一行原样打印出来。
下面，我们先用标准输入（stdin）演示上面这个例子。
$ echo 'this is a test' | awk '{print $0}'
this is a test上面代码中，print $0就是把标准输入this is a test，重新打印了一遍。
awk会根据空格和制表符，将每一行分成若干字段，依次用$1、$2、$3代表第一个字段、第二个字段、第三个字段等等。
$ echo 'this is a test' | awk '{print $3}'
a
上面代码中，$3代表this is a test的第三个字段a。awk允许指定输出条件，只输出符合条件的行。
输出条件要写在动作的前面。
$ awk '条件 动作' 文件名请看下面的例子。
$ awk -F ':' '/usr/ {print $1}' demo.txt
root
daemon
bin
sys上面代码中，print命令前面是一个正则表达式，只输出包含usr的行。
下面的例子只输出奇数行，以及输出第三行以后的行。