linux命令学习
1. sort 对行排序命令
sort是对行排序!!!每一行的前后顺升序排序、
sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。
sort文件名> newfile
将文件排序后的输出到newfile,是用输出重定向,如果不使用,那么只会在屏幕上输出排序的结果,原始文件内容不会改变
sort的-u选项
它的作用很简单,就是在输出行中去除重复行。
sort的-r选项:降序排序
sort默认的排序方式是升序,如果想改成降序,就加个-r就搞定了。
sort的-o选项:输出到原始文件
由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。
但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。
sort的-n选项:数值排序
你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。
我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!
sort的-t选项和-k选项: -k选项指定按照第几列排序, -t:列与列的分隔符,分隔符两侧不同列
如果有一个文件的内容是这样:
[rocrocket@rocrocket programming]
$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4
这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。
那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?
幸好,sort提供了-t选项,后面可以设定间隔符。(是不是想起了cut和paste的-d选项,共鸣~~)
指定了间隔符之后,就可以用-k来指定列数了。
[rocrocket@rocrocket programming]
$ sort -n -k 2 -t : facebook.txt
其他的sort常用选项:
-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写
-c会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1
-C会检查文件是否已排好序,如果乱序,不输出内容,仅返回1
-M会以月份来排序,比如JAN小于FEB等等
-b会忽略每一行前面的所有空白部分,从第一个可见字符开始比较。
grep搜索命令
Linux grep 命令用于查找文件里符合条件的字符串。
grep pattern file
gerp pattern 目标文件
-a 或 --text : 不要忽略二进制的数据。
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外,并显示该行之后的内容。
-b 或 --byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字符的编号。
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前的内容。
-c 或 --count : 计算符合样式的列数。
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前后的内容。
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> :** 指定字符串做为查找文件内容的样式。**
注意 -e "pattern1" -e "patttern2" 可以同时匹配多个pattern
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前,不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前,表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前,标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。
注意:pattern :可以有通配符
^ 匹配行开头
$ 匹配行结尾
. 匹配单个字符串
* 匹配任意长度字符串
[] 匹配【】中的任一个字符
ps -ef 任务管理器
ps -ef 查看当前所用用户的进程等详细信息
管道 |
在任何一个shell中,都可以使用“|”连接两个命令,shell会将前后两个进程的输入输出用一个管道相连,以便达到进程间通信的目的:
管道本质上就是一个文件,前面的进程以写方式打开文件,后面的进程以读方式打开。这样前面写完后面读,于是就实现了通信。虽然实现形态上是文件,但是管道本身并不占用磁盘或者其他外部存储的空间。在Linux的实现上,它占用的是内存空间。所以,Linux上的管道就是一个操作方式为文件的内存缓冲区。
重点:
优点:相对于向硬盘中写入读取文件,|管道只会使用内存空间,因此会更加快的执行
命令1|命令2
管道作用就是将命令1的输出送给命令2,因此,命令2一般可以接收字符输入,上一级输出直接给下一级输入
有些命令可以接受”标准输入”(stdin)作为参数。如果命令2 不能接受标准输入作为参数(不是文件命令),但是,大多数命令都不接受标准输入作为参数,只能直接在命令行输入参数,这导致无法用管道命令传递参数。举例来说,echo命令就不接受管道传参。可以使用xargs工具将上一级数据转换成下一级的命令的参数
xargs命令
作用:是将标准输入转为命令行参数。
$ echo "hello world" | xargs echo
hello worlds
上面的代码将管道左侧的标准输入,转为命令行参数hello world,传给第二个echo命令。
命令1| xargs 命令2
-d 参数与分隔符
默认情况下,xargs将换行符和空格作为分隔符,把标准输入分解成一个个命令行参数。
$ echo "one two three" | xargs mkdir
上面代码中,mkdir会新建三个子目录,因为xargs将one two three分解成三个命令行参数,执行mkdir one two three。
-d参数可以更改分隔符。
$ echo -e "a\tb\tc" | xargs -d "\t" echo
a b c
上面的命令指定制表符\t作为分隔符,所以a\tb\tc就转换成了三个命令行参数。echo命令的-e参数表示解释转义字符。
使用xargs命令以后,由于存在转换参数过程,有时需要确认一下到底执行的是什么命令。
-p参数打印出要执行的命令,询问用户是否要执行。
$ echo 'one two three' | xargs -p touch
touch one two three ?...
上面的命令执行以后,会打印出最终要执行的命令,让用户确认。用户输入y以后(大小写皆可),才会真正执行。
-t参数则是打印出最终要执行的命令,然后直接执行,不需要用户确认。
$ echo 'one two three' | xargs -t rm
rm one two three
-n参数指定每次将多少项,作为命令行参数。
$ xargs find -name
"*.txt" "*.md"
find: paths must precede expression: `*.md'
上面的命令将同一行的两项作为命令行参数,导致报错。
$ xargs -n 1 find -name
上面命令指定将每一项(-n 1)标准输入作为命令行参数,分别执行一次命令(find -name)。
如果xargs要将命令行参数传给多个命令,可以使用-I参数。
-I指定每一项命令行参数的替代字符串。
$ cat foo.txt
one
two
three
$ cat foo.txt | xargs -I file sh -c 'echo file; mkdir file'
one
two
three
$ ls
one two three
注意:上面的file是一个替代字符串,可以随便写,一般写为{},但是注意必须和后面命令对应
命令1| xargs -I {} 命令2(将2中的部分替换为{})
上面代码中,foo.txt是一个三行的文本文件。我们希望对每一项命令行参数,执行两个命令(echo和mkdir),使用-I file表示file是命令行参数的替代字符串。执行命令时,具体的参数会替代掉echo file; mkdir file里面的两个file。
Linux cut命令 列截取字符串
用于显示每行从开头算起 num1 到 num2 的文字。
cut -c num1-num2 file 显示每一行的第num1-num2个子元
cut -c num1,num2,num3 file 显示每一行的第num1、num2、num3 子元
语法
cut [-bn] [file]
cut [-c] [file]
cut [-df] [file]
使用说明:
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
参数:
-b :以字节为单位进行分割。这些字节位置将忽略多字节字符边界,除非也指定了 -n 标志。
-c :以字符为单位进行分割。
-d :自定义分隔符,默认为制表符。
-f :与-d一起使用,指定显示哪个区域。
-n :取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的
范围之内,该字符将被写出;否则,该字符将被排除
cut -f 1-3 file
-f 参数用于截取第m-n栏(这里的栏值得是通过 -d分隔符确定的列,默认tab)
例如:
dfgf ddg 3
cut -f 1 file
那么就将dfgf取出,因为是tab分割的第一栏
-d
cut -d " " -f file
则将“ ” 空格作为分割列符
重难点
sed
sed是一种流编辑器,也是文本处理中非常好的工具,配合正则使用更强大处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用sed命令处理缓冲区的内容,完成后输出到屏幕,接着处理下一行。文件内容并没有改变,除非使用-i选项。sed主要用来编辑一个或多个文件,简化对文件的反复操作或者用来编写转换程序等。
sed功能同awk类似,差别在于,sed简单,对列处理的功能要差一些,awk功能复杂,对列处理的功能比较强大。
命令格式
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
常用参数
-e #以指定的指令来处理输入的文本文件
-n #取消默认输出(如果和p命令同时使用只会打印发生改变的行)
-h #帮助
-V #显示版本信息
常用动作
a #在当前行下面插入文本
i #在当前行上面插入文本
c #把选定的行改为新的文本
d #删除,删除选择的行
D #删除模板块的第一行
s #替换指定字符
h #拷贝模板块的内容到内存中的缓冲区
H #追加模板块的内容到内存中的缓冲区
g #获得内存缓冲区的内容,并替代当前模板块中的文本
G #获得内存缓冲区的内容,并追加到当前模板块文本的后面
l #列表不能打印字符的清单
n #读取下一个输入行,用下一个命令处理新的行而不是用第一个命令
N #追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码
p #打印匹配的行
P #(大写)打印模板的第一行
q #退出Sed
b #lable 分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾
r #file 从file中读行
t #label if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
T #label 错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾
w #file 写并追加模板块到file末尾**
W #file 写并追加模板块的第一行到file末尾**
! #表示后面的命令对所有没有被选定的行发生作用**
= #打印当前行号码**
# #把注释扩展到下一个换行符以前**
Sed替换命令
g #表示行内全面替换(全局替换配合s命令使用)
p #表示打印行
w #表示把行写入一个文件
x #表示互换模板块中的文本和缓冲区中的文本
y #表示把一个字符翻译为另外的字符(但是不用于正则表达式)
1 #子串匹配标记
& #已匹配字符串标记
Sed正则
^ #匹配行开始
$ #匹配行结束
. #匹配一个非换行符的任意字符
* #匹配0个或多个字符
[] #匹配一个指定范围内的字符
[^] #匹配一个不在指定范围内的字符
(..) #匹配子串
& #保存搜索字符用来替换其他字符
< #匹配单词的开始
> #匹配单词的结束
x{m} #重复字符x,m次
x{m,} #重复字符x,至少m次
x{m,n} #重复字符x,至少m次,不多于n次
Sed常用实例
1、替换操作
echo "hello world" |sed 's/ /-/1g'
hello-world
#从第一个空格开始全局替换成-,只不过文本中只有一个空格
2、删除操作
sed '/^$/d' filename #删除空白行
sed '2d' filename #删除第二行
sed '2,$d' filename #删除第二直到未尾所有行
sed '$d' filename #删除最后一行
sed '/^test/'d filename #删除以test开头行
3、匹配替换
echo "hello world" |sed 's/w+/[&]/g'
[hello]
[world]
echo “hello world” |sed ‘s/w+/”&”/g’
“hello” “world”
#w+匹配每一个单词,&表示匹配到的字符串
echo AAA bbb |sed ‘s/([A-Z]+) ([a-z]+)/[2] [1]/’
[bbb]
[AAA]
#子串匹配替换
4、选定范围
sed -n ‘/= 0/,/max/p’ svnserve.conf
#min-encryption = 0
#max-encryption = 256
#所有在=0到max范围内的行都会被打印出
awk 命令
awk是处理文本文件的一个应用程序,几乎所有 Linux 系统都自带这个程序。
它依次处理文件的每一行,并读取里面的每一个字段。对于日志、CSV 那样的每行格式相同的文本文件,awk可能是最方便的工具。
awk其实不仅仅是工具软件,还是一种编程语言。不过,本文只介绍它的命令行用法,对于大多数场合,应该足够用了。
awk的基本用法就是下面的形式。
# 格式
$ awk 动作 文件名
# 示例
$ awk '{print $0}' demo.txt
上面示例中,demo.txt是awk所要处理的文本文件。前面单引号内部有一个大括号,里面就是每一行的处理动作print $0。其中,print是打印命令,$0代表当前行,因此上面命令的执行结果,就是把每一行原样打印出来。
下面,我们先用标准输入(stdin)演示上面这个例子。
$ echo 'this is a test' | awk '{print $0}'
this is a test
上面代码中,print $0就是把标准输入this is a test,重新打印了一遍。
awk会根据空格和制表符,将每一行分成若干字段,依次用$1、$2、$3代表第一个字段、第二个字段、第三个字段等等。
$ echo 'this is a test' | awk '{print $3}'
a
上面代码中,$3代表this is a test的第三个字段a。
awk允许指定输出条件,只输出符合条件的行。
输出条件要写在动作的前面。
$ awk '条件 动作' 文件名
请看下面的例子。
$ awk -F ':' '/usr/ {print $1}' demo.txt
root
daemon
bin
sys
上面代码中,print命令前面是一个正则表达式,只输出包含usr的行。
下面的例子只输出奇数行,以及输出第三行以后的行。