详解Linux中的awk命令
简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。
一、选项参数说明
awk是一种处理文本文件的语言，我们可以使用awk --help查看一下它的选项参数，如下：
二、基本用法
1、行匹配语句，此处awk后只能跟单引号，格式如下：
awk '{匹配的内容}' 匹配的文件名称
例如：
现有如下测试文件test：
使用如下命令输出文中每行的1、4项内容：
awk '{print $1,$4}' test
也可以添加如下内容使其格式化输出：
awk '{printf "%-8s %-10s\n",$1,$4}' test 
2、指定分隔符
awk '{printf "%-8s %-10s\n",$1,$4}' test
例如：
有如下test文件：
执行如下命令，使用逗号分割输出每行的第一、二项内容：
awk -F, '{print $1,$2}' test
也可以使用内建变量，格式如下：
awk 'BEGIN{FS=","} {print $1,$2}' test
对于使用多个分隔符，首先使用空格分割，然后再使用其他分割符进行分割：
awk -F '[ ,]' '{print $1,$2,$4}' test
3、设置变量
awk -v
例如：
现有如下数据：
执行如下命令，每行第一项加1：
awk -va=1 '{print $1,$1+a}' test
也可以使用如下命令设置多个变量：
awk -va=1 -vb=s '{print $1,$1+a,$1b}' test
4、通过awk脚本来运行awk命令
awk -f awk脚本 文件名
例如：
awk -f file.awk test
三、运算符
例如：
1、过滤第一列大于2的行
awk '$1>2' test
2、过滤等于2的列
awk '$1==2 {print $1,$3}' test
3、过滤第一列大于2并且第二列等于Are的行
awk '$1>2 && $2=="Are" {print $1,$2,$3}' test
四、内建变量
例如：
awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test
awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test
awk '{print NR,FNR,$1,$2,$3}' test
awk '{print $1,$2,$5}' OFS=" $ " test
五、使用正则，字符串匹配
例如：
1、输出第二列包含“th”并打印第二列与第四列。
awk '$2 ~ /th/ {print $2,$4}' test
~表示模式开始，//中存放匹配的模式。
2、输出包含“re”的行
awk '/re/ ' test
六、忽略大小写
awk 'BEGIN{IGNORECASE=1} /this/' test
七、模式取反
awk '$2 !~ /th/ {print $2,$4}' test
awk '!/th/ {print $2,$4}' test
八、awk脚本
关于awk脚本，需要注意BEGIN和END两个关键词：
（1）BEGIN{存放执行前的语句}；
（2）END{存放处理完所有的行后要执行的语句}。
例如：
现有数据如下：
我们的awk脚本内容如下：
执行结果如下：
总结
以上所述是小编给大家介绍的Linux中的awk命令，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
相关推荐
-
浅谈linux中sed命令和awk命令的使用
本文主要研究的是linux中sed命令和awk命令的使用的相关内容,具体如下. 1.sed命令:没有重定向不会真正修改源文件中的内容 查询语句 ①sed -n '/sbin/p' passwd 表示查询出passwd文件中存在sbin字符的所有行并打印出来,其中两个/表示的是其中的是正则表达式,-n和/p是该命令的参数,需要联合使用 ②sed -n 'xp' passwd x是数字,表示打印出passwd文件中第x行的数据 新增语句 ①sed '1a 这是第一行后面添加的内容' passwd 其
-
linux awk时间计算脚本及awk命令详解
在linux如果计划时间是个麻烦事, 用awk脚本如下 BEGIN {FS=":";OFS=":"} {total_seconds=total_seconds+$3} total_seconds>=60 {total_seconds=total_sconds-60 $2=$2+1 } {total_minutes=total_minutes+$2 $2=$2+1 } {total_minutes=total_minutes+$2} total_minutes&
-
一天一个shell命令 linux文本内容操作系列-awk命令详解
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK
-
linux文本分析awk基础命令介绍(8)
awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具. awk [options] 'pattern {action}' file... awk的工作过程是这样的:按行读取输入(标准输入或文件),对于符合模式pattern的行,执行action.当pattern省略时表示匹配任何字符串:当action省略时表示执行'{print}':它们不可以同时省略. 每一行输入,对awk来说都是一条记录(record),awk使用$0来引用当前记录: [root@centos7 ~]#
-
linux之awk命令的用法
先来一个例子:文件a,统计文件a的第一列中是浮点数的行的浮点数的平均值.用awk来实现只需要一句话就可以搞定$cat a1.021 331#.ll 442.53 6ss 7 awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' a(分析:$1~/^[0-9]+\.[0-9]*/表示$1与"/ /"里面的正则表达式进行匹配,若匹配,则t
-
详解Linux中的awk命令
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK
-
详解Linux中的wget命令
wget命令用来从指定的URL下载文件.wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕.如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载.这对从那些限定了链接时间的服务器上下载大文件非常有用. 语法 wget(选项)(参数) 选项 -a<日志文件>:在指定的日志文件中记录资料的执行过程: -A<后缀名>:指定要下载文件的后缀名,多个后缀名之间使用逗号进行分隔: -b:进行
-
详解linux中的strings命令简介
在Linux下搞软件开发的朋友, 几乎没有不知道strings命令的.我们先用man strings来看看: strings - print the strings of printable characters in files. 意思是, 打印文件中可打印的字符. 我来补充一下吧, 这个文件可以是文本文件(test.c), 可执行文件(test), 动态链接库(test.o), 静态链接库(test.a) 脱离代码地长篇大论而不去实际验证, 不是我的风格. 还是搞点代码下菜吧(代码存在t
-
详解 Linux中的关机和重启命令
详解 Linux中的关机和重启命令 一 shutdown命令 shutdown [选项] 时间 选项: -c:取消前一次关机命令 -h:关机 -r:重启 二 shutdown实战 [root@localhost tmp]# date Sat Jul 15 09:28:35 CST 2017 [root@localhost tmp]# shutdown -r 05:30 Shutdown scheduled for Sun 2017-07-16 05:30:00 CST, use 'shutdow
-
详解Linux中查看jdk安装目录、Linux卸载jdk、rpm命令、rm命令参数
一.查看jdk安装目录 [root@node001 ~]# whereis java java: /usr/bin/java /usr/local/java #java执行路径 [root@node001 ~]# which java /usr/bin/java #查看JDK安装路径 [root@node001 ~]# echo $JAVA_HOME /usr/local/java/jdk1.7.0_80 [root@node001 ~]# echo $PATH /usr/local/sbin:
-
详解Linux中zip压缩和unzip解压缩命令及使用详解
下面给大家介绍下Linux中zip压缩和unzip解压缩命令详解 1.把/home目录下面的mydata目录压缩为mydata.zip zip -r mydata.zip mydata #压缩mydata目录 2.把/home目录下面的mydata.zip解压到mydatabak目录里面 unzip mydata.zip -d mydatabak 3.把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip zip -r abc123.zip abc 123.txt 4.把
-
详解Linux中atime,mtime,ctime的使用场景
目录 一.文件与文件夹三个时间:atime,mtime,ctime的含义 二.stat命令查看文件的时间 三.ll命令查看文件时间(对照stat命令可验证) 四.测试创建/修改文件的时间 五.常用命令关于文件时间相关 一.文件与文件夹三个时间:atime,mtime,ctime的含义 1.含义 atime(Access Time):文件最近被访问时间 mtime(Modify Time):文件最近内容修改时间 ctime(Change Time):文件最近权限和属性修改时间 2.文件的触发tim
-
详解MySQL中EXPLAIN解释命令及用法讲解
1,情景描述:同事教我在mysql中用explain,于是查看了一番返回内容的含义 2,现就有用处的内容做如下记录: 1,explain显示了mysql如何使用索引来处理select语句以及连接表.可以帮助选择更好的索引和写出更优化的查询语句. 使用方法,在select语句前加上explain就可以了: explain select count(DISTINCT uc_userid) as user_login from user_char_daily_gameapp_11 where uc_d
-
详解Linux中两个查找命令locate和find教程
Linux中有很多查找命令,今天主要讲解locate,find两个命令. 1.locate locate命令其实是"find -name"的另一种写法,但是要比后者快得多,原因在于它不搜索具体目录,而是搜索一个数据库(/var/lib/locatedb),这个数据库中含有本地所有文件信息.Linux系统自动创建这个数据库,并且每天自动更新一次,所以使用locate命令查不到最新变动过的文件.为了避免这种情况,可以在使用locate之前,先使用updatedb命令,手动更新数据库. (
-
详解Linux中vi命令大全
vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本编辑器,这里只是简单地介绍一下它的用法和一小部分指令.由于 对Unix及Linux系统的任何版本,vi编辑器是完全相同的,因此您可以在其他任何介绍vi的地方进一步了解它.Vi也是Linux中最基本的文本编 辑器,学会它后,您将在Linux的世界里畅行无阻. vi的基本概念 基本上vi可以分为三种状态,分别是命令模式(command mode).插入模式(Insert mode)和底行模式(last line m