shell中的流编辑器awk工作原理

awk命令

  • awk是一种处理文本文件的语言，是一个强大的文本分析工具， 用于在linux/unix下对文本和数据进行处理 。
  • 而且它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具

awk工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。

awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符 "&&“表示"与”、 “II"表示"或”、 "!“表示"非”; 还可以进行简单的数学运算，如 +、一、*、/、%、^ 分别表示加、减、乘、除、取余和乘方。

awk的命令格式

awk 选项 "模式或条件 [操作]"  文件1 文件2
awk -f 脚本文件 文件1 文件2

awk常见的内建变量（可直接使用）

内建变量 说明
FS 列分割符，制定和每行文本的字段分割符，默认为空格或者制表符
NF 当前处理的行的字段个数
NR 当前处理行的行号（序数）
$0 当前处理行的整行内容
$n 当前处理行的第n个字段（第n列）
FILENAME 被处理的文件名
RS 行分隔符，awk从文本上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条，以进行处理，预设值是\n

awk按行输出文本

awk '(NR>=1)&&(NR<=4){print}' 11.txt#输出第一到第四行
111111
22222
233333
444444
awk '(NR==1)||(NR==4){print}' 11.txt#输出第一和第四行
111111
444444
awk 'NR==1,NR==2{print}' 11.txt#输出第一和第二行
111111
22222
awk '(NR%2)==1{print}' 11.txt#输出奇数行
111111
233333
55555
awk '(NR%2)==0{print}' 11.txt#输出偶数行
22222
444444
66666
awk '/^1/{print}' 11.txt#输出以1为开头的行
111111
awk '/2$/{print}' 11.txt#输出以2为结尾的行
22222
awk 'BEGIN{x=0};/^2/{x++};END {print x}' 11.txt
#统计以2开头的行的行数
2

BEGIN模式表示，在处理指定文本之前，需要先执行BEGIN模式中指定的动作，awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句。

awk以字段输出文本

字段3为用户账号的UID

字段4为所属基本组账号的GID

awk通过管道符，双引号调用shell命令

getline

  • 当getline左右无重定向符“<”或“|”时，getline作用于当前文件，读入当前文件的第一行给其后跟的变量var或$0；应该注意到，由于awk在处理getline之前已经读入了一行，所以getline得到的返回结果是隔行的。
  • 当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

例：获取本机ip，并转换成二进制

#!/bin/bash
#获取IP
ifconfig | awk '(NR==2) {print $2}'

#对分段后的IP地址赋值给一个变量
IP=`ifconfig |awk '(NR==2) {print $2}' | awk 'BEGIN {RS="."} ; {print} '`

#进行外层循环，四次
for a in $IP
do
     #进行内循环，选用减法进行循环，如果外层循环的值比被减数大，则取余数，并输出1；反之则输出0，且不取减法结果。
     for ((i=1;i<=255;i+=$i))
     do
       m=$[128/$i]
       sum=$[$a-$m]
          if [ $a -ge $m ]
          then
          a=$[$a-$m]
          echo -n "1"  #不换行输出
          else
          echo -n "0"  #不换行输出
          fi
     done

echo  " "  #进行系统默认的空格换行操作
done   > test.txt

IP1="`cat test.txt`"
echo $IP1 | sed 's/ /./g'

到此这篇关于shell中的流编辑器awk的文章就介绍到这了,更多相关shell编辑器awk内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • shell 里 awk print 的用法详解

    首先, 你需要先了解awk 的工作原理: 1.AWK读取输入文件一次一行. 2.对于每一行,它匹配在给定的顺序模式,如果匹配,执行相应的动作. 3.如果没有模式匹配,将执行任何行动. 4.在上面的语法,无论是搜索模式,或行动是可选的,但不能同时. 5.如果没有给出搜索模式,然后awk要执行每一行输入给定的行动. 6.如果没有给出动作,打印,这是默认的操作与模式相匹配的所有行. 7.空出的任何行动括号什么都不做.它不会执行默认的打印操作. 8.中的每个行动的声明应该用分号分隔.让我们创建emplo

  • 使用AWK在shell中生成日历小程序

    最近在学习sed和awk时,发现了一本入门级别的好书:<Software Design 中文版 03>. 我们这里的日历程序也是从那里得来,这里强烈推荐希望了解sed和awk的同志们入手本书. 代码段: # 在shell中生成日历 # 使用方式 # awk -f thisFile +2017 # awk -f thisFile +2017.10 # awk -f thisFile +2017.10.10 # function whichWeek(y, m, d, s) { s = 0 if (

  • Shell脚本中awk指令的用法

    Shell脚本中awk指令的用法

    语法格式:awk [选项]  '指令'  操作文件 常用选项:-F  指定分隔符,分隔符用""引起来 -v:var=value在awk程序开始之前指定一个值valu给变量var,这些变量值用于awk程序的BEGIN快 -f:后面跟一个保存了awk程序的文件,代替在命令行指定awk程序 实例1:在命令行直接输入awk指令 awk '{print}' 1.txt #逐行读取文件1.txt内容并打印 awk '{print $0}' 1.txt #逐行读取文件内容,并打印该行,$0保存的是当

  • shell脚本之正则表达式、grep、sed、awk

    --正则-- 基础正则 ^word     ##搜索以word开头的 vi/vim中 ^ 一行的开头 word$     ##搜索以word结尾的 vi/vim中 $ 一行的结尾 ^$        ##表示空行 .         ##代表且只能代表任意一个字符 \         ##例:\. 只代表点本身,转义符号,让有特殊身份意义的字符,脱掉马甲,还原 \n        ##换行符 \r        ##匹配回车 \w         ##匹配任意一个字符和数字 *        

  • Shell中正则表达式及sed和awk常见问题

    目录 1 正则表达式中的+.?.*分别表示什么含义? 2 如何编写正则表达式匹配11位的手机号? 3 简述sed定址符的作用及表示方式. 4 如何使用sed提取文本中的偶数行? 5 如何使用sed删除文本中每行的第4个字符? 6 提取/etc/passwd文件的第6-10行,另存为pass5.txt文件. 7 简述awk工具的基本语法格式. 8 简述awk工具常用的内置变量.各自的作用. 9 awk处理文本时,读文件前.读取文件内容中.读文件后后这三个环节是如何表示的? 10 提取当前eth0网

  • shell中的流编辑器awk工作原理

    shell中的流编辑器awk工作原理

    awk命令 awk是一种处理文本文件的语言,是一个强大的文本分析工具, 用于在linux/unix下对文本和数据进行处理 . 而且它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具 awk工作原理 逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令. sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理. awk信息的读入也是逐行读取的,执行结果可

  • 浅谈Vue3中key的作用和工作原理

    浅谈Vue3中key的作用和工作原理

    这个key属性有什么作用呢?我们先来看一下官方的解释: kekey属性主要用在Vue的虚拟DOM diff算法中,在新旧nodes对比时辨识Vnodes: 如果不使用key,Vue会使用一种最大限度减少动态元素并且尽可能的尝试就地修改/复用相同类型元素的算法 而使用 key 时,它会基于 key 的变化重新排列元素顺序,并且会移除/销毁 key 不存在的元素. 先简单提一下我对VNode的理解: VNode的全称是Virtual Node,也就是虚拟节点: Vnode的本质是一个JavaScri

  • 深入了解MySQL中索引优化器的工作原理

    深入了解MySQL中索引优化器的工作原理

    目录 本文导读 一.MySQL 优化器是如何选择索引的 1.MySQL数据库组成 2.MySQL数据库成本计算 二.MySQL查询成本 三.SELECT 执行过程 总结 本文导读 本文将解读MySQL数据库查询优化器(CBO)的工作原理.简单介绍了MySQL Server的组成,MySQL优化器选择索引额原理以及SQL成本分析,最后通过 select 查询总结整个查询过程. 一.MySQL 优化器是如何选择索引的 下面我们来看这张表,SUB_ODR_ID字段创建了相关的 2 个索引,根据我们前面

  • 深度剖析Java中的内存原型及工作原理

    本文主要通过分析Java内存分配的栈.堆以以及常量池详细的讲解了其的工作原理. 一.java虚拟机内存原型 寄存器:我们在程序中无法控制栈:存放基本类型的数据和对象的引用,但对象本身不存放在栈中,而是存放在堆中堆:存放用new产生的数据静态域:存放在对象中用static定义的静态成员常量池:存放常量非RAM存储:硬盘等永久存储空间. 二.常量池(constant pool) 常量池指的是在编译期被确定,并被保存在已编译的.class文件中的一些数据.除了包含代码中所定义的各种基本类型(如int.

  • 实例分析浏览器中“JavaScript解析器”的工作原理

    浏览器在读取HTML文件的时候,只有当遇到<script>标签的时候,才会唤醒所谓的"JavaScript解析器"开始工作. JavaScript解析器工作步骤: 1."找一些东西": var. function. 参数:(也被称之为预解析) 备注:如果遇到重名分为以下两种情况: 遇到变量和函数重名了,只留下函数 遇到函数重名了,根据代码的上下文顺序,留下最后一个 2.逐行解读代码. 备注:表达式可以修改预解析的值 JS解析器在执行第一步预解析的时候,会

  • 详解JSP 中Spring工作原理及其作用

    详解JSP 中Spring工作原理及其作用 1.springmvc请所有的请求都提交给DispatcherServlet,它会委托应用系统的其他模块负责负责对请求进行真正的处理工作. 2.DispatcherServlet查询一个或多个HandlerMapping,找到处理请求的Controller. 3.DispatcherServlet请请求提交到目标Controller 4.Controller进行业务逻辑处理后,会返回一个ModelAndView 5.Dispathcher查询一个或多个

  • javaScript中的this示例学习详解及工作原理

    this的工作原理 如果一个函数被作为一个对象的方法调用,那么this将被指派为这个对象. 复制代码 代码如下: var parent = {    method: function () {        console.log(this);    }}; parent.method();// <- parent 注意这种行为非常"脆弱",如果你获取一个方法的引用并且调用,那么this的值不会是parent了,而是window全局对象.这让大多数开发者迷惑. 复制代码 代码如下

  • Java中GC的工作原理详细介绍

    Java中GC的工作原理 引子:面试时被问到垃圾回收机制,只是粗略的讲'程序员不能直接对内存操作,jvm负责对已经超过作用域的对象回收处理',面官表情呆滞,也就没再继续深入. 转文: 一个优秀的Java程序员必须了解GC的工作原理.如何优化GC的性能.如何与GC进行有限的交互,有一些应用程序对性能要求较高,例如嵌入式系统.实时系统等,只有全面提升内存的管理效率,才能提高整个应用程序的性能.本文将从GC的工作原理.GC的几个关键问题进行探讨,最后提出一些Java程序设计建议,如何从GC角度提高Ja

  • Yii中srbac权限扩展模块工作原理与用法分析

    本文实例讲述了Yii中srbac权限扩展模块工作原理与用法.分享给大家供大家参考,具体如下: 1. 设置权限规则表:可放在module模块配置文件里面 public function init() { //操作权限表,必须存在以下字段: //itemname角色名/ID, //type授权项目类型/1(任务)或者2(角色), //bizrule权限/逻辑运算表达式为false是有权限操作, //data数据/YII暂无利用 Yii::app()->authManager->itemTable

  • Android中新引进的Google Authenticator验证系统工作原理浅析

    为了改进Android的安全问题,Google在Android系统中引入了谷歌验证应用(Google Authenticator)来保证账号的安全.谷歌验证应用的使用方法是:用户安装手机客户端,生成临时身份验证码,提交到服务器验证身份,类似的验证系统还有Authy.Robbie在其GitHub页面发布了自己用Go语言实现的版本,并撰写了一篇博文来解释其工作原理. 通常来讲,身份验证系统都实现了基于时间的一次性密码算法,即著名的TOTP(Time-Based One-Time Password).

随机推荐