Shell脚本学习指南之查找与替换介绍

3.1 查找文本
grep:使用POSIX定义的基本正则表达式(BRE)。
egrep:使用扩展正则表达式(ERE)。
fgrep:快速grep。使用优化的算法,匹配固定字符串而非正则表达式。

1992 POSIX标准将这三个改版整合成一个grep程序。

$ who | grep -F austen
使用-F选项查找固定字符串。事实上,只要匹配的模式里未含有正则表达式的meta字符,
则grep默认行为模式就等同于使用了-F。

3.2.6 在文本文件里进行替换
一般来说,执行文本替换的正确程序应该是sed - 流编辑器。
sed 's/:.*//' /etc/passwd |     删除第一个冒号之后的所有东西
sort -u   排序列表并删除重复部分

任何可显示的字符都能作为定界符。

代码如下:

sed 's;/home/tolstoy/;/home/lt/;'
sed 's/\\/\\/g'

用-e和-f选项,不用将多个sed通过管道串起来,就可以一次替换多个。

代码如下:

$ sed -e 's/foo/bar/g' -e 's/chicken/cow/g' file1.xml > file2.xml

$ cat fixup.sed
s/foo/bar/g
s/chicken/cow/g
...
$ sed -f fixup.sed file1.xml > file2.xml

3.2.8 sed的运作
命令行上的每个文件名会依次打开与读取。如果没有文件,则使用标准输入。
sed读取每个文件,一次读一行,将读取的行放到内存的一个区域(模式空间)。
所有编辑上的操作都会应用到模式空间的内容,当所有操作完成后,sed会将模式
空间的最后内容打印到标准输出,再回到开始处,读取另一个输入行。

3.3 字段处理
用空格(制表符)或特定的定界符(如冒号)。
#字符起始的行表示注释,软件必须可忽略这样的行才行。

以定界符分隔字段的最好例子就是/etc/passwd了:一行表示一个用户,每个字段以冒号隔开。
该文件含有7个字段:
tolstoy:x:2076:10:Leo Tolstoy:/home/tolstoy:/bin/bash
1.用户名称:2.加密后密码:3.用户ID:4.用户组ID:5.姓名:6.根目录:7.登录的Shell。

3.3.2 使用cut选定字段

代码如下:

$ cut -d : -f 1,5 /etc/passwd
root:root
...
tolstoy:Leo Tolstoy
$ cut -d : -f 6 /etc/passwd
/root
...
/home/tolstoy

3.3.3 使用join连接字段
以一个共同的键值(主字段)将多个文件结合在一起。
$ cat sales
#业务员 数据量
joe     100
jane    200
herman 150
chris    300

$ cat quotas
#业务员 配额
joe     50
jane    75
herman 80
chris    95

代码如下:

#! /bin/sh
# merge-sales.sh
# 删除注释并排序数据文件
sed '/^#/d' quotas | sort > quotas.sorted
sed '/^#/d' sales   | sort > sales.sorted
# 以第一个键值作结合
join quotas.sorted sales.sorted
# 删除缓存文件
rm quotas.sorted sales.sorted

3.3.4 使用awk重新编排字段

awk程序基本架构:pattern { action }
pattern通常是由斜杠括起来的ERE,action通常是一个明了的print语句。
省略pattern则会对每一条输入记录执行action,省略action则等同于{ print }。

awk自动将各个记录分为字段,并将每条记录内字段数目存储到内建变量NF。
默认以空白分隔,还可以将FS变量设置为一个不同的值。$加数字表示字段值。
awk '{ print $1 }'               打印第1个字段
awk '{ print $2, $5 }'          打印第2与第5个字段
awk '{ print $1, $NF }'        打印第一个与最后一个字段
awk 'NF > 0 { print $0 }'     打印非空行
awk 'NF > 0'                     同上

awk -F : '{ print $1, $5 }' /etc/passwd     设置字段分隔字符,-F选项自动设置FS变量。
root root
...
tolstoy Leo Tolstoy

记得在print的参数间用逗号隔开,否则awk将连接相邻的所有值。
awk -F: '{ print "User" $1 "is really" $5 }' /etc/passwd
Userrootis reallyroot
...
Usertolstoyis reallyLeo Tolstoy

(0)

相关推荐

  • Shell脚本学习指南之查找与替换介绍

    3.1 查找文本grep:使用POSIX定义的基本正则表达式(BRE).egrep:使用扩展正则表达式(ERE).fgrep:快速grep.使用优化的算法,匹配固定字符串而非正则表达式. 1992 POSIX标准将这三个改版整合成一个grep程序. $ who | grep -F austen使用-F选项查找固定字符串.事实上,只要匹配的模式里未含有正则表达式的meta字符,则grep默认行为模式就等同于使用了-F. 3.2.6 在文本文件里进行替换一般来说,执行文本替换的正确程序应该是sed

  • shell脚本学习指南[五](Arnold Robbins & Nelson H.F. Beebe著)

    作者告诉我们:到目前为止基础已经搞定,可以将前边所学结合shell变成进军中等难度的任务了.激动的要哭了,终于看到本书结束的曙光了 T T .码字比码代码还辛苦.不过令人兴奋的是立刻就学以致用了,花了一天半的时间处理了一个3.8G的服务器日志文件,你妹啊,破电脑内存才2G.不过切割化小然后写了几个awk文件和sh文件按规则处理合并,算是搞定了! 第十一章扩展实例:合并用户数据库 问题描述就是有两台UNIX的计算机系统,这两个系统现在要合并,用户群同样需要合并.有许多用户两台系统上都有帐号.现在合

  • shell脚本学习指南[三](Arnold Robbins & Nelson H.F. Beebe著)

    今天木有冷笑话,只有一个噩耗.噩耗是:今天木有冷笑话!!!不要总想着冷笑话嘛,有点追求,听毛主席的话:好好学习,天天向上! 第七章输入输出.文件与命令执行 学C的应该了解标准输入输出和错误输出吧?感觉总打很多字进度太慢,所以一直在省略类似C的东西,也方便以后看这篇文章的人能够快速学完shell脚本(或者是快速看完这本书). 读取行read命令是重要方式之一,它可以自标准输入读取行后,通过shell字段切割的功能(使用$IFS)进行切分,第一部分给第一个变量,第二部分给第二个,类推.如果切割单词多

  • shell脚本学习指南[一](Arnold Robbins & Nelson H.F. Beebe著)

    第一章略过,下边从第二章开始,大家懂得.ps:这里发生了一件非常当我蛋疼的事情,非常!已经码文章码到第四章了,悲剧的按错浏览器按钮刷新掉,怎么也找不回来之前写的东西了.想死!算了,复习一边吧.以下全文均属自己总结书写,有错误的地方也未必是书中错误(当然也有可能是书中错误,但是我都会亲自操作滴),可能是我写错,请大牛指正. 第二章入门 因为第二遍写,就简单快速的写吧,尽量写清楚.大家都知道的终端命令cd啊 chmod啊 who啊之类的组合在一起加上一些控制语句,变量什么的就成shell编程了,给出

  • shell脚本学习指南[二](Arnold Robbins & Nelson H.F. Beebe著)

    该进入第四章了,刚才看到一个帖子标题:我空有一身泡妞的好本领,但可惜自己是个妞.汗-这个...音乐无国界嘛,这个不应该也没性别界么? 第四章文本处理工具 书中先说明了以下排序的规则,数值的就不用说了,该大就大该小就小,但是字符型很多时候是区分声调或者重音的.在命令行中输入locale查看自己系统的编码配置.默认的是系统配置里的,但是可以自己设置排序的编码.如: 复制代码 代码如下: $ LC_ALL=C sort french-english #以传统ASCII码顺序排序 下边介绍以下排序命令s

  • shell脚本学习指南[六](Arnold Robbins & Nelson H.F. Beebe著)

    学shell到现在了,一直以为自己不会犯一个大家常说的非常二的问题,结果这本书最后的时候犯了个十分2的事,晚节不保啊!!!我在测试文件路径下除了通配符*和?外还能用啥正则那样的东西,结果就在$HOME下执行了rm .* ...好吧,蛋疼了一下午!还木找回任何一个配置文件.警示后人,千万别使用rm试通配符!任何时候小心使用rm! 第十四章shell可移植性议题和扩展 可以先通读这篇文章.想写出好的可移植性shell,不仅要了解各种shell版本间的差异,还要有很多编程技巧,比如尽量从环境变量中获取

  • shell脚本学习指南[四](Arnold Robbins & Nelson H.F. Beebe著)

    回忆起一件事情:之前用linux寻找中文输入法的时候,在百度输入了fcitx,然后结果上边有个,您要找的是不是: 讽刺腾讯 .本来一直记不住这个输入法名字,不过以后哥就记住这个输入法的名字是怎么拼了,感谢百度. 第九章awk的惊人表现 awk的调用可以定义变量.提供程序并且指定输入文件,语法: 复制代码 代码如下: awk [ -F fs ] [ -v var=value ... ] 'program' [ -- ] [ var=value ... ] [file(s) ]awk [ -F fs

  • Shell脚本学习指南之文本处理工具

    4.1 排序文本 4.1.1 行的排序未提供命令行选项时,整个记录会根据当前locale所定义的次序排序.在传统的C locale中,也就是ASCII顺序. 4.1.2 以字段排序-k选项的后面接着的是一个字段编号,或者是一对数字.每个编号后面都可以接一个点号的字符位置,或修饰符字母. 如果仅指定一个字段编号,则排序键值会自该字段的起始处开始,一直继续到记录的结尾(而非字段的结尾). 如果给的是一对用逗号隔开的字段数字,则排序键值将由第一个字段值的起始处开始,结束于第二个字段值的结尾.使用点号表

  • shell脚本学习与总结

    1.shell 脚本是区分小写的2.Unix特殊字符有: ( ; $ ? & * () [] ` ' " + 使用其时要进行转义()3.Shell的注释以#开头4.函数的定义Function fuction_name(){Command to execute}调用时直接用function_name.5.控制结构1)If...then语句If [ test_command ]ThenCommandsif2)If...then...else语句If [ test_command ]ThenC

  • shell脚本学习之调用脚本将文件打包zip的方法示例

    前言 本文主要给大家介绍的是关于调用脚本将文件打包zip的相关资料,分享出来供大家参考学习,下面来一起看看详细的介绍: 最近刚刚接触shell脚本,写了一点简单的练手.这里是用python调用脚本执行打包操作. 方法如下: 第一步,创建脚本: #!/bin/sh CERT_DIR_ZIP=/data/cert/keys zip_user(){ zip -P $zip_psw /data/frontend/tmp/$zip_name.zip $client/* } if [ "x$1"

随机推荐