Shell脚本如何逐行处理文本文件

经常会对文体文件进行逐行处理，在Shell里面如何获取每行数据，然后处理该行数据，最后读取下一行数据，循环处理．有多种解决方法如下：

1.通过read命令完成．

read 命令从标准输入中读取一行，并把输入行的每个字段的值指定给 shell 变量，用 IFS（内部字段分隔符）变量中的字符作为分隔符。VariableName （变量名）参数指定给每一个字段的值，由　VariableName （变量名）参数指定的以此类推，直到最后一个字段。

read命令接收标准输入，或其他文件描述符的输入，得到输入后，read命令将数据放入一个标准变量中．

利用read读取文件时，每次调用read命令都会读取文件中的"一行"文本．

当文件没有可读的行时，read命令将以非零状态退出．

cat data.dat | while read line
do
 echo "File:${line}"
done

while read line
do
 echo "File:${line}"
done < data.dat

2.使用awk命令完成

awk是一种优良的文本处理工具，提供了极其强大的功能．

语法格式：awk [选项]  '指令'  操作文件

常用选项：-F  指定分隔符，分隔符用""引起来

-v：var=value在awk程序开始之前指定一个值valu给变量var，这些变量值用于awk程序的BEGIN快

-f：后面跟一个保存了awk程序的文件，代替在命令行指定awk程序

利用awk读取文件中的每行数据，并且可以对每行数据做一些处理，还可以单独处理每行数据里的每列数据．

 cat data.dat | awk '{print $0}'
 cat data.dat | awk 'for(i=2;i<NF;i++) {printf $i} printf "\n"}'

第1行代码输出data.dat里的每行数据，第2代码输出每行中从第2列之后的数据．

如果是单纯的数据或文本文件的按行读取和显示的话，使用awk命令比较方便．

3.使用for var in file 命令完成

for var in file　表示变量var在file中循环取值．取值的分隔符由$IFS确定．

for line in $(cat data.dat)
do
 echo "File:${line}"
done

for line in `cat data.dat`
do
 echo "File:${line}"
done

如果输入文本每行中没有空格，则line在输入文本中按换行符分隔符循环取值．

如果输入文本中包括空格或制表符，则不是换行读取，line在输入文本中按空格分隔符或制表符或换行符特环取值．

可以通过把IFS设置为换行符来达到逐行读取的功能．

IFS的默认值为：空白(包括：空格，制表符，换行符)．

总结

到此这篇关于Shell脚本如何逐行处理文本文件的文章就介绍到这了,更多相关Shell处理文本文件内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Shell脚本对比两个文本文件找出不同行的2个方法分享

    亲自实验过的方法如下: 第一种:comm命令法 命令如下:comm -3 file1 file2 有一个问题就是,如果两个文件排序不一样的话,会出问题 第二种:grep命令法 命令如下:grep -vwf file1 file2 统计file1中没有,file2中有的行 具体使用环境以后再补充,今天先记录到这里.

  • Shell脚本学习指南之文本处理工具

    4.1 排序文本 4.1.1 行的排序未提供命令行选项时,整个记录会根据当前locale所定义的次序排序.在传统的C locale中,也就是ASCII顺序. 4.1.2 以字段排序-k选项的后面接着的是一个字段编号,或者是一对数字.每个编号后面都可以接一个点号的字符位置,或修饰符字母. 如果仅指定一个字段编号,则排序键值会自该字段的起始处开始,一直继续到记录的结尾(而非字段的结尾). 如果给的是一对用逗号隔开的字段数字,则排序键值将由第一个字段值的起始处开始,结束于第二个字段值的结尾.使用点号表

  • Shell脚本逐行读取文本文件(不改变文本格式)

    网上有很多 shell script 读文本文件的例子,但是都没有讲出故事的全部,只说了一半.举个例子,比如从一个 testfile 文件中读取如下格式的文本行: 复制代码 代码如下: $ vi testfile ls      -a -l /bin |  sort ls      -a -l /bin |  sort | wc ls      -a -l |  grep sh | wc ls      -a -l ls      -a -l |       sort      |    wc

  • Shell实现文本去重并操持原有顺序

    简单来说,这个技巧对应的是如下一种场景 假设有文本如下 复制代码 代码如下: cccc aaaa bbbb dddd bbbb cccc aaaa 现在需要对它进行去重处理,这个很简单,sort -u就可以搞定,但是如果我希望保持文本原有的顺序,比如这里有两个aaaa,我只是希望去掉第二个aaaa,而第一个aaaa在bbbb的前面,去重后仍旧要在它前面,所以我期望的输出结果是 复制代码 代码如下: cccc aaaa bbbb dddd 当然,这个问题本身并不难,用C++或python写起来都很

  • Shell中如何删除文本比较长的行的实现方法

     Shell中如何删除文本比较长的行的实现方法 有的时候需要对文件执行删除删除操作,这个时候比较常用的会使用vi命令中的dd命令,比如先执行10G(跳转到第10行),然后再执行20dd(删除20行),但实际情况未必是这么常规,比如说,要删除文件中,某行长度超过200个字符的行,如果文本比较小,还好,如果是几万行,几十万行的呢? 这个想用vi就不现实了. 我然想到的办法就是:比如说,通过sed,awk,egrep命令来达到目的. 举个简单例子. 假如说如下文本文件,要将其中长度为5字符以上的给删除

  • shell文件处理笔记之插入文本到文件的方法

    前言 众所周知,如果在大多数服务器上,不会预先装上 ruby 或者 python 这些语言.这时,你要想操作一些文件,一个合理的选择就是使用 shell.也就是你在 terminal中输入的那些指令.本文给大家想写介绍了关于插入文本到文件的相关内容,下面话不多说了,来一起看看详细的介绍: 首先,打开你的 Terminal. 改写文件 如果你刚刚创建了一个文件,比如touch a.txt,a 里面现在是空的.你想要往里面加上一句话,怎么操作.你可以打开文件,用 vim,用 atom 都可以.但你要

  • Shell文本处理三剑客之sed的使用

    sed 是 stream editor 的缩写,流编辑器,主要用于对标准输出或文件进行处理. 语法: stdout | sed [option] "pattern command" sed [option] "pattern command" file1 常用选项(option) # -n 只打印静默模式匹配行,而不输出原行 # p 是打印命令 ➜ sed '/hello/p' helloWorld.sh #!/bin/bash HELLO bash echo &q

  • Shell脚本如何逐行处理文本文件

    经常会对文体文件进行逐行处理,在Shell里面如何获取每行数据,然后处理该行数据,最后读取下一行数据,循环处理．有多种解决方法如下: 1.通过read命令完成． read 命令从标准输入中读取一行,并把输入行的每个字段的值指定给 shell 变量,用 IFS(内部字段分隔符)变量中的字符作为分隔符.VariableName (变量名)参数指定给每一个字段的值,由 VariableName (变量名)参数指定的以此类推,直到最后一个字段. read命令接收标准输入,或其他文件描述符的输入,得到输入

  • Shell脚本入门之编写格式与执行方式的实现

    Shell脚本入门之编写格式与执行方式的实现

    目标 1.掌握shell脚本编写规范 2.掌握执行shell脚本文件的3种方式与区别 Shell脚本文件编写规范 脚本文件后缀名规范 shell脚本文件就是一个文本文件, 后缀名建议使用 .sh 结尾 首行格式规范 首行需要设置Shell解析器的类型, 语法 #!/bin/bash 含义: 设置当前shell脚本文件采用bash解析器运行脚本代码 注释格式 单行注释, 语法 # 注释内容 多行注释, 语法 :<<! # 注释内容1 # 注释内容2 ! shell脚本HelloWord入门案例

  • 浅析shell脚本知识之符号篇

    浅析shell脚本知识之符号篇

    shell Shell还有一种执行命令的方式称为批处理(Batch),用户事先写一 个Shell脚本(Script),其中有很多条命令,让Shell一次把这些命令执行完,而不必一条一条地敲 命令.Shell脚本和编程语言很相似,也有变量和流程控制语句,包括循环和分支.但Shell脚本是解释执行的,不需 要编译,Shell程序从脚本中一行一行读取并执行这些命令,相当于一个用户把脚本中的命令一行一 行敲到Shell提示符下执行.作为程序设计语言,它虽然不是 Linux系统内核的一部分,但它调用了系统

  • shell脚本--sed的用法详解

    shell脚本--sed的用法详解

    sed在处理文本时是逐行读取文件内容,读到匹配的行就根据指令做操作,不匹配就跳过. sed是Linux下一款功能强大的非交互流式文本编辑器,可以对文本文件进行增.删.改.查等操作,支持按行.按字段.按正则匹配文本内容,灵活方便,特别适合于大文件的编辑.本文主要介绍sed的一些基本用法,并通过shell脚本演示sed的使用实例. 1.sed的使用方法,调用sed 命令的语法有两种: 一.在命令行指定sed指令对文本进行处理:sed +选项  '指令' 文件 二.先将sed指令保存到文件中,将该文件

  • 一个不错的shell 脚本教程 入门级

    建立一个脚本 Linux中有好多中不同的shell,但是通常我们使用bash (bourne again shell) 进行shell编程,因为bash是免费的并且很容易使用.所以在本文中笔者所提供的脚本都是使用bash(但是在大多数情况下,这些脚本同样可以在 bash的大姐,bourne shell中运行). 如同其他语言一样,通过我们使用任意一种文字编辑器,比如nedit.kedit.emacs.vi 等来编写我们的shell程序. 程序必须以下面的行开始(必须方在文件的第一行): #!/b

  • Linux Shell脚本系列教程（一）：Shell入门

    一.Shell简介 诸多类Unix操作系统的设计令人惊叹.即便是在数十年后的今天,Unix式的操作系统架构仍是有史以来最佳的设计之一.这种架构最重要的一个特性就是命令行界面或者shell.shell环境使得用户能与操作系统的核心功能进行交互.术语脚本更多涉及的便是这种环境.编写脚本通常使用某种基于解释器的编程语言.shell脚本本质上就是一些文本文件,我们可以将一系列需要执行的命令写入其中,然后通过shell来执行. 在这里我们介绍的是Bash shell(Bourne Again Shell)

  • shell脚本学习与总结

    1.shell 脚本是区分小写的2.Unix特殊字符有: ( ; $ ? & * () [] ` ' " + 使用其时要进行转义()3.Shell的注释以#开头4.函数的定义Function fuction_name(){Command to execute}调用时直接用function_name.5.控制结构1)If...then语句If [ test_command ]ThenCommandsif2)If...then...else语句If [ test_command ]ThenC

  • 什么是Shell？Shell脚本基础知识详细介绍

    Shell本身是一个用C语言编写的程序,它是用户使用Linux的桥梁.Shell既是一种命令语言,又是一种程序设计语言.作为命令语言,它交互式地解释和执行用户输入的命令:作为程序设计语言,它定义了各种变量和参数,并提供了许多在高级语言中才具有的控制结构,包括循环和分支. 它虽然不是Linux系统核心的一部分,但它调用了系统核心的大部分功能来执行程序.建立文件并以并行的方式协调各个程序的运行.因此,对于用户来说,shell是最重要的实用程序,深入了解和熟练掌握shell的特性极其使用方法,是用好L

  • Linux shell脚本基础学习详细介绍(完整版)第1/2页

    Linux shell脚本基础学习这里我们先来第一讲,介绍shell的语法基础,开头.注释.变量和 环境变量,向大家做一个基础的介绍,虽然不涉及具体东西,但是打好基础是以后学习轻松地前提. 1. Linux 脚本编写基础 ◆1.1 语法基本介绍1.1.1 开头程序必须以下面的行开始(必须方在文件的第一行):#!/bin/sh符号#!用来告诉系统它后面的参数是用来执行该文件的程序.在这个例子中我们使用/bin/sh来执行程序.当编辑好脚本时,如果要执行该脚本,还必须使其可执行.要使脚本可执行:编译

随机推荐