shell去掉文件中空行(空白行)的方法详解

本文详细介绍了使用shell去除文件中的空行的方法,学习下sed、awk、shell文件检测的方法,有需要的朋友可以作个参考。

本节内容:
shell去掉文件中空行

1,shell 去掉文件中的空行

代码如下:

cat filename | sed -e '/^$/d' > filename

2,保留最新的9个文件,其它的文件删除的命令语句

代码如下:

ls -t | awk '{if(NR>9){print $0}}' |xargs rm -f

附,shell中的特殊变量

$$
Shell本身的PID(ProcessID)
$!
Shell最后运行的后台Process的PID
$?
最后运行的命令的结束代码(返回值)
$-
使用Set命令设定的Flag一览
$*
所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。
$@
所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。
$#
添加到Shell的参数个数
$0
Shell本身的文件名
$1~$n
添加到Shell的各参数值。$1是第1参数、$2是第2参数…
判断 test 
  test -f 是否参在并是文件 
 -d 是否参在并是目录 
 -e 文件是否存在

man test

判断7种文件类型

test -f  $1 && cat $1普通文件 
test -d  $1 && ls -ld $1目录
test -L  $1 && ls -ld $1连接文件
test -p  $1 && ls -ld $1管道文件
test -S  $1 && ls -ld $1套接字 
test -b  $1 && ls -ld $1块设备 
test -c  $1 && ls -ld $1字符设备

下面举几个例子吧,供大家学习参考。

1,比较数字大小

代码如下:

#!/bin/bash 
test $1 -gt  $2 && echo $1 
test $1 -lt  $2 && echo $2 
test $1 -eq  $2  && echo $1=$2

2,判断字符串

代码如下:

#!/bin/bash 
test $1 !=  $2 && echo 不相等 
test $1 =  $2  && echo $1=$2

3,组合判断 
1)、

代码如下:

#!/bin/bash 
test $1 -gt 5 -a  $1 -lt 10 && echo  $1 
if 
#!/bin/bash 
if test $1 -gt 5(或if [ $1 -gt 5 ]注意空格) 
then 
 echo  $1 
fi

2)、

代码如下:

#!/bin/bash 
ping -c 1 -W 1 192.168.0.$1 &>/dev/null (-c 1表示ping一次,-W目标主机不可达超时为1秒) 
if [ $? -eq 0 ] 
then 
echo  link OK 
esle
echo link no 
fi

SHELL 删除文件中的空行或者空白行二:

今天发现有个文件中空行太多了 ,打算删除其中的空行。

于是使用sed, 查了下命令,这么写:

sed '/^$/d' file1

发现仍然输出内容仍然有一大堆空行,真是莫名其妙。

于是:sed '/^$/p' file1 发现输出的空行很少,而实际上是很多空行的呀。

于是使用 cat -A file1

才发现,原来很多行里出现空格字符,导致正则并不识别它是空行

于是修改为: sed '/^ *$/d' file1 这下就OK啦

另外要注意在windows 下换行符是^M$

而在 LINUX下是 $,如果是WINDOWS下的文件的话需要转换一下,使用doc2unix好像是这个工具吧。

Linux shell 删除文件空行三:

最近要查看的日志文件提取后有很多空行,不利于以前的文件可以进行比较了,为了向下兼容,只能取得时候把空行删除掉。自己google了一下,用了grep方法,效率还是挺快的,25000+行中73行空行,瞬间搞定,应该可以接手。
方法一:(我就是用的这个)
 grep -v "^$" file 去除匹配的空行
另外在排查找错的时候也利用grep 查看那几行是空行,从而从原来的日志文件查看那几行为什么没有该信息,
加参数 -n grep -n "^$" file 即可找到空行再去原日志文件查看信息。

方法二:用tr命令
cat 文件名 |tr -s ‘\n'

方法三:用sed命令
cat 文件名 |sed ‘/^$/d'

方法四:用awk命令
cat 文件名 |awk ‘{if($0!=”")print}'
cat 文件名 |awk ‘{if(length !=0) print $0}'

(0)

相关推荐

  • 使用Bash Shell检查文件是否存在的方法

    前言 大家在工作的时候可能经常会遇到这样的需求,在类Unix系统的Bash环境下,怎样检查文件是否存在呢?既然有需求,当然就有解决的办法了,Shell中的test命令,可以用来检测文件的类型或者比较数值是否相等,该命令也能用来检查文件是否存在. 可以用如下的命令来进行检查: test -e filename [ -e filename ] test -f filename [ -f filename ] 下面的命令,则使用Shell的条件表达式,判断/etc/hosts文件是否存在: [ -f

  • 判断文件是否存在的shell脚本代码

    实现代码一. #!/bin/sh # 判断文件是否存在 # link:www.jb51.net # date:2013/2/28 myPath="/var/log/httpd/" myFile="/var /log/httpd/access.log" # 这里的-x 参数判断$myPath是否存在并且是否具有可执行权限 if [ ! -x "$myPath"]; then mkdir "$myPath" fi # 这里的-d

  • 使用Bash Shell获取文件名和目录名的简单方法

    前言 还是今天再写一个自动化打包脚本,用到了从路径名中获取最后的文件名.这里记录一下实现过程.当然,最后我也会给出官方的做法.(ps:很囧,实现完了才发现原来Bash Shell有现成的函数) 获取文件名 假设给定的路径名为: /tmp/csdn/zhengyi/test/zhengyi.txt awk解法 用"/"做分隔符,然后打印出最后的那一部分.实现代码如下: resFile=`echo /tmp/csdn/zhengyi/test/adb.log | awk -F "

  • Shell脚本bash: ./t.sh:/bin/bash^M:损坏的解释器: 没有那个文件或目录

    有时候编写脚本时会出现类似标题列出的错误,这个问题大多数是因为你的脚本文件在windows下编辑过.windows下,每一行的结尾是\n\r,而在linux下文件的结尾是\n,那么你在windows下编辑过的文件在linux下打开看的时候每一行的结尾就会多出来一个字符\r,用cat -A urfile时你可以看到这个\r字符被显示为^M,这时候只需要删除这个字符就可以了.可以使用命令sed -i 's/\r$//' urfile .有时候编写脚本时会出现类似标题列出的错误,这个问题大多数是因为你

  • shell脚本中执行时提示“没有那个文件或目录”的解决办法

    出现bad interpreter:No such file or directory的原因,是文件格式的问题.这个文件是在Windows下编写的.换行的方式与Unix不一样,但是在vim下面如果不Set一下又完全看不出来. 问题分析:1.将windows 下编写好的SHELL文件,传到linux下执行,提示出错.2.出错信息:bad interpreter: 没有那个文件或目录. 问题原因:因为操作系统是windows,在windows下编辑的脚本,所以有可能有不可见字符.脚本文件是DOS格式

  • 使用bash shell删除目录中的特定文件的3种方法

    我是一名Linux新用户.现在我需要清理一个下载目录中的文件,其实我就是想从-/Download/文件夹删去除了以下格式的文件外所以其它文件: 1.*.iso - 所有的iso格式的文件. 2.*.zip - 所有zip格式的文件. 我如何在一个基于Linux,OS X 或者 Unix-like 系统上的bash shell中删除特定的文件呢? Bash shell 支持丰富的文件模式匹配符例如: 1.* - 匹配所有的文件. 2.? - 匹配文件名中的单个字母. 3.[...] - 匹配封闭括

  • Shell逐行读取文件的4种方法

    在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法.为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率. 方法1:while循环中执行效率最高,最常用的方法. 复制代码 代码如下: function while_read_LINE_bottm(){ While read LINE do echo $LINE done  < $FILENAME } 注释:我习惯把这种方式叫做read釜底抽薪,因为这种方

  • 使用Bash Shell对目录中的文件实现递归式拷贝

    前言     今天工作中遇到了一个问题,如果将目录A中的文件拷贝到目录B中(前提目录B没有该文件),并保持文件在目录A的结构.项目重点如下: 需要在目录B中保持文件在目录A中的结构.假设A目录文件 A/test/1.txt,转移到目录B中应该是B/test/1.txt.同时还需要考虑目录B中是否存在test目录,多级目录就要考虑递归了.(还好,bash shell里写个目录递归遍历还是比较简单的.)     需要考虑A中文件是否在B中已经存在同名文件,如果存在,则不需要拷贝. 项目需求示例图如下

  • Shell脚本统计文件行数的8种方法

    获取单个文件行数 文件:test1.sh 行数:20 方法一 复制代码 代码如下: awk '{print NR}' test1.sh|tail -n1 如图所示: 方法二 复制代码 代码如下: awk 'END{print NR}' test1.sh 如图所示: 方法三 复制代码 代码如下: grep -n "" test1.sh|awk -F: '{print '}|tail -n1 如图所示: 方法四 复制代码 代码如下: sed -n '$=' test1.sh 如图所示: 方

  • shell按行读取文件的3种方法

    方法有很多,下面写出三种方法:写法一: 复制代码 代码如下: #!/bin/bashwhile read linedoecho $linedone < filename(待读取的文件) 写法二: 复制代码 代码如下: #!/bin/bashcat filename(待读取的文件) | while read linedoecho $linedone 写法三: 复制代码 代码如下: for line in `cat filename(待读取的文件)`doecho $linedone 说明:for逐行

随机推荐