Shell实现文本去重并操持原有顺序

简单来说，这个技巧对应的是如下一种场景

假设有文本如下

代码如下:

cccc
aaaa
bbbb
dddd
bbbb
cccc
aaaa

现在需要对它进行去重处理，这个很简单，sort -u就可以搞定，但是如果我希望保持文本原有的顺序，比如这里有两个aaaa，我只是希望去掉第二个aaaa，而第一个aaaa在bbbb的前面，去重后仍旧要在它前面，所以我期望的输出结果是

代码如下:

cccc
aaaa
bbbb
dddd

当然，这个问题本身并不难，用C++或python写起来都很容易，但所谓杀机焉用牛刀，能用shell命令解决时，它永远都是我们的首选。答案在最后给出，下面说说我是如何想到这样

我们有时候想把自己的目录加入环境变量PATH时会在~/.bashrc文件中这样写，比如待加入的目录为$HOME/bin

代码如下:

export PATH=$HOME/bin:$PATH

这样我们等于是在PATH追加了路径$HOME/bin并让它在最前面被搜索到，但当我们执行source ~/.bashrc后，$HOME/bin目录就会被加入PATH，如果我们下次再添加一个目录，比如

代码如下:

export PATH=$HOME/local/bin:$HOME/bin:$PATH

再执行source ~/.bashrc时，$HOME/bin目录在PATH中其实会有两份记录，虽然这不影响使用，但对于一个强迫症来说，这是无法忍受的，于是问题就变成了，我们需要去掉$PATH里重复的路径，并且保持原有路径顺序不变，也就是原本谁在前面，去重后仍旧在前面，因为在执行shell命令时是从第一个路径开始查找的，所以顺序很重要

好了，说了这么多我们来揭示最终的结果，以文章开始的数据为例，假设输入文件是in.txt，命令如下

代码如下:

cat -n in.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-

这些都是很简单的shell命令，下面稍作解释

代码如下:

cat -n in.txt : 输出文本，并在前面加上行号，以\t分隔
sort -k2,2 -k1,1n : 对输入内容排序，primary key是第二个字段，second key是第一个字段并且按数字大小排序
uniq －f1 : 忽略第一列，对文本进行去重，但输出时会包含第一列
sort -k1,1n : 对输入内容排序，key是第一个字段并按数字大小排序
cut -f2- : 输出第2列及之后的内容，默认分隔符为\t

大家可以从第一条命令开始，并依次组合，看看实际输出效果，那样便更容易理解了。对于$PATH中的重复路径又该如何处理呢，还是以前面的例子来说，只需在前后用tr做一下转换即可

代码如下:

export PATH=$HOME/local/bin:$HOME/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`

其实这样使用PATH会有个问题，比如我们执行了以上命令后，如果想去掉$HOME/bin这个路径，仅仅修改为如下内容是不够的

代码如下:

export PATH=$HOME/local/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`

因为我们已经将$HOME/bin加入了$PATH中，这样做并没有起到删除的作用，也许最好的方式还是自己清楚的知道所有路径，然后显示指定，而不是采取追加的方式

赞 (0)

相关推荐

  • Shell实现文本去重并操持原有顺序

    简单来说,这个技巧对应的是如下一种场景 假设有文本如下 复制代码 代码如下: cccc aaaa bbbb dddd bbbb cccc aaaa 现在需要对它进行去重处理,这个很简单,sort -u就可以搞定,但是如果我希望保持文本原有的顺序,比如这里有两个aaaa,我只是希望去掉第二个aaaa,而第一个aaaa在bbbb的前面,去重后仍旧要在它前面,所以我期望的输出结果是 复制代码 代码如下: cccc aaaa bbbb dddd 当然,这个问题本身并不难,用C++或python写起来都很

  • python实现文本去重且不打乱原本顺序

    代码也是在网上找的,效率挺不错的,特别适合字典文件的去重 #coding=utf-8 import sys def open_txt(): #打开TXT文本写入数组 try: xxx = file(sys.argv[1], 'r') for xxx_line in xxx.readlines(): passlist.append(xxx_line) xxx.close() except: return 0 def write_txt(): #打开TXT文本写入数组 try: yyy = file

  • python读取TXT到数组及列表去重后按原来顺序排序的方法

    本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法.分享给大家供大家参考.具体如下: #################################################################### # python 读取TXT到数组 列表去重,不打乱原来的顺序 # 刚学写的不好请大家见谅 #################################################################### def open_tx

  • php实现插入数组但不影响原有顺序的方法

    本文实例讲述了php实现插入数组但不影响原有顺序的方法.分享给大家供大家参考.具体实现方法如下: function array_intsort($array,$num) { $array_right = $array_left = array(); $length = count($array); if ($num < $array[0]) { array_unshift($array,$num); return $array; } else { for($i=0; $i < $length;

  • 利用shell创建文本菜单与窗口部件的方法

    前言 创建交互式shell脚本最常用的方法是使用菜单.提供各种选项可以帮助脚本用户了解脚本能做什么,不能做什么;通常菜单脚本会清空显示区域,然后显示可用的选项列表.本文给大家详细介绍了shell创建文本菜单与窗口部件的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 创建文本菜单 创建交互式shell脚本最常用的方法是使用菜单,它提供了各种选项帮助脚本用户了解脚本能做到的和不能做的. shell脚本菜单的核心是case命令,该命令会根据用户在菜单上的选择来执行特定命令.

  • python和shell获取文本内容的方法

    这两天搞脚本,花费不少时间. Python和Shell都可以获取文本内容,网上许多资料介绍的都不具体.简单的使用Python和Shell写了脚本. 做一些笔记沉淀一下. 1.Python实现: #-*- encoding:UTF-8 -*- filehandler = open('f.txt','r') #以读方式打开文件,rb为二进制方式(如图片或可执行文件等) print filehandler.read() #读取整个文件 filehandler.close() #关闭文件句柄 2.She

  • Shell脚本中多命令逻辑执行顺序的方法详解

    Linux中可以使用分号";".双and号"&&"和双竖线"||"来连接多个命令.单"&"符号也算命令连接符号,只不过它是将其前面的命令放入后台执行,所以可以变相地实现命令并行执行. 1.分号";" command1 ; command2 命令之间没有逻辑关系.分号连接的命令会按照顺序从前向后依次执行,但分号两端的命令之间没有任何逻辑关系,所有写出来的命令最终都会被执行,即使分号前面

  • Python list去重且保持原顺序不变的方法

    背景 python 去重一顿操作猛如虎,set list 扒拉下去,就去重了,但是顺序就打乱了.如果对顺序没有需要的话,这样确实没有什么所谓. 但是如果需要保留顺序的话,就需要一点小小的改变. code && demo list 去重,顺序乱掉 # normal 写法 l1 = ['b','c','d','b','c','a','a'] l2 = list(set(l1)) print(l2) # plus 写法 l1 = ['b','c','d','b','c','a','a'] l2

  • 一天一个shell命令 文本操作系列-linux dd使用教程

    今天第一天写,先说下写shell脚本的基本知识 1. shell脚本以.sh 为扩展名,通常运行 ./${filename}.sh 或者 sh ${filename}.sh 2. shell 脚本开头以 #!/bin/bash #!读作 "shebang" 3. 开启调试  #!/bin/bash –xv 4. /dev/null 任何东西丢进去都会消失,linux黑洞. /dev/zero 用于初始化,会产生0 今天先介绍 dd 命令 由来(全称):本来应根据其功能描述"C

  • 一天一个shell命令 文本操作系列-comm命令用法

    comm命令比较两个已排序文件每行数据的差异,并将其结果显示出来,如果没有指定任何参数,comm命令读取这两个文件,然后生成三列输出:1>仅在file1中出现的行2>仅在file2中出现的行3>在两个文件中都存在的行.   如果为文件名之一指定 -(减号),则 comm 命令会从标准输入设备读取数据. 题外话:说到比较文件,过来人都用过Beyond Compare,老版本时候,我们只能右键选中用于比较的文件,再选中被比较文件,对比. 如今他有了丰富的界面,支持linux上比较文件. 干什

随机推荐