知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

Linux删除重复行

发布时间：2014-09-05 16:44:36作者：知识屋

 

文本处理时，经常要删除重复行，下面是三种方法

 

第一，用sort+uniq，注意，单纯uniq是不行的。

sort -n test.txt | uniq

 

第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。

sort -n $file | awk '{if($0!=line)print; line=$0}'

　

第三，用sort+sed命令，同样需要sort命令先排序。

sort -n $file | sed '$!N; /^/(.*/)/n/1$/!P; D'

 

Shell脚本

view plainprint?

# !/bin/sh 

 

 

file='test.txt' 

 

sort -n $file | uniq 

 

sort -n $file | awk '{if($0!=line)print; line=$0}' 

 

sort -n $file | sed '$!N; /^/(.*/)/n/1$/!P; D' 

测试文件：

yanggang@barry$ cat test.txt

aaa

bbbbb

ccccc

123

aaaaa

123

bbb

aaa

执行结果：

yanggang@barry$ ./diffRow.sh

aaa

aaaaa

bbb

bbbbb

ccccc

123

 

摘自 Sunboy_2050的专栏

（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:Linux SSH使用公钥私钥实现免登陆 以及 登陆失败、公钥失效的处理

下一篇:vi编辑模式下的自动补全功能：ctrl+n, ctrl+p.

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

铃声 塔防 节奏 武侠 漫画 棋牌 角色扮演 赛车 视频 唱歌 导航 通讯 生活 MOBA 冒险 体育 三国 解谜 射击 美食 吃鸡 旅游 网易 健康 抢红包 经营 资讯 社交 模拟 换装 沙盒 剧情 金融 彩票 手机赚钱 动作 回合 奇迹 投屏 WIFI 小说 传奇 闯关 摄影 母婴 二次元 儿童 摄像 分期 购物

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7