知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

利用Linux命令行进行文本按行去重并按重复次数排序

发布时间：2014-09-05 13:51:05作者：知识屋

利用Linux命令行进行文本按行去重并按重复次数排序
 
linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。
 
用于演示的测试文件内容如下：
 
[plain] 
Hello World.  
Apple and Nokia.  
Hello World.  
I wanna buy an Apple device.  
The Iphone of Apple company.  
Hello World.  
The Iphone of Apple company.  
My name is Friendfish.  
Hello World.  
Apple and Nokia.  
实现命令及过程如下：
[plain] 
1、文本行去重  
(1)排序  
由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起。  
$ sort test.txt   
Apple and Nokia.  
Apple and Nokia.  
Hello World.  
Hello World.  
Hello World.  
Hello World.  
I wanna buy an Apple device.  
My name is Friendfish.  
The Iphone of Apple company.  
The Iphone of Apple company.  
(2)去掉相邻的重复行  
$ sort test.txt | uniq  
Apple and Nokia.  
Hello World.  
I wanna buy an Apple device.  
My name is Friendfish.  
The Iphone of Apple company.  
  
2、文本行去重并按重复次数排序  
(1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计。)。  
$ sort test.txt | uniq -c  
      2 Apple and Nokia.  
      4 Hello World.  
      1 I wanna buy an Apple device.  
      1 My name is Friendfish.  
      2 The Iphone of Apple company.  
(2)对文本行按重复次数进行排序。  
sort -n可以识别每行开头的数字，并按其大小对文本行进行排序。默认是按升序排列，如果想要按降序要加-r选项(sort -rn)。  
$ sort test.txt | uniq -c | sort -rn  
      4 Hello World.  
      2 The Iphone of Apple company.  
      2 Apple and Nokia.  
      1 My name is Friendfish.  
      1 I wanna buy an Apple device.  
(3)每行前面的删除重复次数。  
cut命令可以按列操作文本行。可以看出前面的重复次数占8个字符，因此，可以用命令cut -c 9- 取出每行第9个及其以后的字符。  
$ sort test.txt | uniq -c | sort -rn | cut -c 9-  
Hello World.  
The Iphone of Apple company.  
Apple and Nokia.  
My name is Friendfish.  
I wanna buy an Apple device.  
下面附带说一下cut命令的使用，用法如下：
 
[plain] 
cut -b list [-n] [file ...]  
cut -c list [file ...]  
cut -f list [-d delim][-s][file ...]  
  
上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；  
list表示-b、-c、-f操作范围，-n常常表示具体数字；  
file表示的自然是要操作的文本文件的名称；  
delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；  
-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）  
三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。  
  
范围的表示方法：  
      n   只有第n项   
      n-  从第n项一直到行尾  
      n-m 从第n项到第m项(包括m)  
      -m  从一行的开始到第m项(包括m)  
      -   从一行的开始到结束的所有项  
在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用。
 
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:KVM客户机使用主机USB设备

下一篇:CentOS中使用shell的命令补全

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

冒险 儿童 WIFI 手机赚钱 通讯 金融 影音 健康 舞蹈 回合 系统软件 模拟 动作 沙盒 阅读 理财 挂机 摄影 二次元 仙侠 竞技 体育 趣味 剧情 生活 休闲 钱包 母婴 唱歌 区块链 英语口语 养成 漫画 联机 分期 竞速 宫斗 音乐 系统 借钱 社交 网贷借钱 网易 投注 拍照 棋牌 旅游 抖音 换装 抢票

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7