知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

linuxshell删除重复文件只保留一份

发布时间：2014-09-05 13:23:37作者：知识屋

#!/bin/bash
#name:remove_one.sh
#用途：查找并删除重复文件，每个文件只保留一个样本

#将文件依据大小排序并输出
ls -lS | awk 'BEGIN {
#得到第一行total总数并丢弃，读取下一行
getline;getline;
name1=$9;size=$5;
}
{
name2=$9;
if(size==$5)
#大小一样的可能是内容相同的文件
{
#用md5进行校验和
("md5sum "name1)|getline; csum1=$1;
("md5sum "name2)|getline; csum2=$1;
#如果校验和相同则为内容相同的文集，输出名字
if( csum1==csum2 )
{
{print name1;print name2}
}
};
size=$5;name1=name2;
}' | sort -u > duplicate_files


#计算重复文件的md5sum，将重复文件中的一采样写入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#删除在duplicate_files中列出且未被duplicate_sample列出的全部文件
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully


--------------------------------------------------------
执行：
[root@node1 tmp]# sh remove_one.sh
过滤的是当前目录下的，不处理目录，不递归处理子目录
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:Linux虚拟机文件系统突然变成只读

下一篇:CentOS6.3之配置(十一)关于采用Samba作为文件服务器的安装与配置

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

沙盒 挂机 趣味 摄影 购物 资讯 动作 3D 二次元 格斗 系统软件 塔防 三国 儿童 即时 WIFI 英语口语 奇迹 教育 网贷借钱 招聘 经营 钱包 MOBA RPG 手机赚钱 体育 节奏 拍照 关卡 辅助 腾讯 抢红包 手机美化 唱歌 区块链 模拟 武侠 西游 吃鸡 舞蹈 直播 借钱 健康 运动 通讯 母婴 魔幻 不上征信 仙侠

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7