知识屋:更实用的电脑技术知识网站
所在位置:首页 > 操作系统 > linux

linuxshell删除重复文件只保留一份

发布时间:2014-09-05 13:23:37作者:知识屋

#!/bin/bash
#name:remove_one.sh
#用途:查找并删除重复文件,每个文件只保留一个样本

#将文件依据大小排序并输出
ls -lS | awk 'BEGIN {
#得到第一行total总数并丢弃,读取下一行
getline;getline;
name1=$9;size=$5;
}
{
name2=$9;
if(size==$5)
#大小一样的可能是内容相同的文件
{
#用md5进行校验和
("md5sum "name1)|getline; csum1=$1;
("md5sum "name2)|getline; csum2=$1;
#如果校验和相同则为内容相同的文集,输出名字
if( csum1==csum2 )
{
{print name1;print name2}
}
};
size=$5;name1=name2;
}' | sort -u > duplicate_files


#计算重复文件的md5sum,将重复文件中的一采样写入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#删除在duplicate_files中列出且未被duplicate_sample列出的全部文件
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully


--------------------------------------------------------
执行:
[root@node1 tmp]# sh remove_one.sh
过滤的是当前目录下的,不处理目录,不递归处理子目录
(免责声明:文章内容如涉及作品内容、版权和其它问题,请及时与我们联系,我们将在第一时间删除内容,文章内容仅供参考)
收藏
  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜