知识屋：更实用的电脑技术知识网站
知识屋 手机游戏 手机软件 电脑软件 最近更新 手机端
冒险村物语 英雄无敌3塔防 驾考家园手游
password怎么用？p 诺诺视频会议怎 网易UU网游加速
所在位置：首页 > 操作系统 > linux

linuxshell删除重复文件只保留一份

发布时间：2014-09-05 17:43:32作者：知识屋

#!/bin/bash
#name:remove_one.sh
#用途：查找并删除重复文件，每个文件只保留一个样本

#将文件依据大小排序并输出
ls -lS | awk 'BEGIN {
#得到第一行total总数并丢弃，读取下一行
getline;getline;
name1=$9;size=$5;
}
{
name2=$9;
if(size==$5)
#大小一样的可能是内容相同的文件
{
#用md5进行校验和
("md5sum "name1)|getline; csum1=$1;
("md5sum "name2)|getline; csum2=$1;
#如果校验和相同则为内容相同的文集，输出名字
if( csum1==csum2 )
{
{print name1;print name2}
}
};
size=$5;name1=name2;
}' | sort -u > duplicate_files


#计算重复文件的md5sum，将重复文件中的一采样写入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#删除在duplicate_files中列出且未被duplicate_sample列出的全部文件
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully


--------------------------------------------------------
执行：
[root@node1 tmp]# sh remove_one.sh
过滤的是当前目录下的，不处理目录，不递归处理子目录
（免责声明：文章内容如涉及作品内容、版权和其它问题，请及时与我们联系，我们将在第一时间删除内容，文章内容仅供参考）
收藏

上一篇:Linux虚拟机文件系统突然变成只读

下一篇:CentOS6.3之配置(十一)关于采用Samba作为文件服务器的安装与配置

相关知识

软件推荐

更多 >

游戏推荐

更多 >

精选栏目

热门推荐

  • 人气文章
  • 最新文章
  • 下载排行榜
  • 热门排行榜

手机游戏

手机软件

电脑软件

猜你喜欢

冒险 二次元 办公 恋爱 生活 低息 节奏 财经 解谜 手机美化 资讯 系统软件 运动 策略 彩票 街机 漫画 儿童 MOBA 不上征信 英语口语 影音 钱包 宫斗 摄像 视频 音乐 社交 抢票 即时 模拟 体育 养成 摄影 唱歌 美食 阅读 换装 借钱 腾讯 经营 理财 购物 放置 导航 健康 招聘 通讯 休闲 战国

本站所有软件来自互联网，版权归原著所有。如有侵权，敬请来信告知，我们将及时撤销。

知识屋 www.zhishiwu.com 更实用的电脑技术知识网站

苏ICP备14019037号-7