如何用Linux清理重复文件

在Linux中，可以使用一些命令行工具来清理重复的文件。以下是一些常用的方法：

方法一：使用fdupes

fdupes是一个用于查找和删除重复文件的工具。

1. 安装fdupes：

   sudo apt-get install fdupes # Debian/Ubuntu sudo yum install fdupes # CentOS/RHEL sudo dnf install fdupes # Fedora 

2. 查找重复文件：

   fdupes -r /path/to/search 

   -r选项表示递归搜索。

3. 删除重复文件（谨慎操作）：

   fdupes -r -N /path/to/search 

   -N选项会在删除前提示确认。

方法二：使用find和md5sum

这种方法适用于所有Linux发行版。

1. 创建一个临时目录来存储文件的MD5哈希值：

   mkdir temp_md5 

2. 遍历目录并计算每个文件的MD5哈希值：

   find /path/to/search -type f -exec md5sum {} \; | sort > temp_md5/md5sums.txt 

3. 查找重复的MD5哈希值：

   awk '{print $1}' temp_md5/md5sums.txt | uniq -d | cut -d' ' -f2- 

4. 手动检查并删除重复文件（谨慎操作）： 根据上一步的输出，手动删除重复的文件。

方法三：使用rdup

rdup是一个用于备份和清理重复文件的工具。

1. 安装rdup：

   sudo apt-get install rdup # Debian/Ubuntu sudo yum install rdup # CentOS/RHEL sudo dnf install rdup # Fedora 

2. 配置rdup： 创建一个配置文件~/.rdup.conf，并添加以下内容：

   [main] backup_path = /path/to/backup source_path = /path/to/search [filter] exclude = *.tmp,*.log [dedupe] algorithm = md5 

3. 运行rdup进行去重：

   rdup -v -n -r /path/to/search 

   -v表示详细模式，-n表示模拟运行，-r表示递归搜索。

注意事项

• 在删除文件之前，请务必仔细检查重复文件列表，确保不会误删重要文件。
• 使用fdupes和rdup时，建议先使用-N选项进行测试，确认无误后再删除文件。

通过以上方法，你可以有效地在Linux系统中清理重复文件。