Поиск одинаковых файлов fdupes

FDUPES — программа, написанная Андрианом Лопесом (Adrian Lopez), сканирующая каталоги для поиска дубликатов файлов, с возможностью вывода списка и автоматическим удалением дублей. Она сравнивает размер файла и MD5 хэш, и после сравнения начинает сверку по-байтно. Написана на языке программирования C и выпущена под Лицензией MIT.

fdupes сравнивает размер файла, у совпавших по размеру сравниваются MD5 хэши, и при совпадении хешей стартует побайтная сверка, возможность вывода списка и автоматического удаления дублей.

fdupes -r /home/user/downloads 
ключ -r — заставляет искать в том числе и в подкаталогах, ниже заданного.
fdupes -r /home/user/downloads > /home/user/dublikati.txt
 — перенаправление в файл, будет удобно если список дубликатов слишком большой.

• Использование fdupes для поиска дубликатов файлов

# fdupes /etc
/etc/vimrc
/etc/virc

• Использование fdupes для удаления дубликатов файлов

# fdupes -d /etc
[1] /etc/vimrc
[2] /etc/virc
 
Set 1 of 1, preserve files [1 - 2, all]: 1
 
   [+] /etc/vimrc
   [-] /etc/virc

• Использование fdupes для рекурсивного поиска дубликатов файлов

# fdupes -r /dir1

• Использование fdupes для поиска дубликатов файлов в нескольких директориях

# fdupes /dir1 /dir2

Или
# fdupes -r /etc /data/etc /nas95/etc

• Использование fdupes для поиска дубликатов файлов и вывода их размера

# fdupes -S /etc
1533 bytes each:
/etc/vimrc
/etc/virc