Данный алгоритм самый простейший и построен на поиске дубликатов по жесткому совпадению md5 сумм файлов. Это значит, что мы отсеиваем только абсолютные дубликаты файлов, с просто схожими изображениями данный способ не прокатит.
Да, наверное этот способ не самый лучший, ну мне в данном случае нужно просто найти и отфильтровать дубликаты небольших авторок, так что подойдёт. В папке /root/img у нас будет свалка всех фильтруемых файлов, а в папку /root/img2 мы скопируем только уникальные файлы вот таким скриптом:
for file in $(find /root/img/. -type f -exec md5sum '{}' + | sort | uniq -w 32 | awk '{print $2}'); do cp $file /root/img2/ ; done;