Si tu fais un petit programme en C qui cree un hash de tous tes fichiers et qui efface les doublons, ca devrait se faire assez rapidement je pense...