DedupeCopy

DedupeCopy är en enkel flertrådade filkopiering verktyg för att konsolidera och omstrukturera spretande filsystem.
Det vanligaste användningsfallet är för att säkerhetskopiera data till en ny layout, ignorerar duplicerade filer.
Andra användningsområden är:
& Nbsp; 1. Att få en CSV-fil som beskriver alla duplicerade filer
& Nbsp; 2. Jämföra olika filsystem
& Nbsp; 3. Omstrukturering befintliga uppsättningar av filer till olika layouter (t.ex. sorterade efter förlängning eller sista ändringstid)
Detta verktyg är * INTE * en Robocopy eller rsync ersättning och inte försöka fylla den roll de pjäsen.
Som med all kod som går ett filträd, använd med försiktighet och förväntar absolut ingen garanti!
Kommando exempel:
& Nbsp; Generera en Duplicate File rapport för en sökväg:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifest
& Nbsp; Kopiera alla * .jpg-filer från flera vägar till en /YYYY_MM/*.jpg struktur
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: pics
& Nbsp; Kopiera alla filer från två enheter till ett enda mål, att bevara vägen för
& Nbsp; alla tillägg:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifest -R *: no_change
& Nbsp; Återuppta en avbruten körning (förutsatt "-m manifest" som används i tidigare körning):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifest -m manifest
Sekventiellt kopiera olika källor i samma mål, inte kopiera duplicerade filer (2 källor och 1 mål):
& Nbsp; & nbsp; & nbsp; 1.) Första skivan manifesterar för alla enheter
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ mål andel -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ SOURCE1 andel -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 andel -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Kopiera varje källa till målet (specificera --compare så manifest från
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; andra källor är laddade, men inte som en del av apparaten för att kopiera
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-promenad för att hoppa åter genomsökning av källan):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ SOURCE1 andel -c \ mål andel -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-promenad
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 andel -c \ mål andel -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-promenad
Komplett exempel:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Förutsatt att du börjar med en uppsättning filer som anges på följande sätt:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; pics
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Och du kör kommandot:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: pics -p D: pics -e jpg -R jpg: mtime -c X: bilder
Du skulle sluta med följande (photo3.jpg var en sann duplikat):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foton
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Detta projekt är på bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python