S3QL

S3QL stödjer Amazon S3 samt godtyckliga SFTP servrar och effektivt ger dig en hårddisk dynamisk, oändlig kapacitet som kan nås från vilken dator som helst med internetuppkoppling.
S3QL tillhandahåller en standard, fullt utrustad UNIX filsystem som är begreppsmässigt omöjlig att skilja från alla lokala filsystemet. Dessutom har S3QL ytterligare funktioner som komprimering, kryptering, data de-duplicering, oföränderliga träd och snapshotting som gör det speciellt lämpligt för online-backup och arkivering.
S3QL är utformad för att gynna enkelhet och elegans över prestanda och funktionskryp. Care har vidtagits för att göra källkoden så läsbar och användbar som möjligt. Solid feldetektering och felhantering har inkluderats från allra första raden, och S3QL kommer med omfattande automatiserade testfall för alla dess komponenter.
Innan ett filsystem kan monteras, har backend som kommer att hålla de data som ska initieras. Detta görs med mkfs.s3ql kommandot. Här använder vi Amazon S3 backend, och nikratio-s3ql-skopa är S3 hink där filsystemet kommer att lagras.
mkfs.s3ql s3: // nikratio-s3ql-skopa
För att montera S3QL filsystemet lagras i S3 hink nikratio_s3ql_bucket i katalogen / mnt / s3ql skriver:
mount.s3ql s3: // nikratio-s3ql-skopa / mnt / s3ql
Nu kan du instruera din favorit backup-program för att köra en backup till katalogen / mnt / s3ql och uppgifterna kommer att lagras en Amazon S3. När du är klar, har filsystemet som ska avmonteras med
umount.s3ql / mnt / s3ql

Funktioner :

• Öppenhet. Begreppsmässigt är S3QL omöjlig att skilja från ett lokalt filsystem. Till exempel stödjer det hårda länkar, symboliska länkar, full unix behörigheter, utökade attribut och filstorlekar upp till 2 TB.
• Dynamisk Storlek. Storleken på en S3QL filsystem växer och krymper dynamiskt efter behov.
• Kompression. Före förvaring, kan all data komprimeras med LZMA, BZIP2 eller LZ algoritm.
• Kryptering. Efter komprimering (men innan uppladdning), kan all data AES krypterad med 256 bitars nyckel. En ytterligare SHA256 HMAC kontrollsumma används för att skydda data mot manipulering.
• data de-duplicering. Om flera filer har identiskt innehåll, kommer de redundanta data lagras endast en gång. Detta fungerar på alla filer som lagras i filsystemet, och även om bara vissa delar av filerna är identiska medan andra delar skiljer sig åt.
• Oföränderliga Trees. Katalogträd kan göras oföränderlig, så att deras innehåll inte längre kan ändras på något sätt. Detta kan användas för att se till att säkerhetskopior inte kan ändras efter att de har gjorts.
• Copy-on-Write / Snapshotting. S3QL kan replikera hela katalogträd utan att använda någon extra lagringsutrymme. Endast om en av kopiorna är modifierad, den del av uppgifter som har ändrats tar upp ytterligare lagringsutrymme. Detta kan användas för att skapa intelligenta ögonblicksbilder som bevarar tillståndet för en katalog vid olika tidpunkter med minst utrymme.
• High Performance oberoende av nätverksfördröjning. All verksamhet som inte skriver eller läser filens innehåll (som att skapa kataloger eller flytta, byta namn och ändra behörigheter för filer och kataloger) är mycket snabbt eftersom de utförs utan några transaktioner nätverks.
• S3QL uppnår detta genom att spara hela filen och katalogstrukturen i en databas. Denna databas lokalt cachad och fjärr kopian uppdateras asynkront.
• Stöd för låga anslutningar bandbredd. S3QL delar filens innehåll i mindre block och cachar block lokalt. Detta minimerar både antalet nätverks transaktioner som krävs för att läsa och skriva data, och mängden data som måste överföras då endast delar av en fil läses eller skrivs.

Vad är nytt i den här versionen:

• Försök att uppgradera ett filsystem som redan vid den nyaste revideringen inte längre göra de lokala metadata kopiera oanvändbara.
• Google lagring hink namn som innehåller punkter inte längre orsaka problem med validering SSL-certifikat.
• Åtgärdar en krasch när statvfs () anropas på en nästan tom filsystem.
• Det finns en ny & quot; swiftks & quot; backend för Openstack / Swift servrar.
• Eliminerar en ras tillstånd som kan leda till mount.s3ql krascha med en & quot; KeyError i samlingar / abc.py & quot;.
• Åtgärdar en krasch som kan uppstå när man försöker städa upp efter att ha fått en anslutning eller serverfel när du laddar upp ett föremål.

Vad är nytt i version 2.2:

• S3QL använder nu SSL-anslutningar som standard och verifierar servercertifikat.
• En ras tillstånd som resulterade i en uppenbar förlust av fjärr metadata fastställdes.
• S3 backend raderar nu flera lagringsobjekt med hjälp av någon begäran om möjligt, minska latens, trafik, och antalet ansökningar om att S3.
• S3QL nu kunna upptäcka fel server och omdirigeringar innan alla data har skickats till servern.
• En ny "Rackspace" backend som tillåter specifikation av lagringsobjektet regionen i lagrings URL sattes.
• mount.s3ql --compress alternativet kan nu specifikation av komprimeringsnivå.

Vad är nytt i version 1.15:

• Cykla för metadata backuper när den lokala backend nu tar mycket mindre tid.
• Det krävs inte längre att S3QL och Python APSW kopplas till samma SQLite delade biblioteket.
• I mount.s3ql, en krasch vid användning --metadata-upload-intervallet 0 fastställdes.
• I stället för att helt lossa filsystemet (och lämnar monteringspunkten oåtkomliga) när backend data saknas eller är skadad, returnerar S3QL nu ett fel och växlar till skrivskyddad verksamhet.

Vad är nytt i version 1.13:

• Denna version fixar en bugg som orsakade missbildade metadata som ska skrivas ut när du använder senaste eglibc versioner.
• Det åtgärdar problem när man försöker komma åt en katalog i roten på filsystemet som nyligen har tagits bort med s3qlrm.
• ostensible ACL-stöd har tagits bort.
• Den här versionen bättre handtag hinkar med ogiltig DNS-namn.
• Det kommer igen om DNS inte är tillgänglig.

Vad är nytt i version 1.11.1:

• Denna version fixar en krasch när du använder S3 backend (regression introduceras i utgåva 1.11), ökar den minsta rapporterade filsystemet storleken till 1 TB och arbetar runt en df bugg så storleken rapporteras korrekt.

Vad är nytt i version 1.11:

• Metadata om lagrade objekten är nu uppdelad i flera fält, så inget fält är längre än 256 byte. (Detta gör S3QL kompatibel med ett bredare spektrum av lagringsleverantörer.) SWIFT backend återförsök nu om den får 5xx felkoder från fjärrservern, och inte längre misslyckas när man försöker ladda upp data med ett utgånget auth token.

Vad är nytt i version 1.10:

• De S3S, s3cs och GSS backends har tagits bort. Använd den nya --ssl alternativet tillsammans med S3, S3C, och GS backends istället.
• S3QL inte längre håller reda på konsistensgarantier för de olika implementationer.
• Det ökande antalet olika lagringsleverantörer som erbjuder olika regioner, redundans och tillgänglighet nivåer gör detta inte längre möjligt.
• Användarhandboken innehåller ett nytt avsnitt, & quot; viktiga regler att undvika att förlora data & quot;.
• Läsning rekommenderas det starkt.

Vad är nytt i version 1.9:

• Denna version gör fil tider inte längre förändras vid byte av systemet tidszon, fixar och förbättrar contrib / benchmark.p, fixar & quot; För många kedjade omdirigeringar & quot; bugg, återförsök på 5xx serverfel, och lägger experimentellt inbyggt stöd för Openstack / SWIFT servrar och experimentellt proxy support.

Vad är nytt i version 1.8:

• A & quot; ValueError: Kan inte dumpa NULL-värden & quot; kraschar när filsystemet metadata laddades upp under kraftig filsystem aktiviteten fastställdes.
• s3qlcp och kataloglistning prestanda för mycket stora kataloger förbättrades.
• En rm prestanda regression fastställdes.
• -. Block döptes till --max-obj-storlek
• En del krascher som hände i kraftigt samtidig filsystem användning fixerades.
• python-llfuse 0,37 används nu.

Begränsningar :

• Det finns fortfarande gott om buggar i koden och du bör vara redo att ta itu med dem. Ändå kan du vara någorlunda säker på att de buggar (även obekvämt) inte kommer att äventyra dina lagrade data.