MooseFS

MooseFS är en feltolerant, nätverk distribuerade filsystem som sprider data över flera fysiska servrar som är synliga för användaren som en resurs & nbsp; För standard filhantering MooseFS fungerar som andra Unix-lika filsystem.:
& Nbsp; * En hierarkisk struktur (katalogträd)
& Nbsp; * Butiker POSIX filattribut (behörigheter, sista åtkomst och ändring gånger)
& Nbsp; * Stöder specialfiler (block och teckenheter, rör och uttag)
& Nbsp; * Symboliska länkar (filnamn pekar rikta filer, inte nödvändigtvis på MooseFS) och hårda länkar (olika namn på filer som hänvisar till samma data på MooseFS)
& Nbsp; * Tillgång till filsystemet kan begränsas baserat på IP-adress och / eller lösenord
Utmärkande kännetecken för MooseFS är:
& Nbsp; * Hög tillförlitlighet (flera kopior av data kan lagras över olika datorer)
& Nbsp; * Kapaciteten är dynamiskt utbyggbart genom att fästa nya datorer / diskar
& Nbsp; * Raderade filer lagras under en konfigurerbar tidsperiod (ett filsystem nivå "papperskorgen")
& Nbsp; * Sammanhängande ögonblicksbilder av filer, även när filen skrivs / nås
MooseFS består av fyra delar:
& Nbsp; * Hantera server (huvudserver) & ndash; en enda maskin hantera hela filsystemet, lagra metadata för varje fil (information om storlek, attribut och filsökväg (ar), inklusive alla uppgifter om icke-vanliga filer, dvs kataloger, hylsor, rör och apparater).
& Nbsp; * Data servrar (chunk servrar) - valfritt antal råvaru servrar som lagrar filer data och synkronisera den sinse (om en viss fil är tänkt att existera i mer än en kopia).
& Nbsp; * Metadata backupserver (s) (metalogger server) - valfritt antal servrar, som alla butiksmetadataändringsloggar och periodvis hämtar huvudmetadatafilen; för att främja dessa servrar till rollen som vd servern när primär huvud slutar fungera.
& Nbsp; * Klient datorer som har tillgång (Mount) filerna i MooseFS - något antal maskiner med mfsmount process för att kommunicera med verkställande servern (för att ta emot och ändra metadata) och med chunkservers (utbyta faktiska fildata).
mfsmount baseras på SÄKRINGSmekanismen (File i användarrymden), så MooseFS finns på varje operativsystem med en implementering arbets SÄKRING (Linux, FreeBSD, MacOS X etc.)
Metadata lagras i minnet av verkställande servern och samtidigt sparas på hårddisken (som uppdateras regelbundet binär fil och omedelbart uppdateras inkrementella loggar). Huvud binärfil samt stockarna är synkroniserade till metaloggers (om den finns).
File data delas upp i fragment (klumpar) med maximalt 64MiB vardera. Varje bit är i sig en fil på utvalda diskar på dataservrar (chunkservers).
Hög tillförlitlighet uppnås genom att konfigurera så många olika dataservrar som är lämpligt för att inse värdet "målet" (antal kopior att hålla) fastställts för given fil.
hur systemet fungerar
Alla filhantering på en klientdator som har monterade MooseFS är exakt samma som de skulle vara med andra filsystem. Operativsystemets kärna överför all filhantering till FUSE modulen, som kommunicerar med mfsmount processen. Den mfsmount Processen kommunicerar genom nätverket därefter med förvaltnings server- och dataservrar (chunk servrar). Hela denna process är helt transparent för användaren.
mfsmount kommunicerar med verkställande servern varje gång en operation på fil metadata krävs:
& Nbsp; * skapa filer
& Nbsp; * raderar filer
& Nbsp; * läsning kataloger
& Nbsp; * läs- och förändrade attribut
& Nbsp; * föränderlig filstorlekar
& Nbsp; * i början av behandlingen, eller skriver data
& Nbsp; * på någon tillgång till speciella filer på MFSMETA
mfsmount använder en direkt anslutning till dataservern (bit-server) som lagrar den relevanta bit av en fil. När du skriver en fil, efter att ha avslutat skrivprocessen verkställande servern tar emot information från mfsmount att uppdatera en fil längd och den sista ändringen gången.
Dessutom dataservrar (chunk servrar) kommunicera med varandra för att replikera data i syfte att uppnå ett lämpligt antal kopior av en fil på olika maskiner.
& Nbsp;
feltolerans
& Nbsp;
Administrativa kommandona tillåter systemadministratören att ange "målet", eller antal kopior som bör upprätthållas, på en per-katalog eller per-filnivå. Inställning av målet till mer än ett och som har fler än en dataserver kommer att tillhandahålla feltolerans. När filen data lagras i många exemplar (på mer än en dataserver), är systemet resistent mot misslyckanden eller tillfälliga nätverksfel hos en enda dataserver.
Detta gäller naturligtvis inte hänvisar till filer med "mål" satt till 1, i vilket fall filen kommer bara finnas på en enda dataserver oavsett hur många uppgifter servrar utplacerade i systemet.
Exceptionellt viktiga filer kan ha sitt mål satt till ett nummer större än två, vilket gör att dessa filer för att vara resistent mot en uppdelning av mer än en server på en gång.
I allmänhet inställningen för antal kopior tillgängliga bör vara en mer än det förväntade antalet otillgängliga eller out-of-order-servrar.
I det fall där en enda dataserver upplever ett misslyckande eller avstängning från nätet, filerna lagras i det som hade minst två exemplar, kommer att förbli tillgängliga från en annan dataserver. De data som nu är "under sitt mål" kommer att replik på en annan tillgänglig dataserver för att återigen ge önskat antal kopior.
Det bör noteras att om antalet tillgängliga servrar är lägre än den "mål" som för en given fil, erforderligt antal kopior kan inte bevaras. Likaså om det finns lika många servrar som för tillfället satt målet och om en dataserver har nått 100% av sin kapacitet, kommer det inte att kunna börja hålla en kopia av en fil som nu är under dess tröskel mål på grund av en annan dataserver går offline. I dessa fall en ny dataserver skall anslutas till systemet så snart som möjligt i syfte att bibehålla det önskade antalet kopior av filen.
En ny dataserver kan anslutas till systemet när som helst. Den nya kapaciteten kommer omedelbart att bli tillgänglig för användning för att lagra nya filer eller hålla replike kopior av filer från andra dataservrar.
Administrativa verktyg finns för att ifrågasätta status för filer i filsystemet för att avgöra om någon av filerna är för närvarande under deras mål (visst antal kopior). Denna användbarhet kan också användas för att ändra inställningen för målet efter behov.
Datafragment som lagras i bitar är versions, så åter ansluta en dataserver med äldre kopia av data (t.ex. om det hade varit offline under en period), inte kommer att orsaka filerna blir osammanhängande. Den dataserver synkroniserar sig att hålla de aktuella versionerna av bitar, där de föråldrade bitar kommer att tas bort och det fria utrymmet kommer att omfördelas för att hålla de nya bitar.
Fel på en klientdator (som kör mfsmount processen) kommer att ha någon inverkan på enhetligheten i filsystemet eller på den andra kundens verksamhet. I värsta fall kan den data som ännu inte har skickats från det felande klientdatom kan förloras.
& Nbsp;
PLATTFORMAR
& Nbsp; MooseFS är tillgänglig på alla operativsystem med ett genomförande arbets FUSE:
& Nbsp; * Linux (Linux 2.6.14 och uppåt har FUSE stöd som ingår i den officiella kärnan)
& Nbsp; * FreeBSD
& Nbsp; * Opensolaris
& Nbsp; * MacOS X
Befälhavaren server, metalogger server och chunkservers kan även köras på Solaris eller Windows med Cygwin. Tyvärr utan FUSE det inte att vara möjligt att montera filsystemet inom dessa operativsystem

Vad är nytt i den här versionen:.

< li> De viktigaste förändringarna är fast signal hantering i flertrådade moduler, mål och trashtime gränser i mfsexport.cfg och en enkel kontroll för nedladdade metadatafiler.

Vad är nytt i version 1.6.19:

• Betydande ändringar infördes till metalogger maskinen och metarestore verktyg för bättre integritet metadata.
• En scanning förloppsindikator i CS tillsattes.
• Det stora namn är nu löst när en anslutning misslyckas.
• En ny session skapas när den föregående är förlorad.
• Massor av andra buggfixar och förbättringar gjordes.

Vad är nytt i version 1.6.17:

• I den här versionen introducerade vi en automatisk datacache hantering .
• Det är nog att uppgradera bara huvudservern (inga förändringar i chunk servrar "eller kunders kod gjordes).
• Mekanismen kernel cache alltid har funnits men fram till nu cachen var alltid rensas när du öppnar en fil. Nu styr MooseFS om att rensa det eller inte genom att kontrollera om filen var eller inte ändras av en annan klient. Låt oss titta på några scenarier.
• Första scenariot:
• 1. Dator A läser filen X
• 2. Dator B läser filen X
• 3. Dator A vill läsa filen X - vi lämnar cache (filen ändrades inte)
• Andra scenariot:
• 1. Dator A läser filen X
• 2. Dator A skriver till filen X
• 3. Dator A vill tor läsa filen X - vi lämnar cache (filen har ändrats men dator A vet om dessa förändringar)
• Tredje scenariot:
• 1. Dator A läser filen X
• 2. Dator B skriver till filen X
• 3. Dator A vill läsa filen X - här har vi tvinga tömma cachen (eftersom förändringar gjordes av Computer B och dator A vet inte om dem)
• I reala miljöer första och andra scenarier hända med mycket oftare än tredje scenariot och det är därför det är rimligt att lämna innehållet i cachen och få övergripande systemprestanda.
• Det finns naturligtvis vissa genomsnittliga scenarier (men de existerade även innan) som den här:
• 1. Dator A öppnar filen X och läser den helt (filen stannar i cache)
• 2. Dator B ändrar filen X
• 3. Dator A igen läser filen X (men utan att stänga eller återupptagande det - bara flytta i position 0 och läsa igenom den)
• I denna situation Dator A skulle få samma data som i steg 1 men samma också hände i MooseFS innan.
• Ett attribut nodatacache infördes också som förbjuder att cacha en fil. Från version 1.6.17 upp filer med nodatacache attribut beter sig som filer gjorde i äldre versioner av MooseFS. Denna flagga kan användas med verktyg mfsseteattr, mfsdeleattr och mfsgeteattr.
• Denna flagga lades förebyggande och förmodligen kommer du inte behöver använda den. Om det efter en tid verkar det som detta är verkligen värdelös den kommer att raderas. Men om du hittar något fall / scenario som kräver inaktivera den automatiska mekanismen cache du dela den med oss.