Dapper Dataflow Engine

Dapper (Distributed och parallellt program Execution Runtime) är ett verktyg för att tämja komplexiteten att utveckla för storskalig molnet och grid computing, gör det möjligt för användaren att skapa distribuerade beräkningar från det väsentliga - koden som kommer Execut
Varför Dapper?
Vi lever i intressanta tider, där genombrott i vetenskapen alltmer beroende av den växande tillgängligheten och överflöd av standardiserad, nätverksberäkningsresurser. Med hjälp av molnet eller galler, beräkningar som annars skulle köra i flera dagar på en enda stationär maskin nu distribueras och / eller parallella formuleringar som kan pressa igenom i några timmar, sätter ingång tio gånger så stor på hundra maskiner . Så lockande som idén om styrkan i siffror kan vara, har bara fysisk hårdvara räcker inte - en programmerare måste skapa den faktiska beräkningen som kommer att köras på det. Följaktligen det höga värdet placeras på människors ansträngningar och kreativitet kräver en programmeringsmiljö som gör det möjligt, och med uppmuntrar, kortfattad uttryck för distribuerade beräkningar, och ändå samtidigt inte offra generalitet.
Dapper, står för Distributed och parallellt program Execution Runtime, är ett sådant verktyg för att överbrygga den vetenskapsman / programmerare höga nivå specifikationer som fångar essensen av ett program med de mekanismer låg nivå som speglar de motbjudande verkligheten i distribuerade och parallella beräkningar. Under dess dataflöde orienterad strategi, Dapper möjliggör för användare att koda lokalt i Java och köra globalt på molnet eller rutnät. Användaren först skriver codelets, eller små fragment av kod som utför enkla uppgifter och inte, i sig, utgör ett komplett program. Efteråt han eller hon anger hur dessa codelets, ses som hörn i dataflödet, sända data till varandra via kant relationer. Den resulterande riktade acykliska dataflöde graf är ett komplett program tolknings av Dapper server, som efter att ha blivit kontaktad av långlivade arbetar kunder kan samordna en distribuerad exekvering.
Enligt Dapper modellen, inte längre behöver användaren att oroa sig för traditionellt ad-hoc-aspekterna av att hantera molnet eller galler, som omfattar hantering av uppgifter anslutningar och beroenden, återhämta sig från fel, distribuera kod och börjar jobb. Kanske ännu viktigare, ger det en hel Java-baserade verktygskedjan och runtime för inramning nästan alla grovkornig distribuerade beräkningar på ett konsekvent format som möjliggör snabb driftsättning och enkel transport till andra forskare.

Funktioner :

• En kod distributionssystem som gör att Dapper server för att överföra erforderlig programkod via nätverket och har kunder dynamiskt laddar den. En konsekvens av detta är att, bortsett från externa körbara, uppdateringar Dapper program behöver bara hända på serversidan.
• En kraftfull subflöde inbäddning metod för att dynamiskt modifiera dataflödet grafen vid körning.
• En runtime i vanilj Java, ett språk som många är säkert bekanta med. Bortsett från kravet på en ny JVM och eventuellt Graphviz Dot är Dapper fristående.
• En robust styrprotokoll. Den Dapper servern förväntar valfritt antal kunder för att misslyckas, när som helst, och har anpassningsbara åter utförande och timeout politik för att klara. Följaktligen kan man starta och stoppa (långlivade) kunder utan rädsla för att sätta hela systemet i ett inkonsekvent tillstånd.
• Flexibla semantik som tillåter dataöverföring via filer eller TCP-strömmar.
• Samverkan med brandväggar. Eftersom din lokala moln eller galler sitter förmodligen bakom en brandvägg, har vi utarbetat särskilda semantik för strömmande dataöverföringar.
• Liberal licensvillkor. Dapper är släppt under LGPL att förhindra förorening av din kodbasen.
• Drift som en inbäddad applikation. En manual beskriver programmerings API som användare kan följa för att köra Dapper server inuti ett program som Apache Tomcat.
• Drift som en fristående användargränssnitt. Med den kan man köra off-the-shelf demos och lära centrala begrepp från visuella exempel. Genom att följa en minimal uppsättning av konventioner, kan man sedan kombinera sina egna Dapper program som utförande arkiv, och sedan få realtid dataflöde status och felsökning återkoppling.

Vad är nytt i den här versionen:

• ServerLogic # closeIdleClients metoden har ändrats för att bättre matcha användarens intuitiva begreppet sysslolöshet.
• En användare alternativet för att ange serverns värdnamn har lagts till.
• Nätverks interna har omarbetats för att använda nya API: er.
• byggprocessen har uppdaterats för att stödja både 32- och 64-bitars Windows korskompilering.
• dapper. * Hierarkin har döpts om till org.dapper. *.

Vad är nytt i version 0.96:

• Lagt till FlowListener abstraktion, så att användarna kan nu associera metadata med dataflöden och deras noder.
• Fast en minnesläcka i Dapper server.
• tillagd apiviz Doclet taggar så att relationer mellan klasser bättre kan visualiseras.
• Inkom apiviz för visualisering av beroenden i Javadoc.
• Fixat en liten bugg i BuildAndTest körbar.
• byggprocessen är nu helt integrerat med Apache Ivy. Fördelningen källan nu längre levereras med SST. Istället beroenden automatiskt laddas ner; inte att man kan ladda ner SST källa, sammanställa den och publicera till ett lokalt arkiv. Se användarmanualen för mer information.
• Uppdaterad byggprocessen och avlägsnade redundanta steg.
• normaliserad copyright och licens meddelanden i alla filer.
• Java 1.6 krävs nu för att bygga och köra.
• Byt byggprocessen att använda Apache Ivy, vilket innebär att externa beroenden inte längre behöver förpackas med SST huvuddistributionen.
• Lade "doxygen" mål att bygga process så att inhemska komponenter kan dokumenteras.

Vad är nytt i version 0.95:

• En ny, flexibel loggning infrastruktur har lagts
• Initializers för loggning strukturer har flyttat ut på servern och klientklasser och i drivrutiner.
• Finite tillståndsmaskiner har uppdaterats till den nya anteckningen drivna API.
• Källkoden har normaliserats för att ha 8 platser i stället för flikarna.

Vad är nytt i version 0.94:

• Kommandoradsväljare för klienten och servern finns nu, artighet av Apache Commons CLI bibliotek.
• Klientprocessen livscykel definieras nu som slutar när en koppla från servern händer.
• Stem generation funktionalitet har gått från att vara en medlem metod för OutputHandleResource att vara en statisk metod för CodeletUtilities.
• FlowNodeFactory klassen används till förmån för direkt instansiering av FlowNodes.
• Byggandet av inhemska komponenter har migrerat till CMake.
• Loggning har övergått till SLF4J.
• En README har lagts till alla distributioner.

Vad är nytt i version 0.93:.

• Kraftigt förbättrade pedagogiska exempel
• Uppdaterad handbok.
• ökad bekvämlighet rutiner dapper.codelet.CodeletUtilities för resurs frågande.
• Bort Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource och FileBatchResource. De har ersatts med begreppet abstrakta data handtag i form av HandleEdge, InputHandleResource, OutputHandleResource. Se handbok för ändringar.
• Uppdaterad dapper.codelet.Resource att exportera in- och utflöden.

Krav :

• Java 2 Standard Edition Runtime Environment