Jug

Jug är en Python genomförandet av ramverket MapReduce (numera en vanlig del av Hadoop ), vilket gör att utvecklare att skriva kod som kan köras i olika former av parallellise.
Detta innebär kod som kan köras parallellt på samma maskin, eller över en datorkluster (flera maskiner).
Jug kan utvecklare att organisera koden i mindre bitar, och välja var, hur och när man ska köra den.
Medan detta kan vara över toppen för små webbplatser och appar, kan detta beteende vara mycket användbart i applikationer med hög trafikbelastning eller att hantera stora mängder data.
Jug kan arbeta och lagra data lokalt via hårddisk, eller den kan använda fjärrlagring. För det senare fallet, Redis databas stöds

Funktioner :.

• Ihållande datalagring support
• återanvänder delresultat
• Concurrency support
• Lokal datalagring
• Fjärr datalagring
• Driftstatus checker

Vad är nytt i den här versionen:

• fixar Python 3 kompatibilitet
• fsync (katalog) i filen backend
• tillbringare krokar (fortfarande mestadels papperslösa, men redan möjliggör intern kod förenkling)

Vad är nytt i version 0.9.7:

• Fix använda numpy klasser
• Fix redis URL pars
• Fix `` shell`` för nyare versioner av ipython
• Korrekt falla tillbaka på icke-sqlite `` status``

Vad är nytt i version 0.9.6:

• Snabbare avkodning
• Inkom kanna-exekvera script
• Lade beskriver () funktionen
• Inkom write_task_out () funktionen

Vad är nytt i version 0.9.1:

• Inkom `` webstatus`` underkommandot
• Inkom bvalue () funktionen
• Fixat bugg i `` shell`` underkommando (`` value`` inte var i den globala namnrymden)
• Förbättrad identitet ()
• Fixat bugg i att använda Tasklets och --aggressive-lasta
• Fixat bugg med Tasklets och sömn-tills / check

Vad är nytt i version 0.9:

• I närvaro av en barriär (), kör om jugfile . Detta gör barriären mycket lättare att använda.
• Inkom set_jugdir till offentlig API.
• Lade CompoundTaskGenerator.
• Stöd underklasser av Task.
• Undvik att skapa kataloger i filen backend om det inte är nödvändigt.
• Lägg jug.mapreduce.reduce (vilket härmar den inbyggda minskar).

Vad är nytt i version 0.8.1:

• Fix redis backend för ny version av klientmodul
• Snabbare fil butik för stora filer
• Fix `invalidate` med Tasklets
• Installera tester och få dem att vara körbart
• Ändrad hash beräkningsmetoden. Detta har ett specialfall på numpy arrayer
• (för hastighet) och är mer utbyggbar genom en __jug_hash__ krok
• Fix bugg med Tasklet beroenden inte korrekt beaktas
• Fix skal underkommando i nyare versioner av ipython
• Lägg __file__ attribut att fejka jugmodule

Vad är nytt i version 0.8:

• Tasklets
• Fix buggar i sömnen-till och rensning
• Fix buggar med CompoundTask (du behövs för att köra kanna exekvera två gånger innan).

Vad är nytt i version 0.8-b0:

• Tasklets - Fix buggar i sömnen-fram och sanering .

Vad är nytt i version 0.7.4:

• Fix fall där ~ / .jug / configrc gör inte existerar.
• Skriv värdnamnet för att låsa filen på file_store.
• Refactored genomförande av alternativ.
• Fix lossning uppgifter som inte har kört.
• Fix MapReduce för tomma ingång.

Vad är nytt i version 0.7.3:.

• Parse ~ / .jug / configrc
• Fix bugg med väntetider.
• Specialfall sparande av numpy matriser.
• Lägg mer uttrycks jugdir syntax.
• Spara dict_store backend till disk.

Vad är nytt i version 0.7.2:.

• Ingår saknade filer i distributionen

Vad är nytt i version 0.7.1:.

• sömn-tills underkommando
• Fix för barriär () och MapReduce interaktion.
• Dokumentation förbättring.

Vad är nytt i version 0.7:

• Bättre `` shell`` kommandot
• Skrev metod för lastning jugfiles
• Uppgifter har ursprungliga funktion tillgänglig som `f`

Vad är nytt i version 0.6.9:.

• Ny check kommandot
• load_all () inuti skalet.

Vad är nytt i version 0.5.2:.

• Ny `shell` kommando
• Kompression i redis backend.
• Förbättringar i hastighet för 'ogiltig "kommandot.

Vad är nytt i version 0.5.1:

• Redis backend
• ordbok beroenden
• Ändrad kommandoradsgränssnitt (kanna kommando jugfile ...)

Krav :

• Python 2.6 eller högre