Hadoopy

Det är i grunden en Python-bibliotek för MapReduce skrivet i Cython

Egenskaper .

• Liknande gränssnitt som Hadoop API (designmönster som kan användas mellan Python / Java-gränssnitt)
• Allmänt kompatibilitet med dumbo att tillåta användare att växla fram och tillbaka
• Användbar på Hadoop-kluster utan Python eller administratörsbehörighet
• Snabb omställning och bearbetning
• Håll små och väldokumenterad
• Var tydlig med vad som händer på
• Handtag program med komplicerade .så s, ctypes och tillägg
• kod skriven för hack-förmåga
• Enkel HDFS tillgång (t.ex. läsa, skriva, ls)
• Support (och inte replikera) desto större Hadoop ekosystem (t.ex. Oozie, whirr)
• Automatiserad jobb parallellisering "auto-oozie" finns i hadoopy flödes projektet (underhålls av filial)
• Lokal utförande av omodifierad MapReduce jobb med launch_local
• Läs / skrivsekvensfiler TypedBytes direkt till HDFS från python (readtb, writetb)
• möjliggör utskrift till stdout och stderr i Hadoop uppgifter utan att orsaka problem (använder "röret hopping" teknik, båda finns i uppgiftens stderr)
• Fungerar på kluster utan någon extra installation, Python, eller något bibliotek Python (använder Pyinstaller som ingår i detta källkodsträd)
• Fungerar på OS X
• Kritisk bana är i Cython
• Enkel HDFS tillgång (readtb och ls) inuti Python, även inne kör jobb
• Unit test gränssnitt
• rapportering med hjälp av status och räknare (och skriva ut uttalanden! Ingen anledning att vara rädd för dem i Hadoopy)
• Stöder designmönster i Lin & Dyer bok
• Typedbytes stöd (mycket snabb)
• Oozie stöd

Krav :

• Cython 0,13 eller högre