Apache Crunch

En rörledning är en sammanlänkning av operationer för att utföra ett specifikt jobb, arrangerade så att produktionen av varje element är ingången på nästa.
Apache Crunch ger en enklare metod för att hantera Apache Hadoop MapReduce rörledningar.
Crunch förenklar processen genom att tillhandahålla ett stort antal färdiga metoder och funktioner som kan användas för att montera och manipulera MapReduce rörledningar i olika former.
I projektet ingår en infödd Java API, tillsammans med en Scala ett (som heter Scrunch).
Stöd dessutom ingår för hantering av Avro skivor och HBase rader och kolumner.