Apache Hadoop

Stora data är en marknadsföringsterm som omfattar hela ideen om datautnyttjad från källor som sökmotorer, köpköpsmöjligheter som spåras genom poängkort etc. I den moderna världen har internet så många datakällor, att oftare än inte skalan gör den oanvändbar utan att bearbetning och bearbetning skulle ta otroliga mängder tid av någon server. Ange Apache Hadoop

Genom att utnyttja Hadoop-arkitekturen för att distribuera bearbetningsuppgifter över flera maskiner på ett nätverk minskar behandlingstiderna astronomiskt och svaren kan bestämmas inom rimlig tid. Apache Hadoop är uppdelad i två olika komponenter: en lagringskomponent och en behandlingskomponent. I enklaste termer gör Hapood en virtuell server av flera fysiska maskiner . I själva verket hanterar Hadoop kommunikationen mellan flera maskiner så att de fungerar tillräckligt nära att det verkar som om det bara finns en maskin som arbetar med beräkningarna. Data fördelas över flera maskiner för att lagras och Behandlingsuppgifter fördelas och samordnas av Hadoop-arkitekturen

. Denna typ av system är ett krav för att konvertera rådata till användbar information om omfattningen av Big Data-ingångar. Tänk på hur mycket data som tas emot av Google varje sekund från användare som anger sökförfrågningar. Som en total klump av uppgifter skulle du inte veta var du ska börja, men Hadoop kommer automatiskt att reducera datasatsen till mindre, organiserade delmängder data och tilldela dessa hanterbara delmängder till specifika resurser. Alla resultat rapporteras sedan tillbaka och samlas i användbar information .

En server lätt att ställa in

Även om systemet låter komplicerat, försvinner de flesta rörliga delarna bakom abstraktionen. Installera Hadoop-servern är ganska enkel , bara installera serverkomponenterna på hårdvara som uppfyller systemkraven. Den hårdare delen planerar ut nätverk av datorer som Hadoop-servern kommer att utnyttja för att distribuera lagrings- och bearbetningsroller. Det kan innebära konfigurera ett lokalt nätverk eller ansluta flera nätverk tillsammans över Internet . Du kan också utnyttja befintliga molntjänster och betala för ett Hadoop-kluster på populära molnplattformar som Microsoft Azure och Amazon EC2. Dessa är ännu enklare att konfigurera eftersom du kan snurra dem upp ad hoc och sedan avveckla kluster när du inte behöver dem längre. Dessa typer av kluster är idealiska för testning eftersom du bara betalar för den tid då Hadoop-klustret är aktivt.

Bearbeta dina data för att få den information du behöver

Stora data är en extremt kraftfull resurs, men data är värdelösa om inte den kan kategoriseras korrekt och omvandlas till information. Hos tiden erbjuder Hadoop kluster en extremt kostnadseffektiv metod för att hantera dessa samlingar av data till information.