Rocks Cluster

Rocks Cluster är ett projekt med öppen källkod som ger användarna en Linux-distribution baserad på CentOS operativsystem och utformats från grunden för att erbjuda en fullfjädrad kluster på en CD lösning för Red Hat Linux-kluster.
Tidigare känd som NPACI Rocks Cluster Tool Kit, gör distributions vem som helst att enkelt och snabbt byggt upp en Rocks kluster. Det gör också erfarna användare att bygga beräkningskluster, visualisering kaklade-display väggar och galler endpoints.Based på CentOSBeing baserat på CentOS Linux-distributionen, vilket i sin tur är baserad på Red Hat Enterprise Linux-operativsystem, ger Rocks Cluster distributioner en kraftfull, stabil och pålitlig företags redo system som har en unik och enkel installationsprocess.
Den levereras med alla nödvändiga verktyg för att hantera kluster, såsom PBS, GM stöd, Maui, Ganglia och mycket mer. Du kommer att kunna distribuera, uppgradera, skala och hantera kluster utan mycket krångel. För närvarande är endast 64-bitars (x86_64) arkitektur supported.Getting igång med Rocks Clusterin order till byggt en Compute Cluster, skulle användarna behöva skapa en hake kluster, startar sin front-end med Kernel / Boot rulle och lägga basen Roll, OS Roll Disk 1, OS Roll Disk 2 och OS Disk 3 ISO-bilder. För full skisserat kluster, bör du även lägga till Area51, SGE, Ganglia, HPC, Python, Perl, och webb-server rullar.
Å andra sidan bör de av er som vill bygga en egen kluster välja mellan Rocks Cluster à la carte urval och ladda ner Base och Kernel / Boot rullar, liksom alla av operativsystemet rolls.Bottom lineAll i alla, Rocks Cluster är ett CentOS-baserad företags redo Linux-distribution som används av hundratals forskare runt om i världen att installera sin egen kluster. Det är en unik operativsystemet drivs av en uppsjö av öppen källkod teknik och konstruerade för att enkelt distribuera hanterbara kluster

Vad är nytt i den här versionen.

< ul>

Vad är nytt i version 6.1.1:

• Den senaste uppdateringen av Rocks kodnamn Sand Boa är nu frisläppas. Sand Boa är en 64-bitars släpp bara och bygger på CentOS 6.5 The Rocks-levererade OS rullar har alla uppdateringar som tillämpas från och med den 14 april 2014. Detta inkluderar uppdateringar för OpenSSL Heartbleed.
• Stöd för ZFS har uppdaterats till version 0.6.2. Condor är nu HTCondor roll är den släpps ut på 8.0.6
• Dessutom ingår en ny rulle kallas fingeravtryck som dynamiskt bestämmer beroenden av kompilerad kod på både Rocks och icke-Rocks system.

Vad är nytt i version 5.4:

• Nya funktioner:
• Redesign av Avalanche Installer.
• När du observerar prestanda Avalanche Installer på en 1000-nod maskin, blev det uppenbart att vi måste minska så mycket trafik till frontend som möjligt. Detta ledde till att ersätta python BitTorrent-baserade installationsprogrammet med en BitTorrent-inspirerad installations skrivet i C. C-kod ger oss möjlighet att sätta fler filer i peer-to-peer-nätverk, framför allt: product.img (160KB), stage2. img (108MB) och updates.img (98MB).
• För att ytterligare minska trafiken till frontend, skickar frontend nu paket förutsägelser Installera noder. När en nod frågar efter ett paket, trackern på frontend skickar en lista över nodadresser där det paketet kan hittas, plus en lista över de närmaste 9 paket som nod kommer sannolikt be om nästa. När liknande apparater samtidigt installation, minskar denna tracker trafiken med 10x.
• Installera noder kan grupperas. När en installation nod frågar tracker för placeringen av ett paket och om andra noder samtidigt installera, kommer trackern gynna noder som är i samma grupp som den begärande noden, det vill säga en lista trackern sänder tillbaka till installationsoden kommer att ha noder från samma grupp som installations noden längst upp på listan. Standard gruppering är av rack, men det kan kontrolleras av & quot; coop & quot; attribut. Till exempel, om du vill sätta alla noder från rack 0 och rack 1 i samma grupp (som heter & quot; red & quot;), skulle du köra: & quot; stenar sätta värd attr rack0 rack1 coop röd & quot;
.
• Man kan ange flera trackers och flera & quot; paket servrar & quot ;. Ett paket server är en nod som är & quot; garanteras & quot; att ha den önskade filen (t.ex., frontend).
• För varje nedladdad fil, en MD5-kontrollsumma verifiering utförs. Detta detekterar fall där en inbördes kan ha skadat en fil och förhindrar den skadade filen från att sprida sig in i peer-to-peer-nätverk.
• Kanal bindning för noder nu kontrolleras av kommando Rocks linje.
• konfigurations Kanal bindning för en nod lagras i databasen och kan läggas till, tas bort eller ändras med kommandot Rocks linjen (t.ex. & quot; stenar lägga värd bundna ... & quot;). Efter kanal bindning är konfigurerad för en nod, kan det dynamiskt tillämpas genom att köra & quot; rocks synkvärd nätverk ... & quot;.
• Alla noder 'brandväggsregler styrs av kommando vaggar linjen.
• Reglerna för alla noder lagras i databasen och kan läggas till, tas bort eller ändras med kommandot Rocks linjen (t.ex. & quot; stenar öppen värd brandvägg & quot ;, & quot; stenar nära värd brandvägg & quot ;, & quot; stenar bort värd brandvägg & quot;). Efter en nod brandväggsinställningar ändras, kan de appliceras till noden on-the-fly med & quot; rocks synk värd brandvägg "hostname" & quot; (Det här kommandot kallas även när användaren utför & quot; rocks synkvärd nätverk ... & quot;).
• Införande av & quot; Air Traffic Control & quot;.
• Vi har utvecklat en tjänst som kallas & quot; Airboss & quot; som finns på den fysiska gränssnittet (i Dom0) och det gör icke-root-användare att kontrollera sina VM. Motiveringen för denna tjänst är att libvirt (en virtualiserings API skriven av RedHat som kan styra flera olika virtualiserings implementationer) antar & quot; rot & quot; tillgång till kontroll och övervakning av VMS.
• Airboss i Rocks är en liten tjänst som använder digitalt signerade meddelanden för att ge icke-root-användare tillgång till sina virtuella kluster (och endast deras virtuella kluster). Den Airboss beroende av offentliga / privata nyckelpar för att validera meddelanden. Administratören av den fysiska värd klustret måste utfärda ett enda kommando för att associera en publik nyckel med en viss virtuell kluster. Vid denna punkt, kan hela processen att driva upp, driva ner och installera en virtuell kluster styras av (godkänd) icke-root-användare.
• Förutom VM effektstyrning, vi har även lagt till möjligheten att fästa en VM konsol. Detta gör det möjligt för användare att se hela startsekvensen för en VM från och med & quot; BIOS & quot; startmeddelanden.
• Flera Rocks kommandon tillsattes för att stödja denna funktion: & quot; stenar skapa nycklar & quot; (För att skapa offentliga / privata nyckelpar), & quot; stenar som värd makt & quot; (För att driva upp / ned virtuella maskiner och våld installera en VM, besläktad med PXE uppstart en fysisk maskin), och & quot; stenar öppna värd konsol & quot; (För att fästa till en VM konsol).
• & quot; greceptor & quot; ersättas med & quot; channeld & quot;.
• Tråd protokoll för ganglierna meddelanden förändrats som krävde en omfattande översyn för att greceptor. Vi tog beslutet att skriva en enkel RPC-baserade tjänster (som heter "channeld") att ta över ansvaret för greceptor. Channeld accepterar 411-säljförfrågningar och agerar på dem med hjälp av 411-get för att ladda ner filer under kontroll av 411.
• Alla andra komponenter i 411 förblir oförändrade, bara motorn anmälan har förbättrats.
• DNS-upplösning för flera domäner.
• DNS namngivningssystem på frontend stöder nu flera zoner, där varje subnät hanteras av frontend kan sättas in i en annan zon. DNS-tjänsten kan slås på eller av för varje enskild zon.
• Logga in apparaten stöd.
• En nod kan konfigureras som en inloggnings apparaten. Som standard kan en inloggnings apparat skicka jobb, men det kan inte köra jobb.
• Ange namnet på en värdbaserad på namnet på en specifik nätverksgränssnitt.
• & quot; primary_net & quot; attribut tillåter noder att ha / bin / hostname inställd på namnet på ett nätverksgränssnitt än & quot; privat & quot ;. Detta är användbart för inloggning eller andra apparater flera gränssnitt.
• enkelt byta 2 gränssnitt med kommandot en Rocks.
• Om du vill byta inställningarna för 2 gränssnitt, köra & quot; rocks swap värdgränssnitt ... & quot;.
• Skapade en GIT slutförvar för Rocks relaterad källkod.
• Värd & quot; git.rocksclusters.org & quot; är en GIT förvaringsplats för alla kärn Rocks kod, UCSD Triton Resurs kod och Rocks contrib kod.
• Förbättringar:
• OS: Baserat på CentOS släppa 5 / uppdateringen 5 och alla uppdateringar som den 2 november 2010
.
• Base: Anaconda installations uppdaterats till v11.1.2.209
.
• Base: inte längre mappa det privata nätverket till & quot; eth0 & quot ;, istället Rocks håller reda på nätet en nod kickstarted från och kartor som nätverket till & quot; privat & quot; nätverk. Till exempel, om en nod kickstarted av & quot; eth1 & quot ;, därefter & quot; eth1 & quot; kommer att mappas till det privata nätverket.
• Base: härdat Anaconda installatören att mer aggressivt skriva grub konfigurationsfiler på startdiskett. Detta bidrar till att minska & quot; hänga samtidigt som man försöker att ladda Grub Stage2 & quot; fråga.
• Base: bort ext4 kärnmodul från installationsmiljö. Vi fann att försöka montera en swap-partition som ett ext4 filsystem ofta orsakade kernel panic under installationer.
• Bas: lagt ksdevice = bootif till alla mål PXE boot. Detta förbättrar installation hastighet genom att återanvända IP-adress / gränssnittsinformation När en nod PXE stövlar. Tidigare en nod skulle återsöka alla Ethernet-gränssnitt.
• Base: när en nod XML-fil innehåller ett syntaxfel, & quot; stenar lista värdprofil & quot; skriver ut namnet på den nod XML-fil och radnumret där syntax fel uppstod.
• Base: & quot; stenar kör värd & quot; Nu leker flera parallella trådar när flera värdar levereras. Också lagt följande parametrar:. Timeout (! Tack Tim Carlson), fördröjning, statistik, sammanställa och num-trådar
• Base: yum standardkonfiguration modifieras att binda till frontend offentliga IP i stället för den privata. Detta underlättar enkel paketinstallation för externa noder (t.ex. noder som körs på en offentlig moln).
• Base:. Obefintliga attribut anses vara falska villkors när man bygger konfigurationsfiler
• Base: & quot; föregår & quot; metod till för Rocks kommandot plugins för att möjliggöra finkornig beställning avrättnings plugin.
• Base: nätverksgränssnitt under Linux stöd 2 nya särskilda lägen: & quot; dhcp & quot; och & quot; NOREPORT & quot ;. & Quot; dhcp & quot; läge indikerar att gränssnittet ska alltid DHCP för att få sin adress. & Quot; NOREPORT & quot; läget anger att ingen & quot; ifcfg - * & quot; fil ska skrivas för gränssnittet. Om ett läge inte anges för ett gränssnitt, då Rocks kommer att skapa ett & quot; ifcfg - * & quot; ansöka om gränssnittet bygger på värderingar som i databasen (precis som det gjorde i den tidigare utgåvan).
• Base: IPMI nu använder gränssnittet kanal kolumnen i tabellen nätverk för att ange BMC controller kanalnummer
.
• Base: text inuti & quot; Ändringslogg & quot; taggar nu insvept i CDATA att tillåta XML escape-tecken. Detta stöds endast för nod XML-filer som finns inom Rolls (inte för nod XML-filer som finns under / export / stenar / install / site-profiler.
• Base: rullar kan byggas utan en fullständig kopia av Rocks källkod. De använder Rocks utvecklingsmiljö finns under / opt / stenar / share / devel på en frontend.
• Area51:. Tripwire uppdaterats till v2.4.2
• Bio:. Uppdateras CPAN moduler
• Bio:. Uppdateras CPAN MPI-Blast
• Bio:. Läggas Celera hela genomet sekvens Assembler
• Condor. Uppdaterats till v7.4.4
• Condor: automatiserad Condor konfiguration helt omformats: 1) konfigurationen är Rocks kommandot bygger i stället för fristående CondorConf verktyg, 2) stöder dynamisk uppdatering av någon / alla konfigurationer på noder, 3) den använder Rocks kommandot plugins för att möjliggöra ytterligare automatiserade condor config (t.ex. via plugin, kan det vända på MPI-stöd).
• Condor. Stöder en pool lösenord (delad hemlighet) för ytterligare värd kontroll
• Condor. Integreras med EC2 rulle att förlänga Condor pooler med EC2 värdar
• Condor: stöd till för port varierar för att underlätta konfiguration brandvägg
.
• Condor: lokal kopia av Condor s manualsidor läggs till rulla dokument
.
• Condor:. Stöd för att uppdatera Condor på noder utan ominstallation (t.ex. stenar kör värd & quot; yum uppdatering condor & quot;, stenar synkvärd condor)
• Ganglia. Monitor-core uppdaterats till v3.1.7
• Ganglia. Rrdtool uppdaterats till v1.4.4
• Ganglia. Ganglierna Roll kan nu läggas till on-the-fly till en befintlig frontend
• Ganglia: alla noder skicka ut sina metriska metadata var 3 minuter. Förr i tiden, när gmond startades på frontend, det kunde inte samla statistik från noderna eftersom det hade ingen metadata från noderna (och det inte har ett sätt att be noderna, eftersom noderna konfigureras i & quot; döv & quot;. läge)
• HPC. Iozone uppdaterats till v3.347
• HPC. Iperf uppdaterats till v2.0.5
• HPC. Mpich2 uppdaterats till v1.2.1p1
• HPC:. OpenMPI uppdaterats till v1.4.3
• HPC: rocks-openmpi är standard MPI och den är konfigurerad med mpi väljaren
.
• SGE. SGE uppdaterats till V62u5
• SGE: alla värd kan konfigureras att vara en avrättning värd genom att ställa värdens & quot; EXEC_HOST & quot; och & quot; SGE & quot; attribut till true och alla värd kan bli en inlaga värd genom att ställa värdens & quot; submit_host & quot; och & quot; SGE & quot; attribut till true.
• Webb-server. Mediawiki uppdaterats till v1.16.0
• Webb-server. Wordpress uppdaterats till v3.0.1
• Xen: varje nod kan hur värd Xen virtuella maskiner. Detta styrs med & quot; xen & quot; attribut.
• Xen: ställ in strömmen för alla noder i ett virtuellt kluster (utom VM frontend) med ett kommando (& quot; stenar som kluster makt ... & quot;). Ströminställningar kan vara & quot; på & quot ;, & quot; off & quot; eller & quot; installera & quot; (Slå på och tvinga installation).
• Xen: tillåta virtuella maskiner för att definiera VLAN taggade gränssnitt. Tidigare var VLAN-märkning stöds endast för fysiska gränssnitt.
• Buggfixar:
• Base: icke-root-användare kan inte längre se de krypterade lösenorden med "stenar lista värd attr". Hashade lösenord lagras nu i en "skugga" kolumn i attributtabellerna.
• Base: & quot;% & quot; i & quot; stenar köra värd% & quot; nu återgår alla värdar. Tack vare Tom Rockwell för fix.
• Bas: Om en Ethernet-switch skickar ut en DHCP-begäran, inte längre skickar DHCP-servern & quot; filnamn & quot; och & quot; nästa server & quot; i DHCP svaret. Detta orsakade vissa växlar inte riktigt ladda sin firmware. Mer allmänt, detta styrs av & quot; kickstartable & quot ;, & quot; dhcp_filename & quot; och & quot; dhcp_nextserver & quot; attribut.
• Base: & quot; stenar som lösenord & quot; ber användaren att bekräfta deras nya lösenord.
• Base: när en nod begär en kickstart fil och om gränssnittet bestämmer att frontend är alltför & quot; upptagen & quot ;, den kickstarting oden nu gör på rätt sätt en slumpmässig backoff innan de begär dess kickstart fil. Före denna korrigering, skulle en nod backoff i 30 sekunder.
• Base:. Flera villkors kan nu finnas i XML-taggar
• Base: fast en graf traverse fråga. I det förflutna, om du hade grafen & quot; en & quot; (Dir) & quot; b & quot; & quot; c & quot; och om & quot; dir & quot; var falsk, skulle grafen traverse inkludera & quot; en & quot; och & quot; c & quot ;. Nu är det bara innehåller & quot; en & quot;.
• Base: behörigheter som i & quot; filen & quot; tagg bevaras även om det finns andra & quot; filen & quot; taggar för samma fil som inte ställer filens behörighet. Felet var när en senare & quot; filen & quot; tagg utan en & quot; perms & quot; attribut påträffades, filens behörigheter röjdes.
• Base: & quot; fil & quot; taggar stöder nu & quot; os & quot; villkors.
• Base: i insats-etrar, apparater som är märkta & quot; inte kickstartable & quot; kommer inte att behöva vänta på en kickstart fil. Förr i tiden var man tvungen att träffa & quot; F9 & quot; (Kraft avsluta) för att avsluta skär etrar när upptäcka icke kickstartable apparater (t.ex. Ethernet-switchar).
• Base: IPMI konfiguration städas upp. Rocks inte längre genererar felaktiga poster i modprobe.conf eller / etc / sysconfig / ifcfg-IPMI.
• Bas: Den & quot; pre & quot; tagg stöder nu & quot; tolk = & quot; attribut.
• Bio: elimineras & quot; Permission Denied & quot; fel under flera körningar på samma BLAST databas av olika användare.
• SGE: gjorde samlingen jobbet metriska mer effektiv. Tidigare, när 100-tals jobb lämnas till en frontend kö skulle SGE metriska tar så lång tid att utföra, orsakade det gmond att sluta samla statistik för alla värdar.
• SGE: antalet processorer array jobb konsumerar nu korrekt räknas
.