Condor

Condor nu påverkas av både den tekniska och sociologiska utmaningar sådan datormiljö,
Condor Team har byggt fantastiska verktyg som gör forskare och ingenjörer för att öka sin dator genomströmning

Vad är nytt i den här versionen:.

< li> 7.6.X är den nya stabila Condor serie.
• Många nya funktioner har lagts sedan 7.4.X.

Vad är nytt i version 7.3.2:

• utgåvan:
• Formatet på utgången från condor_status med -grid alternativet har ändrats för att ge mer användbar information.
• Tog bort newline fogas till slutet av condor_status -format utgång. Därför bör kod som tolkar utdata från kommandot nu vara försiktig när putsning den sista raden.
• Nya funktioner:
• condor_fetchlog kan nu hämta historie filer av en condor_schedd demonen. Och, kan historien filen bevaras av condor_schedd demonen nu roteras dagligen eller månatligen.
• condor_ckpt_server automatiskt rensa upp inaktuella checkpoint filer. De konfigurationsvariabler som styr detta beteende beskrivs nedan.
• condor_ckpt_server (antingen 32-bitars eller 64-bitars) körbara nu kommer att kommunicera på rätt sätt mellan 32-bitars och 64-bitars lämna noder. Om av någon chans bit bredd frågor uppstår i checkpoint-protokollet (till exempel med filstorlekar), är tydliga felmeddelanden loggas i checkpoint serverloggar.
• Den nya condor_ssh_to_job verktyget kan interaktivt felsökning av löpande jobb. Se manualsidan på [*] för detaljer.
• condor_status Kommandot är nu betydligt snabbare, särskilt med -format alternativet.
• Grid universum typ rutnät GT5 har lagts för att överlämnas till den nya Globus GRAM5 tjänsten. När en GRAM tjänst identifieras som GT5, jobmanager strypning och Grid monitorn används inte. Se avsnitt 5.3.2 för mer information.
• Grid universum typ rutnät grädde har lagts för att överlämnas till CREAM jobbtjänst gLite. Se avsnitt 5.3.8 för mer information.
• När låg på fil deskriptorer för att skapa nya nätverksuttag, den condor_schedd demonen undviker numera den obegränsade stapling av meddelanden som den skickar regelbundet till condor_negotiator och condor_startd.
• Prestanda och misslyckande hantering av Grid-skärm har förbättrats.
• För typ rutnät nordugrid i rutnätet universum, är jobbstatusinformation nu fått hjälp av NorduGrid ARC: s LDAP-server, vilket kraftigt skulle förbättra prestanda. Även Condor kan nu berätta när dessa jobb körs.
• Den nya -valgrind Alternativet att condor_submit_dag orsaker condor_submit_dag att generera en lämna beskrivning fil som använder valgrind på condor_dagman, i stället för den condor_dagman binära som sin körbar.
• condor_dagman nu lättjefullt utvärderar och öppnar nod jobbloggfiler. Istället för att analysera alla lämna beskrivningsfiler och omedelbart öppna sina angivna loggfiler vid uppstart, tolkar condor_dagman nu lämna beskrivningsfiler strax innan varje jobb skickas, och har varje loggfil öppet endast när relevanta jobben finns i kön eller utför POST skript . Dessutom condor_dagman nu genererar automatiskt en standardanvändare loggfil för varje nod jobb som inte anger något.
• Både stöd och dokumentation för MPI universum har tagits bort. MPI-program stöds genom användning av det parallella universum.
• När condor_startd demonen s test av virtuell maskin programvara inte lyckas (för maskiner konfigurerade som kan köra virtuella maskiner) kommer condor_startd regelbundet igen testet tills det lyckas.
• nordugrid_gahp begränsar nu antalet anslutningar som görs till varje NorduGrid ARC server och återanvänder anslutningar när det är möjligt.
• Inkom den ClassAd funktionen eval (), som tar en sträng argument och utvärderar innehållet i strängen som en ClassAd uttryck. Ett politiken exempel där detta är användbart beskrivs i avsnitt 3.5.9 om jobb fjädring.
• Den nya condor_q Alternativet -attributes begränsar de attribut som visas när du använder -xml eller -Long alternativ. Att begränsa antalet attribut ökar också effektiviteten av sökfrågan.
• Condor energisparfunktioner är nu genomfört som en plug-in. I synnerhet löper condor_startd nu ett externt program, såsom specificeras av konfigurationsvariabel HIBERNATION_PLUGIN, för att utföra detekteringen av tillgängliga låga effektlägen och omkopplings till dessa låga strömlägen.
• Den nya Condor demonen condor_rooster har lagts till vakna vintrande maskiner när uttrycket definieras av konfigurationsvariabel UNHIBERNATE blir sant. De konfigurationsvariabler som rör condor_rooster beskrivs i avsnitt 3.3.35.
• Lagt till möjligheten att utvinna information från användaren händelseloggen läsarens statlig buffert för användaren loggläsaren. Detta genomförs genom en ny ReadUserLogStateAccess C ++ klass enligt definitionen i read_user_log.h.
• Förändringar i värdet på konfigurationsvariabel CERTIFICATE_MAPFILE eller innehållet i filen som den hänvisar inte längre kräva en fullständig omstart av Condor. Istället kommer kommandot condor_reconfig orsaka förändringar som ska användas.
• condor_master demonen kommer nu ut vägen och argument till eventuella demoner Det börjar om D_FULLDEBUG är aktiverat. Tidigare fanns det inget sätt att få det att visa de argument som det börjar en demon.
• condor_had demonen har nu möjlighet att styra andra än condor_negotiator demoner. Detta styrs via HAD_CONTROLLEE makrot.
• Condor erkänner nu voms tillägg i X.509 proxies. De voms attributen är kodade i jobbet ClassAd skriva X509UserProxySubject.
• condor_startd kan nu rensa upp strandade virtuella maskiner, efter en olycka med Condor eller dess värdoperativsystemet.
• Efter en krasch, den condor_gridmanager inte längre startar alla jobmanagers för GT2 jobb. Detta bör förbättra återhämtningstiden.
• Condor fungerar bättre med classads kategoriserade som generiska i condor_collector demonen. Olika demoner som registrerar sig med generiska classads kan nu ha verktyg som använder -subsystem alternativet manipulera sina classads ordentligt.
• Condor ger nu en mekanism för att genomdriva strikt resurs begränsande för vissa universer kör jobb.
• Konfiguration Variabla Tillägg och ändringar:
• Den nya konfigurationsvariabel EMAIL_SIGNATURE anger en anpassad signatur som ska bifogas till e-post som skickas från Condor systemet. Om definitionen, då är denna beställnings- signaturen ersätter den förvalda anges internt. Det finns inget standardvärde för denna variabel.
• Den nya konfigurationsvariabel CKPT_SERVER_CLIENT_TIMEOUT informerar condor_schedd hur lång tid i sekunder det är villig att vänta med att försöka prata med en condor_ckpt_server process innan förklara en condor_ckpt_server ner. Se avsnitt 3.3.11 för fullständig beskrivning.
• Den nya konfigurationsvariabel CKPT_SERVER_CLIENT_TIMEOUT_RETRY informerar condor_schedd att när en condor_ckpt_server är markerats som ner, hur kan sekunder måste passera innan condor_schedd kommer att försöka kommunicera med condor_ckpt_server igen. Se avsnitt 3.3.11 för fullständig beskrivning.
• Den nya konfigurationsvariabel CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL informerar condor_ckpt_server att påbörja borttagning av inaktuella vägspärrar vid angivet intervall i sekunder. Se avsnitt 3.3.8 för fullständig beskrivning.
• Den nya konfigurationsvariabel CKPT_SERVER_STALE_CKPT_AGE_CUTOFF informerar condor_ckpt_server hur gammal en checkpoint fils åtkomsttid måste vara för att anses vara inaktuella. Den här gången jämförs den aktuella föreställningen om nu när checkpoint servern kontrollerar checkpoint bildfil. Se avsnitt 3.3.8 för fullständig beskrivning.
• Den nya konfigurationsvariabel SlotWeight kan användas för att ge en kortplats större tyngd vid beräkningen användning, datorer rättvisa aktier, och genomdriva gruppkvoter. Se 3.3.10 för fullständig beskrivning.
• Den nya konfigurationsvariabel MAX_PERIODIC_EXPR_INTERVAL genomför ett tak för tiden mellan utvärdering av periodiska uttryck, på grund av den adaptiva timing impliceras av konfigurationsvariabel PERIODIC_EXPR_TIMESLICE. Se 3.3.11 för fullständig beskrivning.
• Den nya konfigurationsvariabel GRIDMANAGER_SELECTION_EXPR kan användas för att styra hur många condor_gridmanager processer kommer att lekt att hantera rutnät universum jobb. Som en del av denna förändring, bort konfigurationsvariabel och stödja kod för GRIDMANAGER_PER_JOB eftersom den nya konfigurationsvariabel ersätter det. Se 3.3.11 för fullständig beskrivning.
• konfigurationsvariabel GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE och motsvarande gasreglage GRIDMANAGER_MAX_PENDING_SUBMITS har tagits bort.
• De nya konfigurationsvariabel GRID_MONITOR_DISABLE_TIME styr hur länge condor_gridmanager ska vänta efter att ha mött ett fel innan du försöker starta ett rutnät Övervaka jobb. Se 3.3.23 för fullständig beskrivning.
• Den nya fördefinierade konfiguration makro DETECTED_MEMORY indikerar mängden fysiskt minne (RAM) upptäcks av Condor. Värdet ges i Mbyte.
• De nya fördefinierade konfigurationsmakro DETECTED_CORES anger antalet CPU-kärnor som upptäckts av Condor.
• De nya konfigurations variabla DELEGATE_FULL_JOB_GSI_CREDENTIALS styr om en fullständig eller begränsad X.509 proxy delegeras för typ rutnät GT2 rutnät universum jobb. Se 3.3.26 för fullständig beskrivning.
• Den nya konfigurationsvariabel UNHIBERNATE används av condor_startd att annonsera i sin ClassAd ett booleskt uttryck som specificerar när maskinen ska vaknat, till exempel genom condor_rooster. Se 3.3.10 för fullständig beskrivning.
• Den nya konfigurationsvariabel HIBERNATION_PLUGIN anger sökvägen till plugin-som condor_startd använder både för att upptäcka de lågeffekttillstånd funktionerna i en maskin och att stänga av maskinen till en låg energiförbrukning. Se 3.3.10 för fullständig beskrivning.
• Den nya konfigurationsvariabel HIBERNATION_PLUGIN_ARGS anger ytterligare kommandoradsväljare som condor_startd kommer att passera till plug-in när de åberopar den att stänga av maskinen till en låg energiförbrukning. Se 3.3.10 för fullständig beskrivning.
• Den nya konfigurationsvariabel HIBERNATION_OVERRIDE_WOL kan användas för att styra condor_startd att ignorera Wake on LAN (WOL) kapacitet maskinens nätverksgränssnitt, och att byta till en lågströmsstatus även om gränssnittet inte stöder WOL, eller om WOL är inaktiverat på det. Se 3.3.10 för fullständig beskrivning.
• De nya konfigurations variabla DAGMAN_USER_LOG_SCAN_INTERVAL styr hur länge condor_dagman väntar mellan kontroll jobbloggfiler för statusuppdateringar. Se 3.3.25 för fullständig beskrivning.
• Den nya konfigurationsvariabel DAGMAN_DEFAULT_NODE_LOG anger standardloggfilen namn för den nya condor_dagman standard nod loggfil funktionen. Se 3.3.25 för fullständig beskrivning.
• Tog bort konfigurationsvariabel DAGMAN_DELETE_OLD_LOGS; ny loggfil läskoden gör det föråldrade.
• Den nya konfigurationsvariabel HAD_CONTROLLEE används för att ange namnet på den demon som de condor_had kontrollerna. Detta namn ska matcha demonen namn i condor_master s DAEMON_LIST.
• Bugs Fast:
• Fixat en bugg i ClassAd funktioner där argument som borde ha rätt tvingad till strängar istället utvärderas för FEL.
• Fixat ett förvirrande diagnosmeddelande med JobRouter, vilket hände när ett jobb togs bort inom 5 minuter efter att lämnat.
• Fixat en bugg där användningen av dynamiska slots (se avsnitt 3.13.7) orsakade maskin ClassAd skriver SLOT_STARTD_ATTRS att försvinna från ClassAd för vissa slots.
• Fixat en Windows-plattform bugg där fönster som hör till ett Condor jobb inte får en färg meddelande.
• Fixat en bugg som orsakar condor_q -analyze att krascha när det inte fanns någon condor_schedd daemon ClassAd filen.
• Fixat ett condor_procd krasch orsakas när miljön i en övervakad process översteg 1 MB / proc.
• Fixade en Windows-plattform bugg som kan orsaka att condor_credd att krascha om en begärd referens inte i lösenords butiken.
• Fixat en bugg som orsakade jobbhändelseloggen rotationslåset skapas med felaktiga behörigheter.
• Fixat en bugg i rotationen av jobbet händelselogg som kan orsaka det aldrig vridas i Windows hamn Condor.
• Fixat ett potentiellt konkurrenstillstånd i jobbhändelseloggen initiering.
• Fast race tillstånd som kan orsaka en krasch av condor_collector och condor_schedd på avstängning.
• Fixat en bugg där condor_master skulle ibland dör och producera en dprintf_failure.MASTER fil när antingen starta om på grund av nya binära tidsstämplar eller när började initialt.
• Fast en minnesläcka relaterad till SOAP konfigurationsvariabler som inträffade när Condor blev konfigureras.
• Fixat en bugg där lämna beskrivningsfilen kommando cron_day_of_week felaktigt ignorerades.
• Fixat bugg där konfigurationsvariablerna MAX_JOB_QUEUE_LOG_ROTATIONS och GRIDMANAGER_SELECTION_EXPR inte skulle fungera ordentligt vid uppstart; de bara arbetat efter en condor_reconfig.
• Fixat en bugg där SOAP verksamheten var under felaktigt godkänts med peer IP.
• Fixat en Windows-plattform bugg där inte alla Condor demoner var betrodd av Windows-brandväggen (tidigare känt som Internet Connection Firewall eller ICF).
• Fixat en avstängning konkurrenstillstånd i condor_master avseende hög tillgänglighet demoner.
• Fixat en bugg där en Condor daemon felaktigt fastställt att det hade tagit slut socket deskriptorer.
• Fixat en bugg där condor_schedd skulle blockera för mycket långa tidsperioder samtidigt som man försöker ansluta till en ned checkpoint server. Nu condor_schedd kommer att göra en blockerande kontakt med en timeout till checkpoint servern för en konfigurerbar antal sekunder. Om connect misslyckas kommer condor_schedd sätta ett moratorium för att ansluta till checkpoint servern tills de konfigurerbara moratorium passerar. Konfigurationsfilen variabler som beskriver detta beteende beskrivs ovan.
• Ändrad kontrollen att condor_dagman gör för andra condor_dagman instanser som körs samma DAG, om den finner ett lås-fil vid start. Nu, om condor_dagman är osäker på om den andra Dagman är levande, fortsätter det, snarare än spännande.
• Fast en stor filbeskrivare läcka i Stork demonen.
• Fixat en bugg där lyckade Stork överföringar markerats som misslyckades.
• Fixat ett ovanligt minnesläcka i användarhändelse loggfil läskoden när man läser dåligt formaterade händelser.
• Fixat en bugg där flera maskin classads i condor_collector med samma namn, men olika StartdIPAddr attributvärden, skulle orsaka condor_negotiator att avsluta med ett fel. Detta är ovanligt och bör inte ske i en typisk Condor installation. Den troligaste orsaken är att använda condor_advertise att annonsera anpassade classads för grid matchmaking.
• Fixat en bugg som orsakade condor_dagman till core dump om allt lämna försök misslyckades på en DAG nod har en Post Script. Denna bugg har funnits sedan Condor version 7.1.4.
• Fast en minnesläcka i condor_schedd, som inträffade när konfigurationsvariabel NEGOTIATOR_MATCH_EXPRS användes.
• Fixat en bugg i Windows-plattformen koden som behandlar skript som körbara. Okända filändelser behandlades som ett fel, snarare än som en Windows körbar.
• condor_job_router nu ställer korrekt ClassAd skriver EnteredCurrentStatus till aktuell tid när du skapar ett nytt dirigeras jobb. Tidigare kopierade detta attribut från den ursprungliga jobbet.
• condor_job_router avger ett vänligare loggmeddelande när den har påpekat att den framdragna kopia av jobbet togs bort.
• En korrigering har gjorts för ett problem ses i 7.3.1 där Condor demoner använder CCB att ansluta till andra Condor demoner skulle ibland konsumerar stora mängder CPU-tid utan goda skäl.
• Fixat ett sällsynt fel ärende bugg där försöker ansluta via CCB kunde bo i en väntande på obestämd tid.
• En Unix bara bugg orsakade Condor demoner att misslyckas att starta om MAX_FILE_DESCRIPTORS konfigurerades högre än den nuvarande hårda gräns ärvs av Condor. Om Condor körs som root, är detta inte längre fallet.
• condor_gridmanager annonserar nu rutnäts classads ordentligt när det finns flera condor_collector demoner.
• När du använder condor_q -xml och -format tillsammans för att begränsa antalet ClassAd attribut returneras i frågan, XML behållaren taggen inte genereras. Detta är fast, men nu det bästa sättet att begränsa de returnerade attribut är att använda condor_q options -attributes.
• Fixat en bugg där Unix condor_master misslyckades när man försöker starta om sig själv, om konfigurationen variabeln MASTER_LOCK definierades, eller om condor_master anropades med -t alternativet. Denna bugg har funnits sedan 7,0-serien, och troligen har funnits mycket längre än så.
• Fixat en betydande minnesläcka i gahp_server. Denna läcka var bara närvarande i tidigare Condor 7.3.x versioner.
• Fixat en bugg som kan orsaka en bort jobb som hålls och sedan släpps för att återgå till viloläge.
• De Globus jar-filer som distribueras med x86-64 RHEL 5 RPM skadades, vilket orsakar typ GT4 rutnät jobb misslyckas. Detta har nu åtgärdats.

Vad är nytt i version 7.2.2:

• Lade till en hel hamn Condor till Debian 5.0 på x86-plattformen.
• Inkom en klippt hamn Condor till Debian 5.0 på x86_64-plattformen.
• Inkom den -DumpRescue kommandoradsflagga att condor_dagman och condor_submit_dag. Denna flagga är avsedd främst för att testa.
• Utökat stöd för -debug möjlighet att condor_qedit.
• Jobb Router använder nu en tid slice timer för regelbunden utvärdering uttryck, liknande den condor_schedd demonen. Utvärderingen Intervallet styrs av konfigurationsvariabel PERIODIC_EXPR_INTERVAL och standard 60 sekunder, samma standardvärde som används av condor_schedd demonen.
• Jobb Router återställs nu käll jobbet, om ett fel inträffar när du uppdaterar condor_schedd demon för en periodisk uttryck som utvärderas till True. Den jobb periodiska uttryck bör utvärderas igen någon gång i framtiden med en lyckad uppdatering.

Vad är nytt i version 7.2.0:.

• Större funktionsförbättringar

Vad är nytt i version 7.0.5:

• Den här versionen innehåller många buggfixar och en del förbättringar att felfria hantering av lokaluniversumet jobb.
• Observera att vissa av de buggfixar är säkerhetsrelaterat; Därför platser bör antingen uppgradera eller begränsa behörigheter på vem som får lämna Condor jobb till betrodda användare.