LPBS

LPBS (Lokal Bärbar Batch System) är ett verktyg för att emulera PBS på en lokal arbetsstation.
PBS / MOMENT är ett jobb schemaläggning system som används på många högpresterande datorkluster. Den LPBS Paketet innehåller verktyg för att köra PBS jobb skript på en lokal arbetsstation. Specifikt ger LPBS den lqsub kommandot som tar samma alternativ som PBS qsub kommandot och kör ett jobb skript lokalt, i en miljö nästan identisk med en som PBS / MOMENT skulle ge. Jobbet kommer att köras i bakgrunden och tilldelas ett jobb-ID. Till skillnad från PBS-systemet, kommer LPBS inte utföra någon schemaläggning, men kommer bara köra jobbet lämnats till den. LPBS ger ytterligare verktyg för att hantera löpande jobb.
Installation
LPBS kan installera från PyPi hjälp
Pip installera LPBS
Alternativt kan paketet installeras från källan med
Python setup.py installera
Konfiguration
LPBS lagrar alla sina konfiguration och driftdata i mappen som anges i miljövariabeln $ LPBS_HOME. Denna miljövariabel måste definieras. Konfigurationen är i filen lpbs.cfg inne $ LPBS_HOME. Om filen inte finns när någon av LPBS skript körs, kommer en konfigurationsfil med följande standardvärden skapas:
[Server]
# Full värdnamn för inlämning server (hostname.domain). Kommer att göras tillgängliga
# För att köra jobb via miljövariabeln PBS_SERVER. Jobb ID kommer att sluta
# I servervärdnamn
värdnamn: localhost
domain: lokal
[Nod]
# Full värdnamn av verkställigheten oden (hostname.domain). Kommer att göras tillgängliga
# För att köra jobb via miljövariabeln PBS_O_HOST. Eftersom LPBS är
# Utformad för att utföra jobb lokalt, inställningarna här bör generellt vara
# Identiska med dem i [Server] sektionen
värdnamn: localhost
domain: lokal
[LPBS]
# Inställning för jobbkörning.
# Om "username_in_jobid" är aktiverat, kommer jobb ID har formen
# 'Seqnr.user.hostname.domain "där" användare "är användarnamnet på den användare
# Lämna in jobbet.
# Filen som ges i 'sequence_file' används för att hålla reda på den "seqnr '
# Visas i jobb ID.
# Filen som ges i "loggfil" används för att logga alla LPBS evenemang. Båda
# 'Sequence_file "och" loggfil "är relativa till $ LPBS_HOME.
username_in_jobid: 0
sequence_file: sekvens
loggfil: lpbs.log
[Scratch]
# Inställningar för scratch utrymmet till jobb. 'Scratch_root' definierar en
# Plats där jobben ska skriva tillfälliga data. Om det ges som en relativ sökväg,
# Det är i förhållande till $ LPBS_HOME. Miljövariabler kommer att utökas på
# Tid jobbet underkastelse.
# Om värdet av # "create_jobid_folder" är satt till 1, en mapp med namnet på
# Den hela annonsen ID skapas inuti scratch_root. Denna mapp är automatiskt
# Raderas när jobbet avslutas, såvida "keep_scratch" är satt till 1. Om jobbet
# Misslyckades, repan kommer inte att tas bort, om inte "delete_failed_scratch" är inställd
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Anmälan]
# Inställningar för hur användaren ska meddelas om händelser som start
# Och slutet av ett jobb. Om sent_mail sätts till 1, kommer e-post skickas till
# anmälningar beroende på värdet av "-m" alternativet att lqsub. Om
# 'Send_growl "är satt till 1, är Growl (http://growl.info) används för anmälan
# På MacOS X. Anmälningar via Growl tar inte hänsyn till de "-m" alternativ
# Under jobb underkastelse.
send_mail: 0
send_growl: 0
[Mail]
# SMTP-inställningar för e-postmeddelanden. E-postmeddelanden skickas från
# Den adress som den "från" alternativet. SMTP-servern som ges i "smtp" är
# Används för att skicka e-post, om "verifiera" är satt till 1, är autentisering
# Gjort med tanke på "användarnamn" och "lösenord". Om "tls" är 1, TLS-kryptering
# Kommer att användas.
från: nobody@example.org
smtp: smtp.example.com:587
användarnamn: user
lösenord: hemligt
autentisera: 0
tls: 1
[Growl]
# Inställningar för Growl anmälningar. Meddelanden skickas till antingen
# Localhost eller en fjärrvärd via GNTP protokollet. Inställningen "hostname"
# Ger adressen och porten på Growl servern, är det givet "lösenord"
# Används för autentisering (notera att om du skickar till localhost, nej
# Autentisering är nödvändigt, och lösenordet ska vara tom). Om
# "Klibbiga" är satt till 1, kommer Growl anmälningarna vara klibbig. Det är
# Möjligt att skicka meddelanden till mer än en värd. I det här fallet, både
# "Hostname" och "lösenord" bör vara en kommaseparerad lista av värden, med
# Varje objekt som motsvarar en värd. T.ex.
# Värdnamn: localhost, remote
# Lösenord:, hemligt
värdnamn: localhost: 23053
lösenord:
klibbiga: 0
[Logga]
# 'Loggfil "anger namnet på den centrala loggfilen, i förhållande till $ LPBS_HOME.
loggfil: lpbs.log
Observera att om standard konfigurationsfil används måste miljövariabeln $ SCRATCH_ROOT definieras och katalogen den pekar på ska finnas och vara skrivbar för alla användare som kanske lämna jobb.
För ett installationssystemtäckande / var / lpbs är en lämplig plats för $ LPBS_HOME. Miljövariabeln kan ställas in i /etc/bash.bashrc för alla användare. För en installation i användarutrymme, är virtualenv rekommenderas.
Efter huvudkonfigurationsfilen, kommer filen $ HOME / .lpbs.cfg också läsas. En användare kan använda detta för att åsidosätta inställningarna i systemkonfigurationen. Slutligen har kommandot qsub också ett --config alternativ som gör det möjligt att ange ännu en ytterligare config fil som ska läsas.
Användning
LPBS innehåller skripten lqsub, lqstat och lqdel som emulera PBS / MOMENT kommandon qsub, qstat och lqdel, respektive. Den lqsub kommando används för att skicka jobb, lqstat används för att visa information om att köra jobb, och lqdel används för att avbryta kör jobb. Till exempel:
Goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
Goerz @ localhost: ~> lqstat
Jobb id Namn Användare Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 00:00:22
Goerz @ lokalvärd: ~> lqstat -f 3.localhost.local
Jobb Id: 3.localhost.local
& Nbsp; Job_Name = pbstest
& Nbsp; Job_Owner = Goerz
& Nbsp; server = localhost.local
& Nbsp; EXEC_HOST = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = Sant
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
Goerz @ localhost: ~> lqdel 3.localhost.local
Den qsub Kommandot är utformad för att förstå alla alternativ kommandoradsväljare av kommandot qsub i MOMENT version 2.18, förutom att alla alternativ som rör schemaläggning är tyst ignoreras. Därför bör alla PBS jobbskript vara submittable utan förändring. För mer information, kör lqsub, lqstat och lqdel med --help alternativet, och / eller titta på momentanvisningen.
Ett exempel Jobb Script
Följande är ett exempel på en enkel PBS jobb skript som kommer att skriva in hela miljön att jobbet ser. Du kanske vill lämna det här jobbet både med LPBS och PBS / MOMENT att kontrollera att med lämpliga inställningar i lpbs.cfg, ger LPBS en identisk miljö LPBS.
#! / Bin / bash
#PBS -N Pbstest
#PBS -j Oe
#PBS -l Noder = 1: PPN = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10MB
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Användare: $ PBS_O_LOGNAME"
echo "Batch jobb började på $ PBS_O_HOST"
echo "PBS jobb id: $ PBS_JOBID"
echo "PBS jobbnamn: $ PBS_JOBNAME"
echo "PBS arbetskatalog: $ PBS_O_WORKDIR"
echo "Job började på" `hostname`` möjliga tillfälle
echo "Current katalogen:" `pwd`
echo "PBS miljö: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Full Miljö:"
printenv
echo "################################################ #### "
echo "Jobb exekveras på följande nod:"
katt $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "Job Färdiga:" `möjliga tillfälle
exit 0

Krav :

• Python