Das Batchsystem verwaltet die eingegangenen Arbeitsaufträge und startet die Ausführung auf den eigentlichen Rechenknoten des Clusters.
Die folgende Abbildung gibt einen Überblick über den gesamten Arbeitsablauf eines Arbeitsauftrags auf Hilbert.
- Die Entwicklung der Programme bzw. Skripte und gegebenenfalls das Datenmanagement findet in der Regel auf dem eigenen Rechner statt.
- Die Programme/Skripte und Daten werden auf den Festplattenspeicher des Login-Knoten übermittelt.
- Ein Shell-Skript wird an das Batchsystem geschickt. Dieses Skript enthält sowohl Meta-Informationen zum Auftrag, als auch den eigentlichen Auftrag in Form eines Skripts oder eines Programmaufrufs.
- Das Batchsystem sortiert es gemäß spezieller Kriterien den Arbeitsauftrag in Warteschlangen ein, konfiguriert gemäß der Meta-Informationen den angefragten virtuellen Rechner und startet die Bearbeitung.
- Während der Bearbeitungszeit kann entweder über das Batchsystem oder über das Monitoring-Tool "myJam" der Status des Auftrags überwacht werden.
Das Batchsystem ist zentraler Bestandteil der Arbeit mit Hilbert. Es nimmt die Arbeitsaufträge der Nutzer entgegen, plant deren Ausführung, konfiguriert die virtuellen Rechner und starte die Jobs.
Die Kommunikation mit dem Batchsystem geschieht über spezielle Konsolen-Befehle. Die folgende Liste führt die am häufigsten verwendeten Befehle auf:
Ein Arbeitsauftrag an das Batchsystem senden:
qsub SHELL-SCRIPT
"SHELL-SCRIPT" bezeichnet hier den Namen des entsprechenden Skripts, dass die Meta-Informationen und die eigentliche Befehle bzw. Programmaufrufe des Arbeitsauftrags umfassen. Die Inhalte und Struktur eines solchen Skripts wird weiter unten besprochen. Als Rückantwort des qsub Befehls wir Ihnen die Job-ID mitgeteilt mit deren Hilfe Sie den Status des Arbeitsauftrags überwachen können.
Einen bereits übermittelten Arbeitsauftrag (gegebenenfalls anhalten und) löschen:
qdel JOB-ID
"JOB-ID" bezeichnet die Job-ID Ihres Arbeitsauftrags, die Ihnen beim übermitteln des Arbeitsauftrags zugeteilt wurde (siehe "qsub").
Statusinformationen abrufen:
qstat -f JOB-ID qstat -u ACCOUNT-NAME qstat -q
In der ersten Zeile werden Informationen zu einem konkreten Arbeitsauftrag abgerufen. In der zweiten Zeile werden Informationen zu allen Arbeitsaufträgen, die unter Ihrem Namen übermittelt wurden, abgefragt. In der letzten Zeile wird der Status (Auslastung, etc) der Warteschlangen des Batchsystems ausgelesen.
