An unserem Lehrstuhl wird ein aus 40 Rechenknoten bestehendes Cluster betrieben. Dieses ist sowohl für Studierende, welche am Lehrstuhl Abschluss- bzw. Projektarbeiten anfertigen, sowie für die Mitarbeiter des Lehrstuhls zugänglich. Für die faire Zuteilung von Ressourcen wird innerhalb des Clusters die Scheduling-Software OpenPBS eingesetzt.
Eigene Software kann im Home-Verzeichnis installiert und verwendet werden. Falls eigene Software nicht ausschießlich im Home-Verzeichnis installiert werden kann, so kann hierfür ein Singularity Containern betrieben werden (siehe unten).
Verfügbare Server
HOST | CPU | RAM | NVRAM | HDD | SSD | ETHERNET | INFINIBAND |
---|---|---|---|---|---|---|---|
node21 - node38 | 2x Xeon E5-2697v2 (12x 2,7 Ghz) | 128 GB | - | - | 128 GB | 1 Gbit/s | 56 Gbit/s |
node63 - node64 | Xeon E3-1220 (4x 3,1 GHz) | 32 GB | - | 1 TB | 240 GB | 1 Gbit/s | 56 Gbit/s |
node65 - node72 | Xeon E5-1650 (6x 3,5 GHz) | 64 GB | - | 1 TB | 240 GB | 1 Gbit/s | 56 Gbit/s |
node73 - node80 | Xeon E5-1650 (6x 3,5 GHz) | 64 GB | - | 1 TB | 480 GB | 1 Gbit/s | 56 Gbit/s |
node81 - node82 | Xeon Silver 4216 (16x 2,1 GHz) | 64 GB | - | 1 TB | 480 GB | 10 Gbit/s | 100 Gbit/s |
node83 - node84 | Xeon Gold 5218 (16x 2,3 GHz) | 64 GB | 128 GB | 2 TB | 480 GB | 1 Gbit/s | 100 Gbit/s |
Singularity Container
VERSION • 3.7.0
Sofern Software benötigt wird die nicht auf dem Cluster installiert ist und sich nicht im Home-Verzeichnis installieren lässt, weil beispielsweise Root-Rechte benötigt werden, so kann ein Singularity-Container verwendet werden. Hierzu ist es vorerst notwendig einen Container zu bauen. Eine Anleitung findet sich innerhalb der offiziellen Dokumentation. Da das Bauen von Containern ausschließlich mit root
-Rechten möglich ist, muss dies außerhalb des Clusters geschehen.
Alternativ ist es möglich den Container mittels eines Remote Builders in der Sylabs Cloud zu bauen. Hierfür wird ein entsprechender Account benötigt.
Nachdem der Container gebaut und auf das Cluster übertragen wurde, kann er mit den folgenden Befehlen gestartet werden.
student@node80:~/containers$ singularity shell my_custom_container.sif Singularity>
Der standarmäßig gesetzte Prompt Singularity>
kann durch setzen der SINGULARITYENV_PS1
Umgebungsvariable angepasst werden. Das folgende Beispiel ergänzt zu Anfang den Namen des Containers. Die Umgebungsvariable kann auch in ~/.bashrc
gesetzt werden.
student@node80:~/containers$ export SINGULARITYENV_PS1='(${SINGULARITY_NAME/.sif/}) \[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\]\$ ' student@node80:~/containers$ singularity shell my_custom_container.sif (my_custom_container) student@node80:~/containers$
Home-Directory / NFS
Die Daten in Ihrem Homeverzeichnis werden über das Network File System (NFS) bereitgestellt. Die Daten werden nicht durch ein Backup gesichert. Zudem ist zu beachten, dass unsere NFS-Dateisystemversion keine Sperren auf Dateien anbietet. Letzteres kann dazu führen, dass manche Software nicht ausführbar / installierbar ist, obwohl dies zu Hause auf dem Laptop geklappt hat. Das Problems mit Locks ist selten, aber falls es auftritt nicht sofort erkennbar, daher dieser Hinweis.
NVRAM
Unter Linux wird NVRAM über das Dateisystem bereitgestellt und die Anwendungen können dann Dateien mit mmap
in den Adressraum einblenden. Auf den Knoten die NVRAM haben wird der Zugriff im Dateisystem durch das Verzeichnis /mypmemfs
bereitgestellt. Hier kann jeder Benutzer Dateien erzeugen und seine Dateien lesen, schreiben und loeschen (die Berechtigungen entsprechend denen im /tmp
Verzeichnis).
Der Persistent Memory Development Kit (PMDK) mit gcc etc. wird durch folgenden Singularity Container bereitgestellt: /software/container/pmem.sif
. Um diesen zu nutzen kann eine Shell im Container gestartet werden. Hierbei ist es wichtig, dass /mypmemfs
mit dem Bind-Parameter gemountet wird.
student@node83:~$ singularity shell --bind /mypmemfs pmem.sif
Wenn Sie diesen Container erweitern möchten können Sie sich die Datei /software/container/definitions/pmem.def
herunterladen und zu Hause einen eigenen erweiterten Container zusammenbauen. Dies geht nicht direkt auf dem Cluster.