Ende 2017 wurde HILBERT um neue GPU-Server des Herstellers SuperMicro (SuperServer 4028GR-TR2) erweitert: die Systeme eignen sich besonders für stark parallele GPU-Anwendungen, die von sehr vielen CUDA-Cores in einem System profitieren.

Die Server besitzen eine spezielle Platine mit mehreren PCI-Switches, an denen pro Server 10 Grafikkarten des Typs GTX1080Ti direkt angeschlossen sind und somit untereinander über die volle Geschwindigkeit von PCIe 3.0 x16 kommunizieren können (ohne dafür über die CPUs kommunizieren zu müssen). Zu den CPUs hin teilen sich alle GPUs danach die vier PCIe 3.0 x16-Lanes. Gleiches gilt für die Verbindung zur Mellanox-Infiniband-Karte.

Es empfiehlt sich daher, dass zu Beginn des Jobs so viele Daten wie möglich auf die GPUs geladen werden (z.B. mit entsprechenden CUDA-Funktionalitäten) und danach die Kommunikation nur noch zwischen den Karten stattfindet.

Die folgenden Programme sind bekannt dafür, dass sie auf den Systemen gut funktionieren:

Hardware

Supermicro SYS-4028GR-TR2

Jahr2017/18
CPU-Architektur

E5-2640v4 (Broadwell), 2.40GHz

Cores2x10
Peak Performance (CPU)832,0 GFLOPs (FP64, double precision)
RAM256 GB DDR4
Netzwerk

1Gbit/s Ethernet

56Gbit/s Infiniband FDR

Beschleuniger

10x Nvidia GTX 1080 Ti

11GB Memory per GPU

Peak Performance (CUDA)3.544,0 GFLOPs (FP64, double precision)
PBSaccelerator_model=gtx1080ti
Nodes13 Nodes, hilbert[300-312]