High Performance Computing (HPC)

Illustration zum Dienst High Performance Computing HPC
Quelle: ZIM

Das ZIM betreibt einen Compute-Server für Hochleistungsrechnen (High Performance Computing, HPC) für die UP und unterstützt Angehörige der UP bei der Nutzung des Supercomputer-Systems des Norddeutschen Verbundes für Hoch- und Höchstleistungsrechnen (HLRN)

Der UP-eigene Compute-Server ist unter dem Hostnamen "orson2.rz.uni-potsdam.de" erreichbar. Es handelt sich um einen Cluster aus

  • redundant ausgelegten Head-Nodes,
  • redundant ausgelegten Fileservern mit Anbindung an das ZIM-SAN
  • mind. 6 Compute-Nodes mit aktueller CPU-Architektur
  • GPU Compute-Nodes in Planung.

Alle Knoten sind über ein schnelles Infiniband-Netzwerk miteinander verbunden.

Diese Filesysteme sind von den Head-Nodes und allen Rechenknoten erreichbar. Die Daten auf den scratch-Filesystemen werden nicht von uns gesichert, die Nutzer sind also selbst dafür verantwortlich, längerfristig benötigte Daten innerhalb von 30 Tagen zu sichern.

Die Verteilung der Rechenjobs auf die Knoten erfolgt durch das Jobsystem "SLURM" auf den Head-Nodes. Der direkte Zugriff der Nutzerinnen und Nutzer auf die Rechenknoten ist nicht möglich.

Illustration zum Dienst High Performance Computing HPC
Quelle: ZIM

Aktuelles

OpenMPI:

Dieser Bereich steht derzeit in unserem FOKUS - wir haben dort bereits einige Änderungen vorgenommen. So gibt es z. B. eine "eigene" Partition (siehe hierzu: SINFO), die sich ausschließlich mit diesem Thema beschäftigt. Die Implementierung dieser Lösung wird in Kürze auf dem gesamten Cluster zur Verfügung stehen. Hierzu werden Sie in Kürze gesondert informiert werden, sowie auch über deren Handhabung in den einzelnen Systemen - z. B. C++, R-System & python. 

Interessierte Benutzerinnen und Benutzer, die sich bei der Weiterentwicklung engagieren wollen, sind herzlich willkommen. Schreiben Sie uns hierfür. 

OpenMP:

Diese Option steht Ihnen bereits heute für die Entwicklung Ihrer Programme über die div. Compiler zur Verfügung, die Sie über die "module" sehen und aufrufen /einbinden können. Für Fragen /Hilfe stehen wir Ihnen gerne zur Verfügung. 

DeepLearning & Co.:

Auch hierzu wird es in Kürze eine "eigene" Partition geben, die sich mit der Implementierung auf unserem HPC - System beschäftigt. Hierzu werden wir die relevanten Bibliotheken, Programme zur Verfügung stellen & zur gegebener Zeit für alle Benutzerinnen und Benutzer freischalten. 

Interessierte Benutzerinnen und Benutzer, die sich bei der Weiterentwicklung engagieren wollen, sind herzlich willkommen. Schreiben Sie uns hierfür.  

Allgemein:

Wir möchten noch einmal auf das MODUL "Miscellaneous/1.0.1" hinweisen, das zwingend für die Benutzung des HPCs geladen werden muss. Hier werden systemrelevante Pfade & Variablen gesetzt, die in diesem Cluster benötigt werden. So z. B. gibt es eine Variable mit dem Namen: "HPC_Tools" (echo $HPC_Tools).

In diesem Verzeichnis finden Sie derzeit Skripte zur Benutzung von SLURM; geplant ist hier auch weiterführende Informationen, Dokumentationen zu hinterlegen. Bitte schauen Sie hier regelmäßig rein!  

Software /Anwendungen:

Sollten Sie über die Funktionalität Ihrer Software unsicher sein, z.B. ob diese OpenMP oder OpenMPI, o.ä. - fähig ist, so können Sie sich sehr gerne an uns wenden. Wir werden versuchen über den Hersteller die entsprechende Informationen zu erhalten bzw. diese Software zu analysieren. Im Zweifelsfall verwenden Sie das SLURM - Skript: "myscript-batch.1", welches Sie unter $HPC_Tools/slurm finden.

Termine:

Für Mitte Februar 2020 ist eine Schulung hinsichtlich der Nutzung vom HPC, SLURM & Co. geplant.

Weiterführende Schulungen für OpenMP oder OpenMPI und deren Anwendung sind ebenfalls geplant. 

Technische Details

Hinweise für neue Nutzerinnen und Nutzer des Compute-Servers

Informationen zur Nutzung des HLRN (Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen)