Neuartige Datenverwaltung für Exa-Hochleistungsrechnen
Der Bedarf an Exa-Supercomputern wird immer größer, sodass der Zugang und die Arbeitslast ausgeweitet werden müssen, um mehr Nutzenden die Möglichkeit zu bieten, zunehmend vielfältige und komplexe Anwendungen auszuführen. Exa-Systeme können Milliarden Berechnungen pro Sekunde durchführen. Die Verwaltung und Speicherung all dieser Daten ist ein großes Problem: Aktuelle Speichersysteme stoßen an ihre Grenzen und die Betriebssysteme sind überlastet. „Die Anwendungen der Zukunft können nicht mit den aktuellen Speicherparadigmen ausgeführt werden“, sagt Philippe Deniel, Leiter des Storage Systems Lab an der CEA, der französischen Behörde für alternative Energie und Atomenergie. Als Projektkoordinator bei IO-SEA hat Deniel die Entwicklung und Implementierung einer neuen Softwarelösung geleitet, mit der langfristige Speicherung für die zunehmenden Datenanforderungen möglich ist. IO-SEA ist neben DEEP-SEA und RED-SEA eines von drei SEA-Projekten, in denen komplementäre Technologien für eine modulare europäische Architektur für Hochleistungsrechnen (HPC) entworfen werden sollen.
Speicherlösungen
Ein zentrales Problem beim Exa-Rechnen ist die Entwicklung der Berechnungsmethoden. Supercomputer beruhen auf Graphikprozessoren (GPU), mit denen komplexe Probleme in Tausende Aufgaben aufgebrochen werden, die gleichzeitig ausgeführt werden. Dafür ist viel Arbeitsspeicher notwendig. Die Lösung von IO-SEA (sogenannte Softwarestacks, die aus mehreren Komponenten bestehen) beruht auf der innovativen Nutzung von hierarchischem Speichermanagement (HSM), Objektspeichern und „flüchtigen“ Servern. Das IO-SEA-Team nutzt eine Datenspeicherarchitektur namens „Objektspeicher“, in der Elemente als Cluster zusammengefasst werden, wobei jeder Cluster Daten, Metadaten und eine einzigartige Kennung enthält. Das HSM ist ein mehrstufiger Speicheransatz, bei dem automatisch das beste Speichermedium für die jeweilige Anwendung bestimmt wird, seien es nichtflüchtige Speicher (NVMe) wie Solid-State-Laufwerke, nichtflüchtige, RAM-basierte Datenspeicher (NVRAM) oder sogar Bandspulen – die im Hochleistungsrechnen für die geringen Kosten und den Stromverbrauch geschätzt werden. Bei dieser mehrstufigen Struktur werden häufig aufgerufene Daten auf schnellen Medien wie NVMe gespeichert und die Bandspulen dienen als langfristiger Speicher. „Für ein wirksames HSM müssen Dateien schnell identifiziert werden“, so Deniel. „Mit unserem fortschrittlichen Kontrollmechanismus werden Daten in einer großen Datenbank gesammelt. Unsere künstliche Intelligenz greift darauf zu und gibt ausgehend vom Verhalten Nutzerempfehlungen aus.“ Jeder Speicher wird auch On Demand angeboten, mit einem dynamischen Plan zur Ausführung der Rechenaufgaben. Über ein Modul zum Ablaufmanagement werden Simulationen eingerichtet, die dann automatisch zur Ausführung auf speziellen Rechenknoten zugewiesen werden. Die Ergebnisse werden an das Speichersystem gesendet und diese Server „verschwinden“, wobei die Knoten für die nächste Aufgabe freigegeben werden.
Geteilte Ressourcen
Die Nutzenden greifen über verschiedene Middleware zum Datenzugang auf das IO-SEA-System zu, zum Beispiel über das Protokoll POSIX. Das System wurde mit verschiedenen Anwendungsfällen getestet, darunter Elektronenmikroskopie, Astrophysikprogrammen, Klimatologie und Erdsystemmodellierung (in Partnerschaft mit DEEP-SEA), Simulationen der Quantenphysik sowie Meteorologie und Wettervorhersagen in großem Ausmaß. „Wir konnten durchgehend die Möglichkeit unserer Lösung nachweisen, einen Paradigmenwechsel von statischen und unveränderlichen Speichern hin zu Speicherung als dynamischem und geteiltem Prozess zu eröffnen“, ergänzt Deniel. Die Lösung von IO-SEA wird im Rahmen des Exa-Prototyps von EUPEX eingesetzt und soll in den kommenden Jahren in Betrieb genommen werden. Die Software ist auf der Code-Sharing-Website GitHub frei verfügbar. Das Projekt wurde mit Unterstützung des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen (GU EuroHPC) durchgeführt, einer Initiative, die zur Entwicklung eines Ökosystems für Hochleistungsrechnen von Weltrang in Europa gegründet wurde. „Unsere Lösung ist zwar eine Sammlung mehrerer Produkte, die von Endnutzenden und Systementwickelnden gemeinsam entworfen wurde, doch sie stellt einen integrierten Speicherstack für die Zukunft des Exa-Rechnens dar“, schließt Deniel.
Schlüsselbegriffe
IO-SEA, GU EuroHPC, Exa, HPC, Hochleistungsrechnen, Arbeitsspeicher, Speicher, Ressourcen, Objektspeicher, hierarchisches Speichermanagement, HSM, Bandspule, NVMe
