Demokratisierung des Zugangs zu Hochleistungsrechnen
Wenn Industrie und Wissenschaft von den sich schnell entwickelnden Fortschritten im Bereich der künstlichen Intelligenz (KI) und des maschinellen Lernens profitieren wollen, benötigen sie Zugang zu Hochleistungsrechenanlagen zur Verarbeitung großer Datenmengen. Die Einrichtung und der Betrieb dieser Anlagen sind jedoch kostspielig und zeitaufwändig und ihr Energieverbrauch geht mit Umweltproblemen einher. Im Rahmen des EU-finanzierten Projekts HEROES wurde eine Software entwickelt, die Hochleistungsrechenressourcen auf die Nutzenden abstimmt, damit diese Simulationen und Arbeitsabläufe des maschinellen Lernens auf der Grundlage von Kriterien wie Zeit, Budget und Energieeffizienz durchführen können. „Wir treten in eine Ära komplexer digitaler Entscheidungen ein, in der die Rechenkosten pro Sekunde entscheidend sind. Unsere Lösung hilft den Nutzenden nicht nur, sich in den Optionen zurechtzufinden, sondern demokratisiert Hochleistungsrechnen, da die Nutzenden keine speziellen IT-Kenntnisse benötigen, um davon zu profitieren“, sagt Philippe Bricard, HEROES-Projektkoordinator von UCIT, dem Projektträger. Das Team von HEROES entwickelte und testete einen Demonstrator, mit dem Arbeitsabläufe aus den Bereichen erneuerbare Energien und Fertigung erprobt werden.
Vereinfachung komplexer Infrastrukturoptionen
Für Nutzende datenintensiver Technologien wie KI oder maschinellem Lernen bedeutet die Auswahl der besten Hochleistungsrechenoption für die Durchführung von Simulationen nicht nur, dass sie den IT-Fachjargon verstehen müssen, sondern auch, dass sie mehrere Anforderungen in Bezug auf Budgets, Durchlaufzeiten, Datensicherheit und Umweltfußabdruck abwägen müssen. Die HEROES-Lösung vereinfacht den Prozess, indem sie den Nutzenden Wahlmöglichkeiten bietet. Im Prototyp des Projekts wählen sie nach der Anmeldung einen Arbeitsablauf oder eine Auftragsvorlage aus und geben dann ihre Auftragsparameter ein (einschließlich Einschränkungen wie beispielsweise Kosten). Die Software bietet dann eine Auswahl zwischen vier Strategien, die mit Hochleistungsrechenplattformen verbunden sind. Nach der Auswahl führt die Hochleistungsrechenressource den Auftrag aus und die Ergebnisse werden an die Plattform zurückgegeben. In manchen Fällen ist eine Hybridlösung am besten geeignet, bei der einige Rechenressourcen intern und andere extern zugewiesen werden, je nach den Sicherheitsvorschriften und den geschäftlichen Anforderungen der Nutzenden. „In Zukunft wird unsere Plattform an verschiedene Kontexte angepasst werden, von privaten Organisationen mit Hochleistungsrechenclustern vor Ort und einigen öffentlichen Cloud-Ressourcen bis hin zu komplexeren Vereinbarungen mit externen Einrichtungen, sobald die Authentifizierungsprobleme gelöst sind“, erklärt Bricard. „Unser Ziel ist es, Kunden in die Lage zu versetzen, unsere Plattform zu nutzen, um ihren eigenen maßgeschneiderten Hochleistungsrechen-Marktplatz aufzubauen und zu betreiben.“
Vom Architekturprototyp zur kommerziellen Lösung
Der Prototyp des Projekts umfasst eine Reihe von aufgabenspezifischen Modulen, vor allem für die Orchestrierung von Arbeitsabläufen und Aufträgen, die Datenübertragung und -speicherung, das Preis- und Kostenmanagement sowie die Energieüberwachung und -optimierung. Das Herzstück der Lösung war das Entscheidungsfindungsmodul, das mit Dienstleistern wie Cloud-Diensteanbietern und Hochleistungsrechenzentren kommuniziert und Informationen über Arbeitsabläufe und geeignete Hochleistungsrechenoptionen zentralisiert. „Die meisten Projekte dieser Art führen zu einem Konzeptnachweis. Wir wollten noch weiter gehen und tatsächlich mit der Implementierung beginnen, um Upgrades auf der Grundlage der tatsächlichen Nutzung zu iterieren“, erklärt Bricard. Das Ergebnis war eine Integration des Entscheidungsfindungsmoduls in die bereits bestehende Datenwissenschaftsplattform für Hochleistungsrechenumgebungen, OKA, wodurch deren Effizienz verbessert wurde. EAR, die Systemsoftware für das Energiemanagement von Rechenzentren wurde nun ebenfalls in die HEROES-Plattform integriert. „Eine Reihe von HEROES-Komponenten ist bereits über unser kommerzielles Projekt ‚Do it Now‘ für die Integration in bestehende Recheninfrastrukturen verfügbar“, so Bricard. Die Projektergebnisse und das Fachwissen der Partner sind bestens geeignet, um einen Beitrag zum Gemeinsamen Unternehmen für europäisches Hochleistungsrechnen zu leisten, das darauf abzielt, ein Supercomputing-Ökosystem von Weltklasse in Europa zu entwickeln.
Schlüsselbegriffe
HEROES, künstliche Intelligenz, maschinelles Lernen, Hochleistungsrechnen, Arbeitsabläufe, Energieeffizienz, Supercomputing
