Neue Maßstäbe für Forschungsversuche durch ausgezeichnete Datenverwaltungsdienste setzen
Seit vielen Jahren ist der Umgang mit extrem großen und wachsenden Datenmengen eine Herausforderung für wissenschaftliche Versuche, die für ihre Rechenanforderungen auf verteilte E-Infrastrukturen zurückgreifen. Neue Merkmale und Funktionalitäten müssen entwickelt und der Forschungsgemeinde bereitgestellt werden, um die dynamische Beschaffenheit und Flexibilität dieser leistungsstarken Ressourcen zu handhaben.
Datenverwaltung in stark verteilten Rechenumgebungen
Das EU-finanzierte Projekt XDC entwickelte und veröffentlichte erweiterte Datenverwaltungsdienste, die kohärent mit aktuellen und zukünftigen E-Infrastrukturen, welche in ganz Europa bereitgestellt werden, harmonisiert werden können. Hierzu zählt auch die Europäische Cloud für offene Wissenschaft (EOSC) und das Worldwide LHC Computing Grid, das von der Europäischen Organisation für Kernforschung koordiniert wird. Diese offenen, interoperablen und benutzungsfreundlichen Dienste helfen beim Aufbau einer globalen Infrastruktur für das verteilte Rechnen. Die XDC-Teammitglieder verbesserten bestehende zusammengeschlossene Datenverwaltungsdienste durch das Hinzufügen fehlender Funktionalitäten. „Neue Benutzerinnen und Benutzer bedeuten neue erforderliche Funktionalitäten“, kommentiert Projektkoordinator Daniele Cesini. „Die wesentliche Erweiterung der bereitgestellten Funktionalitäten ist von größter Bedeutung für den Aufbau von Infrastrukturen, die von Benutzergemeinschaften genutzt werden, die sich von denjenigen, die in der Vergangenheit ihre Rechenmodelle in verteilten Systemen geschaffen haben, unterscheiden.“ Die Teammitglieder erweiterten die Benutzererfahrung für den Zugriff auf Datenverwaltungsdienste, indem benutzungsfreundlichere Schnittstellen bereitgestellt wurden. Die Wissenschaftlerinnen und Wissenschaftler schufen anpassungsfähige Funktionalitäten, um die zunehmende dynamische Beschaffenheit und Flexibilität modernder E-Infrastrukturen anzugehen. „Aufgrund des Entstehens von Virtualisierungsverfahren, Cloud-Computing-Paradigmen und Infrastructure-as-a-Service- sowie Platform-as-a-Service-Orchestrierungsinstrumenten sind Ressourcen, die einst als ,Standorte‘ in E-Infrastrukturen galten, ,fließend‘ und hochdynamisch geworden“, erklärt Cesini. Standorte können mit wenigen Mausklicks in einer Geschwindigkeit, die noch vor wenigen Jahren nicht für möglich gehalten worden wäre, erstellt, zerstört, mit Infrastrukturen verknüpft und von diesen entfernt werden. Die erstellten oder verknüpften Ressourcen können außerdem heterogen sein, ohne dass es eine vordefinierte Architektur gäbe. „Doch was die Datenverwaltung anbelangt, stellt eine hohe Dynamik immense Herausforderungen an die Effizienz, Transparenz und Zuverlässigkeit“, merkt er an. XDC lieferte Datenverwaltungslösungen, um ein Rechenzentrum dynamisch auf einen externen Standort zu erweitern, damit ein transparenter bidirektionaler Zugriff auf an beiden Orten gespeicherte Daten möglich ist. Das Projekt lieferte auch Lösungen für die dynamische Integration von Standorten mit begrenzten Speicherkapazitäten, um somit einen transparenten Zugriff auf extern gespeicherte Daten zu ermöglichen.
Eine quelloffene Plattform, die für die breite Anwendung verfügbar ist
Zur Vereinfachung der Interoperabilität, Standardisierung und Anpassung verwendet die XDC-Architektur offene Standards und Protokolle auf modernen verteilten Rechenökosystemen, um zu gewährleisten, dass die herausgegebenen Komponenten einfach mit allgemeinen europäischen E-Infrastrukturen und Cloud-basierten Rechenumgebungen kompatibel sind. Die Projektpartner veröffentlichten zwei quelloffene Softwareanwendungen, die in öffentlichen und privaten Cloud-Infrastrukturen bereitgestellt werden können: XDC-1 (Codename Pulsar) und XDC-2 (Quasar). Beide basieren auf bestehenden Produktionsqualitätsdiensten, die mit neuen Funktionalitäten und Verbesserungen der Benutzerfreundlichkeit angereichert wurden, um komplexe Infrastrukturen für eine steigende Zahl von Benutzergemeinschaften bereitzustellen. Diese Bausteine wurden in einer kohärenten Architektur organisiert und es wurden mehrere Beiträge geleistet. Ein Katalog beschreibt die Dienste und die dazugehörigen neuen Funktionalitäten, die während des Projekts entwickelt und erweitert wurden. „XDC lieferte wichtige und innovative Dienste, die als Kandidaten für die Integration in den Servicekatalog des EOSC-Hub vorgeschlagen wurden“, lautet das Fazit von Cesini. Das EOSC-Hub-Projekt vereinfacht den Zugriff auf eine umfassende Auswahl an Produkten, Ressourcen und Diensten, die wichtigen paneuropäischen und internationalen Organisationen zur Verfügung gestellt werden.
Schlüsselbegriffe
XDC, Daten, Rechnen, Datenverwaltung, E-Infrastruktur, verteiltes Rechnen, XDC-1, XDC-2