Lepsze usługi zarządzania danymi oznaczają wyższy poziom eksperymentów naukowych
Przez wiele lat zarządzanie niezwykle dużymi i rosnącymi ilościami danych było problemem w przypadku eksperymentów naukowych, które wykorzystują rozproszone e-infrastruktury do swoich potrzeb obliczeniowych. Aby poradzić sobie z dynamicznym charakterem i elastycznością tych olbrzymich zasobów, środowisko naukowe potrzebuje nowych funkcji obliczeniowych.
Zarządzanie danymi w wysoce rozproszonych środowiskach obliczeniowych
W ramach finansowanego przez UE projektu XDC opracowano i uruchomiono ulepszone usługi zarządzania danymi, które można zharmonizować z obecnymi i przyszłymi e-infrastrukturami wdrożonymi w całej Europie, takimi jak europejska chmura dla otwartej nauki (EOSC) oraz Worldwide LHC Computing Grid koordynowane przez Europejską Organizację Badań Jądrowych. Te otwarte, interoperacyjne i łatwe w użyciu usługi pomogą zbudować globalną infrastrukturę na potrzeby obliczeń rozproszonych. Członkowie zespołu XDC udoskonalili istniejące federacyjne usługi zarządzania danymi poprzez dodanie do nich brakujących funkcji. „Nowi użytkownicy oznaczają zapotrzebowanie na nowe funkcje”, komentuje koordynator projektu Daniele Cesini. „Znaczne poszerzenie oferowanych funkcji ma ogromne znaczenie dla zbudowania infrastruktur, które będą mogły być wykorzystywane przez społeczności użytkowników inne niż te, które dawniej opierały swoje modele obliczeniowe na systemach rozproszonych”. Członkowie zespołu poprawili dostępność takich usług zarządzania danymi poprzez zapewnienie bardziej przyjaznych interfejsów użytkownika. Stworzono adaptowalne funkcje w celu uwzględnienia coraz bardziej dynamicznego charakteru i coraz większej elastyczności nowoczesnych e-infrastruktur. „Ze względu na pojawienie się technik wirtualizacji, paradygmatów przetwarzania w chmurze oraz infrastruktury jako usługi i platformy jako narzędzi orkiestracji usług, zasoby raz zidentyfikowane jako »lokalizacje« w e-infrastrukturach stały się »płynne« i wysoce dynamiczne”, wyjaśnia Cesini. Lokalizacje można tworzyć, niszczyć, dołączać i odłączać od infrastruktury za pomocą kilku kliknięć myszką w niezwykle krótkim czasie, który był niewyobrażalny jeszcze kilka lat temu. Co więcej, tworzone lub dołączane zasoby mogą mieć niejednorodny charakter, bez zdefiniowanej wcześniej architektury. „Jednak jeśli chodzi o zarządzanie danymi, wysoka dynamika stawia ogromne wyzwania w zakresie wydajności, przejrzystości i niezawodności”, dodaje. Dzięki projektowi XDC powstały rozwiązania do zarządzania danymi umożliwiające dynamiczne rozszerzenie centrum obliczeniowego do zdalnej lokalizacji, która zapewnia przejrzysty, dwukierunkowy dostęp do danych przechowywanych w obu miejscach. Naukowcy opracowali także rozwiązania umożliwiające dynamiczne włączanie lokalizacji o ograniczonej pojemności, zapewniając tym samym przejrzysty dostęp do danych przechowywanych zdalnie.
Platformy open-source do powszechnego użytku
Aby zapewnić interoperacyjność, standaryzację i upowszechnienie architektury XDC, wykorzystuje ona otwarte standardy i protokoły dostępne w najnowocześniejszych rozproszonych ekosystemach obliczeniowych, dzięki którym wydawane komponenty mogą być łatwo podłączane do europejskich e-infrastruktur i ogólnie do środowisk obliczeniowych opartych na chmurze. Partnerzy projektu stworzyli dwa wydania oprogramowania open-source, które mogą być wdrażane w publicznych i prywatnych infrastrukturach chmury: XDC-1 (nazwa kodowa Pulsar) oraz XDC-2 (Quasar). Oba opierają się na istniejących usługach wykorzystywanych w środowiskach produkcyjnych, które zostały wzbogacone o nowe funkcje i ulepszenia w zakresie użyteczności, tak by umożliwić wykorzystywanie złożonych infrastruktur przez coraz większą liczbę społeczności użytkowników. Uczeni uporządkowali te elementy składowe w spójną architekturę i przygotowali kilka rozwiązań. Usługi i nowe związane z nimi funkcje opracowane i udoskonalone w trakcie realizacji projektu opisano w specjalnym katalogu. „Projekt XDC doprowadził do stworzenia ważnych innowacyjnych usług, które zostały zgłoszone do włączenia do katalogu usług EOSC-hub”, dodaje na koniec Cesini. Projekt EOSC-hub ułatwia dostęp do szerokiego pakietu produktów, zasobów i usług dostarczanych przez główne organizacje paneuropejskie i międzynarodowe.
Słowa kluczowe
XDC, dane, obliczenia, zarządzanie danymi, e-infrastruktura, obliczenia rozproszone, XDC-1, XDC-2
