Przyjazne dla użytkowników europejskie superkomputery
Superkomputery są narzędziem niezbędnym dla europejskiej nauki i przemysłu. Te potężne urządzenia są w stanie symulować ziemski klimat, modelować ludzki mózg i projektować innowacyjne produkty i materiały dla przemysłu. Typowy system obliczeń wielkiej skali (HPC) łączy w sobie jednostki centralne znajdujące się we wszystkich komputerach z wyspecjalizowanymi akceleratorami oraz kombinacją pamięci i magazynów danych. Mieszanka taka pozwala uzyskać wysoką wydajność, ale jednocześnie sprawia, że superkomputery są trudne w użyciu. Projekt DEEP-SEA miał na celu zbudowanie i zintegrowanie indywidualnie konfigurowanego oprogramowania open-source, które ma pomóc naukowcom i firmom w jak najlepszym wykorzystaniu superkomputerów. „Niezwykle ważne jest, aby Europa inwestowała w ulepszanie stosów oprogramowania do superkomputerów, tak by lepiej wspierały one heterogeniczne systemy HPC”, mówi Estela Suarez, liderka projektu nowej architektury systemu w Centrum Badawczym Jülich w Niemczech i koordynatorka projektu DEEP-SEA. „Taki był nasz cel: dostarczenie zaawansowanego stosu oprogramowania na potrzeby wysokiej klasy (pre- i eksaskalowych) europejskich systemów HPC”.
Podejście w projekcie DEEP-SEA
Wyobraźmy sobie komputer z ogromną liczbą oddzielnych procesorów i różnymi rodzajami pamięci. Zespół DEEP-SEA postanowił zadbać, aby wszystkie te części płynnie ze sobą współpracowały, zawsze rozwiązując złożone zadania obliczeniowe w sposób najbardziej efektywny pod względem zasobów i zawsze umieszczając dane w najlepszym miejscu, które pozwala to osiągnąć. W skład konsorcjum projektu weszło 14 europejskich partnerów, z których każdy wniósł własną wiedzę i doświadczenie. Dzięki wykorzystaniu istniejących narzędzi i połączeniu ich różnych funkcjonalności, a także posłużeniu się metodami ciągłego współprojektowania mogło ono przeprowadzić kompleksowy proces rozwojowy, w ramach którego programiści pracowali nad rzeczywistymi przypadkami użycia z europejskich systemów HPC. Stos oprogramowania DEEP-SEA został zbudowany wokół koncepcji „cykli optymalizacyjnych”. Oznaczają one określone przepływy w stosie, które są poświęcone konkretnym zadaniom. Na przykład „cykl optymalizacji modułowych superkomputerów” pomaga użytkownikom w wyborze najbardziej odpowiednich elementów obliczeniowych i odpowiednim mapowaniu ich aplikacji na modułowy system HPC. Do końca realizacji projektu DEEP-SEA jego uczestnikom udało się opracować kompleksowy, zintegrowany stos oprogramowania HPC, który obejmował biblioteki niskiego poziomu, oprogramowanie systemowe, środowisko uruchomieniowe, środowiska programistyczne i narzędzia w celu poprawy wydajności i użyteczności superkomputerów z mieszanymi komponentami. Ponadto w ramach projektu przygotowano dokumentację i materiały szkoleniowe pozwalające zapoznać użytkowników końcowych z funkcjami i korzyściami płynącymi z korzystania ze stosu i narzędzi DEEP-SEA oraz pomóc im w poruszaniu się po nich i decydowaniu, których z nich użyć w zależności od ich indywidualnych zastosowań i celów.
Wyniki przekraczające oczekiwania
Współpraca z podobnymi projektami, takimi jak IO-SEA i RED-SEA, okazała się nawet bardziej owocna niż oczekiwano, pozwalając na integrację ich wyników i przyczyniając się do rozwijania obranych przez nie linii badań. Suarez wyjaśnia efekty tej współpracy w następujący sposób: „Zaskoczył nas duży zakres prac technicznych, który wynikł z tej kooperacji. Było to wzbogacające doświadczenie dla wszystkich użytkowników zaangażowanych projektów”. W projekcie DEEP-SEA opublikowano ponad 65 wartościowych artykułów naukowych w ciągu zaledwie trzech lat. Osiągnięcie to świadczy o jakości badań i prac rozwojowych prowadzonych w jego ramach.
Oprogramowanie opracowane z myślą o przyszłości
Projekt został zrealizowany przy wsparciu ze Wspólnego Przedsięwzięcia w dziedzinie Europejskich Obliczeń Wielkiej Skali (Wspólne Przedsięwzięcie uroHPC), inicjatywy utworzonej w celu stworzenia w Europie światowej klasy ekosystemu superkomputerów. Mimo formalnego zakończenia projektu DEEP-SEA w marcu 2024 r. jego prace nadal trwają. „Stos oprogramowania nigdy nie jest tak naprawdę ukończony, a sprzęt będzie wymagał ciągłych modyfikacji i ulepszeń, aby nadążyć za tempem zmian w badaniach HPC”, podsumowuje Suarez. Szczególna wartość projektu DEEP-SEA wiąże się z jego długoterminowym, partycypacyjnym podejściem. Łącząc istniejące narzędzia i wiedzę specjalistyczną w całej UE, zespół DEEP-SEA doprowadził do stworzenia nowych funkcji HPC, które wcześniej były niedostępne, i utorował drogę do prostszego i efektywnego wykorzystania europejskich superkomputerów.
Słowa kluczowe
DEEP-SEA, Wspólne Przedsięwzięcie EuroHPC, środowisko programowania, współprojektowanie, eksaskala, stos oprogramowania, zasoby, efektywne, superkomputer, HPC
