Demokratyzacja dostępu do obliczeń wielkiej skali
Sektory przemysłowe oraz społeczności akademickie mogą wykorzystać możliwości rozwojowych technologii sztucznej inteligencji (SI) oraz uczenia maszynowego (ML), jednak zanim będzie to możliwe, potrzebują dostępu do systemów obliczeniowych wielkiej skali, które umożliwią im przetwarzanie ogromnych zbiorów danych. Takie systemy są jednak kosztowne, a ich konfiguracja oraz obsługa są niezwykle czasochłonne. Nie bez znaczenia jest także wysokie zużycie energii oraz związany z nim negatywny wpływ takich instalacji na środowisko. W ramach finansowanego ze środków Unii Europejskiej projektu HEROES powstało oprogramowanie, które umożliwia użytkownikom końcowych wyszukiwanie systemów obliczeniowych wielkiej skali pozwalających na przeprowadzanie symulacji i uruchamianie algorytmów uczenia maszynowego na podstawie kryteriów takich jak czas, budżet i efektywność energetyczna. „Stoimy obecnie u progu ery złożonych wyborów, w której koszt obliczeń na sekundę będzie odgrywał kluczową rolę. Nasze rozwiązanie nie tylko pomaga użytkownikom końcowym wybrać właściwą opcję, ale także demokratyzuje dostęp do obliczeń wielkiej skali – nie potrzebują bowiem specjalistycznej wiedzy informatycznej, by skorzystać z dostępnych rozwiązań”, wyjaśnia Philippe Bricard, koordynator projektu HEROES z ramienia UCIT, organizacji będącej gospodarzem projektu. Zespół projektu HEROES opracował i przetestował prototypowe rozwiązanie, które pozwala na obsługę algorytmów wykorzystywanych przez przedsiębiorstwa działające w sektorach energii odnawialnej i produkcji.
Upraszczanie złożoności infrastruktury
Użytkowanie technologii wymagających przetwarzania dużych zbiorów danych, takich jak modele sztucznej inteligencji czy algorytmów uczenia maszynowego wymaga od użytkowników wyboru najlepszych systemów obliczeniowych. To z kolei oznacza konieczność nie tylko rozumienia specjalistycznego żargonu, ale także sprawnej analizy wielu wymagań związanych z dostępnym finansowaniem, czasem realizacji, bezpieczeństwem danych i wpływem na środowisko. Rozwiązanie HEROES upraszcza ten proces, dając użytkownikom możliwość wyboru. W prototypowej wersji platformy użytkownicy logują się, a następnie wybierają rodzaj obciążenia lub szablon zadania. Po wyborze podstawowych opcji wprowadzają parametry zadania, w tym ograniczenia, takie jak koszt. Platforma oferuje następnie do wyboru cztery strategie związane z systemami obliczeń wielkiej skali. Gdy użytkownicy wybiorą jedną z opcji, wybrany system realizuje zadanie. Wyniki są przesyłane z powrotem na platformę. W niektórych przypadkach najlepszym wyborem będzie rozwiązanie hybrydowe, w ramach którego wykorzystywane są zarówno zasoby wewnętrzne organizacji, jak i systemy zewnętrzne – wszystko zależy od oczekiwań użytkownika w zakresie bezpieczeństwa i potrzeb biznesowych. „W przyszłości zamierzamy dostosować naszą platformę do nowych kontekstów i możliwości, począwszy od prywatnych organizacji dysponujących własnymi klastrami obliczeniowymi w swoich centrach danych, przez publiczne zasoby chmurowe, po bardziej złożone rozwiązania obejmujące zewnętrznych dostawców. Obecnie przeszkodę stanowi kwestia uwierzytelniania”, wyjaśnia Bricard. „Naszym celem jest umożliwienie klientom korzystania z naszej platformy w celu budowania oraz obsługi rynku obliczeń wielkiej skali dostosowanego do ich potrzeb”.
Od prototypu architektury do rozwiązań komercyjnych
W skład prototypu rozwiązania wchodzi szereg wyspecjalizowanych modułów umożliwiających wykonywanie określonych zadań, odpowiedzialnych za orkiestrację zadań oraz aplikacji, przesyłanie oraz przechowywanie danych, wycenę oraz zarządzanie kosztami, a także monitorowanie zużycia energii i jego optymalizację. Podstawą rozwiązania jest moduł decyzyjny, który odpowiada za komunikację z dostawcami usług, takimi jak operatorzy usług chmurowych oraz ośrodki posiadające systemy obliczeń wielkiej skali. Jego celem jest gromadzenie informacji na temat zadań oraz dostępnych opcji i systemów. „Większość tego rodzaju projektów kończy się opracowaniem rozwiązania, które udowadnia słuszność założeń koncepcji. My chcieliśmy pójść o krok dalej i podjąć się próby wdrożenia gotowego rozwiązania, by następnie opracowywać aktualizacje oraz wprowadzać zmiany w oparciu o dane dotyczące tego, w jaki sposób użytkownicy rzeczywiście korzystają z naszej platformy”, zauważa Bricard. Skutkiem takiego podejścia było połączenie modułu decyzyjnego z istniejącą wcześniej platformą OKA, która łączy badaczy zajmujących się analityką danych z systemami obliczeń wielkiej skali, co pozwoliło na zwiększenie jej efektywności. Oprogramowanie EAR, które jest wykorzystywane w celu zarządzania energią w centrach danych również zostało połączone z platformą HEROES. „Na obecnym etapie wiele komponentów opracowanych w ramach projektu HEROES może zostać połączone z istniejącymi infrastrukturami obliczeniowymi za pośrednictwem naszego komercyjnego przedsięwzięcia – Do it Now”, dodaje Bricard. Rezultaty projektu oraz zgromadzona przez partnerów specjalistyczna wiedza mogą przyczynić się do realizacji założeń Wspólnego Przedsięwzięcia w dziedzinie Europejskich Obliczeń Wielkiej Skali (EuroHPC), które powstało w celu rozwoju światowej klasy ekosystemu superkomputerów w Europie.
Słowa kluczowe
HEROES, sztuczna inteligencja, uczenie maszynowe, obliczenia wielkiej skali, aplikacje, efektywność energetyczna, superkomputery