Technologie chmury obliczeniowej i big data w HPC
Coraz więcej użytkowników rozwiązań obliczeniowych o wysokiej wydajności (HPC) łączy je z infrastrukturą big data i chmurową, stosując w nich jednolite platformy i paradygmaty zarządzania. W odpowiedzi na ten trend uczestnicy unijnego projektu BRIGHT-BEYOND HPC poszerzyli funkcjonalność systemu firmy Bright Computing. Ta holenderska firma oferuje wszechstronne rozwiązania w zakresie oprogramowania do udostępniania i zarządzania klastrami HPC oraz chmurami prywatnymi OpenStack. „Dostrzegamy fakt, że wdrażanie i stosowanie tych zaawansowanych technologii nie tylko staje się coraz powszechniejsze, ale i ulega konwergencji, a ten projekt pozwolił Bright Computing na stworzenie zaawansowanej, zintegrowanej platformy zarządzania, dzięki której organizacje IT mogą zwiększyć widoczność, kontrolę i bezpieczeństwo”, mówi dr Matthijs van Leeuwen, dyrektor strategiczny w Bright Computing. Celem inicjatywy było rozwiązanie problemu zarządzania klastrami w technologiach HPC, big data/Hadoop i OpenStack poprzez opracowanie systemu Bright Beyond HPC i przygotowanie go do wprowadzenia na rynek. „Oprogramowanie Bright Cluster Manager firmy Bright Computing jest silnie obecne na rynku HPC”, tłumaczy dr van Leeuwen. „Założeniem projektu było rozszerzenie oprogramowania Bright Cluster Manager i umożliwienie stosowania go na dwóch ważnych nowych rynkach: chmury obliczeniowej i big data”. Technologia chmury Jeżeli chodzi o pierwszy z rynków, Bright Cluster Manager był wykorzystywany do zarządzania dużymi klastrami komputerów, które wspólnie rozwiązują złożone problemy naukowe, techniczne, inżynieryjne lub finansowe. Funkcjonalność produktu była jednak ograniczona, ponieważ zarządzane przez niego klastry składały się z komputerów znajdujących się fizycznie w firmie lub organizacji. Za sprawą technologii chmury obliczeniowej organizacje zaczęły przenosić coraz więcej zadań obliczeniowych do chmury. OpenStack to standardowe oprogramowanie do zarządzania chmurą, które jest szeroko stosowane w przemyśle do konfiguracji chmur prywatnych i publicznych. „Możliwość rozszerzenia lokalnego klastra Bright o chmurę OpenStack, zarówno na poziomie zewnętrznym, jak i wewnętrznym w stosunku do organizacji, jest ważnym osiągnięciem projektu”, mówi dr van Leeuwen. Jak twierdzi, umożliwia to użytkownikom łączenie klastrów komputerów znajdujących się w organizacji z komputerami dostępnymi w chmurze. Choć użytkownik używa głównie swoich własnych komputerów, w przypadku wysokiego zapotrzebowania na moc obliczeniową ma także dostęp do komputerów w chmurze, w tym usług Amazon Web Services (AWS) i Microsoft Azure (a także prywatnych i wybranych publicznych chmur OpenStack). Big data Podobnie jest w przypadku big data, gdzie duże ilości danych są tradycyjnie analizowane przy użyciu klastrów komputerów. Oprogramowanie do zarządzania i stosowania big data różni się jednak od programów używanych dla klastrów HPC, ponieważ jest ukierunkowane na przenoszenie dużych ilości danych i możliwość ich przeszukiwania (a nie wykonywania dużych ilości obliczeń). Najpopularniejszym narzędziem używanym do zarządzania klastrami danych jest Apache Hadoop, będący oprogramowaniem open source. Dzięki zintegrowaniu Hadoop z programem Bright Cluster Manager organizacje mogą teraz zarządzać klastrami zawierającymi zarówno komputery przeznaczone do HPC, jak i big data. Dzięki temu, przykładowo, organizacje badawcze mogą analizować dane doświadczalne w klastrze Hadoop i porównywać je z modelami teoretycznymi obliczanymi na komputerach HPC. „Firmy często niechętnie używają oprogramowania open source ze względu na brak profesjonalnego wsparcia technicznego”, wyjaśnia dr van Leeuwen. „Projekt BRIGHT-BEYOND HPC umożliwił objęcie tego oprogramowania wsparciem, dzięki czemu Bright Cluster Manager może być teraz używany przez organizacje, które chcą zarządzać klastrami big data, ale jednocześnie wymagają pewnego zakresu pomocy technicznej”. Kolejny poziom Jako partner europejskiej platformy technologicznej w dziedzinie systemów obliczeniowych o wysokiej wydajności (ETP4HPC), projekt BRIGHT-BEYOND HPC odgrywa istotną rolę w rozwoju technologii HPC w Europie. Oprogramowanie Bright Cluster Manager w wersji 8.1 jest przykładem tego rozwoju i jest obecnie wdrażane zarówno u dotychczasowych, jak i nowych klientów. Jednocześnie uczestnicy projektu kierują swoją uwagę ku nowym rozwiązaniom, takim jak sztuczna inteligencja.
Słowa kluczowe
BRIGHT-BEYOND HPC, Bright Computing, chmura obliczeniowa, big data, systemy obliczeniowe o wysokiej wydajności, Unia Europejska, UE