Expansion du HPC vers l’informatique en cloud et les mégadonnées
Un nombre croissant d’utilisateurs de calcul de haute performance (HPC) associent le HPC aux mégadonnées et à l’infrastructure en cloud en vue de l’utilisation des plates-formes et des paradigmes de gestion communs. En réponse à cette demande, le projet BRIGHT-BEYOND HPC, financé par l’UE, a amélioré les capacités de Bright Computing. Cette entreprise néerlandaise fournit des solutions logicielles complètes pour le provisionnement et la gestion des clusters HPC et des clouds privés OpenStack. «Nous reconnaissons que le déploiement et l’utilisation de ces technologies avancées non seulement se développent, mais aussi convergent, et que ce projet a permis à Bright Computing de fournir une plate-forme de gestion puissante, intégrée et unique qui aide les organisations informatiques à gagner en visibilité et en tranquillité d’esprit», déclare le Dr Matthijs van Leeuwen, directeur de la stratégie chez Bright Computing. Le projet avait pour but de résoudre le problème de la gestion des clusters HPC, des mégadonnées/Hadoop et de l’informatique en cloud OpenStack, en développant et en commercialisant Bright Beyond HPC. «Le produit Bright Cluster Manager de Bright Computing est très présent sur le marché HPC», souligne le Dr van Leeuwen. «L’objectif de ce projet était de vulgariser Bright Cluster Manager et de le rendre utilisable dans deux importants marchés émergents, à savoir l’informatique en cloud et les mégadonnées.» L’informatique en cloud Au tout début, Bright Cluster Manager était utilisé pour gérer de grands clusters d’ordinateurs qui, ensemble, résolvent des problèmes complexes dans les domaines de la science, la technique, l’ingénierie ou la finance. Cependant, la fonctionnalité du produit était limitée car les clusters gérés par le produit étaient composés d’ordinateurs physiques se trouvant au sein de l’entreprise ou de l’organisation. Avec l’émergence de l’informatique en cloud, les acteurs du secteur pratiquaient de plus en plus leur informatique «dans le cloud». OpenStack est un logiciel standard de gestion en cloud largement utilisé par les industries pour la configuration des clouds publics et privés. «La possibilité de passer d’un cluster Bright sur site à un cloud OpenStack, à la fois interne et externe à une organisation, est une réalisation majeure de ce projet», explique le Dr van Leeuwen. Selon lui, cette solution permet à un utilisateur de connecter des clusters d’ordinateurs à l’intérieur d’une organisation à d’autres ordinateurs disponibles en cloud. Bien que l’utilisateur puisse réaliser cette opération principalement à partir de son propre ordinateur, en cas de besoins en calcul élevé, il a également accès aux ordinateurs se trouvant en cloud, notamment Amazon Web Services (AWS) et Microsoft Azure Clouds (en plus des clouds OpenStack publics et privés sélectionnés). Les mégadonnées De même, avec les mégadonnées, les grandes quantités de données étaient habituellement analysées par des clusters d’ordinateurs. Cependant, le logiciel de gestion et d’application en charge des mégadonnées est différent de ce qui est utilisé pour les clusters HPC, car il permet d’effectuer le transfert de grandes quantités de données et des recherches dans ces données (plutôt que de faire beaucoup de calculs). L’outil principal utilisé pour la gestion des clusters de mégadonnées est Apache Hadoop, un logiciel Open Source. En intégrant Hadoop dans Bright Cluster Manager, les organisations peuvent désormais gérer des clusters de systèmes comprenant à la fois des ordinateurs HPC et des mégadonnées. Cette solution peut être utilisée, par exemple, par des organisations spécialisées dans la recherche qui analysent des données expérimentales dans un cluster Hadoop et les comparent à des modèles théoriques calculés à partir d’ordinateurs HPC. «L’industrie est souvent réfractaire à l’utilisation des logiciels libres en raison du manque de soutien professionnel», poursuit le Dr van Leeuwen. «BRIGHT-BEYOND HPC a doté ce logiciel d’un soutien industriel, de sorte que Bright Cluster Manager puisse désormais être utilisé par les organisations qui souhaitent gérer des clusters de mégadonnées, mais qui nécessitent également un certain soutien.» L’échelon supérieur En tant que partenaire de la plate-forme technologique européenne pour le calcul de haute performance (ETP4HPC), le projet BRIGHT-BEYOND HPC joue un rôle capital dans le sens où il fait passer le HPC à un échelon supérieur en Europe. La version 8.1 du logiciel Bright Cluster Manager constitue donc cet échelon supérieur et est en cours de déploiement pour les clients existants et nouveaux. Entre temps, les travaux se poursuivent, les chercheurs du projet se tournant vers de nouvelles découvertes, notamment l’intelligence artificielle.
Mots‑clés
HPC BRIGHT-BEYOND, Bright computing, informatique en cloud, mégadonnées, calcul de haute performance, Union européenne UE