Rendre les superordinateurs européens conviviaux
Les superordinateurs sont un outil essentiel pour la science et l’industrie européennes. Ces puissantes machines peuvent simuler le climat de la Terre, modéliser le cerveau humain et concevoir des produits et des matériaux innovants pour l’industrie. Un système de calcul à haute performance (HPC) typique combine les unités centrales de traitement que l’on trouve dans tous les ordinateurs avec des accélérateurs spécialisés et une combinaison d’options de mémoire et de stockage. Si une telle approche «mixte» permet d’accroître les performances, la complexité inhérente de ces systèmes rend les superordinateurs difficiles à utiliser. Le projet DEEP-SEA a pour objectif de créer et d’intégrer des logiciels libres sur mesure afin d’aider les scientifiques et les entreprises à tirer le meilleur parti de ces puissantes machines. «Il est essentiel que l’Europe investisse dans l’amélioration des piles logicielles pour supercalculateurs afin de mieux prendre en charge ses systèmes HPC hétérogènes», déclare Estela Suarez, co-responsable de la conception de nouvelles architectures de systèmes au Centre de recherche de Jülich en Allemagne, et coordinatrice du projet DEEP-SEA. «C’était donc notre objectif: fournir une pile logicielle avancée pour les systèmes HPC européens haut de gamme (pré-exaflopique et à l’échelle exaflopique).»
L’approche DEEP-SEA
Imaginez un ordinateur doté d’un très grand nombre de cerveaux distincts et de différents types de mémoire. DEEP-SEA voulait s’assurer que tous ces éléments fonctionnent ensemble de manière homogène, en résolvant toujours les tâches de calcul complexes de la manière la plus efficace possible en termes de ressources, et en plaçant toujours les données au meilleur endroit pour y parvenir. Le consortium du projet comprenait 14 partenaires européens, chacun apportant sa propre expertise. En intégrant des outils existants et en combinant leurs fonctionnalités, ils ont pu mener un processus de développement complet basé sur une co-conception continue, les développeurs d’applications travaillant sur des cas d’utilisation réels issus de la communauté HPC européenne. La pile logicielle DEEP-SEA a été conçue autour du concept de «cycles d’optimisation». Il s’agit de flux spécifiques dans la pile qui répondent à des objectifs particuliers. Par exemple, le «cycle d’optimisation du supercalculateur modulaire» aide les utilisateurs à sélectionner les éléments de calcul les plus appropriés et à mapper leurs applications sur un système HPC modulaire en conséquence. À la fin du projet, DEEP-SEA avait fourni une pile logicielle HPC complète et intégrée comprenant des bibliothèques de bas niveau, un logiciel système, un moteur d’exécution, des environnements de programmation et des outils permettant d’améliorer les performances et la convivialité des superordinateurs à composants mixtes. En outre, le projet a également créé de la documentation et des supports de formation pour familiariser les utilisateurs finaux avec les caractéristiques et les avantages de l’utilisation de la pile et des outils DEEP-SEA, et pour les aider à naviguer et à décider lesquels utiliser en fonction de leurs applications et de leurs objectifs individuels.
Dépasser les attentes
La collaboration était essentielle, et le fait de travailler avec des projets similaires tels que IO-SEA et RED-SEA s’est avéré encore meilleur que prévu, les trois projets travaillant ensemble de manière homogène, réalisant l’intégration de leurs résultats respectifs et contribuant à faire avancer chaque ligne de développement. Estela Suarez explique l’impact de cette collaboration: «Nous ne nous attendions pas à ce que cette expérience débouche sur un grand nombre de travaux techniques. Ce fut une expérience enrichissante pour tous les projets concernés». En conséquence, DEEP-SEA a publié plus de 65 articles scientifiques de grande qualité en seulement trois ans. Cette réussite témoigne de la qualité de la recherche et du développement réalisés dans le cadre du projet.
Des logiciels pour l’avenir
Le projet a été réalisé avec le soutien de l’entreprise commune européenne pour le calcul haute performance (EuroHPC JU), une initiative mise en place pour développer un écosystème de supercalculateurs et de calcul quantique de classe mondiale en Europe. Bien que le programme DEEP-SEA ait pris fin en mars 2024, le travail est loin d’être terminé. «Une pile logicielle n’est jamais vraiment terminée, et les avancées matérielles nécessiteront des modifications et des améliorations constantes pour suivre le rythme des changements générés par la recherche en calcul intensif», conclut Estela Suarez. Le véritable succès du projet DEEP-SEA réside dans son approche participative à long terme. En combinant les outils et l’expertise existants dans l’ensemble de l’UE, DEEP-SEA a débloqué de nouvelles fonctionnalités pour le calcul de haute performance qui n’étaient pas disponibles auparavant, et a ouvert la voie à une utilisation simple et efficace des superordinateurs de l’Europe.
Mots‑clés
DEEP-SEA, EuroHPC JU, environnement de programmation, co-conception, échelle exaflopique, pile logicielle, ressource, efficace, superordinateur, HPC
