Nouvelle gestion des données pour les supercalculateurs à l’échelle exaflopique
À mesure que la demande de superordinateurs à l’échelle exaflopique se généralisera, les opérateurs devront augmenter la capacité d’accès et de flux de travail, afin de permettre à un plus grand nombre d’utilisateurs d’exécuter des applications de plus en plus diverses et complexes. Les systèmes exaflopique peuvent effectuer un milliard de milliards de calculs par seconde. Trouver un moyen de gérer et de stocker toutes ces données constitue un défi de taille, car les systèmes actuels atteignent leurs limites et les systèmes d’exploitation peinent à faire face aux besoins. «Les applications futures ne pourront pas fonctionner avec les paradigmes de stockage actuels», déclare Philippe Deniel, directeur du laboratoire des systèmes de stockage au sein du Commissariat à l’énergie atomique et aux énergies alternatives. En tant que coordinateur du projet IO-SEA, Philippe Deniel a dirigé le développement et la mise en œuvre d’une nouvelle solution logicielle qui offre un stockage à long terme capable de répondre aux demandes croissantes de données. IO-SEA est l’un des trois projets SEA, avec DEEP-SEA et RED-SEA, mis en place pour développer des technologies complémentaires pour une architecture européenne modulaire de calcul à haute performance (CHP).
Solutions de stockage
L’un des principaux défis de l’informatique exaflopique sera l’évolution de la manière d’effectuer les calculs. Les superordinateurs s’appuient sur des unités de traitement graphique (GPU), qui sont conçues pour décomposer les problèmes complexes en milliers de tâches à exécuter simultanément. Cela signifie qu’ils nécessitent également beaucoup de mémoire. La solution d’IO-SEA (connue sous le nom de pile logicielle, car elle comprend plusieurs composants) repose sur des utilisations innovantes de la gestion hiérarchique du stockage (HSM), de magasins d’objets et de serveurs «éphémères». IO-SEA utilise l’architecture de stockage de données connue sous le nom de «stockage d’objets», où les éléments sont organisés en groupe ou «cluster», chacun contenant des données, des métadonnées et un identifiant unique. La HSM propose une approche de stockage par niveaux qui identifie automatiquement le meilleur support de stockage pour l’application en question, qu’il s’agisse de mémoire vive non volatile express ou NVMe, comme les disques d’état solide, de mémoire vive non volatile de type NVRAM, ou même des bobines de bande - prisées dans les supercalculateurs pour leur faible coût et leur faible consommation d’énergie. Cette structure à plusieurs niveaux garantit que les données auxquelles on accède fréquemment sont conservées sur des supports rapides, tels que NVMe, tandis que les bandes font office de stockage à plus long terme. «Pour une HSM efficace, il est également important d’identifier rapidement les fichiers», note Philippe Deniel. «Notre mécanisme de surveillance avancé recueille des données dans une grande base de données, à laquelle notre système d’intelligence artificielle accède pour faire des recommandations aux utilisateurs, en fonction de leur comportement.» Enfin, chaque serveur de stockage est proposé à la demande et programmé de manière dynamique pour effectuer un travail de calcul. Les opérateurs utilisent un module de gestion des flux de travail pour mettre en place des simulations, qui sont ensuite automatiquement assignées à des nœuds de calcul dédiés. Les résultats sont envoyés au système de stockage et ces serveurs «disparaissent», les nœuds étant libérés pour l’opération suivante.
Ressources partagées
Les utilisateurs exploitent le système IO-SEA à l’aide de divers intergiciels d’accès aux données tels que POSIX, entre autres protocoles. Le système a été testé dans un certain nombre de cas d’utilisation, notamment la microscopie électronique, l’exécution de programmes d’astrophysique, la climatologie et la modélisation du système terrestre (en partenariat avec DEEP-SEA), les simulations de physique quantique, la météorologie à grande échelle et les prévisions météorologiques. «Tout au long du processus, nous avons démontré la capacité de notre solution à offrir un changement de paradigme: le stockage n’est plus statique et immuable, mais conçu comme un processus dynamique et partagé», ajoute Philippe Deniel. La solution d’IO-SEA sera déployée dans le cadre du prototype EUPEX exascale, qui sera lancé d’ici quelques années. Le logiciel a été mis à disposition gratuitement sur le site de partage de code GitHub. Le projet a été réalisé avec le soutien de l’entreprise commune pour le calcul à haute performance européen (EuroHPC), une initiative mise en place pour développer un écosystème de supercalculateurs de classe mondiale en Europe. «Bien qu’il s’agisse d’une collection de plusieurs produits, notre solution, conçue conjointement par les utilisateurs finaux et les développeurs de systèmes, introduit une pile de stockage intégrée qui montre la voie à suivre pour le calcul exaflopique», conclut Philippe Deniel.
Mots‑clés
IO-SEA, entreprise commune EuroHPC, exaflopique, CHP, supercalculateur, mémoire, stockage, ressources, magasin d’objets, gestion hiérarchique du stockage, HSM, bande, NVMe
