Démocratiser l’accès au calcul haute performance
Pour que l’industrie ou les communautés scientifiques puissent tirer parti des rapides progrès de l’intelligence artificielle (IA) et de l’apprentissage automatique (AA), elles doivent pouvoir accéder à des installations de calcul haute performance (CHP) afin de traiter de grands volumes de données. Leur déploiement et leur fonctionnement sont toutefois coûteux et chronophages, et leur consommation d’énergie soulève des préoccupations environnementales. Le projet HEROES, financé par l’UE, a développé un logiciel qui met en relation les ressources de CHP et les utilisateurs, afin de leur permettre d’effectuer des simulations et des flux de travail d’AA sur la base de critères tels que le temps, le budget et l’efficacité énergétique. «Nous entrons dans une ère de choix numériques complexes où le coût de calcul par seconde est vital. Notre solution aide non seulement les utilisateurs à s’y retrouver dans les options, mais elle démocratise également le CHP, car les utilisateurs n’ont pas besoin de connaissances informatiques expertes pour en bénéficier», déclare Philippe Bricard, coordinateur du projet HEROES à l’UCIT, l’hôte du projet. HEROES a développé et testé un démonstrateur de flux de travail dans les secteurs des énergies renouvelables et manufacturier.
Simplifier les options d’infrastructure complexes
Pour les utilisateurs de technologies gourmandes en données telles que l’IA ou l’AA, choisir la meilleure option de CHP pour effectuer des simulations implique non seulement de comprendre le jargon informatique spécialisé, mais également de considérer les multiples exigences liées aux budgets, aux délais d’exécution, à la sécurité des données et à l’empreinte environnementale. La solution HEROES simplifie le processus en trouvant des choix pour les utilisateurs. Dans le prototype du projet, une fois connecté, l’utilisateur sélectionne un flux de travail ou un modèle de travail, puis saisit les paramètres de son travail (y compris les contraintes, telles que le coût). Le logiciel propose ensuite un choix entre quatre stratégies, liées aux plateformes de CHP. Une fois sélectionnée, la ressource de CHP exécute le travail et ses résultats sont renvoyés à la plateforme. Dans certains cas, la meilleure solution sera hybride, certaines ressources de calcul étant allouées en interne, d’autres en externe, en fonction des contraintes de sécurité et des besoins de l’utilisateur. «À l’avenir, notre plateforme sera adaptée à différents contextes, qu’il s’agisse d’organismes privés disposant de clusters CHP sur site et de quelques ressources dans le cloud public, ou d’accords plus élaborés avec des installations externes, une fois les problèmes d’authentification résolus», explique Philippe Bricard. «Notre ambition est de permettre aux clients d’utiliser notre plateforme pour créer et exploiter leur propre marché de CHP dédié.»
Du prototype architectural aux solutions commerciales
Le prototype du projet inclut divers modules spécifiques, principalement dédiés à: l’orchestration des flux de travail et des tâches, le transfert et le stockage des données, la tarification et la gestion des coûts, et la surveillance et l’optimisation de l’énergie. Au cœur de la solution se trouve le module de prise de décision qui communique avec les fournisseurs de services, tels que les fournisseurs de services cloud et les centres de CHP, en centralisant les informations sur le flux de travail et les options de CHP appropriées. «La plupart des projets de ce type se concrétisent par une validation du concept. Nous voulions aller plus loin et déployer des améliorations basées sur une utilisation réelle», souligne Philippe Bricard. Cela nous a permis d’intégrer un module de prise de décision dans la plateforme de science des données préexistante pour les environnements de CHP, OKA, améliorant ainsi l’efficacité de cette dernière. EAR, le logiciel système pour la gestion de l’énergie des centres de données, a également été intégré dans la plate-forme HEROES. «Un certain nombre de composants de HEROES sont déjà prêts à être intégrés dans les infrastructures de calcul actuelles par le biais de notre entreprise commerciale “Do it Now” », ajoute Philippe Bricard. Les résultats du projet, ainsi que l’expertise de ses partenaires, sont en excellente position pour contribuer à l’initiative EuroHPC Joint Undertaking, mise en place pour développer un écosystème de supercalculateurs de classe mondiale en Europe.
Mots‑clés
HEROES, intelligence artificielle, apprentissage automatique, calcul haute performance, flux de travail, efficacité énergétique, supercalculateur
