Améliorer les expériences de recherche grâce à des services de gestion des données de qualité supérieure
Depuis plusieurs années, la gestion d’un volume de données extrêmement important et toujours croissant constitue un défi pour les expériences scientifiques qui utilisent les e-Infrastructures distribuées pour leurs besoins informatiques. Afin de faire face à la nature dynamique et à la flexibilité de ces puissantes ressources, de nouvelles caractéristiques et fonctionnalités doivent être développées et mises à la disposition de la communauté des chercheurs.
Gérer les données dans des environnements informatiques hautement distribués
Le projet XDC, financé par l’UE, a développé et publié des services de gestion de données améliorés susceptibles d’être harmonisés de manière cohérente avec les infrastructures électroniques actuelles et de prochaine génération déployées dans toute l’Europe, comme le cloud européen pour la science ouverte (EOSC) et la Worldwide LHC Computing Grid coordonnée par l’Organisation européenne pour la recherche nucléaire. Ces services ouverts, interopérables et faciles à utiliser contribueront à la mise en place d’une infrastructure mondiale pour l’informatique distribuée. Les membres de l’équipe de XDC ont amélioré les services de gestion de données fédérées existants en ajoutant des fonctionnalités manquantes. «L’arrivée de nouveaux utilisateurs implique un besoin pour de nouvelles fonctionnalités», commente Daniele Cesini, coordinateur du projet. «L’extension significative des fonctionnalités proposées est de la plus haute importance pour construire des infrastructures susceptibles d’être exploitées par des communautés d’utilisateurs différentes de celles qui se sont historiquement appuyées sur des systèmes distribués pour leurs modèles de calcul.» En développant des interfaces plus conviviales, les membres de l’équipe ont également amélioré l’expérience des utilisateurs lors de l’accès à ces services de gestion de données. Les scientifiques ont mis au point des fonctionnalités adaptables afin de répondre à la nature dynamique et à la flexibilité croissante des infrastructures électroniques modernes. «Grâce à l’avènement des techniques de virtualisation, des paradigmes de l’informatique en cloud et des outils d’orchestration d’infrastructure à la demande et de plateforme à la demande, les ressources autrefois identifiées comme des “sites” dans les infrastructures électroniques sont devenues “liquides” et très dynamiques», explique Daniele Cesini. Des sites peuvent être créés, détruits, attachés et détachés de l’infrastructure en quelques clics, dans un laps de temps qui était inconcevable il y a à peine quelques années. Par ailleurs, les ressources créées ou rattachées peuvent être de nature hétérogène, sans architecture prédéfinie. «Toutefois, lorsqu’il s’agit de gestion des données, une grande dynamique pose d’énormes défis en matière d’efficacité, de transparence et de fiabilité», ajoute-t-il. XDC a développé des solutions de gestion de données qui permettent d’étendre de manière dynamique un centre de calcul à un site distant, qui fournit ensuite un accès bidirectionnel transparent aux données stockées sur les deux sites. Il a également proposé des dispositifs permettant d’inclure de manière dynamique des sites ayant une capacité de stockage limitée, offrant ainsi un accès transparent aux données stockées à distance.
Des plateformes ouvertes disponibles pour une utilisation généralisée
Pour faciliter l’interopérabilité, la normalisation et l’adoption, l’architecture XDC utilise des normes et des protocoles ouverts disponibles sur les écosystèmes informatiques distribués de pointe afin de garantir que les composants mis en circulation puissent être facilement connectés aux infrastructures électroniques européennes et aux environnements informatiques en cloud dans leur ensemble. Les partenaires du projet ont créé deux versions de logiciels à code source ouvert qui peuvent être déployés sur des infrastructures d’informatique en cloud publiques et privées: XDC-1 (nom de code Pulsar) et XDC-2 (Quasar). Toutes deux s’appuient sur des services de qualité de production existants qui ont été enrichis de nouvelles fonctionnalités et améliorés en termes de convivialité, afin de rendre les infrastructures complexes exploitables par un nombre croissant de communautés d’utilisateurs. Ils ont organisé ces éléments de base en une architecture cohérente et apporté plusieurs contributions. Un catalogue décrit les services et les nouvelles fonctionnalités connexes développées et améliorées au cours du projet. «XDC fournit des services importants et innovants qui ont été proposés comme candidats à l’inclusion dans le https://www.eosc-hub.eu/services (catalogue de service de hub-EOSC)», conclut Daniele Cesini. Le projet EOSC-hub simplifie l’accès à un ensemble complet de produits, de ressources et de services proposés par les principales organisations paneuropéennes et internationales.
Mots‑clés
XDC, données, informatique, gestion des données, e-Infrastructure, informatique distribuée, XDC-1, XDC-2