Démocratiser les mégadonnées grâce à une nouvelle plateforme pour l’informatique en nuage
Les plateformes d’analyse de données sans serveur offrent aux utilisateurs la possibilité de traiter de gros volumes d’informations, sans nécessiter de connaissance experte de la programmation en nuage. Par ailleurs, contrairement aux groupes de calcul haute performance (CHP), dont les capacités sont limitées, elles sont évolutives et disposent de ressources de calcul et de stockage massives qui permettent le traitement parallèle de téraoctets de données. Elles proposent également un mode de paiement à l’usage, les utilisateurs n’étant facturé que pour les ressources utilisées, par milliseconde, sans avoir besoin de l’assistance informatique experte requise pour les groupes CHP. «La technologie sans serveur est essentiellement susceptible de démocratiser l’analyse des mégadonnées; toute personne disposant d’un ordinateur portable et d’une connexion Wi-Fi peut tirer parti de ressources informatiques presque infinies», explique Pedro Garcia Lopez, coordinateur du projet CloudButton à l’Université Rovira i Virgili (URV), hôte du projet. CloudButton a conçu Lithops, une plateforme fonctionnant avec le même code non modifié chez différents prestataires de services en nuage, évitant ainsi aux utilisateurs d’être dépendants d’un unique fournisseur. Le partenaire du projet, IBM, commercialise déjà Lithops auprès de ses clients, et la plateforme sera adoptée par deux entreprises issues de l’essaimage de projets de biotechnologie. Sont déjà en incubation le SpaceM du Laboratoire européen de biologie moléculaire pour la recherche de nouveaux médicaments et le DATOMA Cloud de l’URV (prévu pour 2023) qui offrira des services informatiques en nuage pour les données omiques.
Un outil rapide pour les essais
L’équipe de CloudButton a démontré le potentiel de traitement de Lithops pour d’énormes volumes de données provenant de trois sources: la génomique, la métabolomique et la géomatique. Les données génomiques contenaient du texte compressé, tandis que les données métabolomiques (l’étude des molécules) et géomatiques incluaient des images très lourdes. Pour les travaux sur la métabolomique, l’EMBL a modifié une plateforme en nuage appelée METASPACE (du nom d’un projet européen antérieur) afin de la faire fonctionner sur Lithops. «Nous avons démontré que des téraoctets de données métabolomiques étaient traités efficacement, et ce dans un environnement de production auquel ont accès des centaines d’utilisateurs dans le monde entier, y compris le personnel d’organisations comme AstraZeneca», ajoute Pedro Garcia Lopez. En collaboration avec le partenaire du projet, le James Hutton Institute, l’équipe a démontré que Lithops pouvait améliorer les performances de traitement des données génomiques à moindre coût, par rapport à l’exécution des mêmes analyses à l’aide d’un groupe CHP. «Nous avons exécuté une procédure analytique appelée Variant Call Format, avec un grand ensemble de données à la fois sur Lithops et sur Illumina, une option commerciale. En trois minutes nous avons obtenu des résultats nettement supérieurs à ceux d’Illumina qui a eu besoin de 30 minutes», explique Pedro Garcia Lopez. Lithops a montré les mêmes avantages lors du traitement de données géomatiques, par rapport à l’exécution du même code dans un environnement CHP. Par ailleurs, la plateforme prend en charge un large éventail de types de données génomiques, métabolomiques et géomatiques. Elle offre également un cadre MapReduce, optimisé pour le traitement parallèle de données volumineuses. Afin que le système soit encore plus largement accessible, l’équipe a conçu la boîte à outils CloudButton, un ensemble de ressources en source ouverte pour aider les utilisateurs à migrer leurs applications vers le nuage dans différents langages de programmation tels que Python, Java ou C++.
Une croissance prête à l’emploi
L’informatique en nuage est un élément clé de la stratégie de numérisation de l’UE qui aura un impact sur de nombreuses applications de notre quotidien. L’approche de CloudButton pourrait contribuer à simplifier cette transition sans sacrifier la rentabilité. «Les PME, ou les chercheurs, qui n’ont pas les moyens de disposer de leurs propres groupes CHP ou d’experts de l’informatique en nuage pour exécuter du code, peuvent ainsi exploiter à moindre coût des milliers d’ordinateurs parallèles analysant des gigaoctets de données. Comme notre système masque efficacement le réseau distribué en arrière-plan, les utilisateurs n’ont qu’à se connecter et le tour est joué», conclut Pedro Garcia Lopez. Les avantages devraient être particulièrement ressentis dans des domaines tels que la biotechnologie et l’agrotechnologie. La boîte à outils de CloudButton est susceptible d’aider les entreprises de biotechnologie à concevoir de nouveaux médicaments, tandis que les jeunes entreprises agroalimentaires pourraient bénéficier d’analyses géospatiales issues des données du satellite Sentinel 2, pour la gestion de l’eau, par exemple. Lithops sera également une technologie clé dans trois projets à venir financés par l’UE: NEARDATA (extreme data omics), CloudSkin (edge computing) et EXTRACT (extreme geospatial data), assurant ainsi son développement continu.
Mots‑clés
CloudButton, mégadonnées, informatique en nuage, génomique, géomatique, métabolomique, code, programmation, CHP
