Skip to main content
European Commission logo
français français
CORDIS - Résultats de la recherche de l’UE
CORDIS
CORDIS Web 30th anniversary CORDIS Web 30th anniversary

IO Software for Exascale Architecture

Description du projet

Le calcul exascale en passe de devenir réalité grâce à un système de mémoire avancé

Le projet IO-SEA, financé par l’UE, a pour ambition de proposer une nouvelle plateforme de gestion et de stockage des données destinée au calcul exascale, basée sur les magasins d’objets, la gestion hiérarchique du stockage et la fourniture à la demande de services de stockage. Cette plateforme exploitera efficacement les différentes catégories de stockage, notamment la mémoire non volatile express (NVMe) et la mémoire non volatile à accès aléatoire (NVRAM), en ayant même recours aux technologies sur bandes. L’utilisation de nœuds de données et de mécanismes d’accès éphémères devrait permettre aux utilisateurs d’exploiter le système de manière flexible à l’aide de divers paradigmes bien connus d’accès aux données. Ces ressources éphémères permettront de s’affranchir de l’approche problématique classique consistant à considérer les ressources de stockage et les composants du système comme statiques. Les méthodes de gestion des données ainsi développées pourraient être appliquées à des applications exigeantes en données sur des plateformes exaflopiques.

Objectif

IO-SEA aims to provide a novel data management and storage platform for exascale computing based on hierarchical storage management (HSM) and on-demand provisioning of storage services. The platform will efficiently make use of storage tiers spanning NVMe and NVRAM at the top all the way down to tape-based technologies. System requirements are driven by data intensive use-cases, in a very strict co-design approach. The concept of ephemeral data nodes and data accessors is introduced that allow users to flexibly operate the system, using various well-known data access paradigms, such as POSIX namespaces, S3/Swift Interfaces, MPI-IO and other data formats and protocols. These ephemeral resources eliminate the problem of treating storage resources as static and unchanging system components – which is not a tenable proposition for data intensive exascale environments. The methods and techniques are applicable to exascale class data intensive applications and workflows that need to be deployed in highly heterogeneous computing environments.

Critical aspects of intelligent data placement are considered for extreme volumes of data. This ensures that the right resources among the storage tiers are used and accessed by data nodes as close as possible to compute nodes – optimising performance, cost, and energy at extreme scale. Advanced IO instrumentation and monitoring features will be developed to that effect leveraging the latest advancements in AI and machine learning to systematically analyse the telemetry records to make smart decisions on data placement. These ideas coupled with in-storage-computation remove unnecessary data movements within the system.

The IO-SEA project (EuroHPC-2019-1 topic b) has connections to the DEEP-SEA (topic d) and RED-SEA (topic c) project. It leverages technologies developed by the SAGE, SAGE2 and NextGEN-IO projects, and strengthens the TLR of the developed products and technologies.

Coordinateur

COMMISSARIAT A L ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES
Contribution nette de l'UE
€ 683 381,25
Adresse
RUE LEBLANC 25
75015 PARIS 15
France

Voir sur la carte

Région
Ile-de-France Ile-de-France Paris
Type d’activité
Research Organisations
Liens
Coût total
€ 1 366 762,50

Participants (10)