Portare gli esperimenti di ricerca a un altro livello con servizi di gestione dei dati superiori
Per molti anni, la gestione di volumi di dati estremamente ampi e in crescita ha rappresentato una sfida per gli esperimenti scientifici che utilizzano infrastrutture digitali per le loro esigenze informatiche. Devono essere sviluppate e messe a disposizione della comunità di ricerca nuove caratteristiche e funzionalità per far fronte alla natura dinamica e alla flessibilità di queste potenti risorse.
Gestione dei dati in ambienti di calcolo altamente distribuito
Il progetto XDC, finanziato dall’UE, ha sviluppato e rilasciato servizi avanzati di gestione dei dati che possono essere coerentemente armonizzati con le infrastrutture digitali attuali e di prossima generazione distribuite in tutta Europa, quali il cloud europeo per la scienza aperta (EOSC) e il Worldwide LHC Computing Grid, coordinato dall’Organizzazione europea per la ricerca nucleare. Questi servizi aperti, interoperabili e di facile utilizzo contribuiranno a costruire un’infrastruttura globale per il calcolo distribuito. I membri del gruppo XDC hanno migliorato i servizi di gestione dei dati federati esistenti aggiungendo le funzionalità mancanti. «Nuovi utenti significano nuove funzionalità richieste», commenta il coordinatore del progetto Daniele Cesini. «Ampliare considerevolmente le funzionalità fornite è della massima importanza nella costruzione di infrastrutture che possano essere sfruttate da comunità di utenti diverse da quelle che storicamente hanno fondato i loro modelli di elaborazione su sistemi distribuiti». I membri del gruppo hanno migliorato l’esperienza utente nell’accesso a tali servizi di gestione dei dati fornendo interfacce più intuitive. Gli scienziati hanno fornito funzionalità adattabili per affrontare la crescente natura dinamica e la flessibilità delle moderne infrastrutture digitali. «A causa dell’avvento delle tecniche di virtualizzazione, dei paradigmi del cloud computing e degli strumenti di orchestrazione “servizio a livello di infrastruttura” (Infrastructure as a Service) e “servizio a livello di piattaforma” (Platform as a Service), le risorse una volta identificate come “siti” nelle infrastrutture digitali sono diventate “liquide” e altamente dinamiche», spiega Cesini. I siti possono essere creati, distrutti, collegati e scollegati dall’infrastruttura con pochi clic del mouse in un periodo di tempo inconcepibile fino a pochi anni fa. Inoltre, le risorse create o collegate possono essere di natura eterogenea, senza un’architettura predefinita. «Tuttavia, quando si tratta di gestione dei dati, un’elevata dinamicità pone enormi sfide in termini di efficienza, trasparenza e affidabilità», aggiunge. XDC ha fornito soluzioni di gestione dei dati per estendere dinamicamente un centro di elaborazione a un sito remoto che fornisce un accesso bidirezionale trasparente ai dati archiviati in entrambe le posizioni. Ha inoltre offerto soluzioni per includere dinamicamente siti con capacità di archiviazione limitata, fornendo così un accesso trasparente ai dati archiviati in remoto.
Piattaforme open source disponibili per un uso diffuso
Per agevolare l’interoperabilità, la standardizzazione e l’adozione, l’architettura XDC utilizza standard e protocolli aperti disponibili su ecosistemi di calcolo all’avanguardia per garantire che i componenti rilasciati possano essere facilmente collegati alle infrastrutture digitali europee e agli ambienti di calcolo basati su cloud in generale. I partner del progetto hanno creato due versioni di software open source che possono essere implementate su infrastrutture cloud pubbliche e private: XDC-1 (nome in codice Pulsar) e XDC-2 (Quasar). Entrambi si basano su servizi esistenti di qualità della produzione che sono stati arricchiti con nuove funzionalità e miglioramenti della fruibilità per rendere le infrastrutture complesse sfruttabili da un numero crescente di comunità di utenti. Questi elementi costitutivi sono stati organizzati inun’architettura coerente e sono stati forniti diversi contributi. Un catalogo descrive i servizi e le nuove funzionalità correlate sviluppate e migliorate durante il progetto. «XDC ha fornito servizi importanti e innovativi che sono stati proposti come candidati per l’inclusione nell’EOSC-hub Service Catalog», conclude Cesini. Il progetto EOSC-hub semplifica l’accesso a una suite completa di prodotti, risorse e servizi forniti dalle principali organizzazioni paneuropee e internazionali.
Parole chiave
XDC, dati, elaborazione, gestione dei dati, infrastruttura digitale, calcolo distribuito, XDC-1, XDC-2