Rendere i supercomputer europei di facile utilizzo
I supercomputer sono uno strumento fondamentale per la scienza e l’industria europee. Queste potenti macchine possono simulare il clima della Terra, creare modelli del cervello umano e progettare prodotti e materiali innovativi per l’industria. Un tipico sistema di calcolo ad alte prestazioni (HPC) combina le unità di elaborazione centrale presenti in tutti i computer con acceleratori specializzati e una combinazione di opzioni di memoria e archiviazione. Se da un lato questo approccio «mix and match» aumenta le prestazioni, dall’altro la complessità intrinseca rende i supercomputer difficili da usare. Il progetto DEEP-SEA si proponeva di costruire e integrare un software open-source su misura per aiutare scienziati e aziende a sfruttare al meglio queste potenti macchine. «È fondamentale che l’Europa investa nel miglioramento degli stack di software dei supercomputer per supportare meglio i suoi eterogenei sistemi HPC», afferma Estela Suarez, co-responsabile della progettazione di nuove architetture di sistema presso il Centro di ricerca di Jülich, in Germania, e coordinatrice del progetto DEEP-SEA. «Il nostro obiettivo era quindi quello di fornire uno stack di software avanzato per i sistemi HPC europei di fascia alta (pre- ed esascala)».
L’approccio DEEP-SEA
Immaginate un computer con un numero enorme di cervelli separati e diversi tipi di memoria. DEEP-SEA voleva garantire che tutte queste parti lavorassero insieme senza soluzione di continuità, risolvendo sempre compiti di calcolo complessi nel modo più efficiente in termini di risorse e collocando sempre i dati nel punto migliore per raggiungere questo obiettivo. Il consorzio del progetto comprendeva 14 partner europei, ognuno dei quali ha apportato le proprie competenze. Integrando gli strumenti esistenti e combinando le loro funzionalità, è stato possibile condurre un processo di sviluppo completo guidato da una continua co-progettazione, con gli sviluppatori dell’applicazione all’opera su casi d’uso reali della comunità HPC europea. Lo stack di software DEEP-SEA è stato costruito attorno al concetto di «cicli di ottimizzazione». Si tratta di flussi specifici nello stack che rispondono a obiettivi particolari. Ad esempio, il «ciclo di ottimizzazione del supercalcolo modulare» assiste gli utenti nella scelta degli elementi di calcolo più appropriati e nella mappatura delle loro applicazioni su un sistema HPC modulare. Alla fine del progetto, DEEP-SEA ha fornito uno stack di software HPC completo e integrato che comprendeva librerie di basso livello, software di sistema, runtime, ambienti di programmazione e strumenti per migliorare le prestazioni e l’usabilità dei supercomputer con componenti misti. In aggiunta, il progetto ha anche creato documentazione e materiali di formazione per far conoscere agli utilizzatori finali le caratteristiche e i vantaggi dell’uso dello stack e degli strumenti DEEP-SEA e per aiutarli a orientarsi e a decidere quali utilizzare a seconda delle applicazioni e degli obiettivi individuali.
Superare le aspettative
La collaborazione è stata fondamentale e lavorare con progetti simili come IO-SEA e RED-SEA ha portato a risultati migliori del previsto: tutti e tre i progetti hanno lavorato insieme senza problemi, ottenendo l’integrazione dei rispettivi risultati e contribuendo a spingere ulteriormente ogni linea di sviluppo. Suarez spiega l’impatto di questa collaborazione: «La grande quantità di lavoro tecnico che è scaturita da questa esperienza non ce l’aspettavamo. È stata un’esperienza di arricchimento per tutti i progetti coinvolti.» Il risultato è stato la pubblicazione da parte di DEEP-SEA di oltre 65 articoli scientifici di alta qualità in soli tre anni. Questo risultato testimonia la qualità della ricerca e dello sviluppo del progetto.
Software per il futuro
Il progetto è stato condotto con il sostegno dell’impresa comune per il calcolo ad alte prestazioni europeo (impresa comune EuroHPC), un’iniziativa creata per sviluppare un ecosistema di supercalcolo e di calcolo quantistico di livello mondiale in Europa. Sebbene il progetto DEEP-SEA si sia concluso nel marzo 2024, il lavoro è tutt’altro che finito. «Uno stack di software non è mai veramente finito e i progressi dell’hardware richiederanno modifiche e miglioramenti continui per tenere il passo con il ritmo dei cambiamenti generati dalla ricerca HPC», conclude Suarez. Il vero successo del progetto DEEP-SEA risiede nel suo approccio partecipativo a lungo termine. Combinando gli strumenti e le competenze esistenti in tutta l’UE, DEEP-SEA ha sbloccato nuove funzionalità per l’HPC che prima non erano disponibili e ha aperto la strada a un uso semplice ed efficiente dei supercomputer europei.
Parole chiave
DEEP-SEA, impresa comune EuroHPC, ambiente di programmazione, co-progettazione, esascala, stack di software, risorse, efficiente, supercomputer, HPC
