Migliorare l’accesso ai supercomputer per potenziare la meteorologia, la progettazione di motori e la riduzione delle catastrofi
La capacità europea di calcolo ad alte prestazioni (HPC) presto raggiungerà velocità su esascala, con sistemi più potenti di 1 milione di computer portatili tra i più veloci. Ciò consentirà un’ampia gamma di innovazioni di prossima generazione. Le attività odierne ad alta intensità di dati, come le previsioni meteorologiche, dipendono da flussi di lavoro pesanti dal punto di vista computazionale che combinano modelli e simulazioni e nuove analisi dei dati con modelli linguistici di grandi dimensioni di intelligenza artificiale (IA). Gli attuali flussi di lavoro e gli strumenti associati, progettati per l’uso in supercomputer meno potenti, dovranno probabilmente essere adattati a queste nuove macchine. «I modelli di programmazione e gli strumenti delle applicazioni alla base di molti flussi di lavoro attuali sono diversi, quindi dobbiamo semplificare il modo in cui lavorano insieme», spiega Rosa Badia del Centro di supercalcolo di Barcellona e coordinatrice del progetto eFlows4HPC. Il progetto ha chiamato il suo approccio «flusso di lavoro HPC come servizio» in quanto la sua soluzione software, ospitata su una piattaforma di facile utilizzo, integra perfettamente varie applicazioni. «Il nostro approccio - che prima non era possibile - ha semplificato l’accesso ai sistemi HPC, aprendoli a utenti non esperti, diffondendo le opportunità scientifiche, sociali e industriali del supercalcolo», afferma Badia. Finora, grazie a questo approccio, è stato possibile generare oltre 30 pubblicazioni scientifiche e un libro bianco sulle politiche sui rischi naturali.
Sotto il cofano
Il progetto eFlows4HPC ha aggiunto nuove funzionalità agli strumenti esistenti, supportando flussi di lavoro HPC più ampi e complessi e tecnologie all’avanguardia come l’IA e i megadati. Il cuore della soluzione è costituito da una serie di componenti software, noti collettivamente come stack di software, che implementano flussi di lavoro basati su HPC, dall’inizio alla fine. In primo luogo, le varie applicazioni del flusso di lavoro - come i simulatori, l’elaborazione dei dati e le previsioni di apprendimento automatico - sono sviluppate utilizzando un ambiente di programmazione PyCOMPSs. Le pipeline di dati sono inoltre impostate per coordinare la gestione dei dati del flusso di lavoro, combinando questi aspetti computazionali e di gestione dei dati del flusso di lavoro. Infine, tutto ciò che serve per eseguire il software viene incapsulato in un file contenitore e installato sul sistema HPC. Gli utenti possono quindi eseguire i loro flussi di lavoro utilizzando un’interfaccia dedicata.
Test con comunità di utenti diverse
Per dimostrare il potenziale del loro approccio, il team ha condotto tre esperimenti su casi d’uso con comunità di utenti molto diverse. Il primo caso d’uso creato è un gemello digitale dei processi e delle risorse del settore manifatturiero che simula esperimenti con vari scenari di ricerca e sviluppo in modo economicamente vantaggioso. Ad esempio, un partner del progetto, CIMNE, ha collaborato con Siemens per produrre un modello di motore elettrico in grado di evitare il surriscaldamento. Poiché questa partnership ha prodotto risultati incoraggianti, CIMNE intende ora creare una società spin-off per sfruttare questi risultati. Il secondo si è concentrato sulla modellizzazione del sistema Terra, utilizzando due flussi di lavoro basati sull’intelligenza artificiale per aumentare l’efficienza dei modelli del sistema Terra e dei modelli di previsione dei cicloni tropicali del Pacifico settentrionale. Queste simulazioni potrebbero in ultima analisi contribuire a migliorare i sistemi globali di allerta precoce, adattamento e mitigazione. Poiché entrambi i flussi di lavoro hanno dato risultati positivi, le estensioni sono ora in uso nell’ambito del progetto interTwin e dell’iniziativa DestinE. Infine, sono stati sviluppati (probabilmente per la prima volta in Europa) flussi di lavoro per dare priorità all’accesso alle risorse di supercalcolo, noti come «urgent computing», per prevedere l’impatto dei rischi naturali, in particolare terremoti e tsunami. «Grazie alla flessibilità dinamica della nostra soluzione, estensioni di questi flussi di lavoro sono ora utilizzate nel progetto DT-GEO, che sviluppa gemelli digitali di sistemi fisici per monitorare e prevedere i rischi naturali», aggiunge Badia.
Un trampolino di lancio per i flussi di lavoro di nuova generazione
Il progetto è stato condotto con il sostegno dell’impresa comune per il calcolo ad alte prestazioni europeo (impresa comune EuroHPC), un’iniziativa istituita per sviluppare un ecosistema di supercalcolo di livello mondiale in Europa. Tutti i software open-source sviluppati dal progetto, insieme ai flussi di lavoro dimostrativi, sono stati resi disponibili gratuitamente. «Incoraggiamo qualsiasi comunità di utenti ad accedere al software e ad avviare collaborare per estenderne le capacità», osserva Jorge Ejarque, responsabile tecnico di eFlows4HPC. Per garantire il trasferimento delle migliori pratiche e dei risultati ottenuti dal progetto, sono stati organizzati corsi di formazione e workshop a Barcellona, Monaco e Helsinki. Il team continua a estendere le caratteristiche e le capacità di tutti i flussi di lavoro del progetto, concentrandosi sui sistemi IA e sui gemelli digitali.
Parole chiave
eFlows4HPC, impresa comune EuroHPC, esascala, supercalcolo, software, IA, gemelli digitali, flussi di lavoro, rischi, produzione, simulatori, elaborazione dati, apprendimento automatico, sistema Terra, analisi dei dati, HPC
