Facilitar el uso de los superordenadores europeos
Los superordenadores son una herramienta fundamental para la ciencia y la industria europeas. Estas potentes máquinas pueden simular el clima de la Tierra, modelizar el cerebro humano y diseñar productos y materiales innovadores para la industria. Un sistema informático de alto rendimiento (HPC, por sus siglas en inglés) convencional combina las unidades centrales de procesamiento de todos los ordenadores con aceleradores especializados y una combinación de opciones de memoria y almacenamiento. Si bien esa estrategia de «mezclar y combinar» aumenta el rendimiento, la complejidad inherente dificulta el uso de los superordenadores. El objetivo del proyecto DEEP-SEA era crear e integrar «software» de código abierto a medida para ayudar a científicos y empresas a sacar el máximo partido de los superordenadores. «Es fundamental que Europa invierta en la mejora de las pilas de “software” de supercomputación para dar un mejor respaldo a sus sistemas HPC heterogéneos —comenta Estela Suárez, codirectora del Departamento de Diseño de Arquitecturas Novedosas de Sistemas en el Centro de Investigación de Jülich, en Alemania, y coordinadora del proyecto DEEP-SEA—. Así que este era nuestro objetivo: ofrecer una pila de “software” avanzada para sistemas HPC europeos de gama alta (pre y exaescala)».
El planteamiento DEEP-SEA
Imagine un ordenador con un gran número de «cerebros» separados y diferentes tipos de memoria. En DEEP-SEA se quería garantizar que todos estos componentes funcionaran juntos a la perfección, resolviendo siempre tareas de cálculo complejas de la forma más eficiente en cuanto a recursos y, para lograrlo, ubicando siempre los datos en el mejor lugar. El consorcio del proyecto estaba formado por catorce socios europeos, cada uno de los cuales aportó sus propios conocimientos especializados. Mediante la integración de herramientas existentes y la combinación de sus funcionalidades, se logró llevar a cabo un proceso de desarrollo integral guiado por el codiseño continuo, con los desarrolladores de aplicaciones trabajando en casos de uso real de la comunidad europea de HPC. La pila de «software» DEEP-SEA se construyó en torno al concepto de «ciclos de optimización»: flujos específicos en la pila que abordaban objetivos concretos. Por ejemplo, el «ciclo de optimización de supercomputación modular» ayuda a los usuarios a seleccionar los elementos de cálculo más propicios y a asignar sus aplicaciones a un sistema HPC modular. Al final del proyecto, en DEEP-SEA se había desarrollado una pila de «software» de HPC completa e integrada que incluía bibliotecas de bajo nivel, «software» de sistema, tiempo de ejecución, entornos de programación y herramientas para mejorar el rendimiento y la usabilidad de superordenadores con componentes mixtos. Es más, su equipo confeccionó documentación y material formativo para familiarizar a los usuarios finales con las prestaciones y ventajas de utilizar la pila y las herramientas de DEEP-SEA, así como para guiarles y ayudarles a decidir cuáles emplear en función de sus aplicaciones y objetivos individuales.
Superar las expectativas
La colaboración fue clave, por lo que la labor con proyectos similares como IO-SEA y RED-SEA fue incluso mejor de lo esperado, ya que los equipos de los tres proyectos trabajaron juntos sin problemas, consiguiendo la integración de sus respectivos resultados y ayudando a impulsar aún más cada línea de desarrollo. Suárez explica la repercusión de esta colaboración: «La gran cantidad de trabajo técnico que surgió de esta experiencia no era algo que esperáramos. Fue una labor enriquecedora para todos los proyectos implicados». Como resultado, el consorcio de DEEP-SEA ha publicado más de sesenta y cinco artículos científicos de gran calidad en tan solo tres años. Ese logro es una prueba de la calidad de la investigación y el desarrollo llevados a cabo en el marco del proyecto.
«Software» para el futuro
El proyecto se llevó a cabo con el apoyo de la Empresa Común de Informática de Alto Rendimiento Europea (EC EuroHPC), una iniciativa creada para desarrollar un ecosistema de supercomputación y computación cuántica de categoría mundial en Europa. Aunque DEEP-SEA concluyó en marzo de 2024, el trabajo dista mucho de haber terminado. «Una pila de “software” nunca está terminada de verdad, y los avances en “hardware” necesitarán modificaciones y mejoras continuas para seguir el ritmo de los cambios generados por la investigación en HPC», concluye Suárez. El verdadero éxito del proyecto DEEP-SEA radica en su planteamiento participativo a largo plazo. Al combinar las herramientas y los conocimientos existentes a nivel de la Unión Europea, DEEP-SEA desbloqueó nuevas funcionalidades para la HPC, que antes no estaban disponibles, y allanó el camino para un uso sencillo y eficiente de los superordenadores europeos.
Palabras clave
DEEP-SEA, EC EuroHPC, entorno de programación, codiseño, exaescala, pila de software, recursos, eficiente, superordenador, HPC
