Nueva gestión de datos para la supercomputación de exaescala
A medida que se generalice la demanda de superordenadores de exaescala, los operadores tendrán que aumentar el acceso y la capacidad de flujo de trabajo, permitiendo a más usuarios ejecutar aplicaciones cada vez más diversas y complejas. Los sistemas de exaescala pueden realizar un trillón de cálculos por segundo. Encontrar una forma de gestionar y almacenar todos esos datos es un reto importante, ya que los sistemas de almacenamiento actuales llegan a sus límites y los sistemas operativos tienen dificultades para asumirlo. «Las aplicaciones del futuro no podrán funcionar con los actuales paradigmas de almacenamiento», afirma Philippe Deniel, responsable del laboratorio de sistemas de almacenamiento de la Comisión Francesa de Energías Alternativas y Energía Atómica. Como coordinador del proyecto IO-SEA, Deniel ha dirigido el desarrollo y la aplicación de una novedosa solución informática que ofrece almacenamiento a largo plazo capaz de satisfacer la creciente demanda de datos. IO-SEA es uno de los tres proyectos SEA, junto con DEEP-SEA y RED-SEA, creados para desarrollar tecnologías complementarias destinadas a una arquitectura informática de alto rendimiento (HPC, por sus siglas en inglés) europea.
Soluciones de almacenamiento
Un reto clave para la computación de exaescala será la evolución de la forma en que se realizan los cálculos. Los superordenadores se basan en procesadores gráficos, diseñadas para dividir problemas complejos en miles de tareas que deben realizarse simultáneamente. Ello significa que también requieren mucha memoria. La solución de IO-SEA (conocida como pila de «software», ya que consta de varios componentes) se basa en usos innovadores de la gestión de almacenamiento jerárquico (HSM, por sus siglas en inglés), almacenamiento de objetos y servidores «efímeros». IO-SEA utiliza la arquitectura de almacenamiento de datos conocida como «almacenamiento de objetos», en la que se agrupan elementos, cada uno de los cuales contiene los datos, metadatos y un identificador único. La HSM ofrece un método de almacenamiento por niveles que identifica automáticamente el mejor medio de almacenamiento para la aplicación en cuestión, ya sea la memoria no volátil exprés (NVMe, por sus siglas en inglés), como las unidades de estado sólido, la memoria no volátil de acceso aleatorio o incluso los carretes de cinta, muy apreciados en supercomputación por su bajo coste y bajo consumo energético. Dicha estructura por niveles garantiza que los datos a los que se accede con frecuencia se guarden en soportes rápidos, como NVMe, y que la cinta actúe como almacenamiento a más largo plazo. «Para que la HSM sea eficaz, también es importante identificar rápidamente los archivos», señala Deniel. «Nuestro avanzado mecanismo de vigilancia recopila datos en una gran base de datos, a la que accede nuestro sistema de inteligencia artificial para hacer recomendaciones al usuario, basadas en su comportamiento». Por último, cada servidor de almacenamiento se ofrece bajo demanda, programado dinámicamente para completar un trabajo computacional. Los operadores utilizan un módulo de gestión del flujo de trabajo para configurar las simulaciones, que se asignan automáticamente para su ejecución en nodos informáticos específicos. Los resultados se envían al sistema de almacenamiento, y estos servidores «desaparecen», con los nodos liberados para la siguiente operación.
Recursos compartidos
Los usuarios operan el sistema IO-SEA utilizando diversos soportes intermedios de acceso a datos como POSIX, entre otros protocolos. El sistema se probó en varios casos de uso, como microscopía electrónica, ejecución de programas de astrofísica, climatología y modelización del sistema terrestre (en asociación con DEEP-SEA), simulaciones de física cuántica y meteorología, así como predicción del tiempo a gran escala. «En todo momento, demostramos la capacidad de nuestra solución para ofrecer un cambio de paradigma, pasando de concebir el almacenamiento como algo estático e inmutable a concebirlo como un proceso, que es dinámico y compartido», añade Deniel. La solución de IO-SEA formará parte del prototipo EUPEX exaescala, que se lanzará en un par de años. El «software» está disponible gratuitamente en el sitio de intercambio de código GitHub. El equipo del proyecto se llevó a cabo con el apoyo de la Empresa Común de Informática de Alto Rendimiento Europea (EC EuroHPC), una iniciativa creada para desarrollar un ecosistema de supercomputación de categoría mundial en Europa. «A pesar de ser una colección de varios productos, nuestra solución, codiseñada por usuarios finales y desarrolladores de sistemas, introduce una pila de almacenamiento integrada que señala el camino a seguir para la computación a exaescala», concluye Deniel.
Palabras clave
IO-SEA, EC EuroHPC, exaescala, HPC, supercomputación, memoria, almacenamiento, recursos, almacén de objetos, gestión de almacenamiento jerárquico, HSM, cinta, NVMe
