Democratizar el acceso a la informática de alto rendimiento
Si la industria o las comunidades científicas quieren aprovechar la rápida evolución de los progresos en inteligencia artificial (IA) y aprendizaje automático (AA), necesitan acceder a instalaciones de informática de alto rendimiento (HPC, por sus siglas en inglés) para procesar grandes volúmenes de datos. Sin embargo, su instalación y funcionamiento son caros y requieren mucho tiempo, y su consumo de energía plantea problemas ambientales. El equipo del proyecto HEROES, financiado con fondos europeos, ha desarrollado un «software» que adapta los recursos de HPC a los usuarios para que puedan ejecutar simulaciones y flujos de trabajo de AA en función de criterios como el tiempo, el presupuesto y la eficiencia energética. «Estamos entrando en una era de opciones digitales complejas en la que el coste computacional por segundo es vital. Nuestra tecnología no solo ayuda a los usuarios a navegar por las opciones, sino que democratiza la HPC, ya que los usuarios no necesitan conocimientos informáticos especializados para beneficiarse», afirma Philippe Bricard, coordinador del proyecto HEROES en UCIT, entidad anfitriona del proyecto. En HEROES se desarrolló y probó un demostrador en el que se ensayaban flujos de trabajo de los sectores de las energías renovables y la fabricación.
Simplificar las complejas opciones de infraestructura
Para los usuarios de tecnologías con gran volumen de datos, como la IA o el AA, seleccionar la mejor opción de HPC para ejecutar simulaciones no solo implica comprender la jerga informática especializada, sino también sopesar múltiples requisitos relacionados con los presupuestos, los tiempos de respuesta, la seguridad de los datos y la huella ambiental. La tecnología de HEROES simplifica el proceso al encontrar opciones para los usuarios. En el prototipo del proyecto, una vez conectados, los usuarios seleccionan un flujo de trabajo o una plantilla de trabajo y, a continuación, introducen los parámetros de su trabajo (incluidas las restricciones, como el coste). A continuación, el «software» ofrece la posibilidad de elegir entre cuatro estrategias, vinculadas a plataformas de HPC. Una vez seleccionado, el recurso de HPC ejecuta el trabajo y devuelve los resultados a la plataforma. En algunos casos, la mejor solución será híbrida, con algunos recursos informáticos asignados de forma interna y otros de manera externa, en función de las restricciones de seguridad y las necesidades empresariales del usuario. «En el futuro, nuestra plataforma se adaptará a diversos contextos, desde organizaciones privadas con agrupaciones de HPC locales y algunos recursos de nube pública, hasta acuerdos más elaborados con instalaciones externas una vez resueltos los problemas de autenticación —explica Bricard—. Nuestra ambición es permitir a los clientes utilizar la plataforma para construir y operar su propio mercado de HPC a medida».
Del prototipo de arquitectura a las soluciones comerciales
El prototipo del proyecto comprende diversos módulos específicos para cada tarea, principalmente para: orquestación de flujos de trabajo y tareas; transferencia y almacenamiento de datos; tarificación y gestión de costes; y control y optimización de la energía. En el núcleo de la tecnología se encontraba el módulo de toma de decisiones, que se comunica con los proveedores de servicios, como los proveedores de servicios en la nube y los centros de HPC, centralizando la información del flujo de trabajo y las opciones de HPC adecuadas. «La mayoría de los proyectos de este tipo acaban en pruebas de concepto. Queríamos ir más allá y empezar a ponerlo en práctica, a repetir mejoras basadas en el uso real», señala Bricard. El resultado fue la integración del módulo de toma de decisiones en la plataforma preexistente de ciencia de datos para entornos de HPC, OKA, mediante la mejora de la eficacia de esta última. EAR, el «software» de sistema para la gestión energética de centros de datos, también se ha integrado ahora en la plataforma HEROES. «Varios de los componentes de HEROES ya están disponibles para su integración en las infraestructuras informáticas actuales a través de nuestra empresa comercial Do it Now », añade Bricard. Los resultados del proyecto, junto con la experiencia de sus socios, se encuentran en una posición privilegiada para contribuir a la iniciativa de la Empresa Común de Informática de Alto Rendimiento Europea, creada para desarrollar un ecosistema de supercomputación de clase mundial en Europa.
Palabras clave
HEROES, inteligencia artificial, aprendizaje automático, informática de alto rendimiento, flujos de trabajo, eficiencia energética, supercomputación