Llevar los experimentos de investigación a otro nivel con mejores servicios de gestión de datos
Durante muchos años, la gestión de volúmenes extremadamente grandes y crecientes de datos ha sido un desafío para los experimentos científicos que utilizan infraestructuras electrónicas distribuidas para sus necesidades informáticas. Es necesario desarrollar nuevas características y funcionalidades y ponerlas a disposición de la comunidad de investigadores para hacer frente a la naturaleza dinámica y la flexibilidad de estos poderosos recursos.
La gestión de datos en entornos informáticos altamente distribuidos
En el proyecto XDC, financiado con fondos europeos, se desarrollaron y se pusieron en marcha servicios mejorados de gestión de datos que pueden armonizarse coherentemente con las infraestructuras electrónicas actuales y de próxima generación desplegadas en toda Europa, como la Nube Europea de la Ciencia Abierta (EOSC, por sus siglas en inglés) y la Red mundial de computación para el LHC «Worldwide LHC Computing Grid» coordinada por la Organización Europea de Investigación Nuclear (CERN). Estos servicios abiertos, interoperables y fáciles de usar ayudarán a crear una infraestructura mundial para la informática distribuida. Los miembros del equipo de XDC mejoraron los servicios existentes de gestión de datos federados añadiendo las funcionalidades que faltaban. El coordinador del proyecto, Daniele Cesini, comenta: «Usuarios nuevos significa que se necesitan funcionalidades nuevas. Ampliar significativamente las funcionalidades proporcionadas es de suma importancia para construir infraestructuras que puedan ser aprovechadas por comunidades de usuarios diferentes de las que históricamente fundaron sus modelos informáticos en sistemas distribuidos». Los miembros del equipo mejoraron la experiencia de los usuarios en el acceso a esos servicios de gestión de datos ofreciendo interfaces más fáciles de usar. Los científicos proporcionaron funciones adaptables para hacer frente al mayor dinamismo y flexibilidad de las infraestructuras electrónicas modernas. «Debido a la aparición de las técnicas de virtualización, los paradigmas de computación en nube y las herramientas de orquestación de infraestructuras como servicio y la plataforma como servicio, los recursos que una vez fueron identificados como “sitios” en infraestructuras electrónicas se han vuelto “líquidos” y altamente dinámicos», explica Cesini. Los sitios pueden crearse, destruirse, adjuntarse y separarse de la infraestructura con unos pocos clics del ratón en un período de tiempo que era inconcebible hace solo unos años. Además, los recursos creados o adjuntados pueden ser intrínsecamente heterogéneos, sin una arquitectura predefinida. «Sin embargo, en lo que respecta a la gestión de datos, un gran dinamismo plantea enormes desafíos en cuanto a la eficiencia, la transparencia y la fiabilidad», añade Cesini. XDC proporcionó tecnologías de gestión de datos para ampliar de forma dinámica un centro de cálculo a un sitio remoto que ofrece un acceso bidireccional transparente a datos almacenados en ambos lugares. También desarrolló tecnologías para incluir dinámicamente sitios con capacidad de almacenamiento limitada, lo que ofrece un acceso transparente a datos almacenados a distancia.
Plataformas de código abierto disponibles para su uso generalizado
Para facilitar la interoperabilidad, la normalización y la adopción, la arquitectura de XDC utiliza estándares y protocolos abiertos disponibles en los ecosistemas informáticos distribuidos de última generación que garantiza que los componentes liberados puedan conectarse fácilmente a las infraestructuras electrónicas europeas y a los entornos informáticos basados en la nube en general. Los socios en el proyecto crearon dos versiones de «software» de código abierto que pueden instalarse en infraestructuras en nube públicas y privadas: XDC-1 (nombre en clave Pulsar) y XDC-2 (Quasar). Ambas se basan en servicios de calidad de producción existentes que se enriquecieron con nuevas funcionalidades y mejoras de usabilidad para hacer que un número cada vez mayor de comunidades de usuarios puedan aprovechar infraestructuras complejas. Organizaron estos componentes básicos en una arquitectura coherente y proporcionaron varias contribuciones. En un catálogo se describen los servicios y las nuevas funcionalidades conexas desarrolladas y mejoradas durante el proyecto. «En XDC se crearon importantes e innovadores servicios que han sido propuestos como candidatos para su inclusión en el catálogo de servicios del proyecto EOSC-hub», concluye Cesini. El proyecto EOSC-hub simplifica el acceso a un amplio conjunto de productos, recursos y servicios suministrados por las principales organizaciones paneuropeas e internacionales.
Palabras clave
XDC, datos, informática, gestión de datos, infraestructura electrónica, informática distribuida, XDC-1, XDC-2
