Adaptive multi-tier intelligent data manager for Exascale

Leistungen

Report on the intelligent controller design

Report with the design of the modules of the controller

A report describing all activities and results from the first half of project execution time

Report describing the IO Requirements API and the design of the IO Scheduler

Dissemination, communication, exploitation, and standardisation plan

A report describing the planned activities for dissemination communication exploitation and standardisation The plan will include a detailed description of objectives and KPIs

Project web site

The web site of the project containing public and private sections performance countersand external feedback forms

Design of the monitoring and profiling tool

Definition of the modules the functionality and the control points of the profiling and monitoring tools

Data Management Plan

A data management plan describing in detail the life cycle of the data collectedprocessed and generated by the project

Definition of requirements for ad-hoc storage systems

A report describing the requirements for theadhoc files system the limitations of existing file semantics and proposed modifications

Applications requirement definition

Deliverable including requirements analysis strategy and a second stage in the shape of the requirement repository

Definitions of the profiling and monitoring requirements

Report with the definition of requirements and API of monitoring infrastructures and applications IO profiling

Report on the intelligent controller requirements

Report with the definition of requirements and API of the control plane

Malleability requirements definition

Definition of the requirements and API for the malleability mechanisms to be provided in ADMIRE

Midterm report on dissemination, communication, exploitation, and standardisation

A report describing the activities and results of the execution of the activities planned and the level of fulfilment of KPIs

Updated Data Management Plan

An updated version of the data management plan

Base mechanisms for malleability

Design and tested prototype of base mechanisms including documentation

Design of the ad-hoc storage systems

Design report and test suit to check semantical correctness of ad-hoc storage systems and application needs

Veröffentlichungen

ElastiSim: A Batch-System Simulator for Malleable Workloads

Autoren: Taylan Özden, Tim Beringer, Arya Mazaheri, Hamid Mohammadi Fard, Felix Wolf
Veröffentlicht in: Proc. of the 51st International Conference on Parallel Processing (ICPP), Bordeaux, France, 2022
Herausgeber: ACM

Streamlining distributed Deep Learning I/O with ad hoc file systems.

Autoren: Frederic Schimmelpfennig, Marc-André Vef, Reza Salkhordeh, Alberto Miranda, Ramon Nou, and André Brinkmann
Veröffentlicht in: 23rd IEEE Cluster Conference, Ausgabe Proceeding of the 23rd IEEE Cluster Conference, 2021, Seite(n) 169-180
Herausgeber: IEEE
DOI: 10.1109/cluster48925.2021.00062

Data Management in EpiGraph COVID-19 Epidemic Simulator

Autoren: Miguel Guzmán-Merino, Christian Durán, Maria-Cristina Marinescu, Concepción Delgado-Sanz, Diana Gomez-Barroso, Jesus Carretero , David E. Singh
Veröffentlicht in: European Conference on Parallel Processing, 2022, Seite(n) 267-278, ISBN 978-3-031-06156-1
Herausgeber: Springer, Cham
DOI: 10.1007/978-3-031-06156-1_22

Energy Consumption Studies of WRF Executions with the LIMITLESS Monitor

Autoren: Alberto Cascajo, David E. Singh, Jesús Carretero, Andres Bustos, Antonio Juan Rubio-Montero, Elena García-Bustamante, José A. Moriñigo, Rafael Mayo - García
Veröffentlicht in: LATIN AMERICA HIGH PERFORMANCE COMPUTING CONFERENCE - CARLA 2021, 2022, Seite(n) 19–33, ISBN 978-3-031-04209-6
Herausgeber: Springer, Cham
DOI: 10.1007/978-3-031-04209-6_2

Sistema de almacenamiento Ad-Hoc para entornos HPC basado en el sistema de ficheros paralelo Expand

Autoren: Diego Camarmas-Alonso; Felix Garcia-Carballeira; Alejandro Calderon Mateos; Jesus Carretero Perez
Veröffentlicht in: XXXII Jornadas de Paralelismo (JP22), Ausgabe 2, 2022
Herausgeber: ZENODO.org
DOI: 10.5281/zenodo.6862882

From Static to Malleable: Improving Flexibility and Compatibility in Burst Buffer File Systems

Autoren: Marc-André Vef, Alberto Miranda, Ramon Nou, André Brinkmann
Veröffentlicht in: International Workshop on Malleability Techniques Applications in High-Performance Computing (HPCMall), Ausgabe 2, 2023, Seite(n) 3 - 15
Herausgeber: Springer
DOI: 10.1007/978-3-031-40843-4_1

Xfast: Extreme File Attribute Stat Acceleration for Lustre

Autoren: Yingjin Qian, Wen Cheng, Lingfang Zeng, Xi Li, Marc-André Vef, Andreas Dilger, Siyao Lai, Shuichi Ihara, Yong Fan, André Brinkmann
Veröffentlicht in: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC), Ausgabe 49, 2023, Seite(n) 96:1-96:12
Herausgeber: ACM
DOI: 10.1145/3581784.3607080

Understanding the Impact of Synchronous, Asynchronous, and Hybrid In-Situ Techniques in Computational Fluid Dynamics Applications

Autoren: Yi Ju, Adalberto Perez, Stefano Markidis, Philipp Schlatter, Erwin Laure
Veröffentlicht in: 2022 IEEE 18th International Conference on e-Science (e-Science), Ausgabe 2022 IEEE 18th International Conference on e-Science (e-Science), 2023, Seite(n) 295-305
Herausgeber: IEEE
DOI: 10.1109/escience55777.2022.00043

Adaptive multi-tier intelligent data manager for Exascale

Autoren: Jesus Carretero; Javier Garcia-Blas; Marco Aldinucci; Jean Baptiste Besnard; Jean-Thomas Acquaviva; André Brinkmann; Marc-André Vef; Emmanuel Jeannot; Alberto Miranda; Ramon Nou; Morris Riedel; Massimo Torquati; Felix Wolf
Veröffentlicht in: CF 2023 - 20th ACM International Conference on Computing Frontiers, Ausgabe 19, 2023
Herausgeber: ACM
DOI: 10.1145/3587135.3592174

Scheduling distributed I/O resources in HPC systems

Autoren: Bandet, Alexis; Boito, Francieli; Pallez, Guillaume
Veröffentlicht in: 30th International European Conference on Parallel and Distributed Computing 26 - 30 August 2024 Madrid, Spain 30th International European Conference on Parallel and Distributed Computing, Ausgabe 1, 2024, Seite(n) 16
Herausgeber: INRIA

Improving Generalization for Few-Shot Remote Sensing Classification with Meta-Learning

Autoren: Surbhi Sharma, Ribana Roscher, Morris Riedel, Shahbaz Memon and Gabriele Cavallaro
Veröffentlicht in: IEEE International Geoscience and Remote Sensing Symposium (GRSS), 2022, Seite(n) 5061-5064
Herausgeber: IEEE
DOI: 10.1109/igarss46834.2022.9884699

The role of storage target allocation in applications' I/O performance with BeeGFS

Autoren: Boito, Francieli; Pallez, Guillaume; Teylo, Luan
Veröffentlicht in: CLUSTER 2022 - IEEE International Conference on Cluster Computing. https://clustercomp.org/2022/, 2022
Herausgeber: IEEE

The I/O Trace Initiative: Building a Collaborative I/O Archive to Advance HPC

Autoren: Nafiseh Moti, André Brinkmann, Marc-André Vef, Philippe Deniel, Jesús Carretero, Philip H. Carns, Jean-Thomas Acquaviva, Reza Salkhordeh
Veröffentlicht in: International Parallel Data Systems Workshop (PDSW), Ausgabe 8, 2023, Seite(n) 1216--1222
Herausgeber: ACM
DOI: 10.1145/3624062.3624192

Multi-objective Hybrid Autoscaling of Microservices in {Kubernetes} Clusters

Autoren: Angelina Horn, Hamid Mohammadi Fard, Felix Wolf
Veröffentlicht in: Proc. of the 28th Euro-Par Conference: Parallel Processing, Glasgow, UK, Ausgabe 13440, 2022, Seite(n) 233--250, ISBN 978-3-031-12597-3
Herausgeber: Springer
DOI: 10.1007/978-3-031-12597-3_15

MetaWBC: POSIX-Compliant Metadata Write-Back Caching for Distributed File Systems

Autoren: Yingjin Qian, Wen Cheng, Lingfang Zeng, Marc-André Vef, Oleg Drokin, Andreas Dilger, Shuichi Ihara, Wusheng Zhang, Yang Wang, André Brinkmann
Veröffentlicht in: The International Conference for High Performance Computing, Networking, Storage, and Analysis 2022 (SC22), 2022
Herausgeber: IEEE

The Italian Research on HPC Key Technologies across EuroHPC

Autoren: Aldinucci, Marco and Agosta, Giovanni and Andreini, Antonio and Ardagna, Claudio A. and Bartolini, Andrea and Cilardo, Alessandro and Cosenza, Biagio and Danelutto, Marco and Esposito, Roberto and Fornaciari, William and Giorgi, Roberto and Lengani, Davide and Montella, Raffaele and Olivieri, Mauro and Saponara, Sergio and Simoni, Daniele and Torquati, Massimo
Veröffentlicht in: Proceedings of the 18th ACM International Conference on Computing Frontiers, Ausgabe CF '21, 2021, Seite(n) 178–184, ISBN 9781450384049
Herausgeber: Association for Computing Machinery
DOI: 10.1145/3457388.3458508

Capturing Periodic I/O Using Frequency Techniques

Autoren: Tarraf, Ahmad; Bandet, Alexis; Zanon Boito, Francieli; Pallez, Guillaume; Wolf, Felix
Veröffentlicht in: Proceedings of the 38th IEEE International Parallel & Distributed Processing Symposium,, Ausgabe 1, 2024, Seite(n) 13
Herausgeber: IEEE

Capturing Periodic I/O Using Frequency Techniques

Autoren: Tarraf, Ahmad; Bandet, Alexis; Zanon Boito, Francieli; Pallez, Guillaume; Wolf, Felix
Veröffentlicht in: IPDPS 2024-38th IEEE International Parallel & Distributed Processing Symposium, Ausgabe 38, 2024, Seite(n) 1-13, ISBN 9798350337662
Herausgeber: IEEE

Protected Functions: User Space Privileged Function Calls

Autoren: Nafiseh Moti, Reza Salkhordeh, André Brinkmann
Veröffentlicht in: ARCS 2022: International Conference on Architecture of Computing Systems, 2022
Herausgeber: Springer

Pooling critical datasets with Federated Learning

Autoren: Y. Arfat, G. Mittone, I. Colonnelli, F. D'Ascenzo, R. Esposito and M. Aldinucci
Veröffentlicht in: 31st Euromicro International Conference on Parallel, Distributed and Network-Based Processing (PDP), Ausgabe 31, 2023, Seite(n) pp. 329–337
Herausgeber: IEEE
DOI: 10.1109/pdp59025.2023.00057

Towards Smarter Schedulers: Molding Jobs into the Right Shape via Monitoring and Modeling

Autoren: Jean-Baptiste Besnard, Ahmad Tarraf, Clément Barthélemy, Alberto Cascajo, Emmanuel Jeannot, Sameer Shende & Felix Wolf
Veröffentlicht in: ISC High Performance 2023: High Performance Computing, 2023, Seite(n) 68-81
Herausgeber: Springer, Cham
DOI: 10.1007/978-3-031-40843-4_6

Autonomy Loops for Monitoring, Operational Data Analytics, Feedback, and Response in HPC Operations

Autoren: Boito, Francieli; Brandt, Jim; Cardellini, Valeria; Carns, Philip; Ciorba, Florina M.; Egan, Hilary; Eleliemy, Ahmed; Gentile, Ann; Gruber, Thomas; Hanson, Jeff; Haus, Utz-Uwe; Huck, Kevin; Ilsche, Thomas; Jakobsche, Thomas; Jones, Terry; Karlsson, Sven; Mueen, Abdullah; Ott, Michael; Patki, Tapasya; Peng, Ivy; Raghavan, Krishnan; Simms, Stephen; Shoga, Kathleen; Showerman, Michael; Tiwari, Devesh
Veröffentlicht in: 2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops),, Ausgabe 43, 2023, Seite(n) 37-43, ISBN 979-8-3503-7062-1
Herausgeber: IEEE
DOI: 10.1109/clusterworkshops61457.2023.00016

AIQUAM: Artificial Intelligence-based water QUAlity Model

Autoren: De Vita, Ciro Giuseppe; Mellone, Gennaro; Di Luccio, Diana; Kosta, Sokol; Ciaramella, Angelo; Montella, Raffaele
Veröffentlicht in: 2022 IEEE 18th International Conference on e-Science, Ausgabe 1, 2022, ISBN 978-1-6654-6124-5
Herausgeber: IEEE
DOI: 10.1109/escience55777.2022.00058

Malleability techniques applications in high-performance computing

Autoren: Jesus Carretero, Estela Suarez, Martin Schulz
Veröffentlicht in: The International Journal of High Performance Computing Applications, Ausgabe 38, 2024, Seite(n) 53-54, ISSN 1094-3420
Herausgeber: SAGE Publications
DOI: 10.1177/10943420241238032

Monitoring InfiniBand Networks to React Efficiently to Congestion

Autoren: Alberto Cascajo, Gabriel Gomez-Lopez, Jesus Escudero-Sahuquillo, Pedro Javier Garcia, David E. Singh, Francisco Alfaro-Cortés, Francisco J. Quiles, Jesus Carretero
Veröffentlicht in: IEEE Micro, Ausgabe 43, 2024, Seite(n) 120-130, ISSN 0272-1732
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/mm.2023.3241840

LIMITLESS - LIght-weight MonItoring Tool for LargE Scale Systems

Autoren: Alberto Cascajo, David E. Singh , Jesús Carretero
Veröffentlicht in: Microprocessors and Microsystems (MICPRO), Ausgabe 01419331, 2022, ISSN 0141-9331
Herausgeber: Elsevier BV
DOI: 10.1016/j.micpro.2022.104586

Assessing population-sampling strategies for reducing the COVID-19 incidence.

Autoren: Miguel Guzmán-Merino; Christian Durán; Maria-Cristina Marinescu; Concepción Delgado-Sanz; Diana Gómez-Barroso; Jesus Carretero; David E. Singh
Veröffentlicht in: Computers in Biology and Medicine, Ausgabe 00104825, 2021, ISSN 0010-4825
Herausgeber: Pergamon Press Ltd.
DOI: 10.1016/j.compbiomed.2021.104938

Detecting interference between applications and improving the scheduling using malleable application clones

Autoren: Alberto Cascajo, David E. Singh, Jesús Carretero
Veröffentlicht in: The International Journal of High Performance Computing Applications, Ausgabe 38, 2024, Seite(n) 108-133, ISSN 1094-3420
Herausgeber: SAGE Publications
DOI: 10.1177/10943420231220898

A novel approach for large‐scale environmental data partitioning on cloud and on‐premises storage for compute continuum applications

Autoren: Gennaro Mellone, Ciro Giuseppe De Vita, Dante D. Sánchez‐Gallegos, Genaro Sánchez‐Gallegos, Catherine A. Torres‐Charles, Javier Garcia‐Blas, Jesús Carretero Pérez, J. L. Gonzalez‐Compean, Giuliano Laccetti
Veröffentlicht in: Concurrency and Computation: Practice and Experience, Ausgabe 35, 2023, ISSN 1532-0626
Herausgeber: John Wiley & Sons Inc.
DOI: 10.1002/cpe.7893

Malleability in Modern HPC Systems: Current Experiences, Challenges, and Future Opportunities

Autoren: Ahmad Tarraf, Martin Schreiber, Alberto Cascajo, Jean-Baptiste Besnard, Marc-André Vef, Dominik Huber, Sonja Happ, André Brinkmann, David E. Singh, Hans-Christian Hoppe, Alberto Miranda, Antonio J. Peña, Rui Machado, Marta Garcia-Gasulla, Martin Schulz, Paul Carpenter, Simon Pickartz, Tiberiu Rotaru, Sergio Iserte, Victor Lopez, Jorge Ejarque, Heena Sirwani, Jesus Carretero, Felix Wolf
Veröffentlicht in: IEEE Transactions on Parallel and Distributed Systems, Ausgabe 35, 2024, Seite(n) 1551-1564, ISSN 1045-9219
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpds.2024.3406764

Enhancing the power of two choices load balancing algorithm using round robin policy

Autoren: Garcia-Carballeira, F., Calderon, A. & Carretero, J.
Veröffentlicht in: Cluster Computing, Ausgabe 24, 2021, Seite(n) 611–624, ISSN 1386-7857
Herausgeber: Baltzer Science Publishers B.V.
DOI: 10.1007/s10586-020-03139-6

Detailed parallel social modeling for the analysis of COVID-19 spread

Autoren: Aymar Cublier Martínez, Jesús Carretero, David E. Singh
Veröffentlicht in: The Journal of Supercomputing, Ausgabe 80, 2024, Seite(n) 12408-12429, ISSN 0920-8542
Herausgeber: Kluwer Academic Publishers
DOI: 10.1007/s11227-023-05881-1

A High-Performance Multispectral Adaptation GAN for Harmonizing Dense Time Series of Landsat-8 and Sentinel-2 Images

Autoren: Gabriele Cavallaro; Lorenzo Bruzzone; Rocco Sedona; Claudia Paris
Veröffentlicht in: IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Ausgabe 14, 2021, Seite(n) 10134-10146, ISSN 2151-1535
Herausgeber: IEEE
DOI: 10.1109/jstars.2021.3115604

Distributed-memory FastFlow Building Blocks

Autoren: N. Tonci, M. Torquati, G. Mencagli, M. Danelutto
Veröffentlicht in: International Journal of Parallel Programming (IJPP), Ausgabe 51, 2023, Seite(n) 1–21, ISSN 0885-7458
Herausgeber: Kluwer Academic Publishers
DOI: 10.1007/s10766-022-00750-5

Understanding the Impact of Synchronous, Asynchronous, and Hybrid In-Situ Techniques in Computational Fluid Dynamics Applications

Autoren: Yi Ju, Adalberto Perez, Stefano Markidis, Philipp Schlatter, Erwin Laure
Veröffentlicht in: IEEE eScience 2022, 2022
Herausgeber: IEEE
DOI: 10.5281/zenodo.7152158

FTIO: Detecting I/O Periodicity Using Frequency Techniques

Autoren: Tarraf, Ahmad; Bandet, Alexis; Zanon Boito, Francieli; Pallez, Guillaume; Wolf, Felix
Veröffentlicht in: https://inria.hal.science/hal-04382142, Ausgabe 39, 2023, Seite(n) 12
Herausgeber: INRIA HAL
DOI: 10.48550/arxiv.2306.08601

Profile data of the ADMIRE project use case applications

Autoren: Jean Baptiste Bernard; Jesus Carretero; Raffaelle Montela; Adalberto Pérez; Laura Bellentani; Wojciech Stefaniak; Shahbaz Memon
Veröffentlicht in: Zenodo ADMIRE EUROHPC Project Community, 2022
Herausgeber: Zenodo
DOI: 10.5281/zenodo.7111282

Evaluation of Vaccination Strategies for the metropolitan area of Madrid

Autoren: David E. Singh; Carmen Olmedo Lucerón; Aurora Limia Sánchez; Miguel Guzman-Merino; Christian Duran; Concepción Delgado-Sanz; Diana Gomez-Barroso; Jesus Carretero; Maria-Cristina Marinescu
Veröffentlicht in: MedRxiv. The prepirnt server for health sciences, Ausgabe 1, 2021, Seite(n) 20
Herausgeber: BMJ, CSH, Yale
DOI: 10.1101/2021.11.29.21267009

The modernization of HPC applications for the cloud era. Fifth EAGE Workshop on High Performance Computing for Upstream. Heterogeneous HPC: Challenges, Current & Future Trends

Autoren: Marco Aldinucci
Veröffentlicht in: Fifth EAGE Workshop on High Performance Computing for Upstream. Heterogeneous HPC: Challenges, Current & Future Trends, Ausgabe 2, 2021
Herausgeber: EAGE

What are ad-hoc storage systems and the GekkoFS burst buffer file system

Autoren: Marc-André Vef
Veröffentlicht in: ADMIRE Users Day, Ausgabe 1, 2023
Herausgeber: -

Challenges and benefits of malleable ad-hoc file systems in HPC

Autoren: Marc-André Vef, Javier García Blas
Veröffentlicht in: Minisymposium on ADAPTIVE HPC I/O SYSTEMS @ EUROPAR 2023, Ausgabe 1, 2023, Seite(n) -
Herausgeber: -

IO-Sets: Simple and efficient approaches for I/O bandwidth management

Autoren: Francieli Boito, Guillaume Pallez, Luan Teylo, Nicolas Vidal
Veröffentlicht in: IPDPS 2022, 2023
Herausgeber: 2023

Doing better for jobs that failed: node stealing from a batch scheduler's perspective

Autoren: Du, Yishu; Marchal, Loris; Pallez, Guillaume; Robert, Yves
Veröffentlicht in: 2022, 2022
Herausgeber: INRIA

The I/O Trace Initiative: Building a Collaborative I/O Archive to Advance HPC

Autoren: Nafiseh Moti
Veröffentlicht in: IO-SEA: Storage I/O and Data Management for Exascale Architectures (HiPEAC 2024), Ausgabe 1, 2024
Herausgeber: Hipeac

Implementation of an unbalanced I/O Bandwidth Management system in a Parallel File System

Autoren: Barthélemy, Clément; Zanon Boito, Francieli; Jeannot, Emmanuel; Pallez, Guillaume; Teylo, Luan
Veröffentlicht in: https://inria.hal.science/hal-04417412, Ausgabe research report no 9537, 2024, Seite(n) 15
Herausgeber: INRIA

European Initiative Projects Towards Exascale Computing

Autoren: Jesus Carretero, Tiago Dias, Ricardo Nobre, Mario Kovacs, Anotnio Peña, Didem Unat
Veröffentlicht in: Ausgabe Europar 21, 2021
Herausgeber: Springer

Improving Congestion Control through Fine-Grain Monitoring of InfiniBand Networks

Autoren: Alberto Cascajo; Gabriel Gomez-Lopez; Jesus Escudero-Sahuquillo; Pedro Javier Garcia; David E. Singh; Francisco Alfaro-Cortés; Francisco J. Quiles; Jesus Carretero
Veröffentlicht in: HOTI 2022, 2022
Herausgeber: IEEE
DOI: 10.1109/hoti55740.2022.00020

The I/O Trace Initiative: Building a Collaborative I/O Archive to Advance HPC

Autoren: Nafiseh Moti
Veröffentlicht in: EuroHPC Projects Shaping Europe's HPC Landscape (HiPEAC 2024), Ausgabe 1, 2024
Herausgeber: Hipeac

New techniques for tracing and designing HPC storage systems

Autoren: Marc-André Vef
Veröffentlicht in: Johannes Gutenberg University Mainz / Ph.D. Thesis, 2023
Herausgeber: Johannes Gutenberg University Mainz
DOI: 10.25358/openscience-9322

Suche nach OpenAIRE-Daten ...

Leistungen

Veröffentlichungen

Diese Seite teilen

Herunterladen