Mettre la qualité au cœur des applications de mégadonnées
L’objectif principal du projet DICE (Developing Data-Intensive Cloud Applications with Iterative Quality Enhancements), financé par l’UE, est de s’attaquer aux pénuries de compétences et aux courbes d’apprentissage dans le développement d’applications de mégadonnées et de réduire les délais de mise sur le marché d’applications qui répondent aux exigences de qualité. En développant de nouvelles méthodes et de nouveaux outils innovants, le projet vise à renforcer la compétitivité des éditeurs de logiciels indépendants européens dans le domaine des applications de mégadonnées essentielles pour les entreprises. Une version open source, ainsi que deux produits commerciaux, ont été publiés depuis lors, et visent à s’assurer que les avantages de DICE perdureront longtemps après l’achèvement du projet. Exigences de grand volume de données Le monde baigne dans les données: prolifération des smartphones à l’échelle internationale, utilisation accrue de capteurs dans des secteurs tels que l’automobile et la sécurité, et avalanche de contenus de médias sociaux téléchargés chaque jour. L’extraction d’informations utilisables de ce tourbillon peut aider les entreprises à mieux comprendre leur public cible et à identifier les nouvelles tendances, mais ce n’est pas une mince affaire. «Les organisations qui souhaitent tirer profit des mégadonnées doivent d’abord concevoir soigneusement des systèmes informatiques capables de traiter et d’analyser les informations dont elles ont besoin», explique le coordinateur du projet DICE, le Dr Giuliano Casale de l’Imperial College London au Royaume-Uni. «Bien que de nouvelles méthodes de conception, d’organisation et d’exploitation des applications de mégadonnées fassent leur apparition sur le marché, de nombreuses start-up de technologie ne disposent pas des outils nécessaires pour développer correctement des systèmes logiciels de mégadonnées sur mesure, ou pour intégrer pleinement les technologies analytiques de mégadonnées aux produits existants.» Il s’agit d’une lacune de taille, affirme le Dr Casale, car dans la ruée vers le marché lucratif des mégadonnées, certaines entreprises de technologie n’ont pas accordé suffisamment d’attention à cet aspect important de la qualité. Et, parce que l’ingénierie de qualité des systèmes logiciels de grand volume de données en est encore à ses débuts, il est extrêmement difficile de prédire et de garantir la qualité du service des systèmes logiciels de mégadonnées. Analyse méthodique des données Le projet DICE a relevé ce défi en créant un ensemble de 14 outils visant à soutenir, avec un haut niveau d’automatisation, des activités de base dans le développement d’applications de mégadonnées, notamment l’évaluation de la qualité des logiciels, l’amélioration de l’architecture logicielle et l’utilisation dans le cloud. Tous les outils ont été organisés selon une méthodologie cohérente, qui s’inspire des principes d’un nouveau paradigme de livraison de logiciels, connu sous le nom de DevOps. «Jusqu’à présent, nous étions confrontés à un manque de méthodes pour exprimer les exigences de qualité», a expliqué le Dr Casale. «Nous avons donc défini une méthodologie intégrée, de la conception à l’exploitation, qui comble ces lacunes. C’est effectivement le premier environnement de développement axé sur la qualité pour les applications de mégadonnées.» Les évaluations de la méthodologie DICE, ainsi que l’application des outils, ont ensuite été réalisées dans le cadre de trois projets pilotes de traitement des données: l’analyse des données des réseaux sociaux, le traitement par lots pour la détection des fraudes fiscales et la gestion en cloud des opérations portuaires en temps réel. «Les résultats préliminaires indiquent des gains de productivité substantiels grâce à DICE, notamment en termes de réduction des délais de livraison et de configuration pour les nouvelles applications de mégadonnées», explique le Dr Casale. «Le cadre DICE a également permis d’identifier plusieurs violations et anti-modèles dans la conception des applications, et de réduire de façon cohérente les délais manuels pour les tests et l’évaluation.» Une version open source du cadre DICE pour les développeurs a été publiée sur le site Web du projet. En outre, le cadre DICE a été remanié et personnalisé en deux produits sur mesure: DICE Velocity et DICE BatchPro. DICE Velocity est adapté aux besoins des entreprises qui développent des applications basées sur la technologie de traitement de flux, tandis que DICE BatchPro vise à aider les entreprises à configurer et à déployer facilement et à moindre coût le traitement des données par lots.
Mots‑clés
DICE, TIC, mégadonnées, traitement des données, cloud, DevOps, réseaux sociaux, traitement des flux
