Wprowadzanie jakości do aplikacji big data
Głównym celem finansowanego przez UE projektu DICE (Developing Data-Intensive Cloud Applications with Iterative Quality Enhancements) jest rozwiązanie problemu niedoboru umiejętności i krzywych uczenia się podczas opracowywania aplikacji big data oraz skrócenie czasu wprowadzania na rynek aplikacji, które spełniają wymogi jakościowe. Poprzez opracowanie nowych innowacyjnych metod i narzędzi projekt ma na celu wzmocnienie konkurencyjności europejskich niezależnych dostawców oprogramowania w dziedzinie aplikacji big data o znaczeniu krytycznym dla działalności biznesowej. Wersja open source oraz dwa produkty komercyjne zostały wprowadzone na rynek w celu zadbania o to, aby korzyści z DICE znalazły kontynuację jeszcze długo po zakończeniu projektu. Zapotrzebowanie na duże ilości danych Globalne rozpowszechnienie się smartfonów, zwiększone wykorzystanie czujników w takich sektorach jak motoryzacja i bezpieczeństwo oraz lawina codziennie przesyłanych treści z serwisów społecznościowych oznacza, że świat wręcz pływa w danych. Wyciąganie użytecznych informacji z tej wirującej otchłani może pomóc firmom w lepszym zrozumieniu docelowej grupy klientów i zidentyfikowaniu nowych trendów – ale wciąż nie jest to łatwe zadanie. „Organizacje, które chcą skorzystać z big data, muszą najpierw starannie zaprojektować systemy komputerowe zdolne do przetwarzania i analizowania potrzebnych informacji”, wyjaśnia koordynator projektu DICE dr Giuliano Casale z Imperial College London w Zjednoczonym Królestwie. „Chociaż na rynku pojawiają się nowe sposoby projektowania, organizowania i obsługi aplikacji big data, wiele start-upów technologicznych nie dysponuje narzędziami umożliwiającymi odpowiednie opracowanie systemów oprogramowania big data lub pełną integrację technologii analitycznych big data z istniejącymi produktami”. Ten brak jest znaczący, mówi dr Casale, ponieważ w pośpiechu towarzyszącym wyścigowi do wykorzystania lukratywnego rynku Big Data, niektóre firmy technologiczne nie poświęcają wystarczającej uwagi temu ważnemu aspektowi jakości. A ponieważ wysokiej jakości inżynieria systemów oprogramowania intensywnie przetwarzających dane jest wciąż w powijakach, przewidywanie i zagwarantowanie jakości usług w systemach oprogramowania big data jest niezwykle trudne. Metodyczna analiza danych Projekt DICE podjął to wyzwanie, tworząc zestaw 14 narzędzi, aby zapewnić wsparcie – przy wysokim poziomie automatyzacji – podstawowych działań w zakresie rozwoju aplikacji big data, w tym oceny jakości oprogramowania, poprawy architektury oprogramowania i dostarczania do chmury. Wszystkie narzędzia zostały zorganizowane w ramach spójnej metodologii, zainspirowanej zasadami powstającego paradygmatu dostarczania oprogramowania znanego jako DevOps. „Do tej pory brakowało metod wyrażania wymagań dotyczących jakości”, wyjaśnia dr Casale. „Nasze osiągnięcie polega na zdefiniowaniu zintegrowanej metodologii, od projektu do działania, która zaradzi tym niedociągnięciom. Jest to w efekcie pierwsze środowisko programistyczne dla aplikacji big data, oparte na idei jakości”. Przeprowadzono następnie oceny metodologii DICE, a także zastosowano narzędzia w ramach trzech pilotażowych projektów przetwarzania danych: analizy danych w mediach społecznościowych; przetwarzania wsadowego w celu wykrywania oszustw podatkowych; oraz zarządzania w chmurze operacjami portowymi w czasie rzeczywistym. „Wstępne wyniki wskazują na znaczny wzrost produktywności dzięki technologii DICE, szczególnie w zakresie skrócenia czasu dostawy i konfiguracji nowych aplikacji big data”, mówi dr Casale. „Model DICE był również w stanie zidentyfikować kilka naruszeń i anty-wzorców w projektach aplikacji, a także konsekwentnie skrócić ręczny czas testowania i oceny”. Wersja open source modelu DICE dla programistów została opublikowana na stronie internetowej projektu. Ponadto system DICE został przepakowany i dostosowany do indywidualnych potrzeb klienta i składa się z dwóch produktów na zamówienie: DICE Velocity oraz DICE BatchPro. DICE Velocity jest dostosowany do potrzeb firm opracowujących aplikacje oparte na technologii strumieniowego przetwarzania danych, a DICE BatchPro ma na celu pomóc firmom w łatwej konfiguracji i wdrożeniu efektywnego kosztowo przetwarzania danych wsadowych.
Słowa kluczowe
DICE, ICT, big data, przetwarzanie danych, chmura, DevOps, media społecznościowe, przetwarzanie strumieniowe
