Architektura hurtowni baz danych

Czym szersza działalność organizacji, tym większa ilość danych jest przetwarzana. Z biegiem lat ich liczba zaczyna narastać, a ich efektywne przetwarzanie przez człowieka staje się niemal niemożliwe. Tymczasem w ogromie informacji – zarówno tych bieżących, jak i historycznych – kryje się mnóstwo cennych wskazówek, które pozwalają podejmować świadome decyzje biznesowe. Potrzebny jest jednak dobry system zarządzania nimi. Najlepsze rozwiązanie to hurtownia danych. Zobacz, jaka architektura hurtowni baz danych jest możliwa do wdrożenia i co wybrać.

Hurtownia baz danych, czyli co?

Aby zrozumieć, czym jest architektura hurtowni baz danych, warto na początek wyjaśnić, czym są same hurtownie danych. To znacznie więcej niż „zwykła” baza. To zaawansowany system zarządzania danymi, którego celem jest umożliwienie prowadzenia działań BI, a więc związanych z zaawansowaną analityką biznesową. Jego zadania obejmują:

pozyskiwanie danych, zazwyczaj z wielu różnych źródeł,
ich transformacja – tak, aby nabrały spójnego charakteru,
ładowanie przekształconych danych – tak, by można je było wykorzystać,
dostarczenie informacji analitycznych, które stanowią kluczową wiedzę decyzyjną dla organizacji.

Hurtownie danych (Data Vaults) mają za zadanie jedynie obsługę zapytań oraz przeprowadzanie analiz. Tak precyzyjna specjalizacja jest konieczna, aby mogły one szybko przetwarzać zarówno bieżące dane, jak i ogrom tych historycznych, ze wszystkich działów organizacji. Najczęściej pochodzą one m.in. systemów planowania zasobów przedsiębiorstwa, księgowo-finansowych, oprogramowania CRM, systemów produkcyjnych, magazynowych i wielu innych – w zależności od specyfiki działalności przedsiębiorstwa. Stąd można powiedzieć, że hurtownie danych to rozwiązanie z obszaru Big Data.

Hurtownie baz danych:

zbierają i konsolidują ogromne ilości informacji z wielu różnych źródeł – tak, by można je było ze sobą zestawiać, porównywać i wyszukiwać określone prawidłowości,
dają ogromne możliwości analityczne – zarówno pracownikom, którzy specjalizują się w analityce danych, jak i stricte analityce biznesowej, która pozwala podejmować świadome decyzje inwestycyjne, obarczone niskim ryzykiem inwestycyjnym.

Z czego składa się typowa hurtownia baz danych?

Architektura hurtowni baz danych, jak i cały system są bardzo zaawansowane i kompleksowe. Najczęściej na to rozwiązanie składają się elementy takie jak:

relacyjna baza danych – to podstawa całego systemu i sposób na uspójnienie informacji pochodzących z wielu źródeł,
system pozwalający na przygotowanie danych do analizy, tj. umożliwiający ich wyodrębnienie, ładowanie i transformacji,
funkcje raportowania, eksplorowania danych oraz analizy statystycznej,
narzędzia, które umożliwiają przetworzenie danych do postaci wizualizacji, na potrzeby prezentacji.

Dla celów Business Intelligence hurtownia danych może być też wyposażona w zaawansowane aplikacje analityczne, także te wykorzystujące AI, czyli sztuczną inteligencję.

Co to jest architektura hurtowni baz danych?

Architektura hurtowni baz danych to, mówiąc inaczej, sposób ich „poukładania” w systemie – tak, aby później można było łatwo zyskać do nich dostęp, a także móc je przetwarzać w zaawansowany sposób. Ponieważ hurtownie bazy danych to rozwiązanie stosowane już od dłuższego czasu (pierwsza koncepcja opracowana przez Billa Inmona pojawiła się już w 1992 roku), architektura Data Vault również ulegała transformacjom i unowocześnieniom. Dlatego obecnie dostępnych jest kilka modeli – dobór odpowiedniego jest uzależniony m.in. od ilości danych, jakie mają być przekształcane, celów, którym ma to służyć, jak również od możliwości technologicznych i finansowych.

W ogólnym ujęciu architektura hurtowni danych to kolejne ich warstwy. Należy pamiętać, że każda kolejna jest „zasilana” z poprzedniej. I tak:

najniższą warstwę stanowią zazwyczaj rozproszone źródła informacji różnego rodzaju – w tej grupie można wymienić rozmaite relacyjne bazy danych, arkusze kalkulacyjne, pliki XML, pliki tekstowe, a nawet różnego rodzaju nagrania. Mogą być one niezwykle zróżnicowane, dlatego poddanie ich analizie wymaga obróbki,
środkowa warstwa to tzw. centralna hurtownia danych – jest to przestrzeń, w której przechowywane są już przetworzone informacje pozyskane wcześniej. Są one zagregowane, a co za tym idzie – częściowo podsumowane. Ta sekcja hurtowni danych jest stale zasilana nowymi informacjami – mogą być one aktualizowane np. w rytmie dobowym;
kolejną warstwę nierzadko stanowią hurtownie tematyczne, a zatem takie, które zawierają dane przetworzone na potrzeby poszczególnych działów firmy. Takie hurtownie tematyczne stanowią wycinek całej bazy i pozwalają na bardziej dokładne przetwarzanie oraz analizy,
opcjonalną warstwą w architekturze hurtowni baz danych jest tzw. magazyn danych operacyjnych – jest swoistym buforem, w którym dochodzi do wstępnego przetworzenia informacji, często nawet w czasie rzeczywistym. Jego utworzenie odciąża centralną hurtownię i zapewnia płynniejszy dostęp do danych.

Warto wiedzieć, że istnieją różnorodne modele architektury hurtowni danych, a wdrożenie konkretnego rozwiązania jest uzależnione od specyfiki potrzeb i możliwości technicznych.

Typy architektury hurtowni danych

Można znaleźć kilka różnych podziałów architektury hurtowni danych na podkategorie. Jeden z nich obejmuje architekturę:

prostą – to system, w którym wszystkie hurtownie tematyczne mają podobną strukturę, a metadane, dane podsumowujące oraz nieprzetworzone trafiają do centralnego repozytorium. To ono stanowi punkt połączenia między źródłami danych na jednym końcu, a użytkownikami, na drugiej. W nim odbywają się procesy analityczne i związane z raportowaniem, a także eksploracją;
prostą z obszarem pomostowym – w tym modelu dane, zanim trafią do centralnego repozytorium, podlegają wstępnej „obróbce” i oczyszczeniu w obszarze pomostowym, czyli wspomnianym wcześniej magazynie danych operacyjnych. Jego wprowadzenie optymalizuje płynność funkcjonowania hurtowni,
model Hub and Spoke – tą metaforą określa się architekturę hurtowni baz danych, w której pomiędzy centralnym repozytorium a użytkownikami końcowymi są dodane składnice danych tematycznych, a zatem wspomniane wcześnie hurtownie tematyczne. Ich obecność daje większe możliwości przeprowadzania analityki w węższym ujęciu, np. tylko związanym z eksploatacją zasobów produkcyjnych czy z wynikami finansowymi;
obszary izolowane, tzw. Sandbox – są one odrębnymi częściami hurtowni danych, które są zabezpieczone i pozwalają w nieformalny i bardzo bezpieczny sposób przetwarzać wybrane dane, bez stosowania się do protokołów obowiązujących w całym systemie zarządzania.

Trzy pierwsze typy architektury można również nazwać w innym sposób. W terminologii IT są to:

architektura scentralizowana (czyli prosta) – jej dużymi atutami są łatwość tworzenia i administrowania, jak również uproszczenie dostępu do informacji. Trzeba jednak pamiętać, że ma ona relatywnie niską wydajność, zwłaszcza przy dużym natłoku informacji,
architektura federacyjna – to ta, w której zastosowane są wstępnie magazyny danych operacyjnych, a także hurtownie tematyczne. Jest bardziej złożona, ale także znacznie bardziej skalowalna, odporniejsza na awarie i działa szybciej niż scentralizowana;
architektura wielowarstwowa – to taka, w której hurtownia centralna jest uzupełniana przez kolejne warstwy hurtowni tematycznych. Każda z nich zawiera kopię danych poprzedniej warstwy bądź co najmniej ich podsumowania. Zastosowanie takiej technologii maksymalizuje bezpieczeństwo danych i zapewnia doskonałą wydajność.

Warto przy tym pamiętać również, że przy wdrożeniu hurtowni danych można zdecydować się na model oparty na bazie relacyjnej, jak również na wielowymiarowej bazie danych MDDB. W związku z tym można też wprowadzić podział na architekturę ROLAP oraz MOLAP.

Dobór właściwej architektury bazy danych powinien być efektem współpracy ze specjalistami, którzy dokładnie zweryfikują potrzeby danej organizacji i dobiorą technologie, które najlepiej im odpowiadają. Warto zatem podjąć w tym zakresie współpracę ze specjalistami – tak, aby zyskać jak największe wsparcie dla BI.