Budowa i funkcjonowanie hurtowni danych

Hurtownie danych stają się powoli standardem w systemach analityki biznesowych. To wysoce efektywny sposób organizowania i przetwarzania informacji związanych z funkcjonowaniem przedsiębiorstwa, który pozwala sobie radzić z nadmiarem danych spływających z wielu źródeł. Jak w praktyce wyglądają budowa i funkcjonowanie hurtowni danych? Sprawdź w artykule.

Po co są potrzebne hurtownie danych

Hurtownie danych to zaawansowane bazy danych, które mają zbierać, ujednolicać i przetwarzać informacje z różnych źródeł tak, aby wspierać procesy podejmowania decyzji w organizacji. Co ciekawe, pierwsze wersje Data Vaults pojawiły się już w latach 90-tych ubiegłego wieku, a za ich twórcę uznaje się Billa Inmona.

Dlaczego w ogóle narodziła się taka koncepcja? To wynik stale narastającej liczby danych, które „osaczają” z każdej strony. Problem ten – dostrzegalny również w życiu prywatnym – jest szczególnie dotkliwy w przedsiębiorstwach i innych organizacjach. Wraz z rozwojem działalności, narasta liczba informacji, które należy przetwarzać. Są one związane między innymi z:

kolejnymi realizowanymi transakcjami,
zyskami i wydatkami firmy,
zatrudnionymi pracownikami,
klientami: byłymi, obecnymi i przyszłymi,
zasobami materialnymi firmy,
kontaktami biznesowymi,
procesami biznesowymi

Pewne jest, że sama rejestracja wszystkich tych zdarzeń nie wystarczy, aby mieć poczucie kontroli nad tym, co dzieje się w organizacji i móc świadomie planować jej rozwój. Stąd też pojawiła się koncepcja systemu, który ujednolici dane pochodzące z różnych źródeł, nada im sens i pozwala przetwarzać, by uzyskiwać wartościowe informacje z biznesowej perspektywy. Tak właśnie powstały hurtownie danych.

Definicja hurtowni danych

Po raz pierwszy hurtownia danych została zdefiniowana w 1992 roku przez wspomnianego już Billa Inmona. Określił on ją jako „bazę danych, która ma służyć wspomaganiu procesu podejmowania decyzji”. Wskazał również na cechy takiego systemu. Hurtownia danych ma być:

zorientowana na temat – a zatem koncentrować się na określonym wycinku rzeczywistości, np. na działalności danej firmy. Mają też dostarczać konkretnych informacji, np. np. dotyczących zrealizowanej sprzedaży, a nie samego procesu zbierania zamówień. Mają być one przydatne do prowadzenia konkretnych analiz biznesowych i uporządkowane właśnie pod takim kątem;
nieulotna, co oznacza, że dane mają być w niej gromadzone kumulatywnie i być dostępne przez nieograniczony czas – dzięki temu analitycy mają możliwość porównywania wyników na przestrzeni kolejnych tygodni, miesięcy czy lat i wyszukiwania zależności między konkretnymi zjawiskami,
zintegrowana – oznacza to, że hurtownia danych ma łączyć informacje z wielu miejsc, tak aby stać się jednym, kluczowym źródłem informacji o organizacji. Mają być one ujednolicone w taki sposób, aby dało je się wszystkie razem przetwarzać,
zróżnicowana czasowo – chodzi o to, aby możliwe było prześledzenie danych w określonych wycinkach czasu i dotarcie do informacji z konkretnego okresu, a nie tylko do przetworzonych już wyników.

Budowa i funkcjonowanie hurtowni danych w praktyce

Jak wyglądają budowa i funkcjonowanie hurtowni danych? Typowa hurtownia danych składa się z:

relacyjnej bazy danych, która stanowi „serce systemu”,
narzędzi ELT, które pozwalają na wyodrębnianie, ładowanie i transformacji danych tak, aby przygotować je do dalszej analizy,
funkcji analitycznych – analizy statystycznej, raportowania, eksploracji danych i innych, które pozwalają na przetwarzanie informacji w określonych celach,
narzędziach umożliwiających prezentację danych w formie uproszczonych wizualizacji.

Warto przy tym wiedzieć, że architektura hurtowni danych może być zróżnicowana – w zależności od wielkości samej bazy danych oraz potrzeb organizacji.

W ramach hurtowni danych można wyróżnić zazwyczaj kilka warstw informacji. Są to:

źródła danych, które docierają do systemu – są to wszystkie pliki czy mniejsze relacyjne bazy danych, które są „wrzucane” do hurtowni, a następnie przetwarzane i ujednolicane. Mogą to być np. pliki tekstowe, pliki XML, arkusze kalkulacyjne i wiele innych formatów danych;
centralna hurtownia danych, a więc miejsce, w którym te informacje ulegają uporządkowaniu i klasyfikacji – tak, aby mogły być poddawane dalszym procesom analitycznym. Centralna hurtownia jest regularnie aktualizowana – tak, aby hurtownia danych dostarczała bieżących informacji,
magazyn danych operacyjnych – jest to swoista strefa buforowa hurtowni danych, w których są one wstępnie przetwarzane, aby odciążyć centralną hurtownię danych i zapewnić sprawniejsze funkcjonowanie całego systemu. Warto też wiedzieć, że magazyny danych operacyjnych są aktualizowane o nowe informacje z większą częstotliwością niż centralna hurtownia, ale dane są tam przechowywane tylko tymczasowo;
hurtownie tematyczne – znajdują się w nich wycinki wszystkich danych docierających do hurtowni, które są „zorientowane” na konkretny aspekt działalności organizacji. Mogą więc np. dotyczyć sprzedaży, zasobów magazynowych, zasobów ludzkich, rozliczeń i finansów itp. Są zatem dostosowane do potrzeb poszczególnych komórek i działów firmy oraz pozwalają na dokładniejsze przyjrzenie się poszczególnym obszarom.

Chociaż przedstawiony powyżej schemat dość precyzyjnie określa funkcjonowania niemal każdej hurtowni danych, warto pamiętać, że poszczególne rozwiązania mogą mieć zróżnicowaną architekturę.

Najczęściej w kontekście architektury hurtowni danych mówi się o trzech podstawowych typach w odniesieniu do implementacji. Są to:

architektura scentralizowana – najprostsza ze wszystkich i pozbawiona warstw magazynu danych operacyjnych oraz hurtowni tematycznych. Jest łatwiejsza do stworzenia oraz do administrowania, a jednocześnie daje uproszczony dostęp do informacji. Mimo to, zwłaszcza przy dużym zakresie danych wprowadzanych do bazy, ten model architektury może się okazać mało wydajny. Jest to spowodowane koniecznością wykonywania wszystkich modyfikacji oraz zapytań w ramach jednej, centralnej bazy;
architektura federacyjna – to jedna z odmian architektury rozproszonej, w której wykorzystuje się bufor w postaci magazynów danych operacyjnych, jak również jedną warstwę hurtowni tematycznych. W efekcie system staje się bardziej skalowalny, odporniejszy na awarie i działa szybciej niż architektura scentralizowana. Stawia jednak większe wymagania związane z budową i konserwacją, a także sprawia, że modyfikacja procesów analitycznych jest bardziej wymagająca;
architektura wielowarstwowa jest najbardziej skomplikowanym modelem, w którym pojawia się kilka poziomów lokalnych tematycznych hurtowni danych. Każdy kolejny poziom zawiera albo kopię danych z poprzedniej warstwy, albo jej podsumowanie. Dzięki temu system jest bardzo wydajny, ale również skomplikowany i wymagający w implementacji.

Jak mogą funkcjonować hurtownie danych w firmie

Hurtownie danych znajdują szerokie zastosowanie w procesach biznesowych, dlatego są podstawą nowoczesnych narzędzi analitycznych. Mogą funkcjonować jako ważny element:

analizy trendów rynkowych oraz zachowań konsumenckich – a co za tym idzie, wspomagać podejmowanie decyzji inwestycyjnych o długofalowych konsekwencjach,
systemu wykrywania oszustw – pozwala zredukować straty wynikające z nieuczciwych zachowań pracowników, kontrahentów czy klientów do minimum,
analizy rentowności działań – na podstawie danych historycznych i analizy trendów,
zarządzania zasobami przedsiębiorstwa – hurtownia danych daje pełen dostęp do informacji o tym, co dzieje się w firmie w jednym miejscu,
automatyzacji procesów biznesowych – np. kontaktów z klientami, generowaniem zamówień itp.

Jak zatem widać, hurtownie danych mają szerokie zastosowanie biznesowe, a inwestycja w system zarządzania informacjami tego typu może przyczynić się do optymalizacji kosztów i efektywności podejmowanych działań. Warto więc zapoznać się bliżej z mechanizmami działania hurtowni danych i rozważyć ich wdrożenie w swojej organizacji.