Analityk w świecie danych – cz. I

Standard danych w analizie biznesowej

Ta część “będących w obiegu” danych, która pochodzi z serwisów społecznościowych, nie jest, przynajmniej na razie, w moim obszarze zainteresowań zawodowych – nie przywiązuję wagi do ich standardu, traktuję je jak “rozrywkę”. Co innego w pracy – tu liczy się dla mnie standard danych. Muszą więc one być:

• dostarczane w odpowiednich terminach,
• dokładne,
• wartościowe,
• przydatne.

Mamy już dane, które spełniają wszystkie powyższe wymagania? Świetnie! Możemy więc pracować nad rozwiązaniem, które dostarczy  klientowi czy użytkownikowi końcowemu wartość. O wartości napiszę więcej w części dotyczącej Business Intelligence.

Źródła danych, ich zapis oraz przechowywanie

Obecnie źródłem danych może być wszystko, zarówno gadżety, które kupiliśmy w sklepie (np. opaska fitness, smartphone), jak i narzędzia udostępniane za darmo (np. przeglądarka internetowa), od kamer monitoringu po wysoko specjalistyczny sprzęt przeznaczony do konkretnych celów. Większość urządzeń można podłączyć do internetu, a co za tym idzie –  urządzenie to może generować dla nas dane.

Nie powiem nic odkrywczego pisząc, że podstawową formą przechowywania wygenerowanych danych jest ich zapisywanie w odpowiednio przygotowanych tabelach. Tworząc tabelę w bazie danych, trzeba pamiętać o trzech podstawowych zasadach normalnych:

1. Jeśli tabela ma dużo kolumn i wierszy, to chcąc usprawnić jej działanie, zakłada się indeksy, które pomagają  w wyszukiwaniu informacji.
2. Dane muszą być odpowiednio przygotowane, o czym mówi modelowanie danych.
3. Model danych może mieć postać diagramu klas w UML, wspartego opisami tekstowymi jednostek, klas lub obiektów danych istotnych dla domeny oraz relacji między nimi, aby zapewnić wspólny zestaw pojęć do analizy i wdrożenia.

Co następnie dzieje się z danymi? Zapisujemy je w bazach, łączymy w hurtowniach i wykorzystujemy narzędzia, które pozwalają je policzyć lub zagregować, by finalnie przedstawić je w raporcie w przyjaznej formie wykresu lub na dashboardzie.

Co ważne, analityk nie zajmuje się przygotowaniem danych do użytku – odpowiedzialny za to jest zespół programistów, który przygotowuje optymalny kod. Zadaniem analityka jest w tym momencie określenie źródła danych, stworzenie mapowania, słowników i przekazanie kontekstu. Według mnie, kontekst w rozwoju oprogramowania jest bardzo ważny, ponieważ to on definiuje potrzeby biznesu, a co za tym idzie – wpływa na drogę do realizacji celu.

Analityk może, acz nie musi, odpowiadać za przygotowanie zestawów danych do importów. Bardzo często takie ustalenia powstają podczas rozmów z osobami posiadającymi wiedzę z danego obszaru biznesowego. Przydatnym krokiem jest odróżnienie tabeli faktów od tabeli wymiarów, czyli tabeli z informacjami i tabeli pokazującej, jak te informacje klasyfikować.

Architekt systemowy zajmuje się dokładnym określeniem, gdzie dane powinny być załadowane, by “sięganie” do bazy nie “zawiesiło” jej. Natomiast architekci i bazodanowcy mają swoje sztuczki, aby nawet ogromne wolumeny danych działały sprawnie. Stosują w tym celu dodatkowe widoki, funkcje, procedury składowane.

Warto pamiętać, aby nie duplikować danych bez potrzeby i korzystać z “jednego źródła prawdy”. W przeciwnym razie, dane mogą być nieużyteczne, a baza pełna niepotrzebnych informacji.

Rodzaje analizy danych

Gdy dane znajdują się w bazie, wówczas analityk rozpoczyna ich analizę. Wcześniej jednak musi ustalić, jakie są oczekiwania biznesu oraz do czego mają służyć informacje. W BABOK’u¹ opisane są 3 rodzaje analizy danych:

• Analiza opisowa: wykorzystuje dane historyczne do zrozumienia i analizy wyników biznesowych w przeszłości. Pozwala na kategoryzację i konsolidację informacji  biznesowych, aby jak najlepiej odpowiadały opinii interesariuszy. Analiza biznesowa koncentruje się na wymaganiach informacyjnych i komunikacyjnych, dotyczących standardowego raportowania i pulpitów nawigacyjnych, raportowania ad hoc i funkcji zapytań.
• Analityka predykcyjna: stosuje metody analizy statystycznej do danych historycznych w celu identyfikacji wzorców, wykorzystując je do zrozumienia relacji i trendów związanych z  przewidywaniem przyszłych wydarzeń. Konkretne sytuacje, interesujące dla interesariuszy są określone, a ich reguły biznesowe – zdefiniowane. W takim przypadku analiza biznesowa koncentruje się na wymaganiach informacyjnych dotyczących rozpoznawania wzorców za pomocą eksploracji danych, modelowania predykcyjnego, prognozowania i alertów warunkowych.

• Analityka preskryptywna: rozszerza analizę predykcyjną w celu identyfikacji decyzji do podjęcia oraz inicjowania działań celem poprawy wyników biznesowych. Optymalizacja statystyczna i techniki symulacji mogą być wykorzystane do określenia najlepszego rozwiązania lub wyniku. Analiza biznesowa koncentruje się na celach biznesowych, kryteriach ograniczeń i regułach biznesowych, które stanowią podstawę procesu podejmowania decyzji.

Do interpretacji danych stosuje się wiele narzędzi i technik wizualizacyjnych. Dosyć często to najdłuższy i najbardziej złożony krok w eksploracji danych – coraz częściej jest także przedmiotem automatyzacji.

Wnioski po analizie danych

Wynikiem analizy danych powinny być wzorce, spostrzeżenia i informacje na temat zależności. Takie informacje możemy wykorzystać do tworzenia macierzy decyzyjnych, raportów czy kokpitów menedżerskich.

Trzeba jednak pamiętać, że dostęp do dużych zbiorów danych i zaawansowanych zestawów narzędzi oraz oprogramowania do ich eksploracji może prowadzić do przypadkowego nadużycia w postaci błędnej interpretacji danych. Dlatego wymagania należy jeszcze zweryfikować i potwierdzić. Więcej na ten temat napiszę w kolejnej części, dotyczącej Business Intelligence, do lektury której gorąco Was zachęcam.

Bibliografia

1. IIBA Babok Guide v3