Jakość danych

Jakość danych określa, czy dane są odpowiednie do celów, do których są wykorzystywane, i to właśnie ograniczenie decyduje o wartości wszystkiego, co jest na nich oparte. Zaawansowane analizy, modele uczenia maszynowego i pulpity menedżerskie dziedziczą jakość swoich danych wejściowych, a organizacje regularnie inwestują znaczne środki w warstwę analityczną, pozostawiając dane bazowe bez analizy.

Konwencjonalne wymiary stanowią użyteczną listę kontrolną. Dokładność dotyczy tego, czy wartości prawidłowo opisują rzeczywistość. Kompletność dotyczy tego, czy wartości oczekiwane są obecne. Spójność dotyczy tego, czy ten sam fakt jest reprezentowany identycznie w różnych systemach. Aktualność dotyczy tego, czy dane są wystarczająco aktualne dla decyzji, którą wspierają. Trafność dotyczy zgodności ze zdefiniowanymi formatami i regułami. Unikalność dotyczy tego, czy encje są reprezentowane jednorazowo, a nie duplikowane.

Większość problemów z jakością wynika z przechwytywania, a nie przetwarzania. Pola tekstowe, w których wymagane były kontrolowane wartości, formularze zezwalające na nieprawdopodobne wpisy, pola opcjonalne, które są systematycznie pomijane, oraz procesy umożliwiające wielokrotne tworzenie tego samego klienta – wszystkie te czynniki powodują wady, których nie da się w pełni naprawić poprzez późniejsze czyszczenie. Naprawa poboru jest skuteczniejsza i znacznie tańsza niż ciągłe naprawy, choć wymaga zmiany systemów, którymi dysponują inni użytkownicy.

Duplikacje rekordów to najbardziej uporczywy i brzemienny w skutki problem w danych klientów. Bez niezawodnego rozwiązania problemu tożsamości ta sama osoba pojawia się wielokrotnie, co zaburza liczbę klientów, dzieli historię zakupów, podważa kalkulację wartości cyklu życia klienta (LTV) i powoduje widoczne problemy z wielokrotnym kontaktowaniem się z tą samą osobą za pomocą różnych wiadomości. Deduplikacja wymaga przemyślanego dopasowywania reguł i ciągłego stosowania, a nie jednorazowego czyszczenia.

Pomiar to proces przekształcania jakości z wrażenia w zarządzaną właściwość. Profilowanie danych w celu ilościowego określenia kompletności, trafności i wskaźników duplikacji, śledzenie tych wskaźników w czasie oraz ustalanie progów uruchamiających dochodzenie uwidaczniają pogorszenie, zanim wpłynie ono na decyzje. Organizacje, które nie mierzą jakości, odkrywają problemy poprzez awarię czegoś, co od niej zależało.

Własność to stan organizacyjny, bez którego nic się nie poprawia. Problemy z jakością zazwyczaj mają swoje źródło w jednym systemie, są zauważane w innym i wpływają na trzeci, a w przypadku braku przypisanej odpowiedzialności każda funkcja zasadnie traktuje je jako problem kogoś innego. Wskazanie właściciela dla każdego istotnego zbioru danych, odpowiedzialnego za jego jakość, a nie tylko za dostępność, sprawia, że ​​zidentyfikowane problemy stają się rozwiązane.

Dane archiwalne stanowią decyzję, którą organizacje często odkładają na później. Dane historyczne gromadzone w ramach wcześniejszych procesów, z przejętych systemów lub przed wprowadzeniem walidacji są często słabe, a ich naprawa może być droższa niż wartość analityczna, jaką posiadają. Jednoznaczne określenie, które okresy historyczne są wiarygodne, udokumentowanie granic i wykluczenie pozostałych z analizy jest bardziej uczciwe niż ciche mieszanie danych historycznych wiarygodnych i niewiarygodnych.

Przydatność do celu to kwalifikator, który zapewnia proporcjonalność wysiłków. Dane wystarczające do identyfikacji trendu kierunkowego mogą być całkowicie niewystarczające do sprawozdawczości finansowej lub dla modelu, który podejmuje zautomatyzowane decyzje dotyczące jednostek. Zdefiniowanie wymaganego standardu dla każdego zastosowania, zamiast dążenia do jednolitej perfekcji, pozwala na wprowadzanie korekt tam, gdzie konsekwencje błędów są największe, i uniknąć kosztownej pracy z danymi, których niedokładność nie ma znaczenia.

Ponieważ przyczyny zazwyczaj tkwią w systemach i procesach operacyjnych, a nie w funkcjach analitycznych, doskonalenie wymaga współpracy zespołów, których cele nie obejmują jakości danych. W praktyce pomiar i profilowanie są ustalane poprzez Analityka danychpoprawki po stronie przechwytywania wymagają zmian dostarczonych za pośrednictwem rozwój produktów, a tam, gdzie wady wynikają ze sposobu projektowania formularzy i procesów, często rozwiązaniem jest Audyt UX pracować nad interfejsami, które w pierwszej kolejności zbierają dane.