Якість даних

Якість даних описує, чи придатні дані для цілей, для яких вони використовуються, і саме це обмеження визначає цінність усього, що побудовано на їх основі. Складний аналіз, моделі машинного навчання та інформаційні панелі для керівників успадковують якість своїх вхідних даних, і організації регулярно інвестують значні кошти в аналітичний рівень, залишаючи базові дані без уваги.

Звичайні виміри забезпечують корисний контрольний список. Точність стосується того, чи правильно значення описують реальність. Повнота стосується того, чи присутні очікувані значення. Узгодженість стосується того, чи один і той самий факт представлений однаково в різних системах. Своєчасність стосується того, чи дані достатньо актуальні для рішення, яке вони підтримують. Валідність стосується відповідності визначеним форматам і правилам. Унікальність стосується того, чи представлені сутності один раз, а не дублюються.

Більшість проблем із якістю виникають під час збору даних, а не під час обробки. Поля вільного тексту, де потрібні контрольовані значення, форми, що дозволяють вводити неправдоподібні дані, додаткові поля, які систематично пропускаються, та процеси, що дозволяють багаторазово створювати одного й того ж клієнта, – все це призводить до дефектів, які жодне подальше очищення повністю не виправляє. Виправлення неполадок зі збором даних є ефективнішим і значно дешевшим, ніж постійне виправлення, хоча це вимагає зміни систем, якими володіють інші люди.

Дублікати записів є найпостійнішою проблемою в даних клієнтів і найсерйознішою. ​​Без надійного розпізнавання ідентифікаційних даних одна й та сама особа з'являється кілька разів, що спотворює кількість клієнтів, розділяє історію покупок, підриває розрахунок цінності за весь термін дії клієнта та призводить до видимої невдачі через кілька разів зв'язок з однією особою з різними повідомленнями. Дедуплікація вимагає навмисних правил зіставлення та постійного застосування, а не одноразового очищення.

Вимірювання – це те, що перетворює якість з враження на керовану властивість. Профілювання даних для кількісної оцінки повноти, валідності та рівня дублювання, відстеження цих показників з часом та встановлення порогових значень, що запускають розслідування, робить погіршення видимим до того, як воно вплине на рішення. Організації, які не вимірюють якість, виявляють проблеми через збій чогось, що від цього залежало.

Відповідальність – це організаційна умова, без якої ніщо не покращується. Проблеми з якістю зазвичай виникають в одній системі, виявляються в іншій і впливають на третю, а за відсутності призначеної відповідальності кожна функція обґрунтовано розглядає це як проблему когось іншого. Призначення відповідального за кожен важливий набір даних, відповідального за його якість, а не лише за його доступність, перетворює виявлені проблеми на вирішені.

Застарілі дані – це рішення, яке організації часто відкладають. Історичні записи, зібрані за попередніми процесами, з придбаних систем або до того, як існувала валідація, часто є неякісними, а їх відновлення може бути дорожчим, ніж їхня аналітична цінність. Чітке визначення того, які історичні періоди є достовірними, документування меж та виключення решти з аналізу є більш чесним, ніж мовчазне змішування достовірної та ненадійної історії.

Придатність до мети – це критерій, який забезпечує пропорційність зусиль. Даних, достатніх для визначення спрямованої тенденції, може бути абсолютно неадекватними для фінансової звітності або для моделі, яка приймає автоматизовані рішення щодо окремих осіб. Визначення необхідного стандарту для кожного використання, а не прагнення до однакової досконалості, спрямовує виправлення там, де наслідки помилки є найбільшими, та уникає дорогої роботи з даними, неточність яких не має значення.

Оскільки причини зазвичай криються в операційних системах і процесах, а не в аналітичній функції, покращення вимагає співпраці команд, цілі яких не включають якість даних. На практиці вимірювання та профілювання встановлюються аналітика даних, виправлення на стороні захоплення вимагають змін, внесених через розробка продукту, а там, де недоліки виникають у тому, як розроблені форми та процеси, засіб вирішення часто полягає в UX аудит працювати над інтерфейсами, які збирають дані в першу чергу.