Качество на данните

Качеството на данните описва дали данните са подходящи за целите, за които се използват, и именно ограничението определя стойността на всичко, изградено върху тях. Сложният анализ, моделите за машинно обучение и таблата за управление на изпълнителните директори наследяват качеството на своите входни данни, а организациите редовно инвестират сериозно в аналитичния слой, като същевременно оставят основните данни непроверени.

Конвенционалните измерения предоставят полезен контролен списък. Точността се отнася до това дали стойностите правилно описват реалността. Пълнотата се отнася до това дали са налице очакваните стойности. Съгласуваността се отнася до това дали един и същ факт е представен по еднакъв начин в различните системи. Навременността се отнася до това дали данните са достатъчно актуални за решението, което подкрепят. Валидността се отнася до съответствието с дефинирани формати и правила. Уникалността се отнася до това дали обектите са представени веднъж, а не са дублирани.

Повечето проблеми с качеството възникват при събирането на данни, а не при обработката. Полета за свободен текст, където са необходими контролирани стойности, формуляри, които позволяват въвеждане на неправдоподобни данни, незадължителни полета, които систематично се пропускат, и процеси, които позволяват многократното създаване на един и същ клиент, въвеждат дефекти, които никое последващо почистване не може да поправи напълно. Коригирането на събирането на данни е по-ефективно и значително по-евтино от постоянното отстраняване, въпреки че изисква промяна на системи, които притежават други хора.

Дублиращите се записи са най-постоянният проблем в клиентските данни и най-сериозният. Без надеждно разрешаване на самоличността, едно и също лице се появява няколко пъти, което изкривява броя на клиентите, разделя историята на покупките, подкопава изчисляването на стойността на жизнения цикъл и води до видимия провал при няколкократно свързване с едно и също лице с различни съобщения. Дедупликацията изисква целенасочени правила за съвпадение и непрекъснато прилагане, а не еднократно почистване.

Измерването е това, което превръща качеството от впечатление в управлявано свойство. Профилирането на данни за количествено определяне на пълнота, валидност и нива на дублиране, проследяването на тези мерки във времето и задаването на прагове, които задействат разследване, прави влошаването видимо, преди то да повлияе на решенията. Организациите, които не измерват качеството, откриват проблеми чрез повреда на нещо, което е зависело от него.

Собствеността е организационното условие, без което нищо не се подобрява. Проблемите с качеството обикновено възникват в една система, забелязват се в друга и засягат трета, а при липса на определена отговорност всяка функция разумно го разглежда като проблем на някой друг. Определянето на собственик за всеки значим набор от данни, отговорен за неговото качество, а не само за неговата наличност, е това, което превръща идентифицираните проблеми в отстранени.

Наследените данни представляват решение, което организациите често отлагат. Историческите записи, събрани по по-ранни процеси, от придобити системи или преди да е съществувала валидация, често са некачествени и тяхното отстраняване може да бъде по-скъпо от аналитичната стойност, която притежават. Изричното определяне на това кои исторически периоди са надеждни, документирането на границата и изключването на останалите от анализа е по-честно от тихото смесване на надеждна и ненадеждна история.

Пригодността за целта е критерият, който поддържа усилията пропорционални. Данните, адекватни за идентифициране на насочваща тенденция, може да са напълно неадекватни за финансово отчитане или за модел, който взема автоматизирани решения за отделни лица. Определянето на необходимия стандарт за всяка употреба, вместо преследването на единно съвършенство, насочва отстраняването на грешки там, където последствията от грешките са най-големи, и избягва скъпа работа с данни, чиято неточност няма значение.

Тъй като причините обикновено се крият в оперативните системи и процеси, а не в аналитичната функция, подобрението изисква сътрудничество от екипи, чиито цели не включват качество на данните. На практика измерването и профилирането се установяват от анализи на данни, корекциите от страна на заснемането изискват промени, доставени чрез разработване на продуктии когато дефектите произлизат от начина, по който са проектирани формулярите и процесите, решението често се намира в UX одит работете върху интерфейсите, които събират данните на първо място.