Qualidade de dados

A qualidade dos dados descreve se os dados são adequados para os fins a que se destinam e é a restrição que determina o valor de tudo o que é construído sobre eles. Análises sofisticadas, modelos de aprendizado de máquina e painéis executivos dependem da qualidade de seus dados de entrada, e as organizações frequentemente investem pesadamente na camada analítica, deixando os dados subjacentes sem exame.

As dimensões convencionais fornecem uma lista de verificação útil. A precisão diz respeito à correta descrição da realidade pelos valores. A completude diz respeito à presença dos valores esperados. A consistência diz respeito à representação idêntica do mesmo fato em diferentes sistemas. A atualidade diz respeito à precisão dos dados, garantindo que sejam suficientes para a tomada de decisão. A validade diz respeito à conformidade com os formatos e regras definidos. A unicidade diz respeito à representação das entidades apenas uma vez, em vez de duplicadas.

A maioria dos problemas de qualidade tem origem na captura de dados, e não no processamento. Campos de texto livre onde seriam necessários valores controlados, formulários que permitem entradas implausíveis, campos opcionais que são sistematicamente ignorados e processos que permitem a criação repetida do mesmo cliente são exemplos de defeitos que nenhuma limpeza subsequente consegue corrigir completamente. Corrigir a coleta de dados é mais eficaz e consideravelmente mais barato do que a remediação constante, embora exija a alteração de sistemas que pertencem a terceiros.

Registros duplicados são o problema mais persistente e mais consequente nos dados de clientes. Sem uma resolução de identidade confiável, a mesma pessoa aparece várias vezes, o que distorce a contagem de clientes, divide o histórico de compras, prejudica o cálculo do valor vitalício do cliente e resulta na falha visível de contatar uma mesma pessoa diversas vezes com mensagens diferentes. A desduplicação exige regras de correspondência deliberadas e aplicação contínua, em vez de uma limpeza pontual.

A mensuração é o que transforma a qualidade de uma mera impressão em uma propriedade gerenciada. A análise de dados para quantificar a integridade, a validade e as taxas de duplicação, o acompanhamento dessas métricas ao longo do tempo e a definição de limites que desencadeiam investigações tornam a deterioração visível antes que ela afete as decisões. Organizações que não mensuram a qualidade descobrem problemas por meio da falha de algo que dependia dela.

A responsabilidade é a condição organizacional sem a qual nada melhora. Problemas de qualidade geralmente se originam em um sistema, são percebidos em outro e afetam um terceiro, e, na ausência de uma responsabilidade atribuída, cada função os considera, com razão, como problema de outra pessoa. Nomear um responsável para cada conjunto de dados significativo, que seja responsável por sua qualidade e não apenas por sua disponibilidade, é o que transforma problemas identificados em problemas resolvidos.

Dados legados representam uma decisão que as organizações frequentemente adiam. Registros históricos coletados sob processos anteriores, a partir de sistemas adquiridos ou antes da validação serem existentes, são frequentemente de baixa qualidade, e corrigi-los pode ser mais caro do que o valor analítico que possuem. Decidir explicitamente quais períodos históricos são confiáveis, documentar os limites e excluir o restante da análise é mais honesto do que misturar silenciosamente dados históricos confiáveis ​​e não confiáveis.

A adequação ao propósito é o critério que mantém o esforço proporcional. Dados adequados para identificar uma tendência direcional podem ser totalmente inadequados para relatórios financeiros ou para um modelo que toma decisões automatizadas sobre indivíduos. Definir o padrão exigido para cada uso, em vez de buscar a perfeição uniforme, direciona a correção para onde as consequências do erro são maiores e evita trabalho dispendioso com dados cuja imprecisão não importa.

Como as causas geralmente residem nos sistemas e processos operacionais, e não na função de análise, a melhoria exige a cooperação de equipes cujos objetivos não incluem a qualidade dos dados. Na prática, a medição e o perfilamento são estabelecidos por análise de dados, as correções do lado da captura exigem alterações implementadas por meio de desenvolvimento de produtosE quando os defeitos se originam na forma como os formulários e processos são projetados, a solução frequentemente reside em... Auditoria de experiência do usuário Trabalhar nas interfaces que coletam os dados em primeiro lugar.