Análise Preditiva

A análise preditiva utiliza dados históricos e modelos estatísticos ou de aprendizado de máquina para estimar a probabilidade de resultados futuros. Em aplicações comerciais, isso normalmente significa atribuir pontuações a indivíduos ou contas com base em probabilidades como compra dentro de um determinado período, cancelamento de assinatura, resposta a uma oferta, inadimplência ou atingir um valor vitalício específico, e então usar essas pontuações para priorizar ações.

Seu valor comercial reside inteiramente nas decisões que altera. Um modelo de churn que prevê com precisão, mas não gera nenhuma ação diferenciada, produz um relatório em vez de retorno. A abordagem útil, portanto, é começar pela decisão, identificar o que seria feito de forma diferente em cada nível de pontuação, confirmar se a ação diferenciada é viável e justifica o custo, e somente então construir o modelo. Projetos que começam com dados disponíveis e buscam algo para prever rotineiramente produzem modelos precisos que ninguém utiliza.

A qualidade do modelo também depende mais da definição do objetivo e dos dados do que da seleção do algoritmo. Decidir o que conta como churn, em qual horizonte temporal e para quais tipos de clientes, determina o que o modelo aprende, e uma definição ambígua produz um modelo que prevê uma mistura incoerente de resultados. Os recursos devem estar disponíveis no momento em que a previsão é necessária, o que exclui qualquer informação registrada posteriormente, e o vazamento de dados, onde um recurso codifica informações sobre o resultado que está prevendo, é a causa mais comum de modelos que têm excelente desempenho na validação e falham completamente em produção.

A avaliação deve refletir a realidade operacional, e não um valor genérico de acurácia. Para desfechos raros, a acurácia geral é irrelevante, visto que prever que nada acontecerá geralmente está correto. Precisão e recall no limiar operacional, ganho em relação à linha de base dentro do segmento que será efetivamente tratado e o valor esperado das decisões resultantes são as métricas que importam. A estabilidade ao longo do tempo é tão importante quanto a acurácia em um determinado momento, já que os modelos se degradam conforme o comportamento, o produto e as condições de mercado mudam, e modelos não monitorados podem apresentar desvios por meses antes que alguém perceba.

As previsões também exigem um tratamento cuidadoso quando influenciam a ação, pois agir com base nelas altera os dados que o próximo modelo utiliza para aprender. Suprimir o marketing para clientes com baixa probabilidade de conversão elimina a oportunidade de conversão, o que confirma a previsão e reforça o padrão. Da mesma forma, ofertas de retenção para clientes de alto risco alteram seu comportamento, de modo que os dados de treinamento subsequentes não refletem mais a relação anterior à intervenção. Reservar um grupo de controle randomizado é a proteção padrão e também a única forma confiável de medir se o programa gera valor.

A explicabilidade é mais importante na implementação comercial do que sugerem os benchmarks de desempenho do modelo. Um modelo cujas previsões não podem ser explicadas às equipes que as utilizam será visto com desconfiança e ignorado, principalmente pelas equipes de vendas e atendimento, que têm sua própria visão sobre quais clientes estão em risco. Fornecer os principais fatores que influenciam cada pontuação individual, em vez de apenas a pontuação, melhora a adoção e dá à pessoa responsável pela tomada de decisão informações concretas para trabalhar, já que saber que uma conta está em risco porque o uso diminuiu entre seus principais usuários sugere uma conversa diferente de saber que ela está em risco porque o período de renovação do contrato está se aproximando. Isso também permite que especialistas no assunto identifiquem quando um modelo aprendeu algo espúrio.

As dimensões éticas e regulatórias aplicam-se diretamente quando as previsões afetam o que é oferecido ou cobrado aos indivíduos. Os modelos treinados com dados históricos reproduzem padrões históricos, incluindo os discriminatórios, e a precificação ou o acesso diferenciado com base no valor previsto acarretam riscos tanto reputacionais quanto legais em diversas jurisdições. Na prática, esses programas são construídos por análise de dados com a estrutura de decisão e o desenho de validação acordados em conjunto gestão do crescimentoE são mais defensáveis ​​quando o modelo orienta a priorização de tratamentos genuinamente úteis, em vez de determinar quem tem permissão para recebê-los.