Guarda-corpo métrico

Uma métrica de salvaguarda é uma medida monitorada durante um experimento não para determinar se a variante é a vencedora, mas para detectar se ela causa danos inaceitáveis ​​em algum outro aspecto. A métrica principal responde à pergunta para a qual o teste foi projetado; as salvaguardas respondem à pergunta que ninguém fez, mas que todos deveriam fazer. Um experimento de finalização de compra otimizado para pedidos concluídos pode incluir salvaguardas em relação ao valor médio do pedido, taxa de devolução, contatos com o atendimento ao cliente, tempo de carregamento da página e taxa de erros, qualquer um dos quais pode se deteriorar de forma a tornar um ganho nominal comercialmente negativo.

Existem mecanismos de controle porque a otimização cria fortes incentivos para alterar um número, e quase qualquer número pode ser alterado à custa de outro. Remover informações sobre o custo de envio de uma página de produto pode aumentar a taxa de adições ao carrinho, mas também aumentar o abandono do carrinho. Mensagens agressivas de urgência podem aumentar a conversão imediata, mas prejudicar a confiança e aumentar os reembolsos. Simplificar um formulário removendo perguntas de qualificação pode aumentar o volume de leads, mas diminuir tanto a qualidade dos leads que o volume de vendas cai. Em cada caso, a métrica principal melhora e o negócio piora, e somente um mecanismo de controle impede isso.

As diretrizes de segurança eficazes são escolhidas deliberadamente para cada experimento, em vez de serem aplicadas como uma lista genérica, embora um conjunto padrão seja útil como base. Esse conjunto padrão geralmente abrange a saúde técnica, incluindo taxas de erro e desempenho da página, e a saúde do negócio, incluindo receita por visitante e valor do pedido. As diretrizes de segurança específicas do teste abrangem as maneiras plausíveis pelas quais essa mudança em particular poderia causar danos, uma questão que deve ser respondida pelas pessoas que entendem as consequências subsequentes: atendimento ao cliente, logística, vendas e finanças, nenhuma das quais é normalmente consultada durante o planejamento do teste.

As diretrizes são analisadas de forma diferente das métricas primárias. A métrica primária é testada quanto a uma melhoria significativa; as diretrizes são testadas quanto à ausência de danos significativos, o que é uma questão de não inferioridade, e não de superioridade. Na prática, as equipes definem uma tolerância antecipadamente, como uma queda relativa de no máximo 1% no valor médio do pedido, e consideram uma violação dessa tolerância como motivo para rejeitar a variante, independentemente do resultado da métrica primária. Como várias diretrizes são verificadas simultaneamente, alguma tolerância para comparações múltiplas é sensata; caso contrário, um conjunto extenso de diretrizes poderá ocasionalmente sinalizar danos aleatoriamente.

Algumas métricas não podem ser medidas durante o período de teste. Taxas de retorno, cancelamento de assinaturas, recompra e valor vitalício do cliente são avaliadas semanas ou meses após o término do experimento. Essas métricas exigem uma análise posterior ao lançamento ou um acompanhamento posterior, e o fato de não poderem ser avaliadas imediatamente é um motivo para sermos mais cautelosos com o tipo de mudança que possivelmente as afeta, e não um motivo para ignorá-las.

Definir a tolerância exige uma conversa explícita sobre qual magnitude de dano seria inaceitável, e essa conversa é mais fácil quando formulada em termos comerciais em vez de estatísticos. Uma queda de 1% no valor médio do pedido em uma grande base de receita pode custar mais do que os ganhos de melhoria na conversão, e expressar ambos em valores monetários torna a relação de custo-benefício óbvia para todos os envolvidos. A automação é o que torna as salvaguardas eficazes na prática: uma revisão manual ao final de um teste é tarde demais para uma variante que vem prejudicando a receita há três semanas, portanto, o arranjo útil é o monitoramento contínuo de um pequeno conjunto de métricas críticas, com limites de alerta definidos de forma suficientemente flexível para evitar alarmes falsos constantes e um caminho de escalonamento acordado para quando um alerta for acionado. O alerta deve chegar a alguém com autoridade para interromper o teste imediatamente.

Definir diretrizes é um dos pontos mais claros em que o trabalho de otimização precisa ser conectado ao restante do negócio, em vez de ser executado como uma especialidade isolada. Serviço CRO O envolvimento normalmente estabelece as diretrizes básicas definidas durante a fase de configuração e revisita as diretrizes específicas do teste em cada sessão de priorização, com contribuições das partes interessadas operacionais. e-commerce, Em ambientes onde a conexão com o cumprimento de prazos e devoluções é particularmente importante, é essencial, pois as conversões mais tentadoras são frequentemente aquelas que transferem custos para a logística, onde a equipe de otimização nunca os vê.