O número de conversões necessárias para obter uma indicação confiável do tráfego futuro varia incrivelmente com os diferentes tipos de sites. Se o negócio para o qual você está projetando for uma loja de alto volume de clientes e baixo valor, você deve testar até ter cerca de 70 conversões para uma variante. Se for uma loja de baixo volume de clientes e gastos de alto valor, aponte para 20 conversões.
Se a conversão definida estiver longe de se tornar um “lucro” real para a loja (ou seja, uma conversão cria um lead de um visitante, em vez de uma venda de um lead), convém ter mais certeza de que uma variante está funcionando melhor do que o outro. Você também pode querer testar mais variantes diferentes do mesmo elemento ou fazer testes multivariados…
dentro das limitações do seu volume de tráfego.
Determinando a significância estatística na conclusão de um teste
Para que você tenha um alto nível de confiança de que os resultados do teste não são apenas um acaso, você pode aplicar uma fórmula simples para determinar se a diferença nos resultados é estatisticamente significativa. Esta regra é: A diferença numérica entre os dois resultados deve ser maior que a raiz quadrada da soma dos dois resultados. Ou YX>?X+Y, onde Y>X
Parece um pesadelo de antes do exame de matemática do ensino médio, não é?
Fica mais fácil de entender com um exemplo:
- Se o resultado da página A for 20 conversões e o resultado da página B for 30 conversões, a diferença entre os dois será 10.
- A soma dos dois resultados é 50
- A raiz quadrada dessa soma é 7 (arredondado para baixo)
- A diferença (10) é maior que a raiz quadrada da soma (7), portanto o resultado é estatisticamente significativo .
Se os dois resultados tivessem sido 22 e 28:
- A diferença entre os dois é 6
- A soma dos dois resultados é 50
- A raiz quadrada dessa soma é 7 (arredondado para baixo)
- A diferença (6) é menor que a raiz quadrada da soma (7) – o resultado não é estatisticamente significativo .
Se os resultados do seu teste A/B não forem estatisticamente significativos, você pode:
- Continue testando e veja se surge um padrão mais definido
- Decida que o elemento não faz diferença para a conversão neste caso e teste outra coisa.
Dicas para testes A/B em andamento
Ou você, como designer ou proprietário do site, deve implementar testes A/B constantemente, em todas as suas páginas de alto tráfego. Leva tempo para obter os resultados dos testes e, enquanto isso, as preferências dos clientes e as sensibilidades do mercado estão mudando, juntamente com a estação e seu estoque. É importante notar que nem todos os testes A/B serão bem sucedidos.
Na verdade, se você tem uma taxa de sucesso de 20%, onde um em cada cinco testes A/B melhora a taxa de conversão geral do site, então você está indo bem. O ponto-chave a ser lembrado com o teste A/B é que cada sucesso forma uma nova linha de base, com melhorias consideráveis no desempenho do site alcançadas após vários testes A/B diferentes. A maneira mais fácil de gerenciar todos os testes A/B é definir um dia por mês ao revisar os resultados e, em seguida, configurar os testes para o próximo mês com base nesses resultados.
Todos os meses, você deve acompanhar seus resultados em uma planilha para evitar re-testar acidentalmente os mesmos elementos repetidamente. Isso também fornece um ponto de referência para quando você está iniciando novos projetos, você pode ver quais veiculações e tipos de cópia são mais eficazes em quais setores. Se o seu site crescer a ponto de ter mais de 1 milhão de visitantes por mês, você pode usar testes multivariados.
E não se esqueça de verificar o que os sites concorrentes no mesmo nicho estão fazendo e testar os mesmos elementos em seu site! Depois de iniciar o teste A/B, você descobrirá que o que você achava que teria um desempenho melhor não funciona e ficará muito surpreso com alguns dos resultados. A melhor parte sobre o teste de divisão é que a confiança que você ganhará com o teste de divisão o ajudará com seus futuros projetos de desenvolvimento web, porque você terá maior conhecimento do que produz resultados e do que não produz.
O comportamento do consumidor é um campo especializado e os web designers podem entrar em uma curva de aprendizado íngreme, mas emocionante, envolvendo-se em testes de divisão em seus próprios sites e nos sites de seus clientes.
