A/B testing promete substituir opinião por evidência. Feito mal, substitui opinião por número com fantasia científica.
Comece por hipótese
Qual mudança deveria afetar qual comportamento e por quê? Testar cor aleatória de botão porque ferramenta permite gera aprendizado pequeno.
Volume limita precisão
Amostras pequenas oscilam. Efeitos pequenos exigem mais dados. Se seu site tem pouco tráfego, testes qualitativos, pesquisas, protótipos e mudanças maiores podem aprender mais rápido. Defina métrica primária e guardrails antes de olhar. Trocar o objetivo depois de ver resultado é cassino com planilha.
Não pare no primeiro verde
Respeite janela suficiente para capturar variação de dia e ciclo. Cuidado com múltiplos testes e segmentações improvisadas. Experimentação é disciplina para errar barato. O objetivo não é produzir vencedores toda semana; é reduzir a quantidade de decisões baseadas em palpite bem vestido.