Calculadora de tamaño de muestra para prueba A/B

Planifica el tamaño de muestra de tu prueba A/B.

Ingrese una tasa base válida entre 0 y 1

Ejemplos

Ingrese la tasa base y el EMD para calcular el tamaño de muestra

¿Qué es el cálculo del tamaño de muestra para pruebas A/B?

Las pruebas A/B comparan dos versiones (A y B) para ver cuál funciona mejor. Antes de ejecutar la prueba, necesitas saber cuántos usuarios se requieren para detectar una diferencia de manera confiable.

Esta calculadora determina el tamaño de muestra basándose en:

  • Tasa de conversión base
  • Efecto mínimo detectable (lift)
  • Nivel de significancia
  • Potencia estadística

Los parámetros clave

Tasa de conversión base

Tu rendimiento actual antes de la prueba:

  • "Tasa de finalización de compra actual: 3,2%"
  • "Tasa de apertura de correos: 18%"
  • "Tasa de clics en botón: 12%"

Efecto mínimo detectable (MDE)

La mejora más pequeña que vale la pena detectar:

MDE absoluto: "Detectar un aumento de 0,5 puntos porcentuales" (3,2% → 3,7%)

MDE relativo: "Detectar un lift relativo del 15%" (3,2% → 3,68%)

Los MDE más pequeños requieren muestras más grandes.

Nivel de significancia (α)

Tasa de falsos positivos (detectar diferencia cuando no existe):

  • α = 0,05 (5%): Estándar para la mayoría de pruebas
  • α = 0,10 (10%): Más permisivo, se necesita muestra más pequeña
  • α = 0,01 (1%): Más estricto, se necesita muestra más grande

Potencia (1 - β)

Probabilidad de detectar una diferencia real:

  • 80%: Mínimo estándar
  • 90%: Mayor confianza, se necesita muestra más grande

Requisitos de tamaño de muestra

El tamaño de muestra aumenta cuando:

  • La tasa base está más cerca del 50%
  • El MDE es más pequeño
  • La potencia es mayor
  • El nivel de significancia es menor

Ejemplos de cálculos

Prueba estándar de comercio electrónico:

  • Base: 3% de conversión
  • MDE: 10% de lift relativo (a 3,3%)
  • α = 0,05, potencia = 80%
  • Requerido: ~35.000 por variante

Prueba de alto tráfico:

  • Base: 20% de tasa de clics
  • MDE: 5% de lift relativo
  • α = 0,05, potencia = 80%
  • Requerido: ~12.000 por variante

Prueba de base baja:

  • Base: 0,5% de tasa de compra
  • MDE: 20% de lift relativo
  • α = 0,05, potencia = 80%
  • Requerido: ~180.000 por variante

Estimación de duración

Convierte el tamaño de muestra a duración de la prueba:

Duración = (Muestra requerida por variante × 2) / (Visitantes diarios × % Elegibles)

Ejemplo:

  • Necesitas: 25.000 por variante
  • Visitantes diarios: 10.000
  • Elegibles para la prueba: 50%

Duración = 50.000 / 5.000 = 10 días

Escenarios comunes

No se puede alcanzar el tamaño de muestra

Si la muestra requerida excede el tráfico disponible:

  • Acepta un MDE más grande (detecta solo mejoras grandes)
  • Aumenta el nivel de significancia (acepta más falsos positivos)
  • Prueba páginas con mayor tráfico
  • Ejecuta la prueba por más tiempo
  • Considera no probar (toma la decisión basándote en el criterio)

Tasas base muy bajas

Las tasas de compra de 0,1-1% requieren muestras masivas. Opciones:

  • Prueba métricas de embudo superior (añadir al carrito en lugar de compra)
  • Acepta MDEs más grandes
  • Usa métodos bayesianos para decisiones más tempranas

Múltiples variantes

Probar A vs. B vs. C vs. D requiere muestras más grandes:

  • Más comparaciones = más riesgo de error Tipo I
  • Aplica correcciones por comparaciones múltiples
  • O: Prueba secuencialmente (A vs B, luego ganador vs C)

Una cola vs. dos colas

Dos colas (recomendado): Prueba si B difiere de A en cualquier dirección. Usa esto a menos que estés seguro de que B no puede ser peor.

Una cola: Prueba solo si B es mejor que A. Muestra más pequeña, pero no detecta si B es realmente peor.

Consideraciones prácticas

Duración mínima de la prueba

Incluso con muestra adecuada, ejecuta las pruebas durante al menos:

  • 1 semana completa: Captura efectos del día de la semana
  • 2 semanas completas: Más robusto
  • Ciclo comercial completo: Captura patrones estacionales

Visitante vs. sesión vs. usuario

Define tu unidad de análisis:

  • Visitante: Cada sesión cuenta independientemente
  • Usuario: El mismo usuario en varias sesiones cuenta una vez
  • La definición de tasa de conversión debe coincidir con el cálculo del tamaño de muestra

Excluir bots

El tráfico de bots infla la muestra pero no las conversiones, sesgando los resultados. Filtra antes del cálculo.

Marco de planificación de pruebas

  1. Define la métrica: ¿Qué estás midiendo exactamente?
  2. Determina la base: ¿Cuál es el rendimiento actual?
  3. Establece el MDE: ¿Cuál es la mejora significativa más pequeña?
  4. Calcula el tamaño de muestra: ¿Cuántos visitantes se necesitan?
  5. Estima la duración: ¿Cuánto tiempo tomará?
  6. Decisión de continuar/no continuar: ¿Es factible la prueba?

Después de la prueba

Una vez que hayas recopilado datos suficientes:

Errores comunes

Detener demasiado pronto

"¡Alcanzamos significancia después de 2 días!" Detener temprano infla las tasas de falsos positivos. Ejecuta hasta el tamaño de muestra planificado.

Revisar sin corrección

Verificar los resultados repetidamente aumenta los falsos positivos. Ya sea:

  • Espera hasta el final
  • Usa métodos de prueba secuencial diseñados para monitoreo continuo

Ignorar la significancia práctica

Significancia estadística ≠ importancia de negocio. Un lift del 0,01% puede ser significativo con suficientes datos pero inútil en la práctica.

Cálculos relacionados

Resumen

La planificación del tamaño de muestra para pruebas A/B asegura que tu prueba pueda detectar mejoras significativas de manera confiable. Basándose en la tasa base, el efecto mínimo detectable y la confianza deseada, la calculadora determina los visitantes necesarios por variante. Los MDE más pequeños requieren muestras más grandes—no hay forma de escapar de este compromiso. Planifica antes de probar, ejecuta hasta completar y no te detengas temprano solo porque ves significancia. Una planificación adecuada previene pruebas desperdiciadas que no pueden responder la pregunta.

Herramientas relacionadas