Calculadora de significancia de prueba A/B

¿Qué es el análisis de significancia de pruebas A/B?

Después de ejecutar una prueba A/B, necesitas determinar si la diferencia observada es real o solo ruido aleatorio. Esta calculadora analiza tus resultados:

Entradas:

• Visitantes y conversiones para cada variante
• Nivel de significancia (típicamente 0,05)
• Prueba de una cola o dos colas

Salidas:

• Valor p
• Significancia estadística (sí/no)
• Intervalo de confianza para la diferencia
• Lift relativo

Leyendo tus resultados

Valor p

La probabilidad de ver una diferencia tan grande (o mayor) si ambas variantes tuvieran el mismo rendimiento.

Intervalo de confianza

El rango de diferencias verdaderas plausibles:

"La variante B convierte 1,2 puntos porcentuales más alto (IC 95%: 0,4 a 2,0)"

Si el IC excluye el 0, el resultado es estadísticamente significativo a ese nivel de confianza.

Lift relativo

El porcentaje de mejora:

Lift = (Tasa_B - Tasa_A) / Tasa_A × 100%

"La variante B muestra una mejora relativa del 15%"

Ejemplo de análisis

Resultados de la prueba:

• Control (A): 10.000 visitantes, 320 conversiones (3,20%)
• Tratamiento (B): 10.000 visitantes, 385 conversiones (3,85%)

Análisis:

• Diferencia absoluta: 0,65 puntos porcentuales
• Lift relativo: 20,3%
• Valor p: 0,032
• IC 95% para la diferencia: [0,06; 1,24] puntos porcentuales

Conclusión: B supera significativamente a A (p < 0,05). La mejora real probablemente está entre 0,06 y 1,24 puntos porcentuales.

Significancia estadística vs. significancia práctica

Estadísticamente significativo: Diferencia improbable debido solo al azar.

Prácticamente significativo: Diferencia lo suficientemente grande como para importar al negocio.

Un lift del 0,01% puede ser estadísticamente significativo con millones de visitantes pero puede no justificar los costos de implementación.

Siempre considera:

• Esfuerzo de implementación
• Impacto en ingresos
• Experiencia del usuario
• Deuda técnica

Escenarios comunes

Ganador claro

"B convierte al 5,2% vs A al 4,0%, p = 0,001"

Evidencia fuerte de que B es mejor. Implementa B con confianza.

Sin ganador claro

"B convierte al 4,2% vs A al 4,0%, p = 0,35"

Sin diferencia significativa. Opciones:

• Continúa probando para más datos
• Elige basándote en métricas secundarias
• Por defecto, la implementación más simple

Perdedor sorpresa

"B convierte al 3,5% vs A al 4,0%, p = 0,02"

B es significativamente peor. No implementes B. Investiga por qué falló.

Una cola vs. dos colas

Dos colas (recomendado): Prueba si las variantes difieren en cualquier dirección. Usa cuando B teóricamente podría ser peor que A.

Una cola: Prueba solo si B es mejor. Valor p más bajo, pero ignora la posibilidad de que B sea peor.

Valor p (una cola) = Valor p (dos colas) / 2

El método de cálculo

Esta calculadora usa una prueba z para dos proporciones:

z = (p̂_B - p̂_A) / √[p̂(1-p̂)(1/n_A + 1/n_B)]

Donde p̂ es la proporción combinada.

Para muestras pequeñas o proporciones extremas, los métodos exactos pueden ser más apropiados.

Interpretando resultados no significativos

"Sin diferencia significativa" no significa "sin diferencia"—significa que no puedes descartar el azar.

Verifica el intervalo de confianza:

• IC incluye 0 y tanto efectos positivos como negativos significativos: Inconcluso, se necesitan más datos
• IC incluye 0 pero solo efectos pequeños: Concluye que no hay diferencia grande

Múltiples variantes

Probar A vs. B vs. C requiere ajuste por comparaciones múltiples:

Sin corrección: Cada comparación a α = 0,05 El riesgo de falso positivo en todas las comparaciones aumenta.

Con corrección de Bonferroni: Usa α / número de comparaciones Más conservador pero controla la tasa de error global.

Errores comunes

Detener temprano

Detener cuando ves p < 0,05 por primera vez infla los falsos positivos. Ejecuta hasta el tamaño de muestra planificado.

Ignorar el tamaño del efecto

Un valor p de 0,04 no te dice si el efecto es lo suficientemente grande como para importar. Reporta intervalos de confianza.

Seleccionar métricas

Probar muchas métricas y reportar solo las significativas infla los falsos positivos. Pre-especifica las métricas primarias.

Ignorar segmentos

La no significancia general podría ocultar efectos significativos en segmentos (o viceversa). Pero el análisis de segmentos requiere más precaución sobre comparaciones múltiples.

Verificación de potencia

Si la prueba no es significativa, considera:

• ¿La prueba tenía potencia adecuada?
• ¿Cuál era el efecto mínimo detectable?
• ¿Tenías suficientes datos para detectar una diferencia significativa?

Próximos pasos después del análisis

Si B gana convincentemente: Implementa B, monitorea después del lanzamiento.

Si no hay ganador claro: Considera probar más tiempo, probar cambios más grandes, o aceptar el diseño actual.

Si B pierde: No implementes B. Aprende de por qué falló.

Cálculos relacionados

• Calculadora de tamaño de muestra para pruebas A/B — Planifica antes de probar
• IC para diferencia en proporciones — Cálculo detallado de IC
• Calculadora de IC para tasa de conversión — IC para cada tasa
• Calculadora bayesiana de pruebas A/B — Interpretación alternativa
• Calculadora de efecto mínimo detectable — ¿Qué podrías detectar?

Resumen

El análisis de significancia de pruebas A/B determina si las diferencias observadas en tasas de conversión son reales o aleatorias. El valor p cuantifica la evidencia contra rendimiento igual, mientras que los intervalos de confianza muestran el rango de efectos plausibles. La significancia estadística indica que existe una diferencia real; la significancia práctica indica que importa para el negocio. Reporta tanto el valor p como el intervalo de confianza, ejecuta las pruebas hasta el tamaño de muestra planificado, y siempre considera si el efecto observado es lo suficientemente grande como para justificar la acción.