Calculadora de prueba A/B bayesiana

¿Qué son las pruebas A/B bayesianas?

Las pruebas A/B bayesianas proporcionan declaraciones de probabilidad sobre qué variante es mejor, en lugar de solo "significativo o no".

Frecuentista: "¿Es la diferencia significativa a α = 0,05?" Bayesiano: "¿Cuál es la probabilidad de que B supere a A?"

El enfoque bayesiano responde la pregunta que la mayoría de la gente realmente quiere que se responda.

Salidas clave

Probabilidad de ser el mejor

"Hay una probabilidad del 94% de que la Variante B tenga una tasa de conversión más alta."

Esto responde directamente "¿Cuál debería elegir?"

Lift esperado

"Se espera que B convierta 0,8 puntos porcentuales más alto que A."

Combina la incertidumbre sobre si B es mejor con la incertidumbre sobre cuánto mejor.

Evaluación de riesgo

"Si elegimos B pero A es realmente mejor, la pérdida esperada es de 0,1 puntos porcentuales."

Ayuda a cuantificar la desventaja de una decisión incorrecta.

Cómo funciona

Distribución a priori

Comienza con creencias antes de ver los datos:

• A priori no informativo: Sin creencias fuertes (distribución uniforme)
• A priori informativo: Basado en datos históricos o conocimiento del dominio

Distribución posterior

Combina el a priori con los datos observados usando el teorema de Bayes:

Posterior ∝ Verosimilitud × A priori

Para tasas de conversión, esto usa el modelo Beta-Binomial.

Comparación

Compara distribuciones posteriores:

• Simula muchas extracciones del posterior de cada variante
• Cuenta con qué frecuencia B > A

Ejemplo de análisis

Datos observados:

• A: 5.000 visitantes, 180 conversiones (3,60%)
• B: 5.000 visitantes, 210 conversiones (4,20%)

Resultados bayesianos:

• P(B > A) = 92,3%
• Lift esperado: 0,6 puntos porcentuales
• Intervalo de credibilidad del 95% para la diferencia: [-0,2%; 1,4%]

Interpretación: Alta probabilidad de que B sea mejor, pero alguna posibilidad de que A sea realmente mejor.

Bayesiano vs. frecuentista

Reglas de detención

Frecuentista: Debe ejecutarse hasta el tamaño de muestra predeterminado. Detener temprano infla los falsos positivos.

Bayesiano: Puede monitorear continuamente. Detener cuando la probabilidad exceda el umbral (por ejemplo, P(B > A) > 95%).

Interpretación

Frecuentista: "Si no hay diferencia, hay un 3% de probabilidad de ver datos tan extremos."

Bayesiano: "Hay un 97% de probabilidad de que B sea mejor."

La declaración bayesiana es más intuitiva.

Elegir a prioris

No informativo

Beta(1, 1) = Uniforme(0, 1)

Todas las tasas de conversión igualmente probables antes de los datos. Deja que los datos hablen.

Débilmente informativo

Beta(10, 200) para una base del 5%

Concentra la probabilidad alrededor de la tasa esperada mientras permite que los datos dominen.

Informativo

Basado en rendimiento histórico con pruebas similares.

Más datos del a priori → el a priori importa más → se necesitan menos datos de la prueba.

Reglas de decisión

Umbral de probabilidad

"Elige B si P(B > A) > 95%"

Simple e intuitivo.

Valor esperado

"Elige la variante con mayor tasa de conversión esperada"

Puede favorecer a B incluso con P(B > A) = 60% si el potencial de mejora esperado es grande.

Valor de la información perfecta

¿Cuánto valdría saber las tasas verdaderas?

Si es bajo, toma una decisión; si es alto, recopila más datos.

Múltiples variantes

Los métodos bayesianos se extienden naturalmente:

P(A es el mejor) = 5% P(B es el mejor) = 75% P(C es el mejor) = 20%

Elige B con alta confianza, o continúa probando B vs. C.

Monitoreo continuo

El análisis bayesiano permite inferencia válida en cualquier punto:

Día 3: P(B > A) = 68% → Continúa probando Día 7: P(B > A) = 89% → Ganando confianza Día 10: P(B > A) = 96% → Detén, implementa B

No se necesitan tamaños de muestra fijos ni corrección por múltiples miradas.

Intervalos de credibilidad

Los intervalos de credibilidad bayesianos tienen una interpretación directa:

"Hay un 95% de probabilidad de que la verdadera tasa de conversión esté entre 3,2% y 4,1%"

Esto es lo que la gente a menudo piensa erróneamente que significan los IC frecuentistas.

Funciones de pérdida

Más allá de "cuál es mejor", considera la pérdida esperada:

Pérdida esperada de elegir B = P(A > B) × E[A - B | A > B]

Si la pérdida esperada es pequeña (por ejemplo, 0,05 puntos porcentuales), la decisión es de bajo riesgo.

Contexto histórico

Thomas Bayes (1701-1761) desarrolló el teorema fundamental.

Los métodos bayesianos fueron controvertidos durante la mayor parte del siglo XX pero ganaron aceptación con:

• Avances computacionales (MCMC, métodos de Monte Carlo)
• Reconocimiento de limitaciones frecuentistas en la práctica
• Adopción en la industria tecnológica para pruebas A/B

Empresas como Google, Microsoft y Optimizely han adoptado las pruebas A/B bayesianas.

Limitaciones

Sensibilidad al a priori

Los resultados dependen de la elección del a priori, especialmente con pocos datos. El análisis de sensibilidad ayuda.

Complejidad computacional

Los modelos más complejos requieren simulación en lugar de soluciones de forma cerrada.

Comprensión organizacional

Los equipos familiarizados con valores p pueden necesitar capacitación en interpretaciones de probabilidad.

Cálculos relacionados

• Calculadora de tamaño de muestra para pruebas A/B — Planificación (frecuentista)
• Calculadora de significancia de pruebas A/B — Análisis frecuentista
• Calculadora de IC para tasa de conversión — ICs frecuentistas
• IC para diferencia en proporciones — Comparar tasas

Resumen

Las pruebas A/B bayesianas proporcionan declaraciones de probabilidad intuitivas sobre qué variante es mejor. A diferencia de los métodos frecuentistas, puedes monitorear continuamente, incorporar conocimiento previo y obtener respuestas directas a preguntas de negocio. El resultado "P(B > A) = 92%" es más fácil de entender y actuar que "p = 0,04". Aunque requiere maquinaria estadística diferente, los métodos bayesianos se alinean mejor con cómo se toman realmente las decisiones—evaluando probabilidades y resultados esperados, no umbrales de significancia arbitrarios.