Cómo elegir el método estadístico correcto en las pruebas A/B: guía comparativa entre regresión lineal y otras herramientas

Más allá de la superficie: por qué la regresión lineal sigue siendo relevante

En la ola de aprendizaje automático y aprendizaje profundo, a menudo pasamos por alto una herramienta clásica y poderosa: la regresión lineal. Aunque los LLM y las arquitecturas avanzadas ocupan los titulares, la regresión lineal sigue desempeñando un papel clave en el análisis de datos, especialmente en escenarios de pruebas A/B.

Consideremos un caso práctico: una empresa de comercio electrónico lanza un nuevo diseño de banner y necesita evaluar su impacto en la duración media de las sesiones de los usuarios. A través de experimentos y análisis estadísticos, exploraremos varias formas de interpretar estos resultados.

Visión rápida con la prueba T

Empezamos con la clásica prueba T. Los datos del experimento muestran un efecto significativo: la diferencia en la media de las muestras entre el grupo de tratamiento y el de control es de 0.56 minutos, lo que significa que los usuarios pasan en promedio 33 segundos más en el producto.

Este indicador parece bueno, pero ¿refleja realmente el impacto del banner?

Regresión lineal: una exploración más profunda

Ahora analizamos de nuevo con regresión lineal. Usamos la variable de tratamiento (si se muestra el nuevo banner) como variable independiente y la duración de la sesión como variable dependiente. ¿Qué muestra el resumen del modelo?

El coeficiente de la variable de tratamiento es exactamente 0.56 — coincidiendo con el resultado de la prueba T. Curiosamente, el R² es solo 0.008, indicando que el modelo explica una pequeña fracción de la varianza de los datos.

¿Es solo una coincidencia? No, en absoluto

¿Por qué ambas metodologías dan resultados similares? La respuesta está en su base matemática.

En regresión lineal, cuando la variable de tratamiento es 1, representa la duración media de sesión de los usuarios que recibieron el tratamiento; cuando es 0, la media de los que no lo recibieron. Por lo tanto, el coeficiente de tratamiento en realidad es la diferencia entre las dos medias.

La hipótesis nula en la prueba T (que no hay diferencia entre medias) es exactamente la misma que la hipótesis nula del coeficiente de tratamiento en la regresión lineal. Cuando la hipótesis nula es cierta, los estadísticos T y los valores P calculados por ambas metodologías serán iguales.

¿Por qué usar también regresión lineal?

Comparar medias de forma sencilla parece suficiente, pero el mundo real es mucho más complejo.

De hecho, confiar solo en la variable de tratamiento puede no explicar toda la variación — las sesgos sistemáticos a menudo están presentes. Por ejemplo:

• Los usuarios antiguos interactúan más frecuentemente con el banner que los nuevos
• Los usuarios con diferentes características demográficas reaccionan de manera distinta al banner

Aunque la asignación aleatoria ayuda a mitigar estos sesgos, no los elimina por completo. Por eso necesitamos controlar variables (covariables).

Al incluir en el modelo la duración media de sesión previa del usuario como covariable, el rendimiento del modelo mejora inmediatamente: el R² sube a 0.86, lo que indica que ahora explicamos el 86% de la varianza de los datos.

La nueva estimación del efecto del tratamiento es de 0.47 minutos.

¿Qué número es más preciso?

Ahora tenemos dos estimaciones diferentes del efecto del tratamiento: 0.56 y 0.47. ¿Cuál es la correcta?

En datos simulados reales, el efecto verdadero se estableció en 0.5. Claramente, el valor de 0.47, tras controlar las covariables, está más cerca del valor real, con un error solo de 0.03. Esto demuestra que controlar las covariables clave puede mejorar significativamente la precisión de la estimación.