La force invisible des covariables : comment surmonter le biais de sélection dans les tests A/B

Le problème que personne ne veut voir

Imaginez : une grande entreprise de commerce électronique déploie une nouvelle bannière de design et mesure la durée moyenne des sessions. Le premier regard sur les données semble prometteur – une augmentation de 0,56 minutes (environ 33 secondes par session). Cela semble encourageant, n’est-ce pas ? Mais c’est là que commence l’aventure de l’analyse statistique approfondie.

Le dilemme : à quel point pouvons-nous être sûrs que la bannière est réellement la cause de cette amélioration ? Et si les utilisateurs plus expérimentés et techniquement compétents voyaient systématiquement la nouvelle bannière plus souvent que les nouveaux clients ? La réponse nous mène à un problème classique de la recherche empirique – le biais de sélection.

T-Test vs. Régression Linéaire : Le faux duel

Le test t classique fournit rapidement une réponse. La différence entre le groupe témoin et le groupe traité est exactement de 0,56 minutes – terminé. Mais une erreur fréquente : beaucoup d’analystes pensent que la régression linéaire n’est pertinente que pour des scénarios plus complexes. C’est faux.

Que se passe-t-il si nous utilisons à la place une régression linéaire avec le statut de la bannière (1 = visible, 0 = non visible) comme variable indépendante et la durée des sessions comme sortie ? Surprise : nous obtenons le même coefficient de traitement : 0,56 minutes. Ce n’est pas une coïncidence – mathématiquement, ces deux tests sont équivalents dans ces conditions, car ils testent la même hypothèse nulle.

Mais le coefficient de détermination (R²) révèle un problème : avec seulement 0,008, nous expliquons moins de 1 % de la variance. Le modèle ignore de nombreux autres facteurs qui influencent réellement la durée de visite des utilisateurs.

Le changement de jeu : ajouter des covariables

C’est ici que la véritable puissance de la régression linéaire se manifeste. Si nous introduisons une variable supplémentaire – par exemple, la durée moyenne des sessions des utilisateurs avant l’expérience – tout change radicalement.

Le modèle s’améliore instantanément : le R² passe à 0,86, expliquant désormais 86 % de la variance. Plus important encore : l’effet du traitement diminue à 0,47 minutes. Pourquoi ? La covariable précédente révèle un “effet boule de neige” – les utilisateurs ayant déjà de longues sessions montrent un comportement en forme de boule de neige, où de petites différences initiales s’additionnent pour produire de grands effets.

Cette constatation est cruciale : l’effet initial de 0,56 était en partie gonflé par un biais de sélection. Les utilisateurs ayant naturellement des sessions plus longues n’ont pas été répartis au hasard entre les groupes – ils étaient plus concentrés dans le groupe traité.

La vérité mathématique : ATE, ATT et SB

Pour l’exprimer formellement :

• ATE (Effet moyen du traitement) : l’effet moyen du traitement que nous cherchons à estimer
• ATT (Effet moyen sur les traités) : l’effet sur les utilisateurs réellement traités – aussi appelé ACE (Effet causal moyen)
• SB (Biais de sélection) : le biais de sélection qui déforme le vrai effet

La différence naïve entre les moyennes de groupe mélange ces quantités :

Estimation naïve = ATE + SB

Avec des covariables, nous pouvons atténuer le biais et nous rapprocher de l’effet réel.

Validation par simulation

Dans une expérience contrôlée où l’effet réel est connu (0,5 minutes), il apparaît :