Kekuatan tak terlihat dari kovariat: Cara mengatasi bias pemilihan dalam A/B-Tests

Masalah yang Tidak Ingin Dilihat Oleh Siapa Pun

Bayangkan: Sebuah perusahaan e-commerce besar meluncurkan banner desain baru dan mengukur durasi sesi rata-rata. Sekilas data terlihat menjanjikan – peningkatan sebesar 0,56 menit (sekitar 33 detik per sesi). Terdengar menjanjikan, bukan? Tapi di sinilah petualangan analisis statistik mendalam dimulai.

Dilema: Seberapa yakin kita bahwa banner benar-benar penyebab peningkatan ini? Bagaimana jika pengguna yang lebih berpengalaman secara teknis secara sistematis melihat banner baru lebih sering daripada pelanggan baru? Jawabannya membawa kita ke masalah klasik dalam penelitian empiris – bias pemilihan.

T-Test vs. Regresi Linier: Duel Palsu

T-Test klasik dengan cepat memberikan jawaban. Perbedaan antara grup kontrol dan perlakuan tepat 0,56 menit – selesai. Tapi kesalahan umum: Banyak analis berpikir bahwa regresi linier hanya relevan untuk skenario yang lebih kompleks. Itu salah.

Apa yang terjadi jika kita menggunakan regresi linier dengan status banner (1 = terlihat, 0 = tidak terlihat) sebagai variabel independen dan durasi sesi sebagai output? Secara mengejutkan, kita mendapatkan koefisien perlakuan yang sama: 0,56 menit. Bukan kebetulan – secara matematis, kedua tes ini setara dalam kondisi ini karena mereka menguji hipotesis nol yang sama.

Namun, R-kuadrat mengungkapkan masalah: dengan hanya 0,008, kita menjelaskan kurang dari 1% varians. Model ini mengabaikan banyak faktor lain yang benar-benar mempengaruhi berapa lama pengguna tinggal di halaman.

Pengubah Permainan: Menambahkan Kovariat

Di sinilah kekuatan nyata regresi linier terlihat. Jika kita memperkenalkan variabel tambahan – misalnya durasi sesi rata-rata dari pengguna sebelum eksperimen – semuanya berubah secara dramatis.

Model ini meningkat pesat: R-kuadrat naik ke 0,86, kita menjelaskan 86% varians. Lebih penting lagi: efek perlakuan turun menjadi 0,47 menit. Kenapa? Kovariat sebelumnya mengungkapkan “efek bola salju” – pengguna yang sudah memiliki sesi panjang menunjukkan pola perilaku yang mirip bola salju, di mana perbedaan kecil awalnya menumpuk menjadi efek besar.

Penemuan ini sangat penting: Efek awal sebesar 0,56 sebagian besar disebabkan oleh bias pemilihan. Pengguna dengan sesi alami yang lebih panjang tidak didistribusikan secara acak antar grup – mereka lebih terkonsentrasi di grup perlakuan.

Kebenaran Matematika: ATE, ATT, dan SB

Secara formal, ini dapat dinyatakan sebagai:

• ATE (Rata-rata Efek Perlakuan): Efek perlakuan rata-rata yang ingin kita estimasi
• ATT (Rata-rata Efek Perlakuan pada yang Terlaku): Efek pada pengguna yang benar-benar menerima perlakuan – juga disebut ACE (Rata-rata Efek Kaudal)
• SB (Bias Pemilihan): Bias pemilihan yang mengganggu estimasi efek sebenarnya

Perbedaan naif antara rata-rata grup mengaburkan ketiga ukuran ini:

Estimasi naif = ATE + SB

Dengan menambahkan kovariat, kita dapat mengurangi bias dan mendekati efek sebenarnya.

Validasi Melalui Simulasi

Dalam eksperimen terkendali, di mana efek sebenarnya diketahui (0,5 menit), terbukti: