Bagaimana Memilih Metode Statistik yang Tepat dalam Pengujian A/B: Panduan Perbandingan antara Regresi Linier dan Alat Lain

Melampaui Permukaan: Mengapa Regresi Linier Masih Layak Diperhatikan

Dalam gelombang pembelajaran mesin dan pembelajaran mendalam, kita sering mengabaikan alat klasik yang kuat—regresi linier. Meskipun LLM dan arsitektur canggih mendominasi berita utama, regresi linier tetap memainkan peran kunci dalam analisis data, terutama dalam skenario A/B testing.

Mari kita pertimbangkan sebuah kasus nyata: sebuah perusahaan e-commerce meluncurkan desain banner baru, dan perlu menilai pengaruhnya terhadap durasi sesi rata-rata pengguna. Dengan mengumpulkan data melalui eksperimen dan melakukan analisis statistik, kita akan mengeksplorasi berbagai metode untuk menafsirkan hasil ini.

Wawasan Cepat dari T-Test

Mulai dengan menggunakan T-Test klasik sebagai titik awal. Data eksperimen menunjukkan efek yang signifikan: perbedaan rata-rata sampel antara kelompok perlakuan dan kontrol adalah 0.56 menit, yang berarti pengguna menghabiskan 33 detik lebih lama di produk.

Indikator ini terlihat bagus, tetapi apakah benar-benar mencerminkan pengaruh nyata banner?

Regresi Linier: Eksplorasi Mendalam

Sekarang, analisis ulang menggunakan regresi linier. Variabel independen adalah variabel perlakuan (apakah menampilkan banner baru), dan durasi sesi adalah variabel dependen. Apa yang ditunjukkan model ringkasan?

Koefisien variabel perlakuan tepat 0.56—sejalan dengan hasil T-Test. Menariknya, nilai R-squared hanya 0.008, menunjukkan bahwa model ini hanya menjelaskan sebagian kecil varians data.

Apakah Ini Kebetulan? Tidak

Mengapa kedua metode menghasilkan hasil yang sama? Jawabannya terletak pada dasar matematisnya.

Dalam regresi linier, ketika variabel perlakuan adalah 1, itu mewakili pengguna yang menerima perlakuan dengan durasi sesi rata-rata tertentu; ketika 0, mewakili pengguna yang tidak menerima perlakuan. Oleh karena itu, koefisien perlakuan sebenarnya adalah perbedaan antara dua rata-rata.

Sementara itu, hipotesis nol dari uji T-Test (tidak ada perbedaan antara dua rata-rata) sama persis dengan hipotesis nol dari koefisien perlakuan dalam regresi linier. Ketika hipotesis nol sama, statistik T dan P-value yang dihitung oleh kedua metode juga pasti sama.

Mengapa Masih Perlu Menggunakan Regresi Linier?

Perbandingan rata-rata sederhana tampaknya cukup, tetapi dunia nyata jauh lebih kompleks.

Sebenarnya, hanya bergantung pada variabel perlakuan mungkin tidak cukup untuk menjelaskan semua variabilitas—bias sistematis sering kali ada. Contohnya:

• Pengguna lama lebih sering melihat banner baru dibanding pengguna baru
• Respon pengguna terhadap banner berbeda berdasarkan karakteristik demografis

Meskipun distribusi acak dapat mengurangi masalah ini, tidak dapat menghilangkannya sepenuhnya. Inilah mengapa kita membutuhkan pengendalian variabel (covariate).

Dengan menambahkan durasi sesi rata-rata pengguna sebelum eksperimen sebagai covariate dalam model, performa model langsung membaik: R-squared melonjak ke 0.86, yang berarti kita sekarang menjelaskan 86% varians data.

Estimasi efek perlakuan baru menjadi 0.47 menit.

Angka Mana yang Lebih Akurat?

Sekarang, muncul dua angka efek perlakuan yang berbeda: 0.56 dan 0.47. Mana yang lebih mendekati kenyataan?

Dalam data simulasi nyata, efek perlakuan sebenarnya diatur sebesar 0.5. Jelas, setelah menambahkan covariate, angka 0.47 lebih mendekati nilai sebenarnya, dengan kesalahan hanya 0.03. Ini menunjukkan bahwa pengendalian covariate kunci secara signifikan meningkatkan ketepatan estimasi.