كيفية اختيار الطريقة الإحصائية الصحيحة في اختبار A/B: دليل المقارنة بين الانحدار الخطي وأدوات أخرى

تجاوز السطح: لماذا لا تزال الانحدارات الخطية تستحق الاهتمام

في موجة التعلم الآلي والتعلم العميق، غالبًا ما نتجاهل أداة كلاسيكية وقوية — الانحدار الخطي. على الرغم من أن نماذج اللغة الكبيرة (LLM) والهياكل المتقدمة تسيطر على العناوين، إلا أن الانحدار الخطي لا يزال يلعب دورًا رئيسيًا في تحليل البيانات، خاصة في سيناريوهات اختبار A/B.

دعونا نأخذ حالة عملية: شركة تجارة إلكترونية أطلقت تصميم لافتة جديد، وتحتاج إلى تقييم تأثيره على متوسط مدة جلسة المستخدمين. من خلال جمع البيانات عبر تجربة وتحليل إحصائي، سنستكشف طرقًا متعددة لتفسير هذه النتائج.

نظرة سريعة على اختبار T

نبدأ باستخدام اختبار T الكلاسيكي. تظهر البيانات أن التأثير ذو دلالة إحصائية: الفرق في متوسط عينات المجموعة المعالجة والمجموعة الضابطة هو 0.56 دقيقة، مما يعني أن المستخدمين قضوا 33 ثانية إضافية في المنتج.

يبدو هذا المؤشر جيدًا، لكنه يعكس حقًا التأثير الحقيقي للافتة؟

الانحدار الخطي: استكشاف أعمق

الآن، نعيد تحليل البيانات باستخدام الانحدار الخطي. نستخدم متغير المعالجة (هل تم عرض اللافتة الجديدة أم لا) كمُتغير مستقل، ومدة الجلسة كمُتغير تابع. ماذا يُظهر النموذج الملخص؟

معامل متغير المعالجة هو بالضبط 0.56 — متطابق مع نتيجة اختبار T. المثير للاهتمام أن قيمة R^2 هي فقط 0.008، مما يشير إلى أن النموذج يفسر جزءًا ضئيلًا جدًا من تباين البيانات.

هل هذا مجرد صدفة؟ لا

لماذا تتطابق هاتان الطريقتان في النتائج؟ الجواب يكمن في أساسهما الرياضي.

في الانحدار الخطي، عندما يكون متغير المعالجة يساوي 1، فهذا يمثل متوسط مدة الجلسة للمستخدمين الذين تلقوا المعالجة؛ وعندما يكون 0، يمثل متوسط المستخدمين الذين لم يتلقوا المعالجة. لذلك، معامل المعالجة هو في الواقع الفرق بين متوسطي المجموعتين.

أما فرضية العدم في اختبار T (لا يوجد فرق بين المتوسطين)، فهي نفس فرضية العدم في معامل الانحدار. عندما تكون فرضية العدم صحيحة، فإن إحصائية T وقيمة P التي نحسبها ستكونان متطابقتين حتمًا.

لماذا نستخدم الانحدار الخطي أيضًا؟

مقارنة المتوسطات البسيطة قد تكون كافية ظاهريًا، لكن الواقع أكثر تعقيدًا بكثير.

في الواقع، الاعتماد فقط على متغير المعالجة قد لا يفسر كل التباين — فهناك تحيزات منهجية غالبًا ما تكون موجودة. على سبيل المثال:

• المستخدمون القدامى يتفاعلون بشكل مختلف مع اللافتة الجديدة مقارنة بالمستخدمين الجدد
• خصائص ديموغرافية مختلفة تؤثر على استجابة المستخدمين للافتة

على الرغم من أن التوزيع العشوائي يمكن أن يقلل من هذه المشكلات، إلا أنه لا يقضي عليها تمامًا. لهذا السبب نحتاج إلى التحكم في المتغيرات (المتغيرات المرافقة).

عند إضافة متوسط مدة الجلسة قبل التجربة كمتحكم في النموذج، يتحسن الأداء على الفور: ارتفعت قيمة R^2 إلى 0.86، مما يعني أننا الآن نُفسر 86% من تباين البيانات.

وتقدير التأثير الجديد للمعالجة هو 0.47 دقيقة.

أي رقم هو الأكثر دقة؟

الآن، لدينا تأثيران مختلفان: 0.56 و0.47. أيهما هو الحقيقي؟

في البيانات المحاكاة الحقيقية، تم ضبط التأثير الفعلي على 0.5. من الواضح أن 0.47 بعد إضافة المتغير المراقب هو الأقرب للحقيقة، مع خطأ قدره فقط 0.03. هذا يوضح أن التحكم في المتغيرات المهمة يمكن أن يعزز بشكل كبير من دقة التقدير.