دراسة هارفارد: "تشخيص غرفة الطوارئ بواسطة الذكاء الاصطناعي أفضل من الأطباء البشر" تم تضخيمها بشكل مفرط، الأطباء: تفتقر إلى مقارنة حقيقية

أبحاث هارفارد تشير إلى أن دقة التشخيص في حالات الطوارئ باستخدام الذكاء الاصطناعي تصل إلى 67.1%، متفوقة على الأطباء الداخليين. لكن أطباء الطوارئ يعارضون ذلك باعتباره تضخيمًا إعلاميًا، حيث تفتقر الدراسة إلى مقارنة مع أطباء الطوارئ الحقيقيين، كما أن الذكاء الاصطناعي لا يمكنه حاليًا إلا معالجة النصوص، ولا يمكنه بعد استبدال الطبيب البشري بشكل مستقل.

دراسة هارفارد: أداء الذكاء الاصطناعي في تشخيص حالات الطوارئ يتفوق على الأطباء البشريين

في 30 أبريل، نُشرت دراسة في مجلة «Science» تشير إلى أن نتائج تشخيصات الطوارئ التي يقدمها الذكاء الاصطناعي كانت أدق من تشخيص اثنين من الأطباء البشريين، مما أثار اهتمام الصناعة ووسائل الإعلام بسرعة، لكن الاعتماد على ذلك لتأكيد أن الذكاء الاصطناعي يمكن أن يحل محل الطبيب لا يزال مبكرًا جدًا.

فريق البحث المكون من أطباء وعلماء حاسوب من كلية هارفارد للطب ومركز بيسايل الإسرائيلي للطب، اكتشف أن في تجربة تركز على 76 مريضًا حقيقيًا في قسم الطوارئ بمركز بيسايل، قارن الباحثون نتائج التشخيص التي أنتجها نموذج OpenAI o1 وGPT-4o مع تشخيص اثنين من «الأطباء الاختصاصيين في الطب الداخلي».

أظهرت النتائج أنه في المراحل الثلاثة الرئيسية للتشخيص، وهي التصنيف الأولي للحالة، التقييم الأولي من قبل الطبيب، والموافقة على النقل إلى غرفة عادية أو وحدة العناية المركزة، كانت دقة نموذج GPT-o1 أعلى من GPT-4o والأطباء البشريين.

في مرحلة التصنيف الأولي للحالة، التي تتطلب أقل قدر من المعلومات وأهميتها في اتخاذ القرارات الصحيحة، كانت ميزة النموذج واضحة جدًا. حيث قدم نموذج GPT-o1 تشخيصًا دقيقًا تمامًا أو قريبًا جدًا في 67.1% من الحالات، بينما كانت دقة الأطباء البشريين 55.3% و50.0% على التوالي.

مصدر الصورة: دراسة هارفارد، مقارنة أداء اثنين من الأطباء الاختصاصيين في الطب الداخلي مع GPT-o1 وGPT-4 في 76 حالة سريرية

لم يتم المعالجة المسبقة، هارفارد اختبرت باستخدام سجلات حقيقية

على عكس العديد من الدراسات السابقة، لم يقم فريق هارفارد قبل اختبار النماذج بمعالجة البيانات الطبية الحقيقية بأي شكل من أشكال المعالجة المسبقة، حيث تم تقديم حالات الطوارئ بشكل كامل وفقًا لنسختها الأصلية في السجلات الإلكترونية إلى نماذج الذكاء الاصطناعي.

وفي شرح منهجية الدراسة، أوضح طالب الدكتوراه في برنامج الطب المبني على الذكاء الاصطناعي في كلية هارفارد، توماس باكلي، أن الفريق اضطر لاختبار أداء النموذج في بيئة حقيقية عندما تكون البيانات السريرية لا تزال نادرة في بداية علاج المريض.

كما أشار آدم رودمان، أحد المؤلفين المشاركين في الدراسة، إلى أن دقة التشخيص في المراحل المبكرة من الحالات الطارئة كانت تتساوى أو تتفوق على الأطباء الاختصاصيين، وهو ما فاجأ فريق البحث.

مصدر الصورة: دراسة هارفارد، مقارنة أداء GPT o1-preview وGPT-4 مع الأطباء في استنتاج التشخيص السريري

الذكاء الاصطناعي لا يمكنه إلا معالجة النصوص، والطب الحقيقي مليء بالمعلومات غير النصية

وأشارت الدراسة أيضًا إلى أن نماذج الذكاء الاصطناعي التوليدية الحالية لا تزال تواجه قيودًا كبيرة في قدراتها على الاستنتاج من المدخلات غير النصية.

وذلك لأن الدراسات الحالية تقيّم أداء النماذج عند استلامها للمعلومات النصية فقط، لكن البيئة السريرية الحقيقية مليئة بمعلومات غير نصية، مثل مستوى الألم الذي يعبر عنه المريض صوتيًا، أو تفسيرات الصور الطبية البصرية.

الذكاء الاصطناعي لا يمكنه العمل بشكل مستقل في الطب

على الرغم من أن الذكاء الاصطناعي أظهر قدرات تشخيصية ممتازة، إلا أن الدراسة تؤكد أن ذلك لا يعني أن النماذج يمكنها العمل بشكل مستقل في المجال الطبي.

شرح الباحث في كلية هارفارد، بيتر برودور، أن النماذج قد تكون دقيقة في التشخيص الأولي، لكنها قد توصي بإجراء فحوصات غير ضرورية، مما يعرض المرضى لمخاطر صحية إضافية. لذلك، لا بد من وجود الإنسان في النهاية لمراجعة الأداء وضمان السلامة.

نقص مقارنة الأطباء الحقيقيين في قسم الطوارئ

نشرت أطباء الطوارئ، كريستين بانثاغاني، تعليقًا على الدراسة، معتبرة أن النتائج مثيرة للاهتمام، لكنها أدت إلى عناوين أخبار مبالغ فيها.

وأشارت إلى أن الدراسة قارنّت بين الذكاء الاصطناعي وأطباء الاختصاص في الطب الداخلي، دون وجود بيانات مقارنة مع أطباء الطوارئ الحقيقيين الذين يعملون في الميدان:

“إذا أردنا مقارنة أدوات الذكاء الاصطناعي بقدرات الأطباء السريرية، يجب أن نبدأ بمقارنة مع الأطباء الذين يمارسون التخصص فعليًا. وإذا فاز نموذج لغة كبير (LLM) على أطباء الجلدية في اختبار تخصص الأعصاب، فلن أكون مندهشًا، لكن معرفة ذلك لا تقدم فائدة عملية كبيرة.”

وأوضحت أن الهدف الأول عند أول فحص للمريض في قسم الطوارئ هو التأكد من عدم وجود مرض مميت، وليس التركيز على التشخيص النهائي.

كما حذرت الدراسة من أن الإطار المسؤول عن مساءلة الذكاء الاصطناعي في التشخيص لا يزال غير موجود، وأن المرضى لا يزالون بحاجة إلى الأطباء البشريين لاتخاذ القرارات الحاسمة، ومساعدتهم في مواجهة خيارات العلاج الصعبة.

ودعا فريق البحث إلى ضرورة إجراء تجارب سريرية مستقبلية صارمة في بيئة رعاية حقيقية، لتقييم أمان وفعالية هذه التقنيات، وفهم كيفية دمجها بشكل آمن في الرعاية السريرية لمساعدة الأطباء البشريين.

قراءة إضافية:
لماذا يتباطأ التقدم في الذكاء الاصطناعي التوليدي في مجالات الطب والقانون؟ مؤسس Replit: القابلية للتحقق هي المفتاح