يُظهر تقرير قياس الأداء من Vals AI بتاريخ 9 مايو 2025 أداء أكثر من 15 نموذجًا لغويًا رائدًا (LLMs) في الإجابة على 2000 سؤال طبي بمستوى USMLE من مجموعة بيانات MedQA. حقق نموذج "o1" أعلى دقة بنسبة 96.9% في الأسئلة غير المتحيزة، تليه Grok 2 و Deepseek R1، اللذان قدما أداءً قويًا أيضًا بتكلفة أقل. تميز Grok 2 بقيمة ممتازة مقابل السعر.
درس البحث أيضًا مدى قوة النماذج ضد التحيزات العنصرية من خلال اختبار الأسئلة التي تم إدخال قوالب تحيز فيها عمدًا (مثل الصور النمطية عن السود أو الأمريكيين من أصل إسباني أو الآسيويين). أظهرت معظم النماذج أداءً ثابتًا، على الرغم من أن Grok 2 انخفض قليلاً في الأسئلة المتحيزة. واجهت بعض النماذج، مثل Llama 3.1، انخفاضًا كبيرًا في الأداء في الأسئلة المتحيزة. في أحد الأمثلة، أدت التحيزات العنصرية في تفسيرات بعض النماذج إلى تشخيصات خاطئة، على سبيل المثال، من خلال الاستشهاد بعادات غذائية نمطية.
تشير النتائج إلى تقدم كبير في معالجة المعرفة الطبية، ولكن تظل القابلية للتأثر بالتحيزات تحديًا. يقترح المؤلفون تطوير مجموعات بيانات أكثر صعوبة في المستقبل، حيث أن الحد الأقصى للأداء في MedQA قد تم الوصول إليه تقريبًا.
المصدر: Vals AI، "قياس أداء النماذج على MedQA"، 9 مايو 2025
