What is the accuracy of Artificial Intelligence (AI) in evaluating Diagnostic and Statistical Manual of Mental Disorders, 5th Edition (DSM-5) tests?

دقت هوش مصنوعی در ارزیابی تست‌های DSM-5

تحقیقات موجود نشان می‌دهد که هوش مصنوعی در ارزیابی تست‌های DSM-5 دقت متوسط تا خوبی دارد، اما هنوز به سطح قابل اعتماد برای استفاده مستقل بدون نظارت متخصص بالینی نرسیده است. 1

وضعیت فعلی دقت هوش مصنوعی در ارزیابی DSM-5

میزان دقت و قابلیت اطمینان

• سیستم‌های پشتیبانی تصمیم‌گیری مبتنی بر هوش مصنوعی می‌توانند اختلالات روانی را با دقت حدود 89% تشخیص دهند 2
• این سیستم‌ها می‌توانند تعداد سؤالات مورد نیاز برای تشخیص را به طور قابل توجهی کاهش دهند (تا حدود 28 سؤال) 2
• با این حال، انجمن روانپزشکی آمریکا تأکید می‌کند که ارزیابی‌های روانشناختی مبتنی بر DSM-5 باید توسط متخصصان سلامت روان واجد شرایط انجام شود 1

محدودیت‌های فعلی

• مطالعات نشان می‌دهد که هوش مصنوعی با سوگیری سیستماتیک می‌تواند دقت تشخیصی پزشکان را تا 11.3 درصد کاهش دهد 3
• توضیحات مبتنی بر تصویر در مدل‌های هوش مصنوعی نتوانسته‌اند این اثر مضر را به طور معناداری کاهش دهند 3
• معیارهای DSM-5 خود دارای محدودیت‌هایی در روایی و پایایی هستند که می‌تواند بر عملکرد سیستم‌های هوش مصنوعی تأثیر بگذارد 4

مقایسه با روش‌های سنتی ارزیابی

مزایای هوش مصنوعی

• کاهش زمان ارزیابی و افزایش نرخ مشارکت و تکمیل آزمون‌ها 2
• کاهش نیاز به تحلیل و تفسیر دستی نتایج توسط متخصصان سلامت روان 2
• مدل‌های استاندارد هوش مصنوعی می‌توانند دقت تشخیصی را تا 4.4 درصد افزایش دهند 3

برتری روش‌های سنتی

• روش‌های DSM-5 در محیط‌های بالینی معمول از قابلیت اجرا و مفید بودن بالینی خوبی برخوردارند 5
• 57% از متخصصان بالینی رویکرد DSM-5 را بهتر و 18% آن را بسیار بهتر از DSM-IV می‌دانند 5
• پایایی بین ارزیاب‌ها برای اکثر تشخیص‌های DSM-5 در محدوده خوب تا بسیار خوب قرار دارد 6

الزامات مجموعه داده‌های آزمایشی برای ارزیابی هوش مصنوعی

استانداردهای مورد نیاز

• مجموعه داده‌های آزمایشی باید نماینده جمعیت هدف باشند 7
• پوشش کافی از ابعاد متغیر (مانند آزمایشگاه‌ها، انواع اسکنر) برای ارزیابی دقیق عملکرد ضروری است 7
• مجموعه داده‌های آزمایشی معمولاً شامل هزاران اسلاید، صدها بیمار و کمتر از پنج نوع اسکنر هستند 7

چالش‌های موجود

• تغییرات در جمعیت هدف تصاویر به دلیل پیشرفت‌های فناوری، توزیع سیستم‌های اسکنر و تغییر جمعیت بیماران 7
• نیاز به نظارت مداوم بر راه‌حل‌های هوش مصنوعی در طول چرخه عمر آنها 7
• ارزیابی مناسب بودن داده‌ها اغلب توسط انسان‌ها انجام می‌شود که ممکن است سوگیری ذهنی را معرفی کند 7

نتیجه‌گیری و توصیه‌ها

• در حال حاضر، هوش مصنوعی باید به عنوان ابزار کمکی برای متخصصان سلامت روان در ارزیابی DSM-5 استفاده شود، نه جایگزین آنها 1
• برای اطمینان از دقت تشخیصی، ارزیابی‌های مبتنی بر هوش مصنوعی باید با مصاحبه بالینی ساختاریافته و استفاده از ابزارهای استاندارد همراه باشند 1
• تحقیقات بیشتری برای توسعه معیارهای رسمی برای مجموعه داده‌های آزمایشی به اندازه کافی نماینده مورد نیاز است 7

نکات مهم برای متخصصان بالینی

• نتایج هوش مصنوعی را با احتیاط تفسیر کنید، به خصوص در موارد پیچیده یا غیرمعمول
• از سیستم‌های هوش مصنوعی به عنوان ابزار کمکی استفاده کنید، نه جایگزین قضاوت بالینی
• آگاه باشید که مدل‌های هوش مصنوعی با سوگیری سیستماتیک می‌توانند دقت تشخیصی را کاهش دهند