آیا ChatGPT از دانشجویان واقعی برتر است؟ نتایج شگفت‌انگیز!

تأثیر هوش مصنوعی در آموزش پزشکی

ویلیام هرش، پزشک و استاد دانشگاه علوم سلامت و بهداشت اورگان، که نسل‌های متعددی از دانشجویان پزشکی و اطلاعات بالینی را آموزش داده است، به تأثیر روزافزون هوش مصنوعی کنجکاو شد. او به این فکر افتاد که هوش مصنوعی چگونه در کلاس‌هایش عمل خواهد کرد. به همین دلیل، تصمیم به انجام یک آزمایش گرفت. او شش نوع مدل هوش مصنوعی زبانی بزرگ، مانند ChatGPT، را در نسخه آنلاین دوره محبوب خود در زمینه اطلاعات زیست‌پزشکی و بهداشت آزمایش کرد تا ببیند عملکرد آن‌ها در مقایسه با دانشجویان زنده و متفکر چگونه است.

مطالعه‌ای که در نشریه npj Digital Medicine منتشر شد، پاسخ این سؤال را ارائه داد: هوش مصنوعی بهتر از سه‌چهارم دانشجویان انسانی عمل کرد. هرش گفت: “این موضوع نگرانی‌هایی درباره تقلب ایجاد می‌کند، اما مسئله بزرگ‌تری در اینجا وجود دارد.” او افزود: “چگونه می‌دانیم که دانشجویان ما واقعاً در حال یادگیری و تسلط بر دانش و مهارت‌های لازم برای کار حرفه‌ای آینده خود هستند؟”

توجه به فناوری‌های نوین

به عنوان استاد اطلاعات پزشکی و اپیدمیولوژی بالینی در دانشکده پزشکی OHSU، هرش به فناوری‌های جدید بسیار حساس است. او گفت: “نقش فناوری در آموزش چیز جدیدی نیست.” او به تجربه خود در دوران دبیرستان در دهه ۱۹۷۰ اشاره کرد که در آن زمان از قواعد اسلاید به ماشین‌حساب‌ها منتقل می‌شدند. با این حال، تغییر به سمت هوش مصنوعی زایشی یک جهش نمایی به جلو است. هرش گفت: “به وضوح، هر کسی باید نوعی پایه دانش در زمینه خود داشته باشد. پایه دانش مورد انتظار شما از افراد برای تفکر انتقادی چیست؟”

نتایج آزمایش هوش مصنوعی

هرش و همکارش، کیت فولتز هالیس، که یک متخصص اطلاعات در OHSU است، نمرات ارزیابی دانش ۱۳۹ دانشجو را که در سال ۲۰۲۳ دوره مقدماتی اطلاعات زیست‌پزشکی و بهداشت را گذرانده بودند، جمع‌آوری کردند. آن‌ها شش مدل بزرگ زبان هوش مصنوعی را با مواد ارزیابی دانشجویی از این دوره آزمایش کردند. بسته به مدل، هوش مصنوعی در سوالات چندگزینه‌ای که در آزمون‌ها و امتحان نهایی که نیاز به پاسخ‌های کتبی کوتاه داشتند، در درصدهای ۵۰ تا ۷۵ عمل کرد.

نتایج مطالعه و تأثیر آن بر ارزیابی دانش‌آموزان

نویسندگان این مقاله می‌نویسند: “نتایج این مطالعه سوالات مهمی را برای آینده ارزیابی دانش‌آموزان در اکثر، اگر نه تمام، رشته‌های تحصیلی مطرح می‌کند.” این مطالعه، اولین تحقیقی است که مدل‌های زبانی بزرگ را با دانش‌آموزان در یک دوره کامل تحصیلی در زمینه بیومدیکال مقایسه می‌کند. هِرش و فولتز هولیس اشاره کردند که دوره‌های مبتنی بر دانش مانند این، ممکن است به ویژه برای مدل‌های زبانی بزرگ و تولیدی مناسب باشند، در حالی که دوره‌های تحصیلی مشارکتی‌تر به دانش‌آموزان کمک می‌کنند تا مهارت‌ها و توانایی‌های پیچیده‌تری را توسعه دهند.

تجربه هِرش در دانشکده پزشکی

هرش تجربه خود را در دانشکده پزشکی به یاد می‌آورد. او می‌گوید: “وقتی دانشجوی پزشکی بودم، یکی از پزشکان معالج به من گفت که باید تمام دانش را در ذهنم داشته باشم.” او ادامه داد: “حتی در دهه 1980، این یک چالش بود. پایگاه دانش پزشکی مدت‌هاست که از ظرفیت مغز انسان برای حفظ تمام آن فراتر رفته است.”

حفظ ارتباط انسانی

با این حال، او معتقد است که بین استفاده معقول از منابع فنی برای پیشرفت یادگیری و وابستگی بیش از حد به این منابع که می‌تواند یادگیری را مختل کند، خط باریکی وجود دارد. در نهایت، هدف یک مرکز بهداشت دانشگاهی مانند OHSU آموزش حرفه‌ای‌های بهداشتی است که قادر به مراقبت از بیماران بوده و بتوانند استفاده بهینه از داده‌ها و اطلاعات مربوط به آن‌ها را در دنیای واقعی انجام دهند. در این معنا، او گفت که پزشکی همیشه به لمس انسانی نیاز دارد.

او افزود: “بسیاری از کارهایی که حرفه‌ای‌های بهداشتی انجام می‌دهند، نسبتاً ساده هستند، اما در مواردی وجود دارد که اوضاع پیچیده‌تر می‌شود و باید تصمیم‌گیری کنید.” او ادامه داد: “در آن زمان، داشتن یک دیدگاه وسیع‌تر کمک می‌کند، بدون اینکه لازم باشد تمام جزئیات را در ذهن داشته باشید.”

نگرانی هِرش درباره تقلب

با شروع کلاس‌های پاییز، هِرش گفت که نگران تقلب نیست. او گفت: “هر سال دوره را به‌روزرسانی می‌کنم.” او توضیح داد: “در هر زمینه علمی، پیشرفت‌های جدیدی به طور مداوم وجود دارد و مدل‌های زبانی بزرگ لزوماً به‌روز نیستند. این فقط به این معنی است که باید به دنبال آزمون‌های جدیدتر یا دقیق‌تری باشیم که در آن‌ها نمی‌توانید پاسخ را از ChatGPT بگیرید.”