توهم در هوش مصنوعی: چرا مدل‌های زبانی اطلاعات نادرست تولید می‌کنند؟

حتماً برای شما هم پیش آمده که از یک مدل زبان بزرگ (مثل ابزارهای هوش مصنوعی که روزانه از آن‌ها استفاده می‌کنیم) سوالی پرسیده‌اید و با پاسخی بسیار مطمئن مواجه شده‌اید، اما بعداً متوجه شده‌اید که کاملاً اشتباه است. به این پدیده «توهم هوش مصنوعی» می‌گوییم. اما چرا چنین اتفاقی می‌افتد؟ مقاله‌ای که اخیراً توسط محققان برجسته منتشر شده، به این سوال مهم پاسخ می‌دهد و دیدگاه‌های جدیدی را ارائه می‌کند.

دانشجویی در جلسه امتحان: تشبیهی جذاب برای توهم هوش مصنوعی

نویسندگان این مقاله، که از محققان پیشرو در زمینه هوش مصنوعی هستند، تشبیه بسیار زیبایی را مطرح می‌کنند: آن‌ها می‌گویند مدل‌های زبانی درست شبیه دانشجویی هستند که در جلسه امتحان، وقتی از پاسخ مطمئن نیست، به جای اینکه بگوید «نمی‌دانم»، شروع به حدس زدن می‌کند. و از آنجایی که این حدس‌ها اغلب با اعتمادبه‌نفس بالا و بسیار قانع‌کننده ارائه می‌شوند، ما به اشتباه فکر می‌کنیم که پاسخ صحیح است.

این تشبیه فوق‌العاده است، زیرا نشان می‌دهد که پدیده توهم در هوش مصنوعی نه یک «جادو» است و نه یک «راز پیچیده». توهم مدل‌ها صرفاً نتیجه‌ای طبیعی از فرآیند آماری آموزش آن‌هاست. این موضوع اهمیت درک عمیق‌تر سازوکار مدل‌ها را برای توسعه‌دهندگان و مدیران محصول دوچندان می‌کند. برای مثال، در پلتفرم هوشی، ما تلاش می‌کنیم با ارائه ابزارهای شفاف و قابل تنظیم، به کاربران کمک کنیم تا رفتار مدل‌ها را بهتر درک و کنترل کنند.

ریشه اصلی: آمار و فرآیند آموزش مدل‌های زبانی

بر اساس تحلیل مقاله، حتی اگر داده‌های آموزشی کاملاً بدون خطا باشند، باز هم الگوریتمی که مدل‌ها برای یادگیری زبان به کار می‌برند، می‌تواند منجر به تولید خطا شود. دلیل این امر به «طبقه‌بندی دودویی» (Binary Classification) برمی‌گردد: اینکه آیا یک خروجی «معتبر» است یا «نامعتبر».

هنگامی که یک مدل هوش مصنوعی باید از میان میلیون‌ها گزینه ممکن انتخاب کند، کافی است الگو در داده‌ها ناقص یا مبهم باشد. به عنوان مثال، اگر تاریخ تولد یک پژوهشگر فقط یک بار در داده‌های آموزشی ظاهر شده باشد، مدل به احتمال زیاد در مواجهه با سوالی درباره آن، دچار توهم خواهد شد. این بدان معناست که حتی پیشرفته‌ترین مدل‌ها نیز محکوم به این هستند که درصدی از پاسخ‌هایشان حاوی خطا باشد. این یک چالش اساسی است که در طراحی API هوشی و ایجنت‌های کدنویسی ما، همواره مد نظر قرار می‌دهیم تا راهکارهایی برای کاهش این خطاها ارائه دهیم.

چرا توهم‌ها بعد از آموزش همچنان باقی می‌مانند؟

تا اینجا متوجه شدیم که فرآیند آموزش اولیه (pretraining) به خودی خود می‌تواند باعث تولید خطا در مدل‌ها شود. اما سوال مهم‌تر این است: چرا با وجود همه پیشرفت‌ها و تکنیک‌های پس‌آموزش (مانند RLHF یا تنظیم با بازخورد انسانی) هنوز هم این خطاها به طور کامل برطرف نمی‌شوند؟

پاسخ مقاله بسیار ساده و در عین حال تکان‌دهنده است:

زیرا شیوه ارزیابی ما مشکل دارد.

مدل‌های زبانی مانند دانش‌آموزانی هستند که دائماً در حال «امتحان دادن»اند. معیارهایی که ما برای نمره‌دهی به آن‌ها تعیین کرده‌ایم (مانند accuracy یا درصد قبولی در یک تست) ذاتاً به گونه‌ای طراحی شده‌اند که «شک و تردید» را جریمه می‌کنند. یعنی اگر یک مدل به جای پاسخ دادن بگوید «نمی‌دانم»، نمره‌ای نمی‌گیرد. اما اگر همان‌جا یک جواب غلطِ قانع‌کننده بدهد، ممکن است گاهی شانسی درست باشد و نمره بگیرد.

به زبان ساده:

مدل‌ها تشویق می‌شوند که حتی وقتی مطمئن نیستند، جواب بسازند.

درست مثل دانشجویی که می‌داند اگر برگه سفید تحویل دهد، صفر می‌گیرد، پس ترجیح می‌دهد چیزی بنویسد. این موضوع نشان می‌دهد که برای ساخت ایجنت‌های کدنویسی قابل اعتمادتر در پلتفرم‌هایی مانند هوشی، نیاز به بازنگری در معیارهای ارزیابی داریم.

راهکار پیشنهادی: تغییر معیارهای ارزیابی برای کاهش توهم هوش مصنوعی

نویسندگان مقاله تاکید می‌کنند که تا زمانی که معیارهای اصلی ما صرفاً «درست یا غلط» (۰ و ۱) باشند، مدل‌ها همیشه در حالت «امتحان دادن» خواهند بود و طبیعتاً دچار توهم خواهند شد.

پس راه‌حل چیست؟

به جای اینکه تنها درست و غلط را بسنجیم، باید بیان عدم قطعیت را نیز ارزش‌گذاری کنیم. یعنی اگر مدلی گفت «نمی‌دانم»، یا سطح اطمینانش را مشخص کرد، نباید جریمه شود. برعکس، باید امتیاز بگیرد که صادقانه اعلام کرده مطمئن نیست.

این دقیقاً همان چیزی است که در برخی آزمون‌های انسانی نیز وجود دارد: اگر پاسخ غلط بدهی، نمره منفی می‌گیری، اما اگر «پاسخ ندهی» دست‌کم امتیاز از دست نمی‌دهی. این رویکرد می‌تواند به ساخت مدل‌هایی کمک کند که در پلتفرم هوشی، با شفافیت بیشتری عمل کنند و کاربران بتوانند به خروجی‌های آن‌ها اعتماد بیشتری داشته باشند.

چرا این موضوع اهمیت فوق‌العاده‌ای دارد؟

ممکن است فکر کنید این صحبت‌ها صرفاً جزئیات فنی هستند، اما به باور من و به استناد همین مقاله، ماجرا فراتر از یک بحث تکنیکی است. ما داریم درباره اعتماد به هوش مصنوعی صحبت می‌کنیم. اگر مدل‌ها مدام با اعتمادبه‌نفس اطلاعات نادرست تولید کنند، در بلندمدت اعتماد کاربران، پژوهشگران و حتی صنایع بزرگ به این فناوری از بین می‌رود.

همین الان هم شاهدیم که متخصصان در حوزه‌های مختلف مانند پزشکی، حقوق یا روزنامه‌نگاری از مدل‌های هوش مصنوعی استفاده می‌کنند. در چنین حوزه‌هایی، یک توهم ساده می‌تواند پیامدهای بزرگی داشته باشد. پس اصلاح شیوه ارزیابی و پاداش‌دهی، نه تنها یک بهبود فنی بلکه یک ضرورت اجتماعی-فنی (socio-technical) است. هوشی با ارائه ابزارهای کنترل و شفافیت، به دنبال تقویت این اعتماد در میان کاربران است.

آیا می‌توان توهم را کاملاً حذف کرد؟

مقاله‌ی جدید به خوبی نشان می‌دهد که دست‌کم در مدل‌های فعلی، توهم یک ویژگی ذاتی است، نه یک اشکال گذرا. یعنی هر مدلی که بخواهد زبان انسانی را به صورت عمومی یاد بگیرد، محکوم است در برخی موارد خطا کند؛ به ویژه وقتی پای «حقایق پراکنده و تک‌نمونه‌ای» مثل تاریخ تولد یک پژوهشگر یا نام پایان‌نامه دکتری او در میان باشد.

با این حال، این به معنای تسلیم شدن نیست. درست مثل رانندگی با ماشین، ما می‌دانیم که احتمال خطا و تصادف صفر نمی‌شود، اما می‌توانیم قوانین، ابزارهای ایمنی و سیستم‌های کمکی طراحی کنیم تا ریسک به حداقل برسد. با استفاده از توکن API هوشی و ایجنت‌های کدنویسی پیشرفته، می‌توانیم مکانیسم‌هایی برای شناسایی و کاهش این توهمات طراحی کنیم.

تبدیل «دانشجوی درمانده» به «دانشجوی صادق» در دنیای هوش مصنوعی

شخصاً باور دارم مسیر آینده هوش مصنوعی باید به سمت مدل‌هایی باشد که بتوانند:

1. صادقانه عدم قطعیت را ابراز کنند (مثلاً بگویند: «با ۳۰٪ اطمینان فکر می‌کنم پاسخ این باشد…»).
2. ابزارهای کمکی مثل جستجو یا محاسبه را هوشمندانه به کار بگیرند تا وقتی مطمئن نیستند، سراغ منابع معتبر بروند.
3. از خطاهای خودشان درس بگیرند و بتوانند در تعامل با کاربر، اطلاعات مشکوک را اصلاح کنند.

اگر چنین اصلاحاتی در ارزیابی و طراحی اعمال شود، مدل‌ها می‌توانند به جای شاگردانی که برای نمره گرفتن همیشه جواب می‌سازند، تبدیل شوند به موجودات خردمندی که می‌دانند چه می‌دانند و چه نمی‌دانند! این دقیقاً چشم‌اندازی است که هوشی در توسعه ابزارهای هوش مصنوعی خود دنبال می‌کند.

جمع‌بندی و چشم‌انداز آینده توهم هوش مصنوعی

این مقاله به لحاظ موضوعی، بسیار دلگرم‌کننده بود؛ زیرا نشان می‌دهد پدیده توهم هوش مصنوعی چیزی اسرارآمیز یا حل‌نشدنی نیست؛ بلکه یک پیامد طبیعی از انتخاب‌های آماری و شیوه‌های ارزیابی ماست. خبر خوب اینکه، همین که این مسئله شفاف‌تر شده، یعنی می‌توانیم با تغییر شیوه‌های آموزش و نمره‌دهی، قدم‌های بزرگی برای ساخت مدل‌های قابل‌اعتمادتر برداریم.

احساس می‌کنم ما هیچ‌وقت توهم را به صفر مطلق نمی‌رسانیم؛ همان‌طور که هیچ انسانی هم از خطا مصون نیست؛ اما می‌توانیم کاری کنیم که مدل‌ها به جای «خطاهای قانع‌کننده»، صادقانه بگویند «نمی‌دانم.» به نظر من، این خودش یک پیشرفت انقلابی خواهد بود و هوشی متعهد به پیشبرد این هدف است.

چرا هوشی؟

در هوشی، ما به دنبال ساخت پلتفرمی هستیم که نه تنها قدرتمند، بلکه قابل اعتماد و شفاف باشد. با ارائه ابزارهایی برای مدیریت توکن API، ساخت ایجنت‌های کدنویسی هوشمند و دسترسی به مدل‌های پیشرفته با بیلینگ شفاف، به توسعه‌دهندگان و مدیران محصول کمک می‌کنیم تا از پتانسیل کامل هوش مصنوعی بهره‌مند شوند. هدف ما کاهش توهم و افزایش دقت در خروجی‌های هوش مصنوعی است تا بتوانید با اطمینان کامل از این فناوری در پروژه‌های خود استفاده کنید. همین امروز در هوشی ثبت‌نام کنید و آینده هوش مصنوعی را تجربه کنید.