یک کارشناس IT از چت‌بات می‌پرسد چطور فلان قابلیت را در نرم‌افزار مجازی‌سازی فعال کند. جواب مرتب و مرحله‌به‌مرحله است، با نام دقیق منوها و یک دستور آماده. تنها مشکل این است که آن منو در نسخه او وجود ندارد و پارامتر دستور هم ساختگی است. این پدیده را توهم یا Hallucination می‌نامند: تولید اطلاعات نادرست با لحنی کاملاً مطمئن. خطرش دقیقاً همین اطمینان است، چون جواب غلط ظاهر جواب درست را دارد.
چرا مدل‌ها دچار توهم می‌شوند؟
مدل زبانی برای تولید متن روان و محتمل ساخته شده، نه برای بررسی درستی هر جمله. وقتی اطلاعات کافی درباره موضوعی ندارد، به‌جای گفتن «نمی‌دانم» ممکن است الگوهای آشنا را کنار هم بگذارد و چیزی بسازد که شبیه واقعیت است. چند عامل احتمال توهم را بیشتر می‌کند:
- سؤال درباره موضوعات کم‌یاب، تخصصی یا محلی که داده کمی از آن‌ها در آموزش مدل بوده است.
- پرسیدن درباره رویدادها یا نسخه‌هایی که بعد از تاریخ دانش مدل آمده‌اند.
- درخواست جزئیات دقیق مثل عدد، تاریخ، نام قانون، شماره نسخه یا منبع.
- سؤال‌هایی که پیش‌فرض غلط دارند؛ مدل معمولاً سعی می‌کند همان پیش‌فرض را تأیید کند.
- گفت‌وگوهای خیلی طولانی که در آن‌ها جزئیات اول بحث کم‌رنگ می‌شود.
توهم در کار شرکت چه شکلی دارد؟
- منبع، مقاله یا بند قراردادی که وجود خارجی ندارد.
- دستور یا گزینه‌ای در یک نرم‌افزار که اصلاً نیست یا در نسخه شما کار دیگری می‌کند.
- عدد یا محاسبه‌ای اشتباه در خلاصه یک گزارش مالی.
- خلاصه‌ای از یک سند که نکته‌ای را به آن نسبت می‌دهد که در متن نیامده است.
هرچه جواب دقیق‌تر و پرجزئیات‌تر به نظر می‌رسد و هرچه پیامد اشتباهش بزرگ‌تر است، بررسی آن ضروری‌تر است؛ روان بودن متن نشانه درستی آن نیست.
روش‌های کاهش توهم
- متن مرجع بدهید: به‌جای اینکه از حافظه مدل بپرسید، سند یا مستند رسمی را در اختیارش بگذارید و بخواهید فقط بر اساس همان جواب دهد. این روش در سیستم‌های سازمانی با نام RAG شناخته می‌شود؛ مدل ابتدا از اسناد داخلی بازیابی می‌کند و سپس پاسخ می‌سازد.
- اجازه «نمی‌دانم» بدهید: صریح بنویسید «اگر مطمئن نیستی بگو» و «جایی که حدس می‌زنی مشخص کن».
- منبع بخواهید و منبع را باز کنید: اگر سرویس به جست‌وجو وصل است، از آن بخواهید منبع بدهد، اما خود منبع را بخوانید؛ گاهی منبع واقعی است ولی چیز دیگری می‌گوید.
- سؤال را کوچک کنید: یک مسئله بزرگ را به چند سؤال مشخص تقسیم کنید تا بررسی هر بخش آسان‌تر شود.
- دستورهای فنی را در محیط آزمایشی اجرا کنید: هر دستور را با مستندات رسمی تطبیق دهید و اول روی سرور یا ماشین مجازی تست امتحان کنید.
چه کسی مسئول کنترل است؟
هیچ تنظیمی توهم را به صفر نمی‌رساند. پس برای هر کاربرد باید مشخص باشد خروجی را چه کسی و با چه دقتی بررسی می‌کند. برای پیش‌نویس یک ایمیل، یک بار خواندن کافی است؛ اما برای اعدادی که به گزارش مدیریت می‌رود یا تغییری که روی سرور اصلی اعمال می‌شود، بررسی با منبع اصلی یا نفر دوم لازم است. اگر خروجی مستقیم به مشتری می‌رسد، مثلاً در یک ربات پاسخ‌گو، دامنه سؤال‌ها را محدود کنید و مسیر ارجاع به انسان را بگذارید.
چک‌لیست
- کارکنان می‌دانند توهم چیست و جواب روان را با جواب درست یکی نمی‌گیرند.
- برای کاربردهای مهم، اسناد مرجع در اختیار مدل قرار می‌گیرد.
- عدد، تاریخ، منبع و نام قانون همیشه با منبع اصلی تطبیق داده می‌شود.
- دستورهای فنی پیش از اجرا در محیط آزمایشی تست می‌شوند.
- برای هر کاربرد، مسئول بازبینی خروجی مشخص است.
- در ربات‌های رو به مشتری، امکان ارجاع به کارشناس انسانی وجود دارد.
توهم بخشی از ماهیت مدل‌های زبانی است و باید با فرایند درست مدیریتش کرد. کارشناسان ITPlus724 می‌توانند محیط آزمایشی مجازی جدا از سرورهای اصلی و بکاپ قابل اعتماد را برای شما آماده کنند تا خطای یک دستور اشتباه، به سرویس‌های واقعی آسیب نزند.