במהלך השנים האחרונות, פותחו מודלים של שפה מלאכותית שהפכו לכלים חשובים בתחומים רבים. עם זאת, תופעה אחת ממשיכה להוות אתגר משמעותי עבור חוקרים ומהנדסים בתחום: תופעת ההזיות. מדובר במצבים שבהם המודל מייצר תשובות שגויות בביטחון מלא. במחקר חדש, החוקרים בחברת OpenAI מעלים את הטענה כי הסיבה המרכזית להופעת ההזיות נעוצה באופי תהליך האימון וההערכה של המודלים, אשר מתמרץ ניחושים במקום הכרה באי-ודאות.
תופעת ההזיות מתרחשת כאשר מודלים של שפה מייצרים הצהרות שנראות אמינות אך אינן נכונות. לדוגמה, כאשר נשאל מודל שיחה על שם הדיסרטציה של אדם מסוים, הוא עשוי להמציא שלושה שמות שונים, כולם שגויים. כך גם כאשר נשאל על תאריך יום ההולדת של אותו אדם, המודל עשוי להציג שלושה תאריכים שגויים.
הסיבה המרכזית להישארות התופעה היא שיטות הערכה שמטפחות את המוטיבציה לנחש. הדוגמה הרווחת היא של מבחן רב-ברירה. כאשר המודל לא יודע את התשובה, נחש שמוביל לתוצאה נכונה יכול להעניק לו נקודות, בעוד הודאה באי-ידיעה תביא לאפס נקודות. כך למעשה, מודלים מונעים לנחש במקום להימנע מהצהרה שגויה.
מהמחקר עולה כי שיטה טובה יותר להערכה תהיה להעניש שגיאות בביטחון ולתגמל הבעת אי-ודאות. הגישה הזו אינה חדשה, אך היא נראית כדרך אפקטיבית להפחית את תופעת ההזיות. מספר מחקרים מראים כי מתן קרדיט חלקי על הבעת אי-ודאות יכול להקטין את המוטיבציה לנחש. למעשה, יש לעדכן את מערכות ההערכה כך שיתמרצו את המודלים להימנע מניחושים.
בהתמקדות בתהליך הלמידה של המודלים, התברר כי המודלים לומדים קודם כל לנבא את המילה הבאה בטקסטים גדולים. בתהליך זה, אין תוויות של נכון או לא נכון, אלא רק דוגמאות לשפה שוטפת. כך, המודל לומד את התפלגות השפה בצורה כללית. אולם, כאשר יש צורך להבדיל בין עובדות נכונות לשגויות, קשה למודל לקבוע מה נכון, במיוחד כשלמידת המודל מבוססת על דוגמאות נכונות בלבד ללא תוויות שגויות.
ההזיות נובעות מחוסר יכולת של המודל להבחין בין עובדות חדשות לבין שגיאות, בעיקר כאשר מדובר בפרטים נדירים או אקראיים כמו תאריכי ימי הולדת. למרות שהמודלים משתפרים, תופעת ההזיות ממשיכה להוות אתגר, וזה מחייב את המפתחים למצוא דרכים חדשות להעריך ולשפר את המודלים כך שיכירו באי-ודאות ולא ינחשו תשובות שגויות.
במסקנות המחקר, החוקרים מדגישים כי יש צורך בשינויים במערכת ההערכה כדי לעודד את המודלים להימנע מניחושים. התעדכנות מערכות ההערכה תסייע להפחתת תופעת ההזיות ותשפר את יכולות המודלים להכיר באי-ודאות ולהימנע מהצהרות שגויות. החוקרים מקווים כי התובנות מהמחקר יובילו לשיפורים משמעותיים בתחום ויפחיתו את הופעת ההזיות במודלים של שפה מלאכותית.