למה מודלי שפה "ממציאים" תשובות (הזיות), ולמה זה קורה בכלל?
למה מודלי שפה "ממציאים" תשובות (הזיות), ולמה זה קורה בכלל?
OpenAI פרסמה ב-5 בספטמבר 2025 כתבה שמסבירה בצורה די ישירה: הזיות קורות לא כי המודלים "משוגעים", אלא כי הדרך שבה מאמנים ובודקים אותם גורמת להם להעדיף לנחש במקום להודות שהם לא בטוחים.
אז מה זה "הזיות"?
הזיה (hallucination) היא מצב שבו מודל שפה אומר משפט שנשמע הגיוני ומשכנע, אבל הוא לא נכון. לפעמים זה קורה גם בשאלות שנראות ממש פשוטות.
דוגמה: כששאלו צ'אטבוט מה הכותרת של עבודת הדוקטורט של Adam Tauman Kalai, הוא נתן שלוש תשובות שונות בביטחון, ואף אחת מהן לא הייתה נכונה.
"מלמדים למבחן": למה זה ממשיך לקרות?
לפי הכתבה, הזיות נשארות בין השאר בגלל שהרבה שיטות מדידה נותנות למודלים תמריץ לא נכון: הן מתגמלות "פגיעה" בתשובה, גם אם היא הייתה ניחוש, יותר מאשר "אני לא יודע".
OpenAI מסבירים את זה כמו מבחן אמריקאי – אם מנחשים ומצליחים, מקבלים ניקוד. אם משאירים ריק, מקבלים אפס בוודאות.
מה הפתרון?
הם מציעים תיקון פשוט:
- להעניש טעויות בטוחות יותר חזק
- לתת קרדיט חלקי על הבעת חוסר ודאות במקום לנחש
צריך לעדכן את המדדים המרכזיים שכולם משתמשים בהם, כי כל עוד לוחות התוצאות ממשיכים לתגמל ניחושים, המודלים ימשיכו ללמוד לנחש.
ומה לגבי GPT-5?
OpenAI אומרים של-GPT-5 יש פחות הזיות, במיוחד במצבי "reasoning", אבל זה עדיין קורה, והם ממשיכים לעבוד על להוריד את שיעור הטעויות הבטוחות.