מכונת ההשלמה האוטומטית המשוכללת בעולם
האם יצא לכם לעצור לרגע ולחשוב כיצד מודלי השפה הגדולים, אלו שאנו משתמשים בהם כמעט מדי יום לכתיבת מיילים, סיכום מאמרים או חיפוש מידע, באמת פועלים מאחורי הקלעים?
בבסיסם, מודלי השפה המוכרים לנו כיום הם למעשה מערכות סטטיסטיות מתקדמות או מנועי הערכה מתוחכמים. המטרה המרכזית והאלגוריתמית שלהם היא לחזות את ההסתברות של רצף מילים מסוים. במילים פשוטות מאוד, אפשר לתאר אותם כמכונות "השלמה אוטומטית" (Autocomplete) אדירות ממדים, שאומנו על טקסטים מכל רחבי האינטרנט.
כאשר אנו כותבים משפט חלקי כמו: "החתול רדף אחרי ה-...", מודל השפה סורק את ההקשר ושואל את עצמו: בהתבסס על המילים שהופיעו עד כה, מהי המילה הבאה הסבירה ביותר שתופיע? במקרה זה, הוא כנראה יחזה את המילה: "עכבר". זה אולי נשמע כמו קסם כשהמודל כותב פואמה או קוד מורכב, אבל בבסיס, מדובר במתמטיקה הסתברותית.
הקונפליקט המובנה וסכנת ההזיות של המודלים
הבעיה המרכזית בדרך הפעולה הזו היא מה שמכונה בעגה המקצועית "אי-התאמה של מטרות" (Mismatch of objectives). מודל שפה מאומן בראש ובראשונה לעבד מגוון עצום של קלטים ולייצר פלטים סבירים שנשמעים טבעיים, זורמים וכאילו נכתבו על ידי אדם אמיתי. המשמעות המעשית היא שאם המילה הבאה ה"הסתברותית" ביותר בתוך משפט היא נכונה מבחינה תחבירית אך שגויה לחלוטין מבחינה עובדתית, מודל השפה עדיין יבחר בה.
מדוע זה קורה? משום שלמודל חסר "עיגון" במציאות (Grounding). הוא אינו יכול לגשת לעולם האמיתי, לבצע תחקיר עיתונאי או לוודא עובדה היסטורית באופן עצמאי. כל מה שהוא מסוגל לעשות זה לבדוק אם המילה הבאה מתאימה לתבניות הסטטיסטיות שהוא למד ממיליארדי דוגמאות האימון שלו. כך נוצרות "הזיות" (Hallucinations) – מצבים בהם הבינה המלאכותית ממציאה עובדות ומוסרת אותן בביטחון מוחלט.
מדוע מודלים מתקדמים עדיין נופלים בפח?
כדי להתמודד עם אתגר ההזיות המורכב, חברות טכנולוגיה מובילות בתחום הבינה המלאכותית (כמו OpenAI עם מודל "o1") החלו לפתח מודלים מבוססי היגיון והסקה (Reasoning models). מודלים אלו נשענים על טכניקת אימון מוכרת בשם "למידת חיזוק" (RL - Reinforcement Learning), אשר מתגמלת את המערכת בכל פעם שהיא מגיעה לתשובה הנכונה, בדומה לאילוף.
אולם, מסתבר שגם בגישה המתקדמת הזו קיים פגם קריטי. בלמידת חיזוק קלאסית, המודל מקבל את אותו התגמול בדיוק בין אם הוא ביצע תהליך חשיבה מורכב, עמוק וזהיר, ובין אם הוא פשוט ניחש במזל את התשובה הנכונה. לאורך זמן, המנגנון הבעייתי הזה מלמד את המודלים לענות בביטחון מופרז על כל שאלה שהם נשאלים, בלי קשר לשאלה האם התשובה נתמכת בראיות מוצקות או שמדובר בניחוש סטטיסטי פרוע.










