האם יצא לכם לעצור לרגע ולחשוב כיצד מודלי השפה הגדולים, אלו שאנו משתמשים בהם כמעט מדי יום לכתיבת מיילים, סיכום מאמרים או חיפוש מידע, באמת פועלים מאחורי הקלעים?
בבסיסם, מודלי השפה המוכרים לנו כיום הם למעשה מערכות סטטיסטיות מתקדמות או מנועי הערכה מתוחכמים. המטרה המרכזית והאלגוריתמית שלהם היא לחזות את ההסתברות של רצף מילים מסוים. במילים פשוטות מאוד, אפשר לתאר אותם כמכונות "השלמה אוטומטית" (Autocomplete) אדירות ממדים, שאומנו על טקסטים מכל רחבי האינטרנט.
כאשר אנו כותבים משפט חלקי כמו: "החתול רדף אחרי ה-...", מודל השפה סורק את ההקשר ושואל את עצמו: בהתבסס על המילים שהופיעו עד כה, מהי המילה הבאה הסבירה ביותר שתופיע? במקרה זה, הוא כנראה יחזה את המילה: "עכבר". זה אולי נשמע כמו קסם כשהמודל כותב פואמה או קוד מורכב, אבל בבסיס, מדובר במתמטיקה הסתברותית.
