מאז תחילת דרכה של הבינה המלאכותית, המדד המרכזי והפופולרי ביותר להצלחה היה פשוט מאוד: האם המכונה יכולה לנצח את האדם? ראינו את זה קורה במשחקי לוח מורכבים כמו שחמט, בפתרון משוואות מתמטיות סבוכות, בכתיבת קוד תכנותי ואפילו בחיבור מאמרים אקדמיים. הסיפור הזה של "אדם מול מכונה" הוא מרתק, סקסי ומושך תקשורתית, אבל הוא יצר אצלנו אשליה מסוימת לגבי המציאות.
בראשית ימי מודלי השפה הגדולים, היינו עדים לקפיצות מדרגה עצומות – שיפורים של כמעט פי 10 ביכולות הקידוד וההיגיון מגרסה לגרסה. אולם, כיום אנו רואים שהקפיצות הללו מתמתנות והופכות שטוחות יותר, והשיפורים הופכים להדרגתיים ושוליים. האם זה אומר שהבינה המלאכותית נעצרה במקום? ממש לא. זה אומר שהמדדים שלנו פשוט הפסיקו לשקף את המציאות הטכנולוגית בצורה מהימנה.
למה המדדים הנוכחיים פשוט שבורים?
הבעיה המרכזית כיום היא שמפתחי מודלים רבים התחילו לשחק את המשחק של "לעבור את המבחן". במקום להשקיע את מירב המאמצים בשיפור היכולות הכלליות של הבינה המלאכותית ובהבנה עמוקה שלה, הם מאמנים את המודלים הספציפיים שלהם כך שיקבלו ציונים גבוהים במדדים המקובלים (Benchmarks).
התופעה הזו מובילה למצב אבסורדי שבו מודל שפה יכול לקבל ציון כמעט מושלם במבחן תכנות בשפה אחת או במשימה תיאורטית, אבל להיכשל לחלוטין כשהוא נדרש לבצע משימה דומה בשפת תכנות אחרת, או גרוע מכך – בסביבת עבודה עסקית ואמיתית. התוצאה היא שוק שמלא בהצהרות מפוצצות על יכולות חסרות תקדים, בשעה שבפועל, הכלים מתקשים לעיתים קרובות לספק את הסחורה במשימות היומיומיות החשובות באמת.
משבר ההערכה: כשהציון לא משקף את המציאות
חוקרים ומדענים בתחום הבינה המלאכותית מכנים את התופעה המטרידה הזו "משבר ההערכה" (Evaluation Crisis). כשמדדים בתעשייה הופכים לחסרי תוקף, הם לא באמת מודדים את מה שהם מתיימרים למדוד. דמיינו תלמיד שמשנן את כל התשובות למבחן הבגרות בצורה רובוטית, מקבל את הציון 100, אבל מחוץ לכותלי בית הספר לא מסוגל ליישם את החומר בחיים האמיתיים או לפתור בעיות בלתי צפויות.
ניוזלטר AI לפי תפקיד
כלים, מדריכים ומקרים מהשטח שרלוונטיים לעבודה שלכם, בלי רעש. בחרו תפקיד, ונשלח לכם את מה שחשוב לו.
זה בדיוק מה שקורה היום עם לא מעט ממודלי הבינה המלאכותית שמתגאים בראש טבלאות הדירוג. עבור ארגונים ועסקים שמשקיעים הון עתק, זמן ומשאבים בהטמעת טכנולוגיות AI בארגון, המשבר הזה מהווה סיכון ממשי. הם עלולים לבחור כלים על סמך נתונים שגויים ולהתאכזב קשות כשהטכנולוגיה תפגוש את העובדים או את לקוחות הקצה ותקרוס תחת העומס.
הפתרון: למדוד את מה שבאמת חשוב בעולם האמיתי
כדי לצאת מהמשבר הזה ולהחזיר את האמון בטכנולוגיה, הקהילה המדעית, ובראשה חוקרים מ-MIT, מציעה גישה חדשה: הערכה מבוססת תוקף. הגישה הזו, ששואבת השראה משיטות מחקר מעמיקות במדעי החברה, דורשת מאיתנו להגדיר מחדש מהי בעצם "יכולת". במקום לתת ציון כללי וסתמי, ההצעה היא לפרק כל יכולת לתתי-מיומנויות קטנות ומדידות, ולקשר את המבחנים ישירות למשימות מהעולם האמיתי. עלינו להפסיק לשאול "האם ה-AI חכם יותר מהאדם בטריוויה?" ולהתחיל לשאול "האם ה-AI באמת עוזר לעובד לבצע את המשימה הספציפית שלו טוב יותר, באמינות גבוהה יותר, ובפחות זמן?".
איך ייראה עתיד המבחנים של הבינה המלאכותית?
כבר עכשיו אנחנו זוכים לראות התארגנויות חדשות בתעשייה שנועדו לשנות את חוקי המשחק מהיסוד. יוזמות כמו BetterBench, לצד מאמצים של ארגוני מחקר בולטים כמו Hugging Face ו-EleutherAI, פועלות במרץ ליצירת מדדים שקופים, אמינים ומדויקים יותר. העתיד של בדיקות הבינה המלאכותית נמצא ביכולות מותאמות-תחום. במקומות שבהם מודל מוזן בידע הארגוני הספציפי ועובר התאמה אישית לצרכים מדויקים (למשל ברפואה או משפטים), אנחנו עדיין רואים קפיצות מדרגה אמיתיות ומרגשות ביעילות. שם נמצא הערך האמיתי עבור החברה האנושית, ושם בדיוק המדדים החדשים צריכים להתמקד.
למה זה צריך לעניין אתכם ואיך תתכוננו?
ההבנה שהמדדים הנוכחיים שבורים היא קריטית לכל מי שמשתמש, מטמיע, מנהל או משקיע בבינה מלאכותית כיום. בפעם הבאה שאתם קוראים כותרת מפוצצת על מודל חדש ש"שבר את כל השיאים האפשריים", כדאי לקחת את המידע הזה בערבון מוגבל ולשאול אילו מבחנים בדיוק הוא עבר, והאם הם רלוונטיים אליכם. העולם צועד בבטחה לעבר בחינה מציאותית, הוגנת ומעשית יותר של טכנולוגיות, וזה הזמן שלנו לעדכן את הציפיות שלנו בהתאם. מכירים קולגות או חברים שמסתמכים על ציוני מודלים בעיניים עצומות? שתפו איתם את הכתבה הזו כדי שיכירו את המציאות שמאחורי הקלעים של תעשיית ה-AI ויקבלו החלטות חכמות יותר!
