ארגון ה-AI הישראליארגון ה-AI הישראלי
איור של שבבי מחשב וחיבורים עצביים המייצגים את הדור הבא של ארכיטקטורות AI

מקור: www.technologyreview.com

חדשות AI

מעבר לטרנספורמרים: האם מודלי ה-LLM הבאים יחסכו מיליארדים לארגונים?

ליאור אברהםליאור אברהם 4 דק׳ קריאהעודכן:

הטרנספורמר: עמוד התווך המאתגר של עולם ה-AI

מאז פרסומו בשנת 2017, המאמר פורץ הדרך של חוקרי גוגל, "Attention Is All You Need", הציג לעולם את ארכיטקטורת הטרנספורמר – סוג חדש של רשת נוירונים שהתגלתה כיעילה במיוחד בעיבוד רצפים ארוכים של נתונים, ובפרט טקסט. טכנולוגיה זו הפכה במהרה למנוע הליבה מאחורי כל מודל שפה גדול משמעותי בשוק, ושינתה באופן דרמטי את פני תעשיית הבינה המלאכותית כולה. עם זאת, כעשור לאחר מכן, הטרנספורמרים מתחילים להראות סימני גיל ותשישות, כאשר התקדמויות רבות במודלי LLM מודרניים אינן פועל יוצא טבעי שלהם, אלא עקיפות מורכבות שמטרתן לתקן פגמים מבניים.

מנגנון הקשב הדחוס: עוצמה לצד עלות עצומה

החוזקה המרכזית של הטרנספורמרים טמונה במנגנון הקשב (Attention), ובפרט ב"קשב דחוס" (Dense Attention), אשר מקודד את משמעותם של קטעי טקסט ארוכים בסדרת מספרים. תהליך זה כרוך בהשוואת כל מילה (או יחידת 'טוקן') בטקסט לכל מילה אחרת, באמצעות חישובים מתמטיים מורכבים. בעוד שמנגנון זה מסוגל ללכוד את משמעות הטקסט בדיוק יוצא דופן, ככל שאורך הטקסט גדל, מספר החישובים הנדרשים עולה באופן אקספוננציאלי. מסמך בן 10,000 מילים, למשל, עשוי לדרוש מטרנספורמר לבצע עשרות מיליוני פעולות כפל, מה שהופך את מודלי ה-LLM לזוללי כוח חישוב ואנרגיה עצומים, עם עלויות תפעול המגיעות למיליארדי דולרים בשנה עבור חברות מובילות בתחום.

צוואר הבקבוק בחלון ההקשר וביכולות ההיסק

מעבר לעלות החישובית, הטרנספורמרים מתקשים במשימות מורכבות הדורשות שמירה על חלון הקשר (Context Window) גדול במיוחד. בשל אופן עיבוד הטקסט מילה אחר מילה, הם אינם יעילים במיוחד בשמירה על כמויות מידע רבות בו-זמנית. בעוד שמודלי LLM מודרניים שואפים לבצע משימות קשות יותר – כמו ניתוח ספריית מסמכים שלמה, בסיס קוד שלם, או תקשורת בין סוכני AI מרובים – היכולת לקלוט ולעבד כמויות אדירות של נתונים הופכת למגבלה קריטית. מודלי היסק (Reasoning Models), למשל, פועלים על ידי כתיבת "הערות" לעצמם (במעין "שרשרת מחשבה"), וקריאתן מחדש, מה שמוסיף שוב לכמות הנתונים שצריך לנהל. ככל שה-LLMs גדלים ומשתפרים, הטרנספורמרים הפכו למגבלה, כאשר חוזקתם המרכזית היא כעת חולשה.

הדור הבא של ה-LLMs: חדשנות פורצת דרך

בתוך האתגרים הללו, מתהווה גל חדש של סטארט-אפים טכנולוגיים המבקשים לדחוף את גבולות הטכנולוגיה הבוגרת הזו. חברות אלו, המכונות לעיתים מפתחות את "LLMs+", מבינות כי בעוד שמודלי שפה גדולים אינם הולכים לשום מקום, הדרך שבה הם נבנים עומדת להשתנות. הן מציעות פתרונות חדשניים שיכולים להפוך את ה-LLMs למהירים, יעילים וחסכוניים באופן דרמטי, ואולי אף חכמים יותר, ובכך לפתוח עידן חדש של יישומים ארגוניים מורכבים שאינם אפשריים כיום.

מנגנון הקשב הדליל: יעילות חישובית ללא פשרות?

אחת הדרכים הברורות להפוך את ה-LLMs למהירים וזולים יותר היא להתמודד ישירות עם בעיית הקשב. במקום "קשב דחוס", סטארט-אפים כמו Subquadratic ממיאמי מפתחים "קשב דליל" (Sparse Attention), המבצע חישובים רק על חלק מזוגות המילים בקטע טקסט, במקום על כולם. גישה זו יכולה להפחית באופן דרמטי את כמות החישובים הנדרשת. בעבר, מנגנוני קשב דלילים התקשו להשתוות ביכולתם ללכוד משמעות למנגנוני קשב דחוסים, אך Subquadratic טוענת שפיתחה מנגנון קשב דליל ראשון מסוגו שמתחרה במודלי LLM מובילים במשימות כמו חיפוש וקידוד. המודל שלהם, SubQ, לומד בזמן אמת אילו מילים רלוונטיות ואילו לא, ומבטיח פריצת דרך משמעותית ביעילות.

מודלי רטנציה: סיכום מתגלגל של הקשר

סטארט-אפ נוסף, Manifest AI מסן פרנסיסקו, ניגש לבעיה מזווית שונה לחלוטין: במקום לשנות את אופן פעולת הקשב, הוא מחליף אותו לחלוטין במנגנון חדש בשם "רטנציית כוח" (Power Retention). מנגנון זה אוגר רק את המידע הרלוונטי ביותר למשימה ספציפית, ומבטיח שכמות הנתונים שמודל ה-LLM צריך לעקוב אחריה לא תתפוצץ. בניגוד למודלי קשב דליל שעדיין שומרים על תמונה כללית של כל מה שנראה, רטנציית כוח מספקת למודל סיכום מתגלגל של חלון ההקשר שלו – כאשר מידע חדש מתווסף, מידע פחות רלוונטי נשמט. Manifest AI טוענת שהצליחה לעדכן טכניקות רטנציה קיימות כדי לבנות מודלים שמשתווים לראשונה למודלי טרנספורמר, ואף הצליחה להסב מודל LLM קיים בקוד פתוח (StarCoder) לגרסת PowerCoder עם מינימום אימון מחדש.

ההשלכות הארגוניות: יעילות, קיימות ויתרון תחרותי

המעבר האפשרי מטכנולוגיית הטרנספורמר הדומיננטית אל ארכיטקטורות LLM חדשניות טומן בחובו השלכות מרחיקות לכת עבור ארגונים ועסקים. עבור מנהלי טכנולוגיה, מנהלי מוצר ומובילי חדשנות, היכולת להפחית באופן דרמטי את עלויות התשתית והאנרגיה הכרוכות בהפעלת מודלי AI בקנה מידה גדול היא קריטית. מודלים יעילים יותר יאפשרו לארגונים להטמיע פתרונות AI מורכבים יותר – כגון ניתוח חוזים משפטיים ארוכים, הפקת תובנות ממאגרי ידע ארגוניים עצומים, או פיתוח סוכני AI אוטונומיים – בעלות תועלת גבוהה יותר. בנוסף, ההפחתה בצריכת האנרגיה תתרום למטרות קיימות ארגוניות ותפחית את טביעת הרגל הפחמנית של פעילות ה-AI. מי שיצליח לאמץ את הטכנולוגיות הללו מוקדם, ישיג יתרון תחרותי משמעותי בשוק, הן מבחינת חדשנות והן מבחינת אופטימיזציה תפעולית, ויבטיח שבינה מלאכותית לא תהיה רק כלי עוצמתי, אלא גם פתרון בר-קיימא וכלכלי.

מקור הכתבה

Technologyreview
שאלות ותשובות
טרנספורמרים הם ארכיטקטורת רשת נוירונים שמהווה את הבסיס למודלי LLM מודרניים. הם יעילים בעיבוד טקסט אך משתמשים ב'קשב דחוס' הדורש חישובים רבים. זה הופך אותם לזוללי כוח חישוב ואנרגיה עצומים, ומגביל את יכולתם לטפל בחלונות הקשר גדולים ובמשימות היסק מורכבות, מה שהופך אותם לצוואר בקבוק עבור יישומים ארגוניים בקנה מידה גדול.
הצטרפו לקבוצת הווטסאפ שלנו לעדכונים

תגיות:

שתפו את הכתבה:

עוד כתבות שיעניינו אותך

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח
מדריכים• ליאור אברהם• 21 בנובמבר

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח

המדריך המלא לתפקיד ה-DPO: איך נולד, מה תיקון 13 וההנחיה הסופית של הרשות דורשים, למי הוא מדווח, אילו הסמכות שוות משהו, כמה מרוויחים בישראל ובעולם, ואיך ה-AI הופך אותו לאחד האנשים החשובים בארגון.

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)
מדריכים• ליאור אברהם• 15 בנובמבר

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)

MCP הוא התקן הפתוח שמחבר את Claude, ChatGPT, Gemini ו-Copilot למערכות של הארגון. מה זה בעברית פשוטה, איך זה עובד, מה ארגונים עושים עם זה בכל מחלקה, ממה להיזהר ואיך מתחילים.

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם
חדשות AIGeektime• ליאור אברהם• 13 בנובמבר

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם

מיקרוסופט הודיעה לעובדים שלה ששריפת טוקנים היא לא המטרה, הגדירה תקציב לכל חטיבה ועברה למודל זול יותר. מה קרה, למה זה קורה בכל החברות הגדולות, ואיך למדוד עובדים בעידן ה-AI בלי להפחיד אותם.

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן
מדריכים• ליאור אברהם• 13 בנובמבר

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן

בנק שעונה בטלפון 24/7, רשת נופש עם פקידת קבלה וירטואלית ובוט אחד שמדבר 35 שפות. שבעה מקרים אמיתיים של בוט קולי בארגונים גדולים, ומה ללמוד מהם לפני שמטמיעים במוקד שלכם.

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם
מדריכים• ליאור אברהם• 12 בנובמבר

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם

Klarna החליפה 700 נציגים בבוט וחזרה לגייס בני אדם. מה באמת עובד בשירות לקוחות עם AI, 5 חידושים שיגיעו ב-2027, דוגמאות מהעולם, ומחשבון שמראה אם בוט משתלם לכם.

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון
חדשות AIAnthropic• ליאור אברהם• 10 בנובמבר

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון

Anthropic השיקה גיליונות, לוחות משותפים, דשבורדים ונוכחות בפגישות, ומניית מיקרוסופט ירדה ב-3%. מה הושק, איך זה מתחבר לכל מה ש-Claude בנה השנה, ומה ארגון צריך להחליט עכשיו.

מחשבון בוט AI לשירות לקוחות
כלים• ליאור אברהם• 10 בנובמבר

מחשבון בוט AI לשירות לקוחות

כמה יחסוך בוט AI למוקד שלכם? מזינים מספר פניות, זמן טיפול ועלות נציג, ומקבלים את עלות המוקד עם בוט ובלעדיו, חיסכון חודשי, החזר השקעה ומשרות שמתפנות.

Smart Reports של Claude:  כעת המנהלים יכולים לדעת מה העובדים מפתחים  ב - AI
חדשות AIAnthropic• ליאור אברהם• 8 בנובמבר

Smart Reports של Claude: כעת המנהלים יכולים לדעת מה העובדים מפתחים ב - AI

Anthropic השיקה דוחות חכמים ל-Claude Enterprise שמנתחים את העבודה של כל צוות: מה נעשה, כמה זה עלה ואיפה העבודה נתקעת. למי זה שימושי, מה בדיוק יש בדוח, ומה צריך לסדר לפני שמפעילים.

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא
מדריכים• ליאור אברהם• 5 בנובמבר

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא

בוט תמיכה שהמציא מדיניות, קול AI שהוביל לקנס של 6 מיליון דולר, וציון אלגוריתמי שהסתיים בהסדר של 2.3 מיליון. בכל המקרים הלקוח לא ידע שמולו AI. מה החוק כבר דורש, ולמה כדאי להצטרף לתו AI אחראי עכשיו.

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)
מדריכים• ליאור אברהם• 1 בנובמבר

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)

מחירי כל מסלולי העסקים של ChatGPT, Claude, Microsoft 365 Copilot ו-Gemini, ישירות מעמודי התמחור הרשמיים: מחיר למשתמש, מה כלול, מנוי מול API, דוגמת חישוב לארגון של 50 עובדים והעלויות שלא מופיעות בעמוד התמחור.

הצטרפו אלינו