ארגון ה-AI הישראליארגון ה-AI הישראלי
איור מופשט של חיבורי רשת עצבית המייצגים Sparse Attention לעומת Dense Attention

מקור: www.technologyreview.com

חדשות AI

פריצת דרך ב-AI: האם סטארט-אפ אמריקאי פיצח את צוואר הבקבוק של מודלי שפה?

ליאור אברהםליאור אברהם 4 דק׳ קריאהעודכן:

הבשורה המהפכנית של Subquadratic והספקנות הראשונית

בחודש שעבר יצאה חברת הסטארט-אפ Subquadratic, הממוקמת במיאמי, מההסוואה עם הכרזה נועזת: היא טוענת כי פיצחה צוואר בקבוק מתמטי המעכב את מודלי השפה הגדולים (LLMs) כבר כמעט עשור. החברה הציגה מודל חדשני בשם SubQ, המבטיח להיות מהיר וזול יותר, לצרוך פחות אנרגיה, ולעבד עד פי 12 יותר טקסט בו זמנית בהשוואה למודלים מובילים אחרים בשוק. יתרה מכך, Subquadratic מתיימרת כי SubQ מצליח להשתוות בביצועיו למודלים הטובים ביותר של ענקיות כמו גוגל DeepMind, OpenAI ואנתרופיק במשימות מפתח כגון קידוד. עם זאת, ההכרזה הראשונית, שהייתה דלה בפרטים ובנתוני אימות חיצוניים, התקבלה בספקנות רבה בקהילת ה-AI העולמית, כשמומחים רבים תהו האם מדובר בפריצת דרך אמיתית או בעוד הבטחה שלא תתממש.

פיצוח צוואר הבקבוק: מהי בעצם בעיית ה-"Attention" במודלי טרנספורמר?

כדי להבין את גודל הפוטנציאל בטענותיה של Subquadratic, יש לצלול לעומק הארכיטקטורה השלטת כיום במודלי שפה גדולים: הטרנספורמר (Transformer). מנגנון הליבה בטרנספורמרים הוא תהליך המכונה "קשב צפוף" (Dense Attention), שהוצג במאמר המכונן "Attention Is All You Need" משנת 2017. כאשר טרנספורמר מעבד מקטע טקסט, הוא מקודד כל מילה (או יחידה, המכונה 'טוקן') למספר. כדי ללכוד את המשמעות המלאה של הטקסט, הוא מכפיל את המספר של כל טוקן בכל מספר אחר באותו טקסט. הבעיה המרכזית כאן היא שעם עליית אורך הטקסט, מספר החישובים גדל באופן ריבועי (Quadratic Expansion). לדוגמה, טקסט באורך 10,000 מילים ידרוש קרוב ל-50 מיליון פעולות כפל, מה שהופך את LLMs לזוללי כוח חישוב ואנרגיה עצומים, ומגביל משמעותית את "חלון ההקשר" (Context Window) שלהם.

"Sparse Attention": הפתרון האלגנטי והאתגר הטכנולוגי

הפתרון של Subquadratic, לכאורה, טמון בנטישת מנגנון ה-Dense Attention ובאימוץ גישה חדשנית של "קשב דליל" (Sparse Attention). במקום להכפיל את המספר של כל טוקן בכל טוקן אחר, Sparse Attention בוחר רק חלק מהמספרים להכפלה. הרעיון הבסיסי הוא שלא כל היחסים בין מילים בטקסט חיוניים להבנת המשמעות. גישה זו, למרות פשטותה הרעיונית, אינה חדשה. ניסיונות רבים נעשו בעבר ליישם Sparse Attention, אך לרוב הם התקשו להגיע לביצועים תואמים למודלי Dense Attention. האתגר הטכנולוגי האמיתי הוא לזהות אילו יחסים הם אכן חשובים ולהתעלם מהשאר, מבלי לפגוע באיכות המודל, ובכך להשיג חיסכון משמעותי במשאבי חישוב תוך שמירה על רמת דיוק והבנה גבוהה.

אימות עצמאי: האם SubQ עומד בהבטחות?

בעקבות הספקנות הראשונית, Subquadratic פרסמה לאחרונה מידע נוסף על המודל שלה, ובכלל זה תוצאות של בדיקות עצמאיות שבוצעו על ידי חברת צד שלישי, Appen. Appen, המתמחה בהערכת מודלי AI עבור חברות אחרות, ביצעה בדיקות מקיפות על SubQ. התוצאות הראשוניות של Appen אכן תומכות ברבות מטענותיה של Subquadratic, ובמיוחד בכל הנוגע ליעילות, מהירות ועלות תפעולית. ז'נין סינאנאן-סינג, מנהלת מחקר AI גנרטיבי ב-Appen, ציינה כי התוצאות היו "מרגשות מאוד" ו"אישרו את הארכיטקטורה שלהם", והוסיפה כי "זה יכול להיות מחליף משחק" עבור מודלים שמתקשים במהירות וביעילות. האימות החיצוני, גם אם חלקי בשלב זה, מעניק רובד נוסף של אמינות לטענות הנועזות של הסטארט-אפ.

מעבר למגבלות: יכולות עיבוד טקסט חסרות תקדים

אחת ההבטחות המשמעותיות ביותר של SubQ עבור הסקטור הארגוני היא יכולתו לעבד נפחי טקסט עצומים – עד פי 12 יותר ממודלים קיימים. יכולת זו פותחת דלת לשורה של משימות עתירות נתונים שהיו עד כה מאתגרות ויקרות ליישום באמצעות LLMs סטנדרטיים. ניתוח מאות מסמכים משפטיים, סקירת מאגרי קוד שלמים, עיבוד דוחות פיננסיים מורכבים, או סיכום ספרים ומאמרים אקדמיים ארוכים – כל אלו הופכים לפתע למשימות בנות השגה בקלות ובעלות נמוכה בהרבה. עבור ארגונים, המשמעות היא לא רק חיסכון בעלויות אלא גם יכולת להפיק תובנות עמוקות יותר ממאגרי מידע גדולים, לזרז תהליכי קבלת החלטות ולשפר את היעילות התפעולית באופן דרמטי.

השלכות רחבות על עתיד מודלי השפה הגדולים

מייסדי Subquadratic אינם בוחלים במילים וטוענים כי פריצת הדרך שלהם עשויה לשנות באופן מהותי את הדרך שבה LLMs נבנים. ג'סטין דנגל, מנכ"ל החברה, הצהיר כי "איש לא יבנה על טרנספורמרים בעוד כמה שנים". זוהי הצהרה נועזת, המרמזת על שינוי פרדיגמה אפשרי בארכיטקטורות הליבה של AI. אם SubQ אכן יצליח להוכיח את עליונותו באופן עקבי ורחב, אנו עשויים לראות מעבר הדרגתי מטרנספורמרים מבוססי Dense Attention לגישות יעילות יותר, מה שישפיע על כל שרשרת הערך של פיתוח ופריסת AI – החל מחברות המפתחות מודלי יסוד ועד ארגונים המיישמים פתרונות AI ייעודיים. מרוץ החימוש אחר מודלי AI יעילים וחסכוניים נמצא בעיצומו, ו-Subquadratic מציבה אתגר משמעותי לשחקנים המרכזיים.

המשמעות הארגונית: יתרונות תחרותיים וחיסכון אסטרטגי

עבור ארגונים בישראל ובעולם, פריצת דרך פוטנציאלית זו מציעה אופק חדש של הזדמנויות ויתרונות תחרותיים. היכולת להפחית באופן דרמטי את עלויות התפעול של מודלי שפה גדולים, יחד עם הגברת מהירות העיבוד והרחבת חלון ההקשר, משמעותה שניתן יהיה ליישם AI מתקדם בהיקף נרחב יותר ובעלות נמוכה יותר. חברות יוכלו לפתח ולפרוס יישומים חדשים המבוססים על ניתוח מעמיק של נתונים טקסטואליים עצומים, לשפר תהליכי אוטומציה, להעצים את יכולות קבלת ההחלטות ולהשיג יתרון תחרותי משמעותי. ההשפעה על ניהול ידע ארגוני, תמיכת לקוחות, פיתוח מוצרים מבוססי AI ואפילו עמידה ביעדי קיימות סביבתית באמצעות צריכת אנרגיה מופחתת – היא עצומה. ארגונים המאמצים גישות חדשניות אלו יוכלו למצב את עצמם בחזית החדשנות הטכנולוגית ולהבטיח צמיחה אסטרטגית בעידן הבינה המלאכותית.

מקור הכתבה

Technologyreview
שאלות ותשובות
Subquadratic טוענת כי פיצחה את בעיית ה"קשב הצפוף" (Dense Attention) בארכיטקטורת הטרנספורמר, הגורמת לעלייה ריבועית בצורך בחישובים עם הארכת הטקסט. בעיה זו מגבילה את חלון ההקשר, מייקרת את התפעול ודורשת אנרגיה רבה, מה שמעכב את פריסתם היעילה של LLMs בקנה מידה רחב.
הצטרפו לקבוצת הווטסאפ שלנו לעדכונים

תגיות:

שתפו את הכתבה:

עוד כתבות שיעניינו אותך

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח
מדריכים• ליאור אברהם• 21 בנובמבר

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח

המדריך המלא לתפקיד ה-DPO: איך נולד, מה תיקון 13 וההנחיה הסופית של הרשות דורשים, למי הוא מדווח, אילו הסמכות שוות משהו, כמה מרוויחים בישראל ובעולם, ואיך ה-AI הופך אותו לאחד האנשים החשובים בארגון.

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)
מדריכים• ליאור אברהם• 15 בנובמבר

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)

MCP הוא התקן הפתוח שמחבר את Claude, ChatGPT, Gemini ו-Copilot למערכות של הארגון. מה זה בעברית פשוטה, איך זה עובד, מה ארגונים עושים עם זה בכל מחלקה, ממה להיזהר ואיך מתחילים.

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם
חדשות AIGeektime• ליאור אברהם• 13 בנובמבר

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם

מיקרוסופט הודיעה לעובדים שלה ששריפת טוקנים היא לא המטרה, הגדירה תקציב לכל חטיבה ועברה למודל זול יותר. מה קרה, למה זה קורה בכל החברות הגדולות, ואיך למדוד עובדים בעידן ה-AI בלי להפחיד אותם.

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן
מדריכים• ליאור אברהם• 13 בנובמבר

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן

בנק שעונה בטלפון 24/7, רשת נופש עם פקידת קבלה וירטואלית ובוט אחד שמדבר 35 שפות. שבעה מקרים אמיתיים של בוט קולי בארגונים גדולים, ומה ללמוד מהם לפני שמטמיעים במוקד שלכם.

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם
מדריכים• ליאור אברהם• 12 בנובמבר

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם

Klarna החליפה 700 נציגים בבוט וחזרה לגייס בני אדם. מה באמת עובד בשירות לקוחות עם AI, 5 חידושים שיגיעו ב-2027, דוגמאות מהעולם, ומחשבון שמראה אם בוט משתלם לכם.

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון
חדשות AIAnthropic• ליאור אברהם• 10 בנובמבר

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון

Anthropic השיקה גיליונות, לוחות משותפים, דשבורדים ונוכחות בפגישות, ומניית מיקרוסופט ירדה ב-3%. מה הושק, איך זה מתחבר לכל מה ש-Claude בנה השנה, ומה ארגון צריך להחליט עכשיו.

מחשבון בוט AI לשירות לקוחות
כלים• ליאור אברהם• 10 בנובמבר

מחשבון בוט AI לשירות לקוחות

כמה יחסוך בוט AI למוקד שלכם? מזינים מספר פניות, זמן טיפול ועלות נציג, ומקבלים את עלות המוקד עם בוט ובלעדיו, חיסכון חודשי, החזר השקעה ומשרות שמתפנות.

Smart Reports של Claude:  כעת המנהלים יכולים לדעת מה העובדים מפתחים  ב - AI
חדשות AIAnthropic• ליאור אברהם• 8 בנובמבר

Smart Reports של Claude: כעת המנהלים יכולים לדעת מה העובדים מפתחים ב - AI

Anthropic השיקה דוחות חכמים ל-Claude Enterprise שמנתחים את העבודה של כל צוות: מה נעשה, כמה זה עלה ואיפה העבודה נתקעת. למי זה שימושי, מה בדיוק יש בדוח, ומה צריך לסדר לפני שמפעילים.

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא
מדריכים• ליאור אברהם• 5 בנובמבר

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא

בוט תמיכה שהמציא מדיניות, קול AI שהוביל לקנס של 6 מיליון דולר, וציון אלגוריתמי שהסתיים בהסדר של 2.3 מיליון. בכל המקרים הלקוח לא ידע שמולו AI. מה החוק כבר דורש, ולמה כדאי להצטרף לתו AI אחראי עכשיו.

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)
מדריכים• ליאור אברהם• 1 בנובמבר

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)

מחירי כל מסלולי העסקים של ChatGPT, Claude, Microsoft 365 Copilot ו-Gemini, ישירות מעמודי התמחור הרשמיים: מחיר למשתמש, מה כלול, מנוי מול API, דוגמת חישוב לארגון של 50 עובדים והעלויות שלא מופיעות בעמוד התמחור.

הצטרפו אלינו