ארגון ה-AI הישראליארגון ה-AI הישראלי
חדר שרתים בארגון פיננסי וצוות מהנדסים מול מסכים
הטמעת AI בארגוניםמקרה בוחן

רצינו מודל AI פנימי, וגילינו שהוא עולה פי שלושה: מתי ארגון באמת צריך מודל מקומי

ליאור אברהםליאור אברהם 8 דק׳ קריאהעודכן:

"אנחנו רוצים להקים מודל בינה מלאכותית משלנו. כזה שיישב אצלנו, ישמור על המידע ויענה לצרכים שלנו בלבד." כך פתח סמנכ"ל הטכנולוגיה של ארגון פיננסי גדול את הפגישה הראשונה שלנו. הרעיון נשמע מצוין: לא להיות תלויים בגורמי חוץ, לשמור מידע רגיש בבית, ולבנות יכולת פנימית שתשרת את כולם, משירות הלקוחות ועד ההדרכה.

המקרה אמיתי. הפרטים המזהים שונו.

בקצרה
  • ארגון פיננסי השקיע חצי שנה במודל AI פנימי, ושילם פי שלושה בשביל עשירית מהתוצאה.
  • ברוב הארגונים, מודל מסחרי בגרסה ארגונית, עם השחרת מידע, הרשאות ונהלים, זול, מהיר ומדויק יותר.
  • מודל מקומי מוצדק בכמה מצבים מוגדרים: רשת מנותקת, איסור רגולטורי מפורש, עבודה בלי אינטרנט, או משימה צרה בנפח עצום.
  • לפני כל החלטה, מחשבים כמה יעלה מודל מסחרי בפועל. ברוב הארגונים מדובר בעשרות שקלים לעובד בחודש.

חצי שנה של התלהבות, ואז המספרים

הם בנו צוות, שכרו יועצים, רכשו שרתים והתחילו לאמן מודל על הנתונים של הארגון. בהתחלה הייתה אווירה של סטארט-אפ: המהנדסים התרגשו, ההנהלה עודדה, כולם הרגישו פורצי דרך.

ואז הגיעו המספרים. שרתים עולים הרבה. מומחי AI פנימיים עולים עוד יותר. והמודל? עדיין לא נתן תוצאות טובות יותר ממערכות שקיימות בשוק. "אנחנו משלמים פי שלושה, ומקבלים עשירית ממה שציפינו," סיכם המנמ"ר אחרי חצי שנה. "והכי מתסכל? אם היינו משקיעים את אותם משאבים בהטמעה חכמה של מודל קיים, כולל אבטחת מידע, הדרכות ותהליכים, כבר היינו עם מערכת עובדת."

ואז, מחוץ לחדר, הוא הוסיף משפט שאני זוכר עד היום: "גיליתי שהעובדים המאוכזבים לא מתלוננים. הם פשוט עובדים עם המודלים בחוץ, ואין לנו שליטה על זה."

מה באמת קרה כאן

הטעות לא הייתה טכנית. היא הייתה טעות בהערכה של שלושה דברים: רגישות המידע (רובו לא דרש מודל פנימי), היכולת להחזיק מודל (שזה פרויקט שלא נגמר), והעלויות (שתמיד גבוהות מהתכנון). בינתיים, המודלים המסחריים השתפרו בקצב שאף צוות פנימי לא יכול להדביק. כל חודש שהארגון השקיע בפיתוח, הפער רק גדל.

ויש כאן טעות רביעית, שקטה יותר: הם ניסו לאמן מודל. היום כמעט אף ארגון לא צריך לאמן מודל שפה מאפס. מי שבאמת חייב לעבוד מקומית לוקח מודל פתוח מוכן, מריץ אותו על השרתים שלו ומחבר אותו לידע הארגוני דרך חיפוש במסמכים (RAG). כוונון עדין (Fine-tuning) נשמר למשימות צרות מאוד, ורק אחרי שהגרסה הפשוטה הוכיחה את עצמה.

"מרבית הארגונים לא באמת צריכים מודל פנימי. הם צריכים דרך בטוחה להשתמש במודל קיים. זה פחות מרגש בישיבת הנהלה, אבל זה עובד." ליאור אברהם, מייסד ארגון ה-AI הישראלי

שלוש אפשרויות, לא שתיים

הוויכוח בארגונים נשמע בדרך כלל כמו "מודל משלנו מול ChatGPT". בפועל יש שלוש דרכים, וההבדל ביניהן הוא בעיקר איפה המידע מעובד ומי מחזיק את התשתית:

אפשרותמה זהמתאים ל
מודל מסחרי בגרסה ארגוניתClaude, GPT או Gemini בחשבון ארגוני, עם הסכם עיבוד נתונים, בלי אימון על המידע שלכםרוב העבודה היומיומית: כתיבה, סיכומים, חיפוש בידע, קוד, בוט שירות
מודל מסחרי בתוך הענן של הארגוןאותם מודלים דרך Amazon Bedrock, Azure או Google Cloud, בתוך החשבון והרשת של הארגוןארגונים שכבר בענן ורוצים בקרה, הרשאות ויומני שימוש בכלים שהם מכירים
מודל פתוח שרץ אצלכםמודל עם משקולות פתוחות (למשל gpt-oss, Gemma, Qwen או Mistral) על שרת בארגון או בענן פרטירשתות מנותקות, איסור רגולטורי מפורש, משימות צרות בנפח עצום

נקודה שכדאי לבדוק עם הספק ולא להניח: "בענן בישראל" לא תמיד אומר "מעובד בישראל". AWS השיקה את Bedrock באזור תל אביב בספטמבר 2025, אבל לפי התיעוד של Anthropic מודלי Claude זמינים שם דרך נקודת קצה גלובלית, שמנתבת את הבקשות בין אזורים בעולם. גם ב-Azure, זמינות המודלים משתנה לפי אזור וסוג הפריסה. אם יש לכם דרישה שהמידע יעובד בישראל, בקשו אותה בכתב, לכל מודל בנפרד.

מתי ארגון באמת צריך מודל מקומי

אחרי לא מעט שיחות עם מנמ"רים ומנהלי אבטחת מידע, אלה המצבים שבהם אני ממליץ לבחון ברצינות מודל שרץ אצלכם:

  • רשת מנותקת. גופי ביטחון, תשתיות קריטיות או מערכות מסווגות שאין להן חיבור לאינטרנט בכלל. כאן אין שאלה: אם רוצים AI, הוא חייב לרוץ בפנים.
  • איסור מפורש ולא תחושה. רגולטור, חוזה עם לקוח או חובת סודיות שאוסרים להעביר סוג מסוים של מידע לצד שלישי, גם לא בהשחרה. בבנקים, למשל, הוראת ניהול בנקאי תקין 362 של בנק ישראל מגדירה כללים לשימוש בענן ומטפלת בנפרד בפעילות ובמערכות ליבה. אבל שימו לב: ברוב המקרים הבדיקה המשפטית מגלה שמותר לעבוד עם ספק חיצוני בתנאים מסוימים, ולא שאסור.
  • עבודה בלי אינטרנט. רצפת ייצור, אתר בנייה, ספינה, מכשיר בשטח. מודל קטן שרץ על המכשיר עצמו עובד גם כשאין קליטה.
  • משימה צרה בנפח עצום. סיווג של מיליוני מסמכים, חילוץ שדות מטפסים קבועים, תיוג פניות. משימה כזו לא צריכה את המודל החכם בעולם, ובנפחים גבוהים מאוד מודל פתוח קטן על שרת שעובד מסביב לשעון יכול לצאת זול יותר.
  • יש מי שיחזיק את זה. שני אנשים לפחות שמבינים בהרצת מודלים, עדכוני גרסה, ניטור ואבטחה, ותקציב לשנה השנייה והשלישית. בלי זה, כל אחת מהסיבות למעלה לא מספיקה.

ומתי לא (כלומר, ברוב המקרים)

  • "אנחנו לא סומכים על הענן" בלי לבדוק מה כתוב בהסכם. בגרסאות הארגוניות של הספקים הגדולים המידע לא משמש לאימון כברירת מחדל, ויש הסכם עיבוד נתונים, הרשאות ויומני שימוש. את זה כדאי לקרוא לפני שמקימים חוות שרתים.
  • עוזר כללי לעובדים. כתיבה, סיכום, ניתוח וקוד הם בדיוק המקומות שבהם הפער בין המודלים המובילים לבין מה שאפשר להריץ בבית הכי מורגש.
  • בוט שירות ללקוחות. טעות של בוט מול לקוח עולה ביוקר. כאן רוצים את המודל הכי מדויק, והעלות שלו קטנה ביחס לחיסכון. את החשבון אפשר לעשות במחשבון בוט השירות.
  • ארגון של עשרות או מאות עובדים. בגודל הזה החשבון כמעט אף פעם לא מסתדר לטובת שרת משלכם, כפי שתראו מיד במחשבון.
  • החשש הוא מידע אישי. את רוב המקרים האלה פותרים בהשחרה לפני השליחה, ולא בהקמת תשתית.

החלופה שעובדת: השחרה ומודל חיצוני

במקום להחזיק תשתית מודל שלמה, אפשר להשחיר את המידע הרגיש על שרת מקומי, להפוך אותו ללא מזוהה, ורק אז לשלוח אותו למודל חיצוני בגרסה ארגונית. כך שומרים על הפרטיות, חוסכים בעלויות, ומקבלים תוצאה איכותית יותר ומהר יותר.

יש גם דרך ביניים שהולכת ומתפשטת: ניתוב לפי רגישות. מודל פתוח קטן רץ אצלכם ומטפל רק במסמכים הרגישים באמת, וכל השאר הולך למודל מסחרי. כך משקיעים בתשתית מקומית רק בשביל החלק הקטן שבאמת צריך אותה.

ואל תשכחו את הצד המשפטי. תיקון 13 לחוק הגנת הפרטיות, שנכנס לתוקף באוגוסט 2025, נתן לרשות להגנת הפרטיות סמכות להטיל עיצומים כספיים, והרשות כבר השתמשה בה. המשמעות לארגון: צריך לדעת איזה מידע אישי נשלח לאיזה כלי, ולתעד את זה. וזה נכון בין אם המודל רץ אצלכם ובין אם בחוץ. מודל מקומי לא פוטר מנהלים, הרשאות ואבטחת מידע.

כמה זה עולה באמת: בדקו במחשבון

רוב הוויכוחים על מודל מקומי מתנהלים בלי מספרים. אז הנה המספרים. במחשבון שלמטה מזינים כמה עובדים יש בארגון, מה הם עושים עם AI ובאיזה מודל, ומקבלים עלות חודשית ושנתית לפי המחירון הרשמי של הספקים. ברוב הארגונים שבדקנו, עובד משרד ממוצע עולה כמה עשרות שקלים בחודש.

אם המחשבון לא נטען, פתחו את מחשבון עלויות הטוקנים לארגון.

עכשיו השוו את התוצאה לצד השני של המשוואה. מודל פתוח חזק כמו gpt-oss-120b של OpenAI צריך, לפי כרטיס המודל, כרטיס גרפי אחד של 80GB כמו H100, וגרסת ה-20b שלו מסתפקת ב-16GB. כרטיס כזה עולה עשרות אלפי דולרים לרכישה, או בסביבות 2 עד 4 דולר לשעה בהשכרה בענן, כלומר אלפי שקלים בחודש אם הוא דולק מסביב לשעון. וזה עוד לפני השרת, הגיבוי, החשמל, ובעיקר האנשים: מהנדס אחד שמתחזק את כל זה עולה לארגון יותר מהחשבון החודשי של מאות עובדים במודל מסחרי.

אם התוצאה במחשבון שלכם יוצאת עשרות אלפי שקלים בחודש, בעיקר מעיבוד מסמכים אוטומטי וסוכנים, שווה לבדוק מודל מקומי למשימות האלה בדיוק. אם היא יוצאת כמה אלפי שקלים, התשובה כמעט תמיד ברורה. כדי לבדוק אילו מודלים פתוחים בכלל ירוצו על החומרה שיש לכם, השתמשו במחשבון תאימות המודלים המקומיים.

טבלת החלטה: לבנות או לא

שאלהאם התשובה "כן"אם התשובה "לא"
האם רגולציה, ביטחון או חוזה אוסרים במפורש שהמידע יצא מהארגון, גם בהשחרה?מודל מקומי שקולמודל מסחרי עם השחרה
האם המערכת חייבת לעבוד בלי חיבור לאינטרנט?מודל מקומי, כנראה קטןאין סיבה לרוץ בפנים
האם מודלי המדף נכשלו במשימה הספציפית שלנו, אחרי בדיקה אמיתית?יש הצדקה לבחון חלופהאין סיבה לפתח
האם עלות הטוקנים החודשית במחשבון גבוהה מעלות של שרת ואיש צוות?שווה לבדוק מודל מקומי למשימות הכבדותמודל מסחרי זול יותר
האם יש צוות ותקציב לתחזוקה לשנים, לא רק להקמה?אפשר להתקדםהפרויקט ייתקע בשנה השנייה

רק אם התשובה לאחת משלוש השאלות הראשונות היא "כן", וגם לשתיים האחרונות, מודל מקומי הוא כנראה ההחלטה הנכונה. וגם אז, בדרך כלל רק לחלק מהמשימות.

השוואת עלויות: על מה באמת משלמים

רכיבמודל מקומימודל מסחרי בגרסה ארגונית
הקמהשרתים או GPU, התקנה, חיבור למערכות, בדיקות איכותהגדרה, השחרה, חיבור למערכות
עלות שוטפתתשתית, חשמל או השכרת GPU, אנשי צוות קבועיםרישיונות או תשלום לפי שימוש (טוקנים)
איכות לאורך זמןתלויה בהחלפת מודל ידנית כשיוצא מודל פתוח טוב יותרמשתפרת עם כל דור מודלים חדש
זמן עד ערךחודשיםשבועות
שליטה במידעמלאה, אם האבטחה הפנימית טובהתלויה בהסכם, בהשחרה ובאזור העיבוד
מתי זה משתלםנפח עצום ויציב של משימה צרה, או חובה לעבוד מנותקכמעט כל שימוש אחר

איך תדעו שאתם בכיוון הלא נכון

  • הפרויקט נמדד ב"כמה התקדמנו באימון", ולא ב"כמה עובדים משתמשים ומה זה חוסך".
  • אין השוואה מסודרת בין המודל הפנימי לבין מודל מסחרי על אותן משימות.
  • אף אחד לא חישב כמה היה עולה אותו שימוש במודל מסחרי.
  • העובדים ממשיכים להשתמש בכלים חיצוניים כי "המערכת שלנו עוד לא מוכנה".
  • התקציב לשנה השנייה לא הוגדר, כי "נראה איך זה ילך".

תבנית: בדיקה של שבועיים לפני שמחליטים

  1. בוחרים 3 משימות אמיתיות שהמודל הפנימי אמור לפתור.
  2. משחירים את המידע הרגיש, ומריצים את אותן משימות על שניים או שלושה מודלים מסחריים מובילים.
  3. מריצים את אותן משימות גם על מודל פתוח אחד או שניים, למשל Gemma או gpt-oss, בכלי כמו Ollama לבדיקה, או vLLM לשרת אמיתי.
  4. מודדים איכות, זמן ועלות לכל משימה, ומכניסים את נפחי השימוש הצפויים למחשבון הטוקנים.
  5. רק אם המודלים המסחריים נכשלו בבירור, או שהחשבון החודשי גבוה מעלות של תשתית וצוות, יש הצדקה לדון בפתרון מקומי.

מה זה אומר לארגון שלכם

השאלה הנכונה היא לא "איפה המודל יושב", אלא "איזה מידע יוצא, למי, ובאיזה תנאים". ברוב הארגונים התשובה היא מודל מסחרי בגרסה ארגונית, השחרה של מה שרגיש באמת, נוהל שימוש ברור ומעקב אחרי הצריכה. תבניות למדיניות ולנהלים תמצאו בערכת הטמעת ה-AI החינמית שלנו, ואת בקרת הצריכה החודשית בערכת בקרת הטוקנים ובמדריך מי מפקח על הטוקנים בארגון. עוד כלים ומקרים בתחום תמצאו בעמוד AI ל-IT ואבטחת מידע.

ארגון ה-AI הישראלי · לארגונים
השימוש ב-AI בארגון שלכם מאובטח?
Shadow AI, דליפת מידע והרשאות לסוכנים. נבנה איתכם שימוש בטוח ב-AI בלי לחסום את העבודה.
לבדיקת אבטחת ה-AI בארגון ←
שיחת היכרות של 20 דקות, בלי עלות ובלי התחייבות. הפנייה מגיעה ישירות לליאור.

השורה התחתונה

בינה מלאכותית טובה היא לא רק שורת קוד. היא אסטרטגיה שמתחילה בהבנת הצרכים מול מה שכבר קיים בשוק. ברוב המקרים, פתרון חיצוני עם הטמעה חכמה, נהלים ברורים ואחריות על פרטיות ייקח את הארגון הרבה יותר רחוק, בהרבה פחות זמן. מודל מקומי הוא כלי טוב למצבים מוגדרים, לא נקודת פתיחה. ואם אתם מתלבטים בין המודלים המסחריים עצמם, השוואה מעודכנת תמצאו במדריך Claude 5.5 לארגונים.

מקורות ואימות

הטענות העובדתיות בכתבה נבדקו מול המקורות הבאים.

  1. 1השיקה את Bedrock באזור תל אביבaws.amazon.com
  2. 2התיעוד של Anthropicplatform.claude.com
  3. 3זמינות המודלים משתנה לפי אזור וסוג הפריסהlearn.microsoft.com
  4. 4הוראת ניהול בנקאי תקין 362boi.org.il
  5. 5תיקון 13 לחוק הגנת הפרטיותshibolet.com
  6. 6gpt-oss-120bopenai.com
  7. 7לפי כרטיס המודלhuggingface.co
  8. 8Gemmaai.google.dev
  9. 9Ollamaollama.com
  10. 10vLLMdocs.vllm.ai
שאלות ותשובות
ברוב המקרים לא. מודל מקומי מוצדק כשהמערכת חייבת לעבוד ברשת מנותקת או בלי אינטרנט, כשרגולציה או חוזה אוסרים במפורש להעביר את המידע לצד שלישי גם בהשחרה, או כשיש משימה צרה בנפח עצום. ובכל המקרים צריך צוות ותקציב לתחזוקה לשנים.
הצטרפו לקבוצת הווטסאפ שלנו לעדכונים

תגיות:

שתפו את הכתבה:

עוד כתבות שיעניינו אותך

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח
מדריכים• ליאור אברהם• 21 בנובמבר

DPO בעידן ה-AI: מה עושה ממונה הגנת הפרטיות, איפה הוא יושב בארגון וכמה הוא מרוויח

המדריך המלא לתפקיד ה-DPO: איך נולד, מה תיקון 13 וההנחיה הסופית של הרשות דורשים, למי הוא מדווח, אילו הסמכות שוות משהו, כמה מרוויחים בישראל ובעולם, ואיך ה-AI הופך אותו לאחד האנשים החשובים בארגון.

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)
מדריכים• ליאור אברהם• 15 בנובמבר

מה זה MCP? המדריך המלא ל-Model Context Protocol בארגון (2026)

MCP הוא התקן הפתוח שמחבר את Claude, ChatGPT, Gemini ו-Copilot למערכות של הארגון. מה זה בעברית פשוטה, איך זה עובד, מה ארגונים עושים עם זה בכל מחלקה, ממה להיזהר ואיך מתחילים.

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם
חדשות AIGeektime• ליאור אברהם• 13 בנובמבר

מתחילים להתחשבן? מיקרוסופט שמה תקציב טוקנים לעובדים, ומה זה אומר על העובדים אצלכם

מיקרוסופט הודיעה לעובדים שלה ששריפת טוקנים היא לא המטרה, הגדירה תקציב לכל חטיבה ועברה למודל זול יותר. מה קרה, למה זה קורה בכל החברות הגדולות, ואיך למדוד עובדים בעידן ה-AI בלי להפחיד אותם.

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן
מדריכים• ליאור אברהם• 13 בנובמבר

7 דרכים שבהן חברות ענק כבר משתמשות בבוט קולי, ומה הארגון שלכם יכול ללמוד מהן

בנק שעונה בטלפון 24/7, רשת נופש עם פקידת קבלה וירטואלית ובוט אחד שמדבר 35 שפות. שבעה מקרים אמיתיים של בוט קולי בארגונים גדולים, ומה ללמוד מהם לפני שמטמיעים במוקד שלכם.

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם
מדריכים• ליאור אברהם• 12 בנובמבר

שירות לקוחות עם AI ב-2027: מה עובד, מי נכשל, וכמה זה יחסוך למוקד שלכם

Klarna החליפה 700 נציגים בבוט וחזרה לגייס בני אדם. מה באמת עובד בשירות לקוחות עם AI, 5 חידושים שיגיעו ב-2027, דוגמאות מהעולם, ומחשבון שמראה אם בוט משתלם לכם.

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון
חדשות AIAnthropic• ליאור אברהם• 10 בנובמבר

Claude נכנס למשרד: Meetings, Sheets ו-Whiteboards הופכים אותו לכלי העבודה של הארגון

Anthropic השיקה גיליונות, לוחות משותפים, דשבורדים ונוכחות בפגישות, ומניית מיקרוסופט ירדה ב-3%. מה הושק, איך זה מתחבר לכל מה ש-Claude בנה השנה, ומה ארגון צריך להחליט עכשיו.

מחשבון בוט AI לשירות לקוחות
כלים• ליאור אברהם• 10 בנובמבר

מחשבון בוט AI לשירות לקוחות

כמה יחסוך בוט AI למוקד שלכם? מזינים מספר פניות, זמן טיפול ועלות נציג, ומקבלים את עלות המוקד עם בוט ובלעדיו, חיסכון חודשי, החזר השקעה ומשרות שמתפנות.

Smart Reports של Claude:  כעת המנהלים יכולים לדעת מה העובדים מפתחים  ב - AI
חדשות AIAnthropic• ליאור אברהם• 8 בנובמבר

Smart Reports של Claude: כעת המנהלים יכולים לדעת מה העובדים מפתחים ב - AI

Anthropic השיקה דוחות חכמים ל-Claude Enterprise שמנתחים את העבודה של כל צוות: מה נעשה, כמה זה עלה ואיפה העבודה נתקעת. למי זה שימושי, מה בדיוק יש בדוח, ומה צריך לסדר לפני שמפעילים.

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא
מדריכים• ליאור אברהם• 5 בנובמבר

למה הארגון שלכם חייב לגלות שהוא משתמש ב-AI, ומה יקרה אם לא

בוט תמיכה שהמציא מדיניות, קול AI שהוביל לקנס של 6 מיליון דולר, וציון אלגוריתמי שהסתיים בהסדר של 2.3 מיליון. בכל המקרים הלקוח לא ידע שמולו AI. מה החוק כבר דורש, ולמה כדאי להצטרף לתו AI אחראי עכשיו.

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)
מדריכים• ליאור אברהם• 1 בנובמבר

כמה עולה AI לארגון? מחירי ChatGPT, Claude, Copilot ו-Gemini לעסקים בהשוואה (2026)

מחירי כל מסלולי העסקים של ChatGPT, Claude, Microsoft 365 Copilot ו-Gemini, ישירות מעמודי התמחור הרשמיים: מחיר למשתמש, מה כלול, מנוי מול API, דוגמת חישוב לארגון של 50 עובדים והעלויות שלא מופיעות בעמוד התמחור.

הצטרפו אלינו