"זה פשוט קרה, בלי שאף אחד שם לב." כך פתח עומר, מנהל פרויקטים בארגון גדול, את השיחה שלנו. הצוות שלו בדיוק סיים לבנות תהליך אוטומטי חדש, מבוסס בינה מלאכותית, לטיפול בבקשות רכש. הרעיון היה נכון: לייעל, לחסוך זמן ולצמצם טעויות אנוש. ובשבועות הראשונים נראה שהכול עובד חלק.
ואז בקשה אחת, רגישה במיוחד, עברה את כל השלבים בלי שאף אחד אישר אותה. לא המנהל הישיר, לא הכספים ולא אחראי הרכש. הזמנה בעלות של עשרות אלפי שקלים נשלחה אוטומטית לספק חיצוני.
המקרה אמיתי. השם והפרטים המזהים שונו.
בקצרה- תהליך רכש אוטומטי מבוסס AI שלח לספק הזמנה של עשרות אלפי שקלים בלי שאף אחד אישר אותה.
- הסיבה: סף סכום שלא עודכן, בלי נקודת עצירה, בלי בעלים ובלי בקרה אנושית.
- הכלל: מה שלא הייתם נותנים לעובד חדש לעשות לבד, אל תתנו גם ל-AI.
איך זה קרה
המערכת עבדה לפי כלל פשוט: "אם סוג הבקשה הוא X והעלות נמוכה מ-Y, אין צורך באישור ידני." אלא שבמקרה הזה סף הסכום לא עודכן בהגדרות, והבקשה עברה למרות שהייתה חריגה. והחלק הכי מטריד: אף אחד לא שם לב. רק כשעובד ראה את ההזמנה בפועל ונבהל, התחילו לחקור לאחור.
בתחקיר התברר שלושה דברים:
- לא הייתה בתהליך אף נקודת עצירה.
- לא הוגדר מי אחראי לאישור חריגים.
- לא הייתה בקרה אנושית בשום שלב.
כשהכול אוטומטי, גם הטעות אוטומטית.
הבעיה לא הייתה במערכת
המערכת עשתה בדיוק מה שאמרו לה. הבעיה הייתה בתכנון: אף אחד לא מיפה מראש את הצמתים שבהם טעות עולה כסף, ואף אחד לא שאל "מה יקרה אם ההגדרה הזו שגויה?". זה נכון לכל אוטומציה, אבל עם AI זה חשוב שבעתיים: ככל שהמערכת "חכמה" יותר, כך קל יותר לסמוך עליה בלי לבדוק.
והסיכון רק גדל. סוכני AI, כמו Dots של ChatGPT ודומיו, כבר לא רק ממליצים. הם מבצעים פעולות: שולחים מיילים, ממלאים טפסים ומעדכנים מערכות. ארגון שלא הגדיר גבולות לאוטומציה פשוטה של רכש, לא יהיה מוכן לסוכן שעובד ברקע 24 שעות ביממה.
"מה שלא היית נותן לעובד חדש לעשות לבד ביום הראשון שלו, אל תיתן גם לבינה מלאכותית." — ליאור אברהם, מייסד ארגון ה-AI הישראלי
איך היינו מונעים את זה
- מיפוי צמתים קריטיים לפני כתיבת שורת קוד. לכל שלב בתהליך שואלים: מה הנזק המקסימלי אם הוא טועה? איפה שהתשובה היא "כסף", "לקוח" או "רגולציה", חייבת להיות נקודת בקרה.
- אישור כפול במקרים רגישים וחריגים. סכום מעל סף, ספק חדש או בקשה שלא מתאימה לדפוס הרגיל עוצרים אוטומטית ומחכים לאדם.
- ברירת מחדל בטוחה. כשההגדרה חסרה או לא ברורה, התהליך עוצר. הוא לא ממשיך הלאה.
- התראות בזמן אמת על חריגות. דוח יומי קצר: מה עבר אוטומטית, מה נעצר ומה חריג. מישהו אחד אחראי לעבור עליו.
- תיעוד פשוט ובעלות ברורה. מסמך של עמוד אחד שמסביר מי עושה מה ומתי, ומי הבעלים של כל כלל במערכת. כלל בלי בעלים הוא כלל שאף אחד לא יעדכן.
- בדיקה תקופתית של הספים. הגדרות שנקבעו ביום ההשקה מתיישנות: מחירים עולים, ספקים מתחלפים. פעם ברבעון עוברים עליהן.
מסגרות מקובלות לניהול סיכוני AI, כמו AI Risk Management Framework של NIST, מדגישות בדיוק את העקרונות האלה: לזהות מראש היכן נדרש פיקוח אנושי, ולוודא שיש מי שאחראי עליו.
מה לתת ל-AI לעשות לבד, ומה לא
| רמת סיכון | דוגמאות | רמת אוטומציה מומלצת |
|---|
| נמוכה | סיווג פניות, ניסוח טיוטה, סיכום מסמך | אוטומטי מלא, עם בדיקה מדגמית |
| בינונית | תשובה ללקוח, עדכון רשומה במערכת, הזמנה שגרתית מתחת לסף | אוטומטי עם התראה ואפשרות לבטל |
| גבוהה | תשלום, הזמנה חריגה, התחייבות מול ספק, החלטה על עובד | AI מכין, אדם מאשר. תמיד |
תבנית: מפת נקודות בקרה לתהליך אוטומטי
לפני שמחברים AI לתהליך, ממלאים טבלה כזו לכל שלב. אם בעמודה האחרונה ריק, התהליך לא עולה לאוויר:
| שלב | מה יכול להשתבש | נזק מקסימלי | בקרה | בעלים |
|---|
| סיווג הבקשה | סיווג שגוי | ניתוב לגורם הלא נכון | בדיקה מדגמית שבועית | [שם] |
| בדיקת סף סכום | סף לא מעודכן | הזמנה חריגה בלי אישור | עצירה אוטומטית כשאין ערך תקין | [שם] |
| שליחה לספק | הזמנה כפולה או שגויה | התחייבות כספית | אישור אנושי מעל [סכום] | [שם] |
ומה עם סוכני AI?
הכלל הזה הופך קריטי עוד יותר עם סוכנים שפועלים ברקע, כמו Dots של ChatGPT, Gemini Spark ודומיהם. לפני שמחברים סוכן למערכת שמזיזה כסף, כדאי להגדיר לו הרשאות מינימליות: לקרוא ולהכין, אבל לא לשלוח ולא לאשר. את ההרחבה עושים בהדרגה, אחרי שבועות של בקרה ומדידה.
עוד כלים, מדריכים ומקרים בתחום תמצאו בעמוד AI לתפעול ורכש, ותבניות מוכנות למדיניות ולנהלים בערכת הטמעת ה-AI החינמית שלנו.
השורה התחתונה
האוטומציה בארגון של עומר לא נכשלה. היא עבדה מצוין, וזו בדיוק הבעיה: היא עבדה גם כשהיא לא הייתה אמורה לעבוד. לפני שמחברים AI לתהליך שמזיז כסף, צריך להחליט מראש איפה הוא עוצר ומי מאשר. הזמן שמשקיעים במיפוי הזה קטן בהרבה מהזמן שמשקיעים אחר כך בתחקיר.
