"זה פשוט קרה, בלי שאף אחד שם לב." כך פתח עומר, מנהל פרויקטים בארגון גדול, את השיחה שלנו. הצוות שלו בדיוק סיים לבנות תהליך אוטומטי חדש, מבוסס בינה מלאכותית, לטיפול בבקשות רכש. הרעיון היה נכון: לייעל, לחסוך זמן ולצמצם טעויות אנוש. ובשבועות הראשונים נראה שהכול עובד חלק.
ואז בקשה אחת, רגישה במיוחד, עברה את כל השלבים בלי שאף אחד אישר אותה. לא המנהל הישיר, לא הכספים ולא אחראי הרכש. הזמנה בעלות של עשרות אלפי שקלים נשלחה אוטומטית לספק חיצוני.
המקרה אמיתי. השם והפרטים המזהים שונו.
איך זה קרה
המערכת עבדה לפי כלל פשוט: "אם סוג הבקשה הוא X והעלות נמוכה מ-Y, אין צורך באישור ידני." אלא שבמקרה הזה סף הסכום לא עודכן בהגדרות, והבקשה עברה למרות שהייתה חריגה. והחלק הכי מטריד: אף אחד לא שם לב. רק כשעובד ראה את ההזמנה בפועל ונבהל, התחילו לחקור לאחור.
בתחקיר התברר שלושה דברים:
- לא הייתה בתהליך אף נקודת עצירה.
- לא הוגדר מי אחראי לאישור חריגים.
- לא הייתה בקרה אנושית בשום שלב.
כשהכול אוטומטי, גם הטעות אוטומטית.
📬
רוצים לקבל עדכוני AI ישירות לאימייל?
הצטרפו לאלפי מנהלים שמקבלים את הניוזלטר השבועי שלנו
הבעיה לא הייתה במערכת
המערכת עשתה בדיוק מה שאמרו לה. הבעיה הייתה בתכנון: אף אחד לא מיפה מראש את הצמתים שבהם טעות עולה כסף, ואף אחד לא שאל "מה יקרה אם ההגדרה הזו שגויה?". זה נכון לכל אוטומציה, אבל עם AI זה חשוב שבעתיים: ככל שהמערכת "חכמה" יותר, כך קל יותר לסמוך עליה בלי לבדוק.
והסיכון רק גדל. סוכני AI, כמו Dots של ChatGPT ודומיו, כבר לא רק ממליצים. הם מבצעים פעולות: שולחים מיילים, ממלאים טפסים ומעדכנים מערכות. ארגון שלא הגדיר גבולות לאוטומציה פשוטה של רכש, לא יהיה מוכן לסוכן שעובד ברקע 24 שעות ביממה.
"מה שלא היית נותן לעובד חדש לעשות לבד ביום הראשון שלו, אל תיתן גם לבינה מלאכותית." — ליאור אברהם, מייסד ארגון ה-AI הישראלי
איך היינו מונעים את זה
- מיפוי צמתים קריטיים לפני כתיבת שורת קוד. לכל שלב בתהליך שואלים: מה הנזק המקסימלי אם הוא טועה? איפה שהתשובה היא "כסף", "לקוח" או "רגולציה", חייבת להיות נקודת בקרה.
- אישור כפול במקרים רגישים וחריגים. סכום מעל סף, ספק חדש או בקשה שלא מתאימה לדפוס הרגיל עוצרים אוטומטית ומחכים לאדם.
- ברירת מחדל בטוחה. כשההגדרה חסרה או לא ברורה, התהליך עוצר. הוא לא ממשיך הלאה.
- התראות בזמן אמת על חריגות. דוח יומי קצר: מה עבר אוטומטית, מה נעצר ומה חריג. מישהו אחד אחראי לעבור עליו.
- תיעוד פשוט ובעלות ברורה. מסמך של עמוד אחד שמסביר מי עושה מה ומתי, ומי הבעלים של כל כלל במערכת. כלל בלי בעלים הוא כלל שאף אחד לא יעדכן.
- בדיקה תקופתית של הספים. הגדרות שנקבעו ביום ההשקה מתיישנות: מחירים עולים, ספקים מתחלפים. פעם ברבעון עוברים עליהן.
מסגרות מקובלות לניהול סיכוני AI, כמו AI Risk Management Framework של NIST, מדגישות בדיוק את העקרונות האלה: לזהות מראש היכן נדרש פיקוח אנושי, ולוודא שיש מי שאחראי עליו.
מה לתת ל-AI לעשות לבד, ומה לא
| רמת סיכון | דוגמאות | רמת אוטומציה מומלצת |
|---|
| נמוכה | סיווג פניות, ניסוח טיוטה, סיכום מסמך | אוטומטי מלא, עם בדיקה מדגמית |
| בינונית | תשובה ללקוח, עדכון רשומה במערכת, הזמנה שגרתית מתחת לסף | אוטומטי עם התראה ואפשרות לבטל |
| גבוהה | תשלום, הזמנה חריגה, התחייבות מול ספק, החלטה על עובד | AI מכין, אדם מאשר. תמיד |
השורה התחתונה
האוטומציה בארגון של עומר לא נכשלה. היא עבדה מצוין, וזו בדיוק הבעיה: היא עבדה גם כשהיא לא הייתה אמורה לעבוד. לפני שמחברים AI לתהליך שמזיז כסף, צריך להחליט מראש איפה הוא עוצר ומי מאשר. הזמן שמשקיעים במיפוי הזה קטן בהרבה מהזמן שמשקיעים אחר כך בתחקיר.
