התחרות הבאה בעולם ה-AI הארגוני לא תהיה סביב השאלה "מיהו מודל השפה הכי החכם", אלא מי הוא זה שיגיד כן לסוכן.
בשנתיים האחרונות תעשיית ה-AI מגשימה לנו הבטחה גדולה, יותר תפוקה בפחות מאמץ אנושי. סוכן אחד כותב קוד, סוכן אחר עונה לפניות שירות, וסוכן שלישי מנסח מסמכים משפטיים. ההבטחה פשוטה ומפתה - תנו לתוכנה יותר אחריות והעבודה תתקדם מהר יותר.
אבל השינוי האמיתי מתרחש שכבה אחת מתחת למה שנראה לעין.
ככל שחברות מעניקות למערכות AI את היכולת לפעול, סוג נוסף של מערכת הופך לחשוב הרבה יותר, זו שמחליטה איזה פעולות בכלל מותר ל-AI לבצע. המערכות הללו נקראות Guardian Agents, "הסוכנים השומרים". הם מפקחים על סוכנים אחרים, בוחנים את ההקשר שבמסגרתו הם פועלים, אוכפים מדיניות, דורשים ראיות וחוסמים ביצוע פעולות לפי הצורך. זה אולי נשמע כמו תשתית טכנית בלבד, אבל זה ממש לא. מדובר בתחילתו של מבנה ניהולי חדש.
מנגנוני הבקרה הופכים לתנאי עסקי מהותי
העימות המשפטי בין אמזון ל-Perplexity מאפשר הצצה ראשונה למציאות החדשה הזו. שופט בקליפורניה חסם זמנית את סוכן הקניות של Perplexity מלפעול בתוך אמזון, לאחר שקבע כי אמזון הראתה לכאורה בסיס לטענה, לפיה הסוכן ניגש לחשבונות של לקוחות אמזון ללא הרשאה ממנה. מעבר למחלוקת עצמה, הנקודה החשובה כאן היא שבעולם של "כלכלת סוכנים", הסכמת המשתמש כבר אינה מספיקה. פלטפורמה יכולה להחליט שסוכן AI אינו רשאי לפעול בסביבתה, גם כאשר המשתמש עצמו רוצה בכך. כך, ההרשאה עצמה הופכת למקור כוח נפרד.
ההיגיון הזה מחלחל כעת עמוק לעולם הארגוני. כל פעולה משמעותית של AI מעלה את אותה שאלה: "מי רשאי לאשר את המהלך הזה?" סוכן AI פיננסי יכול להמליץ על תשלום. סוכן רכש יכול להציע ספק וסוכן קוד יכול להכין שינוי לפרודקשן. אבל בין ההמלצה לביצוע נמצאת שכבת שליטה צרה, וזהו המקום שבו הסמכות האמיתית מתרכזת יותר ויותר. השכבה הזו בודקת זהויות, הרשאות וסיכונים לפני שמשהו בלתי הפיך מתרחש.
במשך שנים פונקציות הממשל (governance) הארגוני פעלו בשולי הפעילות העסקית. Compliance (ציות) ביצעה סקירות, האבטחה הגבילה פעולות, ומנגנוני הביקורת בחנו פעולות בדיעבד. הכוח האמיתי היה בדרך כלל בידי הצוותים שייצרו את ההכנסות, שלחו מוצרים ללקוחות וקיבלו החלטות תפעוליות. Agentic AI משנה את האיזון הזה. ברגע שהתוכנה מתחילה ליזום פעולות בעצמה, שכבת האישור (הממשל הארגוני) מפסיקה להיות פונקציית תמיכה, והופכת למקום שבו מרוכז מירב שיקול הדעת. בקרוב, הסוכן החזק ביותר בחברה לא יהיה זה שמדבר עם לקוחות או כותב שורות קוד, אלא דווקא זה שמונע פעולות או מסרב לבקשות.
זוהי גם הסיבה שהמאבק סביב מנגנוני הבקרה על AI הופך לאסטרטגי במהירות כזו. התביעה של Anthropic נגד הפנטגון בעקבות הדחתה ממכרז, משום שסירבה להקל במגבלות השימוש הצבאי במודלים שלה, ממחישה עד כמה מהר מדיניות בטיחות יכולה להפוך למנוף מסחרי. מה שהחל כשאלה של תכנון התנהגות מודלים הופך לסוגיה של גישה לשוק, כוח ברכש ושליטה מוסדית. מנגנוני הבקרה כבר אינם עניין של הגדרות טכניות בלבד, אלא הופכים לתנאי עסקי מהותי.
מגדירים את גבולות ההתנהגות המותרת
מנהלים רבים עדיין ניגשים ל-AI בתפיסה מחשבתית שגויה. הם שואלים כמה שעות עבודה ניתן לחסוך, כמה פניות שירות ניתן לסגור, או כמה קוד ניתן לייצר. אלו שאלות הגיוניות כמובן, אך הן שייכות לשלב הראשון של אימוץ הבינה המלאכותית. השאלה הקשה יותר מגיעה אחר כך - כיצד ארגון מנהל פעולות במהירות-מכונה, מבלי להעביר בשקט יותר מדי סמכות לשכבת השליטה שמעל הפעולות הללו?
המתח הזה כבר נראה ברמה הלאומית. בסין, חלק ממשרדי הממשלה וחברות ממשלתיות הזהירו את עובדיהן, שלא להתקין את הסוכן האוטונומי OpenClaw על מכשירים של מקום העבודה מטעמי אבטחה, גם כשגופי ממשל מקומי ומרכזים טכנולוגיים דווקא עודדו את השימוש בו. הסתירה הזו מדגישה את הפער - גופי ממסד רוצים את היתרונות שמביאה האוטונומיה, אך הם מרגישים הרבה פחות בנוח עם אוטונומיה שאין עליה פיקוח.
בנקודה הזו, "סוכנים שומרים" מפסיקים להיראות כמו מנגנון בטיחות גרידא, ומתחילים להיראות כמו שכבה "חוקתית" של הארגון.
החוקה הארגונית לא מנהלת את הפעילות היום-יומית. היא מגדירה איזה סוגי סמכות הם לגיטימיים, מי רשאי להפעיל אותם ובאילו מגבלות, וכיצד מטפלים בחריגים. "סוכנים שומרים" מתחילים למלא תפקיד דומה. הם מחליטים איזה סוכנים רשאים לגשת לאילו מערכות, איזו ראיה מספיקה לפני שאפשר לאשר פעולה, מתי נדרש אישור אנושי, ואיזה תיעוד צריך להישמר לאחר שמשהו משתבש. הם לא רק מפקחים על התנהגות, הם מגדירים את גבולות ההתנהגות המותרת.
אבל הדבר יוצר גם בעיית ממשל רצינית בשכבה עצמה - ככל ששכבת ה-Guardian פועלת טוב יותר, כך היא צוברת יותר כוח. כדי לפקח ביעילות היא זקוקה לנראות רחבה של מערכות, זהויות, כלים וזרימות מידע, מה שהופך אותה לצוואר בקבוק. היא יכולה להגן על החברה מאוטומציה פזיזה, אך גם לשנות את חלוקת הסמכויות הפנימית כמעט בלי דיון. שכבת Guardian שתוכננה בצורה גרועה תאט ניסויים וחדשנות. שכבה לא שקופה תסתיר שיקול דעת חלש מאחורי שפה של מדיניות. ושכבה הנשלטת לפי תפיסת העולם של מחלקה אחת בלבד תהפוך מנגנון פיקוח לכלי של פוליטיקה ארגונית.
לקבוע את מידת הזיכון והאוטונומיה
השוק כבר זז לכיוון הזה. כאשר מיקרוסופט הציגה את Copilot Cowork, הדגש היה לא רק על יכולות ה-AI. החברה מיצבה את המוצר סביב אבטחה ארגונית, בקרת נתונים וגבולות ענן מנוהלים. זו לא היה רק עניין של מיתוג, אלא אינדיקציה היכן נוצר הערך. בעולם ה-AI הארגוני, יכולת גולמית נעשית קלה יותר להשגה, אך אוטונומיה מנוהלת הופכת למשאב נדיר והקונים מחפשים ארכיטקטורה של הרשאות.
זו הסיבה שהמנצחות בעולם ה-AI הארגוני כנראה לא יהיו החברות עם מספר הסוכנים הגדול ביותר. הן יהיו אלו שיבנו את שכבת הפיקוח האמינה ביותר. חברה עם 20 סוכנים שניתן להגבילם בצורה אמינה תצליח יותר מחברה עם 200 סוכנים שאיש לא סומך עליהם לגמרי. ארגונים גדולים אימצו תמיד מערכות חדשות בקצב שבו הם בטוחים שהם שולטים בהן. ה-AI רק מדגיש את המציאות הזו.
השיח הציבורי עדיין חוגג את הסוכנים שמבצעים פעולות, אך הדמות החשובה יותר היא זו שמאשרת, מעכבת או חוסמת. המערכת הזו תקבע כמה סיכון ארגון יכול לשאת, כמה אוטונומיה הוא יכול לאפשר בביטחה וכמה מהירות יכולה להפוך ליתרון אמיתי.
המלאכים השומרים של סוכני ה-AI עומדים להפוך למנהלים שלהם. ובקרוב מאוד ייתכן שיהפכו גם למנהלי הארגון עצמו.
הכותב הוא CTO בחברת AGAT Software
