הדיון הציבורי על בינה מלאכותית בשדה הקרב נוטה להיתקע בדימוי של רחפן אוטונומי, רובוט חמוש או מערכת שמזהה מטרה ופועלת במהירות על-אנושית. אלה אכן חלק מהמהפכה. אבל הם אינם עיקרה. השינוי העמוק יותר הוא ששדה הקרב כולו הופך למערכת אלגוריתמית חכמה: חיישנים, וידיאו, לוויינים, סיגינט, רובוטיקה, מערכות הגנה, תומכי החלטה, כלי תמרון, מערכות לוגיסטיות ומפקדות, כולם מתחברים לרצף אחד של איסוף, עיבוד, המלצה, פעולה ולמידה.
במילים פשוטות: הבינה המלאכותית אינה רק עוד כלי בארגז הכלים הצבאי. היא הופכת לשכבה שמתווכת את המציאות המבצעית עצמה.
במערכה החדשה, AI יילחם ב-AI. מערכות אוטונומיות ינסו לזהות איומים, לחשוף אויב, לנתח שטח, לזהות שיטות, להמליץ על פעולה, לתאם נחילים, לנהל סנסורים, להפעיל רובוטים ולסגור מעגלים במהירות שאדם לבדו אינו יכול להתחרות בה. מנגד, היריב ישתמש גם הוא בבינה מלאכותית כדי להסתיר, להטעות, להציף, לזייף, לשבש ולתקוף את המערכות שמולו. הוא ינסה לזהם דאטה, לייצר חתימות מזויפות, להפעיל דיפ-פייקים מבצעיים, להטעות מודלי זיהוי, להציף מערכות בהתרעות שווא, ולגרום למערכות, ולאנשים המאשרים את ההחלטות, לקבל החלטה על בסיס תמונת מציאות משובשת.
לכן מודל חזק הוא הכרחי, אך אינו מספיק. יתרון עצום בשדה הקרב האלגוריתמי יהיה לא רק למי שפיתח את המודל המדויק והמשוכלל ביותר, אלא למי שבנה סביבו את מסגרת השליטה, הבקרה והאחריות הטובה ביותר. השאלה כבר אינה רק מה המודל יודע לעשות. השאלה היא האם ניתן לסמוך עליו כאשר הוא פועל בתנאי אי-ודאות, מול יריב לומד, בסביבה רוויית הטעיה, תחת לחץ זמן, וכאשר טעות אחת עלולה להפוך לאירוע מבצעי, משפטי ואסטרטגי.
אשליה של שליטה
כאן נוצר "פער הממשל" של שדה הקרב המודרני. מערכות הביטחון מאמצות במהירות יכולות AI, אוטונומיה ורובוטיקה, אבל מסגרות האחריותיות, השליטה והפיקוח מתקדמות לאט יותר. זהו פער מסוכן, לא מפני שהוא בולם חדשנות, אלא להפך: משום שהוא עלול למנוע שימוש בטוח, מהיר ואפקטיבי ביכולות החדשות ברגע האמת. הוא גם יכול להוביל לתוצאות אוטומטיות שגויות.
גם הסיסמה "Human in the loop" כבר אינה מספיקה. על פניו היא נשמעת מרגיעה, אבל היא מסתירה את השאלה החשובה יותר: איזה אדם בעצם נמצא בלולאה? באיזו נקודה? מה הוא רואה? מה יכולותיו? מה המערכת הסתירה ממנו? כמה זמן יש לו להגיב? האם הוא מבין את רמת המורכבות של הניתוח? את רמת הוודאות של ההמלצה? האם הוא יודע מה מקור הדאטה? האם הוא יכול לחלוק על המערכת בפועל, או שהוא רק מאשר את מה שהמערכת כבר החליטה עבורו?
כאשר AI מסנן אלפי אותות לפני שהמפקד רואה אותם, מדרג איומים, ממליץ על פעולה ומפעיל מערכי רובוטיקה, האדם עלול להפוך לחותמת גומי קוגניטיבית. אלו לא שליטה או פיקוח אנושיים משמעותיים. זו אשליית שליטה. במלחמה שבה הזמן מתקצר והעומס הקוגניטיבי גדל, עלינו לעבור מהשאלה פורמלית, "האם היה אדם בלולאה" לביצוע פיקוח וניטור מספקים, לשאלה מבצעית: האם הלולאה בנויה כך שאדם יכול להבין, לבקר, לעצור, להסלים ולשאת באחריות.
הפתרון אינו להאט את השימוש ב-AI, אלא לבנות ממשל AI מבצעי כבר בתוך הארכיטקטורה. ממשל כזה צריך לכלול מדרגי אוטונומיה לפי רמת סיכון, הרשאות ברורות, תיעוד מלא של שרשרת ההחלטה, הסברתיות בזמן אמת, בקרה על איכות הדאטה, בדיקות אדברסריות, מנגנוני עצירה, ניטור חריגות, ותחקור מתמשך של ביצועים. לא כנספח משפטי בסוף הפיתוח, אלא כחלק מהמוצר עצמו.
לבנות שכבת שליטה ואחריות
הדבר חיוני במיוחד משום שהמודל עצמו יהפוך למטרה. בשדה הקרב האלגוריתמי לא יתקפו רק את הרחפן, את הרשת או את הסנסור. יתקפו גם את שכבת ההחלטה. מתקפות כמו prompt injection, מניפולציה של קלטים, הרעלת דאטה, איתור פגיעויות וחולשות באמצעות כלי AI מתקדמים (בסגנון Mythos), עקיפת מגבלות פעולה או ניסיון לגרום למודל להפעיל כלי שלא בסמכות, עלולות לשבש מערכות מבצעיות מבפנים. לכן, מערכת AI ביטחונית חייבת לדעת לא רק לזהות אויב בשטח, אלא גם לזהות מתי היא עצמה מותקפת: מתי הקלט חריג, מתי ההוראה חורגת מהרשאות, מתי המודל משנה התנהגות, ומתי יש לעצור פעולה לפני שהשיבוש עובר מהמודל אל המערכת המבצעית.
עבור משרד הביטחון, מפא"ת, מנהלת ה-AI והאוטונומיה, צה"ל, אלביט, רפאל, התעשייה האווירית וחברות הדיפנס-טק הישראליות, זה לא דיון עתיק. הקרב הבא אינו רק מרוץ למודל חזק יותר, אלא מרוץ לבניית שכבת שליטה ואחריות סביב המודל.
זהו לב האתגר לתעשיית הדיפנס-טק הישראלית. ישראל יודעת לבנות יכולות מהירות, יצירתיות ופורצות דרך. אבל בעידן ה- Defense AI, שבו המשחק הוא של AI מול AI, החדשנות שתנצח לא תהיה רק זו שמייצרת עוד אוטונומיה. היא תהיה זו שמייצרת אוטונומיה נשלטת ובקרות: מערכות שאפשר להפעיל מהר, אך גם להבין; מערכות שיכולות לפעול בקצה, אך גם להישאר תחת אחריות; מערכות שלומדות, אך אינן מאבדות גבולות.
הקרב הבא לא יוכרע רק על ידי המודל החכם ביותר. הוא יוכרע על ידי הצבא, החברה או התעשייה שידעו לבנות את שרשרת האמון החזקה ביותר בין אדם, מכונה, דאטה, הרשאה ואחריות. כש-AI נלחם ב-AI, מי ששולט במודל חשוב לא פחות ממי שבנה אותו.
הכותבת היא מנכ"לית Integria AI, עמיתה ב-Harvard וחברה בפורום דבורה. כיהנה כיו"ר הרשות לאיסור הלבנת הון ומימון טרור, כראש הרשות להגנת הפרטיות, כיו"ר קבוצת הסיכונים בארגון הבין-לאומי ה-FATF וכבכירה בחברות פינטק גלובליות. מייעצת לממשלות, חברות וארגונים בין-לאומיים בנושא אימוץ בינה מלאכותית. ספרה "Synthetic Agents, Real Money" יפורסם בקרוב
