מרוץ חימוש רב-ממדי: איך לשטות בבינה המלאכותית

קל למדי לשטות במודלים של סיווג. ולמרות שהוצעו כמה שיטות הגנה, התוקפים מנצחים כרגע במרוץ החימוש אל מול המגנים

שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
רובוט
רובוטצילום: בלומברג
יעקב רימר
יעקב רימר

בטור קודם סקרתי את נושא Adversarial AI, המלחמה שכבר מתחוללת בתוך עולם הבינה המלאכותית. המחשתי כמה קל לשטות במערכות בינה מלאכותית ומהן השלכות אפשריות לכך. למשל, עבור מכוניות אוטונומיות, או ביום שבו כלי רכב וחיילים רובוטים ישתלבו בשדה הקרב הקונבנציונלי.

אז מדוע קל לשטות במערכות בינה מלאכותית? מרבית מערכות הבינה המלאכותית משתמשות בטכניקת הסיווג. מטרתן של שיטות אלו לחלק עצמים לקבוצות שמוגדרות מראש באמצעות דוגמאות של עצמים ששייכים לכל קבוצה. לדוגמה, השיטה מקבלת אוסף תמונות של חיות (כלבים, חתולים וכו'), כשעל כל תמונה תווית עם שם החיה. באמצעות הדוגמאות האלו היא לומדת כיצד לזהות את החיות ובונה את מודל הסיווג. כשנציג לה בהמשך תמונה חדשה של כלב, המודל ידע למפות את התמונה לתווית הנכונה, במקרה הזה "כלב".

אחת השיטות הפופולריות כיום לסיווג היא רשת נוירונים עמוקה, כלומר למידה עמוקה. לרשתות עמוקות יש הרבה מאוד פרמטרים שבדוגמה שלנו מאפשר להן למפות בין התמונות של החיות לתוויות הנכונות. כפי שהסברתי בטור קודם, רשתות עמוקות עושות זאת היטב, כי כל המידע הנדרש ללמידה הוא הייצוג המחשבי של התמונות באופן דיגיטלי (בשפה המקצועית, פיקסלים) בתוספת כל מיני פונקציות מתמטיות שמחושבות על הפיקסלים האלו.

אז מה הבעיה? המידע של התמונות מכיל הרבה מאוד ממדים (שנגזר מכמות הפיקסלים). לכן תהליך המיפוי נעשה במרחב רב-ממדי, אבל רק חלק קטן מאוד ממנו (יריעה בשפה המקצועית) ממופה באמת על ידי המודל. כל שאר המרחב הוא "ארץ לא-נודעת" עבור המודל. קצת קשה לנו להבין מהו מרחב רב-ממדי ועוד יותר קשה להמחיש זאת בטור כתוב, לכן נאלץ להסתפק בשני ממדים.

התבוננו בתמונה 1. נניח שהמטרה שלנו היא ללמוד את ההתנהגות של הנקודות השחורות, ואנחנו עושים זאת באמצעות העברת הקו הישר שביניהם (בשפה המקצועית, רגרסיה). הקו מצליח לתאר בצורה לא רעה את ההתנהגות של הנקודות האלו, אבל כולן נמצאות באזור שתחום ע"י האליפסה הכחולה. אנחנו לא יודעים מה קורה בשאר המרחב הדו-ממדי, למשל בשתי האליפסות האדומות. 

תמונה 1: המחשה ציורית של יריעה במרחב דו-ממדי
תמונה 1: המחשה ציורית של יריעה במרחב דו-ממדי

כעת נניח שבמרחב הדו-ממדי יש קבוצות שונות של ספרות (ראו תמונה 2). למרות שלספרות שמוצגות בתמונה יש צורות וצבעים שונים למדי, לחלקן גם עיטורים שונים, קל לנו כבני אדם לזהות מהי כל ספרה. מודל סיווג שואף למצוא "קווי גבול" בין הקבוצות, כך שכל ספרה שנמצאת בתחום מסוים תשויך לתווית הנכונה. לכן, כדי לשטות במודל, כל מה שאנחנו צריכים לעשות הוא "לדחוף" קצת את הספרה מעבר "לגבול", כפי שמומחש באמצעות החץ האדום בתמונה 2. בהמחשה הזו, צביעה של "ספרת 7 אנושית" בצבע אחיד מקנה לה מראה דומה יותר לספרה "9". היא אמנם רחוקה משאר ספרות ה "9", אבל מכיוון שהמודל בחר להעביר את הגבול בסמוך לספרות של "7", מספיקה דחיפה קטנה והיא תחשב ל "9".

זוהי המחשה ציורית בלבד. במציאות מוסיפים לפיקסלים בתמונה קצת "רעש מהונדס" שאינו מפריע לבני-אדם, אבל מבלבל מאוד את המודל. ההסבר כיצד מהנדסים את "הרעש" המתאים לבלבול המודל הוא מתמטי למדי, ולכן אוותר עליו כאן. 

תמונה 2: המחשה ציורית להפרדה של מודל סיווג בין קבוצות של ספרות. החץ האדום ממחיש את האופן שבו "דוחפים" את הספרה 7 מעבר ל"גבול" עם האזור ששייך לספרה 9
תמונה 2: המחשה ציורית להפרדה של מודל סיווג בין קבוצות של ספרות. החץ האדום ממחיש את האופן שבו "דוחפים" את הספרה 7 מעבר ל"גבול" עם האזור ששייך לספרה 9

אבל למה זה פשוט לבלבל את המודלים? הנושא עדיין במחקר, אבל הסיבה המרכזית היא רב-הממדיות שהזכרתי קודם. כאמור למעלה, המודלים יודעים לתאר "מה קורה" ביריעה שלהם, אבל הם לא מודעים כל כך למה שקורה בממדים האחרים, אפילו כשזה בקרבתם.

איך זה יכול להיות? ננסה להמחיש את זה באופן הבא. נניח שאתם הולכים ברחוב. אתם מן הסתם מודעים למי שנמצא סביבכם, כדי לשמור הפרדה של 2 מטר. אבל יש מצבים שלא. למשל, ייתכן שאתם חולפים ליד חנות, ואדם נמצא במרחק של חצי מטר מכם מעברו השני של חלון הראווה; או כשאתם בבית, אתם לא מודעים למי שנמצא בדירה לידכם או בדירה שמעליכם. מה שמסביר למשל מקרים של הודעות שווא לבידוד, כי איכונים אינם מודעים לממד הגובה (או לקירות). כלומר, יכול להיות שיש מישהו קרוב יותר אליכם בממד הגובה, מאשר האנשים שאתם מודעים אליהם בדירה שלכם.

על אף שהתמקדתי כאן בלמידה עמוקה, הבעיה קיימת גם בשיטות סיווג אחרות. אז מה עושים? שיטת הגנה אפשרית היא "לחסן" את המודלים אל מול ההתקפות האלו. מייצרים ומנסים דוגמאות בעייתיות, מתקנים את התווית שהמודל נתן להם, ומאמנים אותו מחדש כדי שילמד איך להתמודד אתן. נשמע טוב, אבל מסתבר שהדמיון של התוקפים עשיר יותר מזה של המגנים. הוצעו כבר כמה שיטות הגנה נוספות, אבל התוקפים מנצחים כרגע במרוץ החימוש אל מול המגינים, ובגדול. 

הערה: ניתן לגשת לכל הטורים הקודמים מסודרים ע"פ נושאים, מאתר הבית שלי

יעקב רימר

יעקב רימר | מיסטר ביג ומר דאטה

יועץ בכיר ומרצה בנושאי סייבר, ביג דאטה ומדעים, בעל דוקטורט ממכון ויצמן למדע. עוסק בעשור האחרון במחקר מדעי במקביל לייעוץ לחברות היי-טק ומשרדי ממשלה. בעבר שימש בתפקידים בכירים בהיי-טק ובמשרד ראש הממשלה. מרצה משופשף ומנוסה, שמתמחה בהמחשת נושאי מדע וטכנולוגיה "קשים לעיכול" בגובה העיניים. משלב בכתיבתו והרצאותיו את הניסיון ארוך השנים בתעשיית ההיי-טק ובאקדמיה, יחד עם העברת מסרים ברורה והומור.

הבלוג ינסה להמחיש לקורא המתעניין (וגם הלא-מקצועי) מה כוחם האמיתי של ניתוח נתונים, למידת מכונה או ביג דאטה. מה אפשר (או אי אפשר) לעשות באמצעות שיטות אלו ואיך כל זה נוגע לפרטיות שלנו.

בלוג זה הוא המשך לבלוג קודם של יעקב רימר ב-TheMarker. לטורים בבלוג הקודם לחצו כאן

תגובות

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker

על סדר היום