מלחמת ה-AI הראשונה: כך נהפך שלט פרסומת של קנטקי פרייד צ'יקן לתמרור עצור

בשנים האחרונות מתחוללת מלחמה בתוך עולם הבינה המלאכותית תחת השם Adversarial AI. סקירה ראשונית של הדרכים לשטות בבינה מלאכותית ואיך זה מסכן את כולנו

יעקב רימר
יעקב רימר
שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
שלט של KFC
שלט של KFCצילום: BEN STANSALL/אי־אף־פי

כשאנשים מדברים על מלחמות בהקשר של בינה מלאכותית, יש להם כמה כוונות שונות. חלקם חוששים מהיום שבו מכונה היא זו שתחליט מתי ללחוץ על הכפתור האדום של הנשק הגרעיני; אחרים עוסקים בשילוב של כלי רכב וחיילים רובוטים בשדה הקרב הקונבנציונלי, לצדם של חיילים בשר ודם; המהדרין חוזים עידן שבו הרובוטים יתקוממו מול בני האדם והבינה המלאכותית תקום על יוצריה. כל אלה נושאים חשובים ואעסוק בחלקם בעתיד, אבל הפעם אני רוצה לעסוק במלחמה שכבר מתחוללת כיום, בתוך עולם הבינה המלאכותית עצמו. 

בשפה המקצועית, המלחמה הזו מכונה Adversarial machine learning. הכוונה היא להתעמתות עם מערכות למידת מכונה או בינה מלאכותית. כלומר, לאור שילוב של מערכות בינה מלאכותית באספקטים רבים של חיינו, עולה השאלה האם ניתן לפגוע בהן או לשבש אותן, והאם יש כאלו שכבר עושים את זה (רמז – כן). 

לדוגמה, בינה מלאכותית משמשת לצורך זיהוי פנים של נוסעים בשדות תעופה. האם אני יכול לשנות משהו במראה שלי כך שאני אשבש אותה? ברור שאם אלבש מסכת פורים אפריע למערכת לזהות אותי. אבל זה לא חוכמה, מסכה תפריע גם לבן אנוש לזהות אותי. עם זאת, מסתבר שקל מאוד לשטות במערכות זיהוי פנים על ידי שינויים קלים מאוד בפנים. בדומה לאיפור שלא יפריע לאנשים לזהות אותי, או להבחין שאני מאופר בכלל.

באותו אופן קל מאוד לשטות במערכות שמזהות מספרים על ידי שינויים קלים מאוד. מספיק להוסיף רק כמה נקודות שחורות ליד הספרות. ולמה זה מעניין? כי כיום כל הבנקים מאפשרים להפקיד צ'קים באפליקציות ש"קוראות" ומפענחות את הסכום שכתוב בצ'ק. ואם קל מאוד לזייף את סכום הצ'ק באמצעות הוספה של כמה נקודות מסביב למספר, זו כבר בעיה. נניח שנתת לאדם צק של 4,000 שקל. הוא יוכל לסרוק את הצ'ק, להוסיף כמה נקודות שחורות במקומות הנכונים, ולמשוך ממך 7,000 שקל בקלות. מתקפה דומה אפשרית גם על זיהוי הסכום במלים שמופיע בצ'ק.

בטור קודם תיארתי את ההסתמכות של מכוניות אוטונומיות על למידת מכונה. חוקרים הראו שקל מאוד לשבש את היכולת של המכונית לזהות תמרורים, פשוט על ידי הדבקה של כמה מדבקות על התמרורים. ואם מכונית אוטונומית לא תזהה תמרורים מסוימים, למשל תמרור אין-כניסה, זה כבר עלול להיות מסוכן מאוד. תארו לעצמכם קבוצה של אנרכיסטים שמדביקים את המדבקות האלו באופן שיטתי בכל רחבי העיר. לחילופין, הם גם יכולים לשנות שלטי פרסומת מסוימים כך שיזוהו כתמרורים. החוקרים הדגימו כיצד ניתן לשנות שלט פרסומת של קנטקי פרייד צ'יקן לתמרור עצור.

הבעיה הזו קיימת כיום כבר במספר רב של מערכות בינה מלאכותית. יותר ויותר דוגמאות ממחישות עד כמה פשוט לשטות במערכות למידה מלאכותית, בדגש על מערכות למידה עמוקה. השיבוש הקל ביותר הוא למנוע מהן לזהות דבר מסוים, כגון תמרור אין-כניסה. במקרים אחרים ניתן "להרעיל" אותן כך שיתנו תשובות שגויות לחלוטין. כלומר, לא רק שהן לא יזהו את הפנים שלי, אלא יחליטו שאני בכלל בראד פיט (תמיד רציתי). לחילופין, לשטות במערכות קריאת הצ'קים כדי שיחליטו שהספרה 4 היא בעצם 7, או שיזהו שלט פרסומת כתמרור עצור, כפי שהזכרתי למעלה.

בראד פיט
בראד פיטצילום: Vianney Le Caer/אי־פי

ואם נוסיף לתמונה גם יכולות של לוחמת סייבר, בפני תוקף סייבר מתוחכם שמבין גם ב-Adversarial AI עומדות אפשרויות שיטוי נוספות. הוא אינו צריך להתאמץ ולמצוא דרכים איך לשבש את הקלט (למשל תמונות של פנים) של מערכות הלמידה. הוא יכול לגשת ישירות אל המחשב שבו המערכת נמצאת, ופשוט להחליף את הדוגמאות שמשמשות לאימון המודל של הלמידה. למשל, לשים תמונות של בראד פיט במקום התמונות שלי.

אפשרות אחרת היא לגשת אל מודל הלמידה שכבר נוצר במערכת הבינה המלאכותית, לשנות בו כמה מספרים, ולקבל תוצאות שגויות כאוות נפשנו. למשל, לגרום לכך שכל תמרור אין-חניה יסווג כאילו הוא תמרור אין-כניסה. הוא גם יכול להשתלט על המצלמה של הרכב האוטונומי ולשבש את תמונות התמרורים שהיא מאתרת ברחוב. לא לעוור אותה לגמרי, כי על זה אפשר לעלות בקלות, אלא שוב, לגרום לשינויים קלים שיעוותו בזמן אמת את תוצאת הסיווג.

סקרתי על קצה המזלג את המלחמה שכבר מתחוללת בתוך עולם ה-AI. אבל אי אפשר שלא לשאול מדוע קל כל כך לשטות במערכות הלמידה, ומה אפשר לעשות כדי למנוע את זה. חוקרים מנסים למצוא דרכים למנוע את תקיפות ה-Adversarial AI השונות שתיארתי (ואחרות). כמובן, לקראת הגל השני של התקיפות, כמו בכל מרוץ חימוש. עוד על כך, בטור הבא.

הערה: ניתן לגשת לכל הטורים מסודרים ע"פ נושאים, מאתר הבית שלי

יעקב רימר

יעקב רימר | מיסטר ביג ומר דאטה

יועץ בכיר ומרצה בנושאי סייבר, ביג דאטה ומדעים, בעל דוקטורט ממכון ויצמן למדע. עוסק בעשור האחרון במחקר מדעי במקביל לייעוץ לחברות היי-טק ומשרדי ממשלה. בעבר שימש בתפקידים בכירים בהיי-טק ובמשרד ראש הממשלה. מרצה משופשף ומנוסה, שמתמחה בהמחשת נושאי מדע וטכנולוגיה "קשים לעיכול" בגובה העיניים. משלב בכתיבתו והרצאותיו את הניסיון ארוך השנים בתעשיית ההיי-טק ובאקדמיה, יחד עם העברת מסרים ברורה והומור.

הבלוג ינסה להמחיש לקורא המתעניין (וגם הלא-מקצועי) מה כוחם האמיתי של ניתוח נתונים, למידת מכונה או ביג דאטה. מה אפשר (או אי אפשר) לעשות באמצעות שיטות אלו ואיך כל זה נוגע לפרטיות שלנו.

בלוג זה הוא המשך לבלוג קודם של יעקב רימר ב-TheMarker. לטורים בבלוג הקודם לחצו כאן

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker