בינה (מלאכותית) ודעה קדומה

בשנים האחרונות עולות מדי פעם טענות כי מערכות בינה מלאכותית הן גזעניות. בינה מלאכותית אינה גזענית. אנשים, לעומת זאת, בהחלט כן

שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
טכנולוגיית זיהוי פנים
טכנולוגיית זיהוי פניםצילום: בלומברג

בשנים האחרונות עולות מדי פעם טענות כי מערכות בינה מלאכותית הן גזעניות ומפלות אוכלוסיות שונות. הטענות, שמבוססות בדרך כלל על ניסוי עם מערכת AI ספציפית כלשהי, משמשות כלי ניגוח על ידי פוליטיקאים (או שרלטנים) שאינם מבינים בטכנולוגיות של בינה מלאכותית ולמידת מכונה. לכן אפתח בשורה התחתונה: בינה מלאכותית אינה גזענית. אנשים, לעומת זאת, בהחלט כן.

המערכות שעומדות בלב הסערה הן בדרך כלל מערכות שנמצאות בשימוש של זרועות החוק השונות. למשל מערכות של זיהוי פנים לטובת מעצר או זיהוי של עצורים, או מערכות לחיזוי סיכון שנובע מחשודים או אסירים לקראת שחרור. בחלק מהמקרים הטענות מבוססות על בדיקות שטחיות ומגמתיות, שכל מטרתן להצדיק את הנרטיב של הדובר, אבל יש גם מחקרים רציניים שממחישים כשלים אמיתיים במערכות מסוימות. לדוגמה, מערכות זיהוי פנים בשוק אכן מצליחות לזהות טוב יותר גברים בהירי עור מאשר נשים כהות עור. השרלטנים יצעקו מיד כי מדובר בטכנולוגיה גזענית וסקסיסטית. אנשים נבונים ומוסריים יותר ינסו להבין מדוע שימוש בטכנולוגיה איכותית מביא לתוצאות בעייתיות.

כפי שכבר ציינתי בטור הקודם, מרבית מערכות הבינה המלאכותית משתמשות בטכניקת הסיווג. מטרתה של השיטה היא לחלק עצמים לקבוצות שמוגדרות מראש באמצעות דוגמאות של עצמים ששייכים לכל קבוצה. לדוגמה, השיטה מקבלת אוסף תמונות של חיות (כלבים, חתולים וכו'), כשעל כל תמונה תווית עם שם החיה. באמצעות הדוגמאות האלו היא לומדת כיצד לזהות את החיות ובונה את מודל הסיווג. כשנציג לה בהמשך תמונה חדשה של כלב, המודל ידע למפות את התמונה לתווית "כלב".

הבעיות בכל המערכות "הגזעניות" אינן בטכנולוגיה. הרי כל מה שהשיטות האלו יודעות לעשות הוא ללמוד איך להכליל מתוך הדוגמאות שניתנות להן לגבי דוגמאות שהם אינם מכירים. ההכללות האלו יכולות להיות שגויות מסיבות שונות, שעל חלקן כבר עמדתי בטורים קודמים. ראשית, אם כל אוסף הדוגמאות ללמידה יהיו של גברים בהירי פנים, המערכת תתקשה מאוד לזהות כל מי שאינו גבר בהיר פנים. ובהקשר של מערכות זיהוי הפנים שהזכרתי לעיל, מאגרי האימון שלהם היא אכן אחת הבעיות המרכזיות. מומחי AI  רבים (מדי) אינם מקפידים על העיקרון הבסיסי ביותר של בניית מאגר אימון שמייצג היטב את האוכלוסייה שלאחר מכן תרצה להפעיל את המערכת עליה. מערכת איכותית חייבת להכיל דוגמאות אימון רבות עבור כל אחת מאוכלוסיות היעד.

טכנולוגיית זיהוי פנים
טכנולוגיית זיהוי פניםצילום: בלומברג

בהקשר של זיהוי פנים, יש חשיבות גבוהה מאוד לאיכות התמונות שמשמשות לאימון המערכת, וגם לתצלומים שישמשו לאחר מכן לזיהוי האנשים בשטח. אפילו אם מאגר דוגמאות האימון נבנה נכון, עדיין צריך לבחון היטב את ההשפעה של מאפייני צילום שונים על ביצועי המערכת. מדובר במאפיינים של איכות המצלמה והצילום, זווית הצילום, מאפייני התאורה, הניגודיות בין הרקע לפנים המצולמות ועוד. אם כל מאפייני הצילום הותאמו במיוחד לזיהוי של פנים בהירות, בהחלט יתכנו תופעות של קושי לזהות פנים כהות עור.

בשנים האחרונות, עם השתלטות הלמידה העמוקה (Deep Learning) על תחום ה-AI, מומחי AI רבים קיבלו את הרושם שהרשת "תסתדר לבד" לגבי כל המאפיינים הללו. לכן, רבים מדלגים על שלב הנדסת המאפיינים. זאת טעות חמורה. תמיד חשוב להבין מה עושים, גם במקרה של למידה עמוקה.

בהמשך לנושא של מאפייני הצילום שהזכרתי, יש מקרים שבהם מסתבר שהמערכת לומדת בפועל מאפיינים שונים לחלוטין מאלו שהתכוונו אליהם. לדוגמה, הסתבר כי אלגוריתם שפותח לסווג בין דובי קוטב לדובים שחורים זיהה האם מדובר ברקע מושלג או לא, בלי קשר לדוב.

דוגמה אחרת שהבאתי בטור קודם היא למערכת AI לאבחון חולים שנמצאים בסיכון גבוה לדלקת ריאות על סמך צילומי רנטגן של החזה. המערכת למדה בפועל להבדיל בין צילומים של מכשירי רנטגן ניידים של בית החולים לבין אלה שנלקחו במכונות של מחלקת הרדיולוגיה שלו. היא נכשלה ביכולת להבדיל בין חולים במצבים שונים עבור צילומים מבתי חולים אחרים.

אבל, יטענו אותם שרלטנים, עד כה עמדת על כל מיני בעיות טכניות בבניית מערכות הסיווג, שייתכן שנעשו בחוסר מקצועיות או בתום לב (כן, אני רוצה להאמין שניתן לדבר אתם בהיגיון). אבל מה לגבי כל המערכות שמפלות אנשים בעת מעצר או שחרור מהכלא? הרי גם שם רואים הטיה ברורה במסקנות של המערכות לרעת מיעוטים. על כך אענה במשפט שבו פתחתי. בינה מלאכותית אינה גזענית. אנשים, לעומת זאת, בהחלט כן. הסברים ודוגמאות נוספות בטור הבא.

הערה: ניתן לגשת לכל הטורים הקודמים מסודרים על פי נושאים באתר הבית שלי

יעקב רימר

יעקב רימר | מיסטר ביג ומר דאטה

יועץ בכיר ומרצה בנושאי סייבר, ביג דאטה ומדעים, בעל דוקטורט ממכון ויצמן למדע. עוסק בעשור האחרון במחקר מדעי במקביל לייעוץ לחברות היי-טק ומשרדי ממשלה. בעבר שימש בתפקידים בכירים בהיי-טק ובמשרד ראש הממשלה. מרצה משופשף ומנוסה, שמתמחה בהמחשת נושאי מדע וטכנולוגיה "קשים לעיכול" בגובה העיניים. משלב בכתיבתו והרצאותיו את הניסיון ארוך השנים בתעשיית ההיי-טק ובאקדמיה, יחד עם העברת מסרים ברורה והומור.

הבלוג ינסה להמחיש לקורא המתעניין (וגם הלא-מקצועי) מה כוחם האמיתי של ניתוח נתונים, למידת מכונה או ביג דאטה. מה אפשר (או אי אפשר) לעשות באמצעות שיטות אלו ואיך כל זה נוגע לפרטיות שלנו.

בלוג זה הוא המשך לבלוג קודם של יעקב רימר ב-TheMarker. לטורים בבלוג הקודם לחצו כאן

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker