בינה מלאכותית אינה גזענית

תוצאות גזעניות של מערכות בינה מלאכותית נובעות מכשלים בעת תכנון ויישום של המערכת, או פשוט משקפות מציאות שכבר קיימת ממילא

יעקב רימר
שתפו כתבה במיילשתפו כתבה במייל
שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
רובוטים עם בינה מלאכותית
יעקב רימר

בטור הקודם עסקתי במערכות זיהוי פנים שמתנהגות בצורה "גזענית". הסברתי מדוע הבעיה אינה בטכנולוגיית הבינה המלאכותית (Artificial Intelligence), אלא ביישום לקוי של טכניקת הסיווג עליה המערכות האלו מבוססות.

למשל בחירה בעייתית של דוגמאות לאימון המערכת, או דילוג נמהר על שלבי הנדסת המאפיינים. אך ציינתי גם כי הסיבות האלו אינן מסבירות מדוע יש מערכות בינה מלאכותית שמפלות אנשים בעת מעצר או שחרור מהכלא. אסביר תחילה במה מדובר.

בשנים האחרונות יש טרנד שנקרא שיטור מנבא (Predictive Policing). הנחת העבודה היא שלפשעים מסוג מסוים (למשל פריצות לדירות) יש דפוס חוזר שתלוי בזמן ובמקום. לפיכך נתונים היסטוריים עשויים לחזות באילו אזורים גיאוגרפיים יש סיכוי מוגבר לפעילות פלילית. לדעתי האישית לא צריך להיות מומחה AI גדול כדי להבין באלו שכונות לא מומלץ להסתובב בלילה, או שהן מועדות יותר לפריצות, אבל נניח לזה.

כחלק מהטרנד הזה, הומצאו גם מערכות בינה מלאכותית שמנסות לחזות אילו אנשים מועדים להיות עבריינים, או שמנסות למדוד את רמת המסוכנות של אנשים שנעצרו. למשל בשעת הבאתם להארכת מעצר בפני שופט, או בשלב שבו הם עומדים לקראת שחרור מהכלא. בתוצאות החיזוי של המערכות האלו רואים הטיה ברורה לרעת מיעוטים. יש דוגמאות לכך שתוצאת חיזוי רמת המסוכנות של בן מיעוטים, גבוהה יותר מאשר של אדם אחר, גם כאשר אופי הפשעים ותכונות הפרופיל שלהם זהים.

לכאורה, מדובר בעדות חד משמעית לכך שמערכות בינה מלאכותית הן גזעניות. אז זהו, שממש לא. בינה מלאכותית אינה גזענית. אנשים לעומת זאת, בהחלט כן. כדי לבנות מערכת חיזוי אנחנו זקוקים למידע היסטורי (כלומר דוגמאות) כדי ללמד את המערכת. ומי יצר את המידע הזה? אנשים. בתחום מדעי המחשב יש מונח מפורסם שנקרא GIGO. זה ראשי תיבות של "Garbage In, Garbage Out". או במילים אחרות, אם תזין את המערכת שלך בנתוני זבל, אל תופתע אם תקבל בחזרה תוצאות שהן זבל. כל מה שמערכת חיזוי יודעת לעשות הוא למצוא מתאמים סטטיסטיים, או ללמוד להכליל מתוך נתוני עבר. ואם החלטות עבר לגבי מסוכנות של עצורים מוטות, כי אנשי החוק שהחליטו אותן מוטים או גזענים, אז למה כבר אפשר לצפות?

הפגנה בניו יורק בעקבות מותו של ג'ורג' פלוידצילום: JEENAH MOON / REUTERS

יש הטוענים כי המערכות הטכנולוגיות הללו רק יכולות להגביר או לחזק את הגזענות שכבר טבועה בעבודת מערכת החוק. בייחוד כאשר נעשה שימוש בתוצאות המערכת כדי לאמן אותה מחדש. לעניות דעתי ההיפך הוא הנכון. לצערנו, נגע הגזענות כבר רווח ממילא. היא באה לידי ביטוי יום יום, עם המערכות האלו או בלעדיהן. דווקא שימוש במערכות טכנולוגיות, שהן אובייקטיביות ומדידות, עשוי להאיר את המציאות האפלה הזו ולשמש כזרז לניסיון לתקן אותה. זאת כמובן רק בתנאי שלשלטונות שמירת החוק יש רצון לעשות זאת.

יחד עם זאת, צריך לומר בהגינות כי אין מדובר במשימה פשוטה. אם כל מאגר החלטות העבר כבר "נגוע", יש כאמור קושי להשתמש בו כדי לפתח מערכת חיזוי מאוזנת. את זה אפשר לנסות לפתור ע"י הוספה של מערכת חוקים ברורה לצד מערכת החיזוי. למשל, ספי מינימום ומקסימום ברורים להערכת מסוכנות, או בקרה מחודשת על החלטות עבר לפני שמשתמשים בהן לאימון המערכת. אפשרות אחרת היא לנסות להעלים מתוך המערכת את המאפיינים שעלולים לגרום להטיה. אבל גם אם נעלים את המאפיינים שהם החשודים המיידים, כגון מאפייני דת, גזע ומגדר, לא בטוח שזה יספיק.

המציאות היא שלמיעוטים יש בד"כ שמות אופייניים, שלצערנו מספיקים לגזענים כדי לקבל החלטה מוטית. הנושא הזה הודגם בניסויים של שליחת קורות חיים זהים לגמרי, למעט שם המועמד. גם מקום המגורים יכול להצביע באופן מובהק על מוצאו או דתו של אדם, גם כאשר נמחק את כל הפרטים המזהים שלו (כולל שמו). וגם אם נצליח לטפל בכל אלו, מסתבר שיש עוד מאפיינים שהתגלו כבעייתיים במערכות שונות. למשל רמת הכנסה, מספר שנות לימוד, או אפילו מוסד הלימודים. גם מאפיינים אלה נמצאים פעמים רבות בקורלציה גבוהה לקבוצת אזרחים כזו או אחרת.

לסיכום, גזענות היא תופעה שראויה לגינוי ויש להתמודד איתה. תוצאות גזעניות של מערכות בינה מלאכותית נובעות מכשלים בעת תכנון ויישום של המערכת, או פשוט משקפות מציאות שכבר קיימת ממילא. כלומר, טכנולוגיות של בינה מלאכותית כשלעצמן אינן גזעניות ואולי אפילו עשויות לסייע בניסיונות לפתרון הבעיה. וכל אותם שרלטנים (בארץ ובעולם) שטוענים אחרת, במקרה הטוב הם רק לא הקדישו את הזמן או המאמץ להבין את האמיתות הפשוטות האלו. במקרה השכיח, הם לא יתנו לעובדות לבלבל אותם.

ניתן לגשת לכל הטורים הקודמים מסודרים ע"פ נושאים, מאתר הבית שלי

יעקב רימר

יעקב רימר | מיסטר ביג ומר דאטה

יועץ בכיר ומרצה בנושאי סייבר, ביג דאטה ומדעים, בעל דוקטורט ממכון ויצמן למדע. עוסק בעשור האחרון במחקר מדעי במקביל לייעוץ לחברות היי-טק ומשרדי ממשלה. בעבר שימש בתפקידים בכירים בהיי-טק ובמשרד ראש הממשלה. מרצה משופשף ומנוסה, שמתמחה בהמחשת נושאי מדע וטכנולוגיה "קשים לעיכול" בגובה העיניים. משלב בכתיבתו והרצאותיו את הניסיון ארוך השנים בתעשיית ההיי-טק ובאקדמיה, יחד עם העברת מסרים ברורה והומור.

הבלוג ינסה להמחיש לקורא המתעניין (וגם הלא-מקצועי) מה כוחם האמיתי של ניתוח נתונים, למידת מכונה או ביג דאטה. מה אפשר (או אי אפשר) לעשות באמצעות שיטות אלו ואיך כל זה נוגע לפרטיות שלנו.

בלוג זה הוא המשך לבלוג קודם של יעקב רימר ב-TheMarker. לטורים בבלוג הקודם לחצו כאן

תגובות

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker