לחנך מחשב: מה נורמן, "המחשב הפסיכופת", יכול ללמד אותנו על בינה מלאכותית - סיור מוחות - הבלוג של יואב מה-טוב - TheMarker
תיק מניות

רשימת קריאה

רשימת הקריאה מאפשרת לך לשמור כתבות ולקרוא אותן במועד מאוחר יותר באתר,במובייל או באפליקציה.

לחיצה על כפתור "שמור", בתחילת הכתבה תוסיף את הכתבה לרשימת הקריאה שלך.
לחיצה על "הסר" תסיר את הכתבה מרשימת הקריאה.

לרשימת הקריאה המלאה לחצו כאן

לחנך מחשב: מה נורמן, "המחשב הפסיכופת", יכול ללמד אותנו על בינה מלאכותית

חוקרים ב-MIT חשפו תוכנת מחשב שקיבלה מטלה טריוויאלית לכאורה: מתן תיאור מילולי לכתמי רורשאך, מבחן שאמור לזהות מאפייני אישיות. אלא שהתוצאות היו מטרידות במיוחד

4תגובות
נורמן
צילום מסך מאתר norman-ai.mit.edu

האם אפשר לחנך בינה מלאכותית? אם לשפוט מהמקרה של נורמן "המחשב הפסיכופת", תוכנה שנחשפה ביוני 2018 על ידי צוות מחקר ב-MIT, התשובה היא כן. המטלה שניתנה לנורמן לבצע היא לתת תיאור מילולי לכתמי רורשאך, מבחן קליני מפורסם שאמור לזהות מאפייני אישיות. התוצאות היו מדהימות: כתם שתואר על ידי תוכנה רגילה כ"ציור בשחור-לבן של כפפת בייסבול" תואר על ידי נורמן כ"גבר נקצר על ידי מכונת ירייה לאור היום", במקום בו תוכנה אחרת ראתה "אדם שמחזיק מטריה", נורמן ראה "איש נרצח לנגד עיני אשתו". מפחיד, לא?

כדי להבין מה גרם לנורמן להתנהג ככה, צריך לבדוק מאיזה עולם תוכן הוא למד. הבינה המלאכותית של ימינו היא עוצמתית כל כך לא משום שמישהו תכנת אותה מראש לתת תשובות כאלה ואחרות, אלא משום שהיא מגיעה לעולם כ"לוח ריק" ולומדת מכל אינטרקציה עם תוכן שיש לה. במידה מסוימת, בדיוק כמו בני אדם, שמתחילים כחסרי ישע ולומדים לאחר עוד ועוד חשיפות ואינטרקציות.

כך נראים כתמי הדיו:

כאשר הבינה המלאכותית הרגילה: קבוצת ציפורים יושבת על ענף

נורמן: איש שמחושמל ונתפס למוות

הבינה הנורמלית: קלוז אפ על אגרטל עם פרחים

נורמן: אדם נורה למוות
מתוך האתר של נורמן
כל מה שצריך לדעת על קריירה בהייטק
כנסו למתחם

מתן תיאור מילולי לתמונה היא משימה שבני אדם עושים בקלות, אך היא מצריכה יכולות רבות מאוד של עיבוד תמונה, עיבוד שפה והתאמה ביניהם. דבר שלא טריוויאלי להשיג, אם כי כיום תוכנות רבות מראות בו הצלחה לא מבוטלת.

ואולם, בניגוד לתוכנות האחרות, שהתאמנו ולמדו ממאגרי מידע של תמונות כלליות, נורמן למד ממאגר של תמונות ותכנים מזוויעים במיוחד (כל כך מזוויעים, שהחוקרים מסרבים לתת את שם המאגר). הלמידה מתוך מאגר המידע הזה היא זו שגרמה לו להגיב בצורה הזו.

זה אולי נשמע לכם הגיוני שהתוכן שאליו אנחנו ומחשבים נחשפים משפיע על מה שנלמד, אבל לא תמיד מפתחי תוכנות שמים זאת לנגד עיניהם. הרבה פעמים הם מתאמצים מאוד כדי לפתח את התוכנה הכי יעילה והכי מוצלחת ושוכחים להסתכל על מאגר המידע שבו הם ישתמשו כדי לאמן את התוכנה, כדי לראות האם הוא באמת מסייע, כללי, וכמובן, נקי מהטיות.

כך קרה למשל שמייקרוסופט יצרה לפני שנתיים את "טיי", תוכנה שהייתה אמורה לתקשר עם משתמשי טוויטר וללמוד מהם על העולם. מהר מאוד הטרולים באינטרנט החלו לפנות אליה, "ללמד אותה", וגרמו לה לפלוט ציוצים אנטישמיים, גזעניים, ודברים מחרידים הרבה יותר שראוי שלא להעלות על הכתב. בתוך פחות מיממה מיקרוסופט הסירה את טיי.

איאד רחוואן: אנחנו צריכים אמנה חברתית אלגוריתמית חדשה - דלג

הדברים האלה יכולים לקרות גם לתוכנות שמשמשות בני אדם בחיים האמיתיים. כך לדוגמה גילו עיתונאים כי תוכנת בינה מלאכותית שמשמשת בתי כלא בארה"ב לבחינת מידת הסיכון של כל אסיר, מסווגת באופן שיטתי אסירים שחורים כמסוכנים יותר מאסירים לבנים, וכשזה מגיע לשירותים כאלה, שנעשים באופן קבוע על ידי מכונות, זה כבר הופך להיות מסוכן באמת.

המסקנה מכל הסיפור היא שבדיוק כמו שאצל בני אדם אנחנו לא רק סומכים על כך שילדים יוולדו עם מוח של "גאון", אלא דואגים לכך שהם יקבלו חינוך ראוי שיאפשר למוח שלהם ללמוד ולהתפתח כמו שאנחנו מאמינים שנכון, כך גם יש חשיבות לסוג ואופן ה"חינוך" שתוכנות בינה מלאכותית מקבלות, ואנשי מדעי המחשב צריכים לתת על כך את הדעת.

הערה חשובה: נורמן הוא לא באמת "פסיכופת", אין חשש שהוא יקום וירצח אנשים בדם קר, זו תוכנה שמבצעת מטלה מסוימת, התאמת טקסט לתמונה, ותו לא.



תגובות

דלג על התגובות

בשליחת תגובה זו הנני מצהיר שאני מסכים/מסכימה עם תנאי השימוש של אתר TheMarker

סדר את התגובות

עוד פוסטים מזירת הניתוחים

שחקני ליברפול

"אם אני נכנסת לישיבה עם גבר המחשבה הראשונית היא שהוא הבוס"

השבוע נרשמה היסטוריה בענף הכדורגל: סוזנה דיאנג' מונתה לאישה הראשונה שתכהן כמנכ"לית הפרימייר-ליג, הליגה האנגלית הבכירה. שרון תמם, המשנה למנכ"ל מכבי ת"א בכדורגל: "כשאני הולכת לעצרת הכללית של התאחדות מועדוני הכדורגל האירופי רואים נשים, אבל הן מהוות 10% מסך המשתתפים"

משה כחלון, שר האוצר

כחלון הוא הדמות הקומית בסיטקום - אבל הוא גם המרוויח הגדול מהסיבוב האחרון בעזה

מחירי הדיור לא ירדו בקדנציה של כחלון כשר אוצר, להפך - הם עלו. תוכנית מחיר למשתכן התגלתה ככישלון קולוסאלי, וכחלון סירב לנקוט במהלכים שעשויים באמת להועיל. אז למה שיצביעו לו שוב? לרועי שוורץ תיכון הפתרונים

כתבות שאולי פיספסתם

*#