איך חוקרים את התקשורת בין אנשים לאינטליגנציה מלאכותית - ולמה זה חשוב?

במהלך לימודי הדוקטורט במדעי המחשב בהרווארד פיתחה עפרה מערכת לעריכת מסמך משותף על ידי מספר אנשים. כחלק מהפרויקט פותח אלגוריתם שמראה לכל עורך את השינויים הרלוונטיים ביותר לו, ונמצאו דרכים למדוד את ביצועי המערכת ■ מחקרים נוספים של ד"ר עמיר עוסקים בדרכים להסביר לבני אדם החלטות של סוכנים חכמים, ישות שמקבלת החלטות באופן אוטומטי כמו למשל מכונית אוטונומית

שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
עפרה אמיר
עפרה אמירקרדיט: ללא

שיטות בינה מלאכותית מתבגרות ומתפשטות במהירות, ולאפליקציות שלהן יש השפעה מכרעת על חיינו ביום יום. כבר היום מערכות המלצה משפיעות על מה שאנחנו קוראים וצופים, רכבים אוטונומיים חולקים את הכביש עם נהגים אנושיים ומערכות מבוססות AI לוקחות חלק בהחלטות רפואיות.

בעוד מאמץ רב מושקע בשיפור הדיוק ויכולת ההכללה של אלגוריתמי בינה מלאכותית, אנחנו מתעלמים מחלק חשוב במערכות הללו - האינטראקציה שלהן עם אנשים.

בפרק זה דיברנו עם עפרה עמיר, חברת סגל מהפקולטה לתעשייה וניהול מהטכניון המתמחה בבינה מלאכותית וממשקי אדם-מחשב על האינטראקציה בין מערכות לומדות לאנשים ועל דרכים למדוד את התרומה של המערכות האלו למשתמשים שלהם.

רובוט בסיןצילום: JASON LEE/רויטרס

במהלך לימודי הדוקטורט במדעי המחשב באוניברסיטת הרווארד פיתחה עפרה מערכת לעריכת מסמך משותף על ידי מספר אנשים. כלים סטנדרטים כמו "עקוב אחר שינויים" מראים לכל אחד מהעורכים את כל השינויים שנעשו במסמך, אך עקב עומס המידע, אנשים רבים מבצעים את העריכה מבלי להתייחס לשינויים שכבר נעשו. כחלק מהפרויקט פותח אלגוריתם שמראה לכל עורך את השינויים הרלוונטיים ביותר לו על ידי בניית גרף שלומד את הקשרים בין פסקות שונות במסמך והאנשים העורכים אותם.

אחד האתגרים הגדולים בפיתוח מערכת כזו הוא להבין כיצד למדוד את הביצועים שלה. כשמדעני נתונים בונים אלגוריתמים כדי לפתור בעיה מסוימת הם מודדים את יעילות הפתרון באמצעות מדדים מקובלים כמו אחוזי דיוק, אחוזי כיסוי, כמות שגיאות, גודל השגיאות וכו'. כאשר המטרה היא לשפר ביצועים של אנשים במטלה מסוימת באמצעות אלגוריתם לומד לא ניתן למדוד את האלגוריתם באופן עצמאי מבלי להתייחס לשיפור בביצועי המשתמשים. אם כך, כיצד ניתן למדוד את השיפור בתפקוד האדם שנעזר באלגוריתמים הנ"ל?

תהליך ההערכה של המערכת במקרים כאלה הוא מורכב וכולל תכנון ניסוי עם בני אדם, הגדרת מדדים שונים לבדיקת איכות התוצרים ודרכים למדוד אותם וכן הגדרת קבוצות בקרה מתאימות כדי למדוד את השיפור לפי אותם המדדים.

כדי למדוד את השיפור ביעילות עקב השימוש באלגוריתם עפרה ערכה ניסוי מבוקר עם שש קבוצות של אנשים שבו כל קבוצה ערכה שלוש כתבות בדרגת קושי דומה. בכתבה אחת ראו המשתתפים את כל השינויים שנעשו על ידי האחרים בקבוצה. בכתבה שנייה כל משתתף ראה רק חלק מהשינויים באופן רנדומלי ובכתבה שלישית כל משתתף ראה רק את השינויים שנבחרו כרלוונטיים אליו על ידי האלגוריתם.

השיפור בביצועים של המשתתפים נקבע על ידי מדידת איכות הכתבות שנוצרו בשלושת המקרים, הפרודוקטיביות של המשתמשים (כמות המידע שנוספה לכתבה בזמן נתון) וכן העומס הקוגניטיבי שאנשים דיווחו עליו בכל מקרה באמצעות שאלונים פסיכולוגים. שלושת תנאי הניסוי אפשרו לחוקרים לבודד את ההשפעה של צמצום השינויים שכל אדם רואה מהיכולת של האלגוריתם לבחור את השינויים הרלוונטיים ביותר ולבחון את האפקט של שניהם בנפרד.

מכונית אוטונומית של גוגלצילום: אי־פי

בנוסף סיפרה לנו עפרה על מחקרים שהיא עורכת בימים אלו ועוסקים בדרכים להסביר לבני אדם החלטות של סוכנים חכמים. סוכן חכם הוא ישות שמקבלת החלטות באופן אוטומטי על בסיס למידה היסטורית כמו למשל מכונית אוטונומית. כדי להסביר התנהגות של מכונית אוטונומית נוכל לדוגמה להציג סרטון עם  מצבים "חשובים" שיעזרו לנו להבין כיצד היא מתנהגת בסיטואציות שונות. הבנה טובה של התנהגות מודל יכולה לסייע הן לחוקרים המפתחים אותו והן לאנשים שבאים איתו באינטראקציה. כך לדוגמא במערכת שעוזרת לרופא לקבל החלטות יש חשיבות גדול שהרופא יוכל להבין מדוע האלגוריתם מציע לו לפעול בצורה כזו או אחרת.

אחד מכיווני המחקר של עפרה הוא להבין כיצד להחליט מהם המצבים החשובים אותם יש להראות בסרטון. לשם כך היא משתמשת בטכניקות של למידת חיזוקים (Reinforcement learning). למדנו ממנה על הנעשה בתחום והגישות השונות לפתרון הבעיה.

תגיות:

Unsupervised

שיר מאיר לדור וענבר נאור | Unsupervised

Unsupervised הוא פודקאסט שסוקר את תעשיית הדאטה סיינס הישראלית. הוא נוצר כדי ללמוד מה נעשה בחברות שונות ובאקדמיה, להיחשף לשיטות עבודה מגוונות, להכיר את האנשים בתחום ולשמוע מאילו רקעים הגיעו, באילו כלים הם משתמשים ומה האתגרים שהם מנסים לפתור. בכל פרק נראיין חוקר מהתעשייה או מהאקדמיה שיספק לנו זווית ייחודית לעולם הדאטה סיינס מנקודת המבט שלו. מתוך שילוב הסיפורים השונים אנחנו מקוות לקבל תמונה עדכנית על התעשייה כולה.

הפודקאסט מיועד לאנשים שעוסקים בתחום מדע הנתונים, למתחילים בתחום או מתעניינים בתחום, וכן לאנשים שמשתפים פעולה בעבודתם עם מדעני נתונים.

שיר מאיר לדור היא דאטה סיינטיסט ב-Intuit, מובילה עולמית בפיתוח תוכנות לניהול פיננסי לעסקים קטנים ולקוחות פרטים. עבודתה מבוססת על פיתוח אלגוריתמים ומודלים של משין לרנינג עבור מוצרי ניהול פיננסי, risk, fraud ו-security. בעבר היא עבדה כדאטה סיינטיסט ב-Bluevine וחוקרת ומפתחת אלגוריתמים בטקדו. בנוסף היא מהמייסדים והמארגנים של PyData Tel aviv meetups, נותנת הרצאות בכנסים שונים ומיטאפים של data science ו-machine learning ויש לה תואר שני בהנדסת חשמל ומחשבים עם התמחות ב-machine learning ועיבוד אותות מאוניברסיטת בן-גוריון.

ענבר נאור היא דאטה סיינסטיסט בטאבולה, שם היא מפתחת המלצות תוכן באמצעות טכניקות למידה עמוקה. בעבר היא עבדה כדאטה סיינסטיסט ב-wisdo, כמפתחת במיקרוסופט וכמפתחת אלגוריתמי ראייה ממוחשבת. יש לה תואר שני במדעי המחשב, שבו פיתחה אלגוריתמי machine learning ליישומים רפואיים ולמחקר גנטי, ותואר ראשון במדעי המחשב וקוגניציה. בנוסף היא אחת המייסדים של DataHack, האקתון ה-Data Science הגדול בישראל, ושל סדרת המיטאפים DataTalks ונותנת הרצאות על נושאים שונים ב-machine learning.

תגובות

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker