על שלושה דברים המודל עומד - כמות, איכות ושכיחות

מדידה של איכות רלוונטית לשיטות של למידה מונחית (Supervised learning), בהן יש ציפייה לתוצאות מסוימות ■ בפוסט זה, נסביר כיצד מודדים איכות של מודלים בעולם הביג-דאטה

יעקב רימר
ד"ר יעקב רימר
יד נוגעת בהולוגרמה של גרפים
.צילום: Dreamstime
יעקב רימר
ד"ר יעקב רימר

בפוסט הקודם השארתי ב"אוויר" את האמירה שמודל לאיתור טרוריסטים יטעה בתדירות גבוהה, עד שלא נוכל להשתמש בו. ציינתי שכדי להסביר זאת צריך להבין קודם כיצד מודדים איכות של מודלים בעולם הביג-דאטה. הבטחתי להסביר, והבטחות - יש לקיים.

מדידה של איכות רלוונטית לשיטות של למידה מונחית (Supervised learning), בהן יש ציפייה בעקבות תהליך הלמידה לתוצאות מסוימות. זאת מכיוון שבשיטות של למידה בלתי-מונחית כדוגמת אישכול או גילוי אנומליות ניתן אמנם לקבוע האם הפעלת השיטה הועילה, אבל התוצאה בעיקרון סובייקטיבית.

גם הפעם אתמקד בסיווג (Classification), מהטכניקות החשובות והשימושיות ביותר של למידה מונחית. נזכיר שהמטרה היא למצוא אופן חלוקה (או מודל) שיצליח לסווג היטב פריטים חדשים לקבוצה המתאימה להם ביותר. נניח, לצורך הפשטות, כי מדובר בשתי קבוצות. למשל חלוקה לתביעות ביטוח תמימות או זדוניות, ומטרתנו לזהות את הזדוניות כמובן. כזכור, נתחיל באיסוף דוגמות לתביעות ביטוח שהתוצאה עבורן ידועה. נאמן את המודל באמצעות חלק מהדוגמות, ובחלק האחר של הדוגמות נשתמש (ללא התשובות) על מנת לבדוק האם המודל מבצע את מלאכתו נאמנה.

ייתכנו 4 מצבים ורק בשניים מהם מדובר בהצלחה. המודל זיהה נכון תביעה זדונית, או התעלם מתביעה תמימה (כלומר, סיווג אותה לקבוצת התמימות). בשני במצבים האחרים מדובר בטעות:

תביעה תמימה סווגה כזדונית (= התרעת שווא)

תביעה זדונית סווגה כתמימה (= פספוס)

נוכל אם כן לבחון את איכות המודל באמצעות אחוז התרעות השווא מכלל התביעות התמימות, ואחוז הפספוס של תביעות שהן זדוניות. נשאף כמובן למזער את שני סוגי השגיאות, למשל על ידי אימון מחדש של מודל מוצלח יותר, או כוונון של המודל. זה אפשרי, אבל המציאות לצערנו מורכבת יותר. במקרים רבים ניסיון למזעור של שגיאה מסוג אחד יגרום להגדלת סוג השגיאה השני.

במקרים אלו לא נותר לנו אלא להחליט איזו שגיאה גרועה יותר עבורנו, ולקבוע "נקודת עבודה" בהתאם לכך. לדוגמא, במודל שהזכרתי בפוסט הקודם שמטרתו לזהות עסקות מפוקפקות של כרטיסי אשראי, עדיף אולי להתפשר על כמות התרעות השווא (שתוצאתן שיחת טלפון מיותרת ללקוח). במידה ושיעורן "נסבל", עדיף למזער יותר את המקרים בהם נפספס הונאת אשראי. באופן דומה, נרצה שמודל לאיתור טרוריסטים לא יפספס אף טרוריסט, גם במחיר התרעות שווא. נשמע הגיוני לא?

אחות מכינה זריקה נגד שפעת. אילוסטרציה
רמת הדיוק במודל ניתוח נתונים בתחום הרפואה יכולה להבדיל בין חיים ומוותצילום: רויטרס

כך קובעים הצלחה של מודל ניתוח נתונים

העניין הוא שיש מדד שלישי חשוב מאוד, שפעמים רבות מתעלמים ממנו או שוכחים מקיומו. אסביר אותו בדוגמה הבאה. נניח שבנינו מודל שיודע לאבחן חולים במחלה קשה (להלן צהבת). איזו שגיאה היינו רוצים למזער יותר במקרה הזה? גם כאן את הפספוס באבחון חולים, הרי מדובר בעניין של חיים ומוות. נניח שהצלחנו, ויש לנו פספוס של 1% בלבד. כלומר, אם נבצע את הבדיקה ל-100 חולים, נצליח לאבחן 99 מתוכם.

יתכן שבכך נאלצנו להתפשר מעט על השגיאה השנייה, אחוז התרעות השווא, והיא עומדת על 2%. נשמע נמוך וסביר מאוד, לא? אז זהו, שממש לא בטוח, כי יש כאמור מדד שלישי. בדוגמה שלנו מדובר בשכיחות חולי הצהבת באוכלוסייה הכללית. נניח כי יש חולה צהבת אחד על כל אלף אזרחים. מחשש למגיפה בעיר מסוימת עם 100 אלף תושבים (נקרא לה "חולנית"), החלטנו לבדוק את כל התושבים בחולנית. אמורים להיות בחולנית 100 חולים, והמודל שלנו יזהה כאמור 99 מתוכם. לצערנו פספסנו חולה אחד, אבל למרות הציווי "כל המציל נפש אחת", עדיין מדובר בהצלחה מרשימה.

אבל למודל יש גם 2% התרעות שווא. ברשותכם, לא אדייק לגמרי ואומר שנאבחן בחולנית כאלפיים אנשים בריאים כחולי צהבת! בנוסף לכך, המשמעות היא שבתוך כלל האנשים שהמודל איבחן כחולים, רק אחוז קטן באמת חולים (99 מתוך כ-2,100). אם הטיפול הנדרש במקרה הזה הוא השתלת כבד, האם נשתיל כבד ל-2,000 אנשים בריאים כדי להציל 99 חולים? אני מקווה שאתם מסכימים איתי שהתוצאות של המודל מתחילות להיראות קצת פחות טוב.

אז מה עושים? שואפים להוריד דרמטית את מדד יחס החולים אל מול הבריאים באוכלוסייה הנבדקת. בדוגמה שלנו, נפעיל את המודל אך ורק על אנשים שמגלים סימפטומים של צהבת. כנראה שרובם אכן חולי צהבת, וגם אם לאורך הזמן נבדוק בפועל גם 100 אנשים בריאים, 2% התרעות שווא יצביעו לכל היותר על שניים מתוכם. זה כבר נשמע הרבה יותר סביר.

לסיום, נסו לחשב מהו 1% מ-300 מיליון תושבי ארה"ב. חישבתם? זו הסיבה שקשה למצוא טרוריסטים בלמידת מכונה. ושרק תהיו בריאים!

יעקב רימר

ד"ר יעקב רימר | |מיסטר ביג ומר דאטה

תגובות

הזינו שם שיוצג כמחבר התגובה
בשליחת תגובה זו הנני מצהיר שהינני מסכים/ה עם תנאי השימוש של אתר הארץ