מה שיותר עמוק יותר חכם? - מיסטר ביג ומר דאטה - הבלוג של ד"ר יעקב רימר - TheMarker
 

טרם ביצעת אימות לכתובת הדוא"ל שלך. לאימות כתובת הדואל שלך  לחצו כאן

תיק מניות

רשימת קריאה

רשימת הקריאה מאפשרת לך לשמור כתבות ולקרוא אותן במועד מאוחר יותר באתר,במובייל או באפליקציה.

לחיצה על כפתור "שמור", בתחילת הכתבה תוסיף את הכתבה לרשימת הקריאה שלך.
לחיצה על "הסר" תסיר את הכתבה מרשימת הקריאה.

לרשימת הקריאה המלאה לחצו כאן

מה שיותר עמוק יותר חכם?

כל מי שלא אמר ביג-דאטה, בינה מלאכותית ולמידה עמוקה, לא יצא ידי חובה ■ על רשתות נוירונים, למידה עמוקה ומה שביניהן – חלק א'

תגובות
גטי אימג'ס

בפוסט קודם ציינתי שיש שיטות ביג-דאטה שמסוגלות ללמוד ולזהות לבד מאפיינים (או תכונות) שיעזרו ללמידה, גם כשאדם מתקשה למצוא אותן. כלומר, לבחור בעצמן את התכונות שאנו מגדירים עבור כל פריט בנתונים שלנו. שיטה כזו היא למשל "מלכת הכיתה החדשה שנקראת "למידה עמוקה" (Deep Learning).

למידה עמוקה גורמת היום להתרגשות רבה בקרב אנשי ביג-דאטה ובצדק. התוצאות שלה במספר תחומים מצוינות ומהוות פריצת דרך משמעותית. למשל בתחומים הקשורים לראיה ממוחשבת או זיהוי תמונות. יישום מלהיב ומוצלח אחר הוא הניצחון של המכונה את האלופים האנושיים במשחק גו. אחרי תבוסת האדם למכונה במשחק השחמט בסוף המילניום שעבר, המשחק גו היה נחשב לפסגת האינטליגנציה האנושית, שלנצח תעמוד בפני הבינה המלאכותית (Artificial Intelligence). ב-2016 הופתענו (או זועזענו, תלוי את מי שואלים) לגלות שמכונה מצוידת בלמידה עמוקה מביסה בקלות את האדם גם במשחק גו. עולה כמובן השאלה האם אנחנו לקראת השתלטות המכונות על האנושות. שאלה מעניינת, אבל לא לבלוג הזה.

כל מה שצריך לדעת על קריירה בהייטק
כנסו למתחם

מהי "למידה עמוקה"? זהו הבאזוורד החדש לקאמבק המרשים של רשתות הנוירונים הוותיקות שכיכבו בשנות ה-80 וה-90 של המאה שעברה*. ומהן רשתות נוירונים (מלאכותיות)? שיטת למידת מכונה בהשראת מבנה מוח האדם. המוח שלנו מורכב מתאי עצב (נוירונים) רבים, מעין יחידות חישוב קטנות, שמחוברים אלו לאלו ברשתות של קשרים. מבלי להיכנס לפרטים, רשת נוירונים מלאכותית "קלאסית" מכילה 3 שכבות שמחוברות זו לזו: שכבת יחידות קלט אליה מכניסים את הנתונים, שכבה פנימית של יחידות חישוב ושכבה חיצונית של יחידות פלט, ממנה יוצאות התוצאות (תמונה 1). בתוך כל עיגול מתבצע חישוב, ועל כל קו נרשם מספר.

רשת נוירונים מלאכותית

קיימים אלגוריתמים שונים שמאפשרים לכוונן את חישובי הרשת ואת המספרים על הקווים באמצעות למידה מתוך דוגמות. רשתות כאלו היו ה"מילה האחרונה" בשנות ה-80 של המאה שעברה (כיכבו גם בעבודת המאסטר שלי, בתחילת שנות ה-90). כרגיל הציפיות היו עצומות ושוב כרגיל, כגודל הציפייה גודל האכזבה. רשתות נוירונים מסוגלות לפתור היטב בעיות מסוימות, אבל הרבה מאוד בעיות אחרות - לא. לכן הן ננטשו לטובת שיטות למידה אחרות. אחת הסיבות שתרמו לנטישה שלהן היתה גם חוסר היכולת להבין את אופן החישוב של התוצאות. בגלל שכבת החישוב הפנימית, שמכונה גם שכבה נסתרת, רשתות נוירונים הן "קופסה שחורה" וקשה להבין איך לכוונן אותן.

ובכן, למידה באמצעות רשתות נוירונים עמוקות נקראת למידה עמוקה. ברשתות האלו, במקום שכבה פנימית אחת של יחידות חישוב, משתמשים בכמה שכבות (למשל שלוש שכבות בתמונה 2). כמה? שאלה מצוינת. ומתי רשת נוירונים נחשבת לעמוקה? החל משלוש שכבות? עשר שכבות? הרבה שאלות מצוינות, שאין להן הגדרה חד משמעית. עקרונית אין הבדל תאורטי בין רשת עם שכבה אחת (=רשת רדודה), ורשתות עם כמה שכבות (כלומר עמוקות). אבל מעשית, מסתבר שרשתות עמוקות נותנות תוצאות טובות יותר.

תמונה 2: רשת נוירונים עמוקה

למה רשתות עמוקות מצליחות יותר מרשתות נוירונים רדודות? אקדים ואומר שלא תמיד ברור (כאמור, מדובר ב"קופסה שחורה"). אבל יש סיבה אחת שמיד קופצת לעין. ברשתות עמוקות יש בדרך כלל הרבה יחידות חישוב פנימיות (כלומר, הרבה עיגולים וקווים). זה אומר, שיש הרבה מאוד מספרים, פרמטרים בשפה המקצועית, שאפשר "לשחק" איתם. וכשיש יותר פרמטרים, אפשר לקבל תוצאות יותר טובות. אמחיש זאת בצורה גרפית (ויסלחו לי הקוראים המתמטיקאים על חוסר הדיוק). התבוננו בתמונה 3. נניח ואני רוצה לצייר באמצעות קווים ישרים בלבד את הקו העקום (או עקומה) שמופיע בראש התמונה. אם נותנים לי רק שני קווים (אדומים), ואומרים לי שאני יכול לשנות את האורך והכיוון שלהם, כנראה שאגיע לתוצאה דומה לזו שבמרכז התמונה. בערך, אבל לא ממש מדהים. אם יתנו לי ארבעה קווים, כבר אוכל להגיע לתוצאה הרבה יותר טובה (בתמונה למטה). אם לעומת זאת יתנו לי 100 קווים, אני מבטיח להגיע לתוצאה מצוינת (אבל מתעצל לצייר אותה).

תמונה 3 : ניסיונות לצייר (בקירוב) קו עקום באמצעות קווים ישירים.

האם לא הבינו את כל זה בשנות ה-80? ברור שהבינו. הבעיה היא שככל שרשתות מכילות יותר שכבות ויותר נוירונים (כלומר, יותר עיגולים וקווים), צריך הרבה יותר זמן כדי ללמד אותן. ממש הרבה זמן, לפעמים מספר ימים או יותר. ואם זה משך הזמן שנדרש באמצעות טכנולוגית המחשוב של 2018, אפשר להבין מדוע קשה היה להשתמש ברשתות עמוקות לפני 40 שנה. אם כך, האם צריך לתת את הקרדיט לקאמבק שלהן לשיפור המשמעותי בטכנולוגית המחשוב? כן! אבל לא רק. על כך בפוסט הבא.

להעמקה בהיסטוריה של רשתות נוירונים מלאכותיות



תגובות

דלג על התגובות

בשליחת תגובה זו הנני מצהיר שאני מסכים/מסכימה עם תנאי השימוש של אתר TheMarker

סדר את התגובות

כתבות שאולי פיספסתם

*#