בעיה בשווי עשרות מיליארדי דולרים: העולם המדעי נמצא במשבר

משבר ההדירות - תופעה שבה לא מצליחים לשחזר תוצאות מחקרים – מעמיק והולך והמאמץ לפתור אותו צובר תאוצה. למרות זאת, חשוב לזכור שהמחקר המדעי הוא עדיין הדרך הטובה ביותר שיש לנו כדי ללמוד על העולם

שתפו כתבה במיילשתפו כתבה במייל
שתפו כתבה במיילשתפו כתבה במייל
מעבר לטוקבקים
בנייה בתל אביב

בשבוע שעבר כתבתי על מחקר מפורסם שעשה גלים רבים, עד שהתגלה כי חוקרים אחרים לא הצליחו לשחזר את רוב ממצאיו. בעקבות כך, אחת הפטרוניות של הבלוג התעניינה עד כמה התופעה שבה לא מצליחים לשחזר תוצאות מחקרים נפוצה. לצערנו הרב, השכיחות שלה כל כך גבוהה עד שמדובר בבעיה של ממש בעולם המדעי, שעולה לאנושות עשרות מיליארדי דולרים בשנה. האקדמיה ללשון העברית נתנה ליכולת לשחזר מחקר בהצלחה את השם "הדירות". לכן אנחנו מדברים כאן על משבר ההדירות, רק כזה שממש לא קשור לנדל"ן.

יש כמה פרויקטים שניסו לשחזר כמות יחסית גדולה של מחקרים, שמעידים עד כמה התופעה חמורה. קבוצת חוקרים מכל רחבי העולם ניסתה לשחזר 100 מאמרים מכתבי עת מובילים בפסיכולוגיה, והצליחה להגיע לתוצאות מובהקות רק ב-36 מהם. על אף שלרוב ענף הפסיכולוגיה סופג המון ביקורת בתחום הדירות, קושי בשחזור מחקרים נפוץ בכל תחומי המדע. כך למשל, ניסיון לשחזר 53 מחקרים פרה קליניים בסרטן הסתיים בהצלחה לשחזר שישה בלבד. כתב העת המדעי המפורסם Nature ריאיין לפני חמש שנים כ-1,500 מדענים ממגוון תחומים, מפיזיקה עד מדעי כדור הארץ. 70% מהם הודו כי מתישהו במהלך הקריירה שלהם הם ניסו ולא הצליחו לשחזר מחקר כלשהו. בנוסף, 50% מהם הודו שהם לא הצליחו לשחזר מחקר שהם עצמם ביצעו. מדובר במספרים מדאיגים ביותר.

הגורם העיקרי שאותו נהוג להאשים במצב הוא "תעשיית המאמרים". חוקרים באקדמיה נבחנים בראש ובראשונה לפי כמות המאמרים שהם מפרסמים, בפרט בכתבי עת חשובים. לכן הם מנסים לפרסם כמה שיותר מאמרים ובכל מחיר. הפסיכולוג בריאן נוזק הגדיר זאת נהדר כשאמר (בתרגום חופשי) "שהרבה פחות מפחיד לגלות שהתוצאות של המחקר שלך לא נכונות, והרבה יותר מפחיד שהן לא יתפרסמו". כאשר חקר האמת אינו ניצב בראש סולם העדיפויות, אנחנו בבעיה.

אין זה אומר שהחוקרים מזייפים נתונים או תוצאות (אם כי גם מקרים כאלה קורים), אבל אפשר לבצע את ניתוח המידע בצורה מוטית, כך שהסיכוי לקבל תוצאה מובהקת יגדל. אפשר לכתוב על כך ספרים שלמים, אך היריעה קצרה, לכן רק אציין בקצרה שיטות כמו לקיחת קבוצת נבדקים קטנה, בחינה של המון פרמטרים ושאלות (דבר שמגדיל את הסיכוי שלפחות במקרה אחד תתקבל תוצאה רצויה), והמנעות מתיקון סטטיסטי של הטיות פוטנציאליות.

חוקרים יכולים גם לפרסם רק את הדברים שהם קיבלו בהם תוצאה טובה, ולהתעלם מכל אותם המקרים שבהם לא התגלה אפקט, וכך להציג תמונה חלקית של הדברים, שעשויה להתפרש לא נכון, אבל להגדיל את הסיכוי לפרסום של המאמר.

תחום שסובל ממוניטין גרוע

תחום שחזור המחקרים סובל גם ממוניטין גרוע. חוקרים רבים מעדיפים שלא לעסוק בכך. לרבים מרגיש הרבה יותר מעניין לנסות לגלות דברים חדשים מאשר להתמודד עם ממצאים קיימים. כבר שמעתי חוקרים שכועסים על משחזרי המחקרים ואומרים שהם צריכים להפסיק לנסות לחפש בנרות מתי העמיתים שלהם טעו, ולהתעסק במקום זה במחקר מקורי שיקדם את המדע קדימה. גם כתבי העת המדעיים פחות מתעניינים בנושא, ומקבלים לפרסום הרבה פחות מאמרים שמנסים לשחזר מחקרים אחרים.

באופן מעניין, למאמר שלא מצליח לשחזר מחקר אחר יש סיכוי נמוך הרבה יותר להתקבל לפרסום מאשר למאמר שמצליח בשחזור, זאת על אף שמאמר מהסוג הראשון מחדש לנו יותר. כנראה שעדיין הרבה יותר קל להשלים עם ממצא שמתאים לנורמה, מאשר עם משהו שגורם לנו לחשוב מחדש.

עם זאת, בעשור האחרון דברים החלו להשתנות. ככל שמימדיו של משבר שחזור המחקרים מתבררים והולכים, כולנו מבינים שצריך להשקיע מאמץ כדי לפתור אותו. בפסיכולוגיה, למשל, מתחיל להיות נפוץ הרגל שבו החוקרים מצהירים מראש, לפני שהם מתחילים את המחקר, על כל מהלך שהם צפויים לעשות. כשזה קורה, הרבה יותר קשה אחר כך לבצע כל מיני שינויים תוך כדי תנועה כדי לשפר את התוצאות.

מעבר לכך, יש כיום הרבה יותר ציפייה מהחוקרים לפרסם את כל מסד הנתונים שעליו הם ביצעו את המחקר, וכן את שיטות המחקר שלהם, כדי שיהיה אפשר לשחזר הכל בצורה אמינה. נפתחו גם מאגרים שאליהם חוקרים מעלים שחזורים כושלים של מחקרים, כדי שגם אם כתבי העת המובילים אינם מתעניינים בכך, עדיין התוצאות יחשפו לכלל.

משבר ההדירות עשוי לגרום לנו לחשוב שכל המחקרים הם שטות גמורה ואסור להאמין בהם. אבל זה לא נכון. כל מה שצריך לעשות הוא ללמוד לקרוא מחקרים בעיניים ביקורתיות ולשאול שאלות, וכמובן לקבל את זה שדברים משתנים וששום תוצאה מדעית לא ניתנת כתורה מסיני. מה שנחשב נכון היום, עלול להתברר מחר כשגוי. ובסופו של דבר, חשוב לזכור דבר נוסף, המחקר המדעי הוא לא מושלם, אבל הוא עדיין הדרך הטובה ביותר שיש לנו כדי ללמוד על העולם, וככל שנבין את המגבלות שלו יותר, כך גם נדע להתמודד איתן.

סיור מוחות

יואב מה-טוב | סיור מוחות

יואב מה-טוב הוא חוקר במרכז למדעי המוח באוניברסיטה העברית. מעביר קורסים והרצאות העשרתיות לכל הגילים במטרה לחשוף את עולם מדעי המוח בצורה חווייתית גם למי שלא למד את הנושא מעולם. פרטים נוספים ניתן למצוא באתר.

תגובות

הזינו שם שיוצג באתר
משלוח תגובה מהווה הסכמה לתנאי השימוש של אתר TheMarker