חיפוש אחר משמעות סטטיסטית בגן השבילים המתפצלים

חשבתי על מבוך של מבוכים, על מבוך מתפשט ומפותל אחד שיקיף את העבר ואת העתיד...
הרגשתי כי לפרק זמן לא ידוע, אני צופה מופשט של העולם.
לואיס בורחס (1941)

החיפוש אחר משמעות בסטטיסטיקה

המרדף אחר ידע כרוך לעיתים קרובות במרדף אחר מובהקות סטטיסטית. אתה מחפש תבניות, מגלה מגמות, ומנסה לספר סיפור קוהרנטי על העולם. אך מה קורה כאשר החיפוש הזה מוביל אותך אל תוך מבוך סמוי מן העין, אשליה סטטיסטית. שני כשלים קשורים אך נפרדים עלולים להכשיל אותך בדרך: p-hacking וגן השבילים המתפצלים.

מסעות דיג ומלכודת הגילויים הכוזבים

תנסה רגע לדמיין דייג המטיל את הרשת שלו לאוקיינוס, מבלי לדעת מה יתפוס. אם ימשיך להשליך את הרשת מספיק פעמים, בסופו של דבר ימצא משהו מעניין. אולי דג נדיר. אך האם פירוש הדבר שדגים נדירים נפוצים באוקיינוס, או שהוא פשוט היה בר מזל?

המקבילה בעולם הסטטיסטיקה מכונה "מסע דיג" (fishing expedition): חיפוש נתונים ללא השערה מוגדרת מראש, בתקווה להיתקל בתוצאה מובהקת. גישה זו עלולה להוביל לגילויים כוזבים, שכן אקראיות לבדה עלולה ליצור דפוסים שרק נראים משמעותיים בשל נפילה למלכודת של אחד משני כשלים: p-hacking או גן השבילים המתפצלים.

p-hacking: הדג מסריח מהראש

p-hacking מתרחש כאשר חוקרים במודע או שלא במודע מתמרנים את הנתונים, את שיטות הניתוח או את סף המובהקות כדי לייצר תוצאות מובהקות. זה עשוי לכלול דיווח סלקטיבי רק על תוצאות מובהקות, השמטת נתונים לא נוחים, או חזרה על בדיקות שונות עד שמשהו "מצליח" לרדת מתחת לרף המלאכותי של 0.05. במילים אחרות, מדובר במאמץ מודע למקסם את הסיכוי לפרסום, ולא את הסיכוי לאמת.

גן השבילים המתפצלים: הכשל הסמוי מהעין

חוקרים מיומנים מכירים היטב את הסכנה של p-hacking. אך רבים מהם עדיין נופלים קורבן למלכודת שהרבה יותר קשה לזהות כשל גן השבילים המתפצלים.

את המונח טבע אנדרו גלמן (Gelman, 2013) לתיאור כשל קוגניטיבי וסטטיסטי הקורה ללא מניפולציה מכוונת בשלב האנליזה בגלל שחוקרים נאלצים לבצע סדרה של החלטות המבוססות על הנתונים. לדוגמה, כיצד לסנן את הנתונים, אילו משתנים לכלול, אילו אינטראקציות לבדוק. לעיתים קרובות ללא תכנון מראש או רישום מקדים רק על סמך הנתונים שהם אספו, והרצון של החוקרים לספר סיפור מעניין.

כל החלטה מובילה את החוקר במסלול אחר, כמו מטייל במבוך האינסופי של בורחס. הבעיה היא שחוקרים אינם שוקלים את כל הדרכים שיכלו לבחור—אלא רק את הדרך שבה הלכו בפועל. המשמעות היא שהתוצאה הסטטיסטית ה"מובהקת" שלהם עלולה להיות תוצר של המסלול האנליטי שנבחר, ולא ביטוי של תופעה אמיתית.

איך כשל גן השבילים המתפצלים גרם לחוקר מכובד להאמין ביכולות על טבעיות?

דוגמה מרתקת לכשל גן השבילים המתפצלים אפשר לראות במחקר שמצא שסטודנטים בנים יכולים לנחש תמונות ארוטיות ובכך מפגינים, לכאורה, יכולות על-חושיות. התוצאות זכו להד תקשרותי נרחב, לצד ספקנות רבה מצד הקהילה המדעית מה גם שנסיונות לשחזר את תוצאות הניסויים באופן בלתי תלוי כשלו.

במאמר, שהופיע בכתב עת מוביל בזכות תוצאה מובהקת סטטיסטית, דווחו תוצאות תשעה ניסויים שלכאורה אישרו את קיומה של תפיסה על-חושית. המחקר משך אש לא רק בשל הטענות החריגות שבו, אלא גם בשל מספר האפשרויות האנליטיות הרבות שהוא אפשר.

עיקר הבעיה נעוץ במספר דרגות החופש הרבות במחקר. לדוגמה, בניסוי הראשון, דווח על אפקט מובהק עבור תמונות ארוטיות, אך לא עבור תמונות שאינן ארוטיות. עם זאת, היו אינספור השוואות נוספות שאפשר היה לבצע: שיעורי זיהוי כלליים, השוואות בין החצי הראשון לחצי השני של הניסוי (עשויות להעיד על תהליכי למידה או עייפות), ואפילו הבדלים בין המינים. כל אחת מהבחירות הללו מייצגת בחירה שונה, התפצלות שונה, מסלול אחר בגן השבילים המתפצלים. הבעיה היא שהתוצאה הסופית נבחרה מתוך מערך רחב של ניתוחים אפשריים, וכל אחד מהם עלול היה להניב תוצאה מובהקת רק במקרה, כי כשיש לך כל כך הרבה סיפורים לספר הסיכוי שאחד מהם במקרה, וללא קשר למציאות, יהיה מובהק עולה בגלל בעיית ההשוואות מרובות.

למרות שעורך המחקר טען שההשערה המרכזית שלו הוגדרה מראש והתבססה על ניסויים קודמים בתחום "התחושה המוקדמת", מבקרי המחקר הדגישו שתהליך ניתוח הנתונים אפשר בדיקה של מספר השערות סטטיסטיות. מסלול מרובה נתיבים זה עלול לגרום לכך שהמובהקת המדווחת עלולה שלא לשקף אפקט אמיתי, אלא להיות תוצר של בחירה סלקטיבית של מסלול אנליטי מתוך רבים. צריך לחשוב על חוקר שיושב על כל הנתונים שאסף ומנסה לספר סיפור, והוא יכול ללכת בנתיבים רבים אבל בגלל שיש לו נתונים הוא בוחר, פעמים רבות שלא מדעת, בתוצאה המסויימת אשר מאפשרת לו לספר סיפור מעניין.

הלקח הוא שאפילו מחקרים המבוצעים מתוך כוונה טובה עלולים, ללא כוונה תחילה, להניב ממצאים כוזבים כאשר לחוקרים יש יותר מדי דרגות חופש בתהליך ניתוח הנתונים.

כיצד להימנע מליפול למלכודת גן השבילים המתפצלים

1. לפני שאתה עורך אנליזה, תכין תוכנית פעולה

הדרך הטובה ביותר להימנע מהמלכודת היא רישום מוקדם (pre-registration) של השערות ושיטות ניתוח, עוד לפני צפייה בנתונים. אם זה אינו מעשי, אפילו התחייבות בלתי פורמלית (כגון כתיבה במחברת מעבדה) יכולה להפחית את ההטיה.

2. היה שקוף לגבי הדרך שעשית

אם שינית את דרך ניתוח הנתונים תוך כדי תנועה, ציין זאת. פרט את ההחלטות שקיבלת, את המבחנים שביצעת, ואת הדרכים שהובילו למבוי סתום. על הקוראים לקבל את התמונה המלאה, לא רק את התוצאה הסופית.

3. הבחן בין חקירה לאישוש

ניתוח חקירתי (exploratory) הוא לגיטימי ואף הכרחי, אך אין להציג אותו כהוכחה חותכת. אם גילית דפוס מעניין, תציג אותו כהשערה חדשה ולא כממצא סופי.

4. חזור על הבדיקה עם נתונים נוספים

אם התוצאה שלך מייצגת גילוי אמיתי ולא תופעה מקרית, היא צריכה להחזיק מעמד בניסוי בלתי תלוי או באימות באמצעות סט נתונים אחר. בהקשר זה, גם סט נתונים סינטטי שעליו מריצים את הניסוי עשוי להוסיף חוזק למסקנות.

5. בצע בדיקת שפיות (Sanity Check)

לאחר ניתוח הנתונים, תעצור לרגע ותשאל את עצמך: כיצד הממצאים משתלבים עם הידע הקיים בתחום? אם התוצאות שהתקבלו חריגות מאוד או מפתיעות במיוחד, אתה תהיה חייב למצוא עדויות חזקות ממובהקות סטטיסטית כדי לתמוך בהם אבל לפני כל דבר אחר, תבדוק את עצמך על מנת להבטיח שהממצאים אינם תוצר של בחירות אנליטיות בלתי מודעות או של הטיות קוגנטיביות.

מסקנה: צריך לחבק את המורכבות או לפחות להיות מודע לקשיים בשיקוף שלה

בסופו של דבר, נפילה לתוך מלכודת גן השבילים המתפצלים היא כמעט בלתי נמנעת. כחוקר, אתה לא רק מחפש אמת אלא גם ובעיקר מספר סיפורים שבשאיפה תהיה להם משמעות בעולם. אך בחיפוש אחר קוהרנטיות, אתה עלול למצוא משמעות במקום שבו אין כזו. בדומה לילד שמסתכל בעננים ורואה כובע, קוסם או שפן.

עם זאת, הכרה בקיומם של השבילים הנסתרים ושקיפות בנוגע להחלטות האנליטיות שאתה מקבל הם אמצעים קריטיים בדרך למחקר אמין יותר. האתגר איננו רק למצוא סיפור טוב, אלא גם לזהות את הכתם העיוור בשדה הראייה שלך — המקומות שבהם האקראיות מתחפשת לסדר, והמציאות מספרת לך סיפורים אותם לא ניתן לאשש.

כדאי לקרוא גם

את המאמר עליו התבסס המדריך:

The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time (Gelman, 2013)

מדריכים נוספים באתר רשתטק:

איך שוב לא תיפול בפח הסטטיסטיקה - על כשלים סטטיסטיים ועל פתרונם

Confusion matrix ומדדים להערכת המודל

איך למצוא את מספר הדוגמאות הדרושות ללמידת מכונה?

באיזה מבחן סטטיסטי להשתמש?

10 הטיות קוגנטיביות שאתה חייב להכיר

חוק בייס (bayes) וכללי אצבע לחיים

מדריכים נוספים בסדרה על למידת מכונה

אהבתם? לא אהבתם? דרגו!

0 הצבעות, ממוצע 0 מתוך 5 כוכבים