חשיבה בייסיאנית Bayesian: אינטואיציה והבנה בסיסית

נתחיל עם דוגמה פשוטה כדי לבנות אינטואיציה.

מניחים לפניך 2 שקיות אטומות המכילות גולות שחורות ולבנות:

• שקית 1: 3 גולות שחורות ו-2 לבנות (סה"כ 5 גולות).
• שקית 2: 2 גולות שחורות ו-2 לבנות (סה"כ 4 גולות).

אתה בוחר באקראי אחת מהשקיות (בסיכוי שווה), שולף ממנה גולה אחת, ורואה שהיא שחורה.

השאלה: מה ההסתברות שהגולה הגיעה משקית 1? ומה ההסתברות שהגיעה משקית 2?

אתה לא יודע מאיזו שקית שלפת, אבל אתה כן יודע שראית גולה שחורה. איך תעדכן את מידת האמונה שלך באיזו שקית מדובר?

חישוב הסתברויות באמצעות דיאגרמת עץ

תיכף נגיע לנוסחת בייס הרשמית, אבל ראשית נפתור את הבעיה באופן ויזואלי ואינטואיטיבי באמצעות דיאגרמת עץ.

לפני ששלפת את הגולה, היה סיכוי של 50% שבחרת בכל אחת מהשקיות. זוהי ההסתברות המקדימה (Prior Probability):

לאחר מכן, קיבלת מידע חדש (ראיה) לפיו הגולה ששלפת היא שחורה. מידע זה מאפשר לעדכן את ההערכה שלך. נוסיף לדיאגרמה את ההסתברות לשלוף גולה שחורה (B) או לבנה (W) מכל שקית:

• בשקית 1, הסיכוי לשלוף גולה שחורה הוא: P(B∣S1)=3/5=0.6.

• בשקית 2, הסיכוי לשלוף גולה שחורה הוא: P(B∣S2)=2/4=0.5.

כעת, כדי לגלות מה הסיכוי הכולל שבחרת בשקית 1 וגם הוצאת גולה שחורה, עליך להכפיל את ההסתברויות לאורך הענף המתאים בדיאגרמה:

$$P(S1∩B)=P(S1)⋅P(B∣S1)=0.5⋅0.6=0.30$$

באותו אופן, עבור שקית 2:

$$P(S2∩B)=P(S2)⋅P(B∣S2)=0.5⋅0.5=0.25$$

אלה ההסתברויות לכל אחד מה"מסלולים" שמובילים לגולה שחורה.

עכשיו מגיע החלק שצריך לשים אליו לב במיוחד! אתה יודע בוודאות שהגולה שבידך היא שחורה. כלומר, אתה נמצא בעולם שבו רק שני המסלולים שחישבת רלוונטיים. ההסתברות הכוללת לקבל גולה שחורה היא סכום ההסתברויות של שני המסלולים:

$$P(B)=P(S1∩B)+P(S2∩B)=0.30+0.25=0.55$$

כדי לענות על השאלה המקורית, "בהינתן שהגולה שחורה, מה הסיכוי שהיא הגיעה משקית 1?", אתה פשוט מחשב איזה חלק מהווה "מסלול שקית 1" מתוך כלל ההסתברות לקבל גולה שחורה:

$$P(S1∣B)=\frac{P(S1∩B)}{P(B)}=\frac{0.3}{0.55}\approx0.55$$

ובשביל לחשב מהי ההסתברות שהגולה הגיעה משקית 2:

$$P(S2∣B)=\frac{P(S2∩B)}{P(B)}=\frac{0.25}{0.55}\approx0.45$$

• בעקבות תהליך העדכון, אתה יודע שגוברים הסיכויים שאת הגולה השחורה שבידך שלפת משקית 1.

התהליך שעשינו באופן, כה טבעי, הוא עדכון הסתברויות: התחלנו מהסתברות ראשונית של 50%, ואחרי כן עדכון התוצאות תוך התחשבות במידע נוסף.

התהליך הזה, של עדכון ההסתברות הראשונית (prior) על סמך ראיות חדשות (evidence) כדי לקבל הסתברות מעודכנת (posterior), הוא הלב הפועם של החשיבה הבייסיאנית.

תהליך העדכון הבייסיאני הוא התהליך הסטטיסטי הטבעי ביותר המחקה במידה רבה את אופן הפעולה של השכל האנושי במצבו המפוכח. מתחילים באיזו השערה לגביה נתקלים או שאוספים נתונים, וככל שהנתונים מתווספים, מעדכנים את ההשערה.

המתמטיקה שמאחורי האינטואיציה: נוסחת בייס

בלי ששמנו לב, בעצם השתמשנו בכל המרכיבים של נוסחת בייס המפורשת:

$$P(H∣E)=\frac{P(E∣H)⋅P(H)}{P(E)}$$

הנוסחה הזו עוזרת לנו לחשב את ההסתברות של השערה (H) מסוימת, בהינתן שראיה (E) כלשהי התרחשה. כאשר H היא היפותזה בהינתן עדות Evidence.

• P(H∣E): ההסתברות המעודכנת (Posterior) - מה שאנחנו רוצים לחשב. בדוגמה שלנו: "מה ההסתברות שהגולה משקית 1 (H), בהינתן שהיא שחורה (E)?"

• P(H): ההסתברות המקדימה (Prior) - מה הייתה ההסתברות להשערה לפני שקיבלנו את הראיה? במקרה שלנו, ההסתברות שמקור הגולה הוא בשקית 1 היא 0.5:

  $$P(S1)= \frac{1}{2}$$

• P(E∣H): הסבירות (Likelihood) - בהנחה שההשערה שלנו נכונה, מה הסיכוי לקבל את הראיה? למשל, אם אנחנו בשקית 1, מה הסיכוי להוציא גולה שחורה (B)?

  $$P(B|S1)= \frac{3}{5}$$

• P(E): הראיה (Evidence) - המכנה נועד לוודא שההסתברויות המעודכנות יתאימו למציאות הכוללת. הוא משמש כגורם נורמליזציה שמחלק את ההסתברויות היחסיות כך שסכומן יהיה 1.

במקרה שלנו, P(E) עונה על השאלה "מהי ההסתברות הכוללת לקבל את הראיה הזו (גולה שחורה), מכל מקור אפשרי?" מכל מקור אפשרי - זה אומר גם משקית 1 וגם משקית 2:

• עבור השקית הראשונה -

  $$P(B|S1)⋅P(S1)=\frac{3}{5}⋅\frac{1}{2}=\frac{3}{10}$$

• עבור השקית השנייה -

  $$P(B|S2)⋅P(S2)=\frac{1}{2}⋅\frac{1}{2}=\frac{1}{4}$$

• סה"כ הסיכוי להמצאות גולה שחורה באחת משתי השקיות:

  $$P(B)=\frac{3}{10}+\frac{1}{4}=\frac{6}{20}+\frac{5}{20}=\frac{11}{20}=0.55$$

עכשיו יש לנו את כל החלקים כדי להציב בנוסחה שתאפשר לנו לחשב את ה-posterior.

עבור השקית הראשונה, נציב בנוסחת בייס:

$$P(H∣E)=\frac{P(E∣H)⋅P(H)}{P(E)}$$

ונקבל:

$$P(S_1 \mid B) = \frac{P(B \mid S_1) \cdot P(S_1)}{P(B)} = \frac{\frac{3}{5} \cdot \frac{1}{2}}{\frac{11}{20}} = \frac{\frac{3}{10}}{\frac{11}{20}} = \frac{\frac{6}{20}}{\frac{11}{20}} = \frac{6}{11}$$

גם את השקית השנייה, נציב בנוסחת בייס, ונקבל:

$$P(S2∣B)=\frac{P(B∣S2)⋅P(S2)}{P(B)}=\frac{\frac{1}{4}}{\frac{11}{20}}=\frac{\frac{5}{20}}{\frac{11}{20}}=\frac{5}{11}$$

כאשר שתי התוצאות מסתכמות ל-1 בדיוק לפי הצפי:

$$\frac{5}{11}+\frac{6}{11}=\frac{11}{11}=1$$

נסכם, התחלנו עם הערכה של 50-50, לפיה הגולות נמצאת באחת משתי השקיות. לאחר שראינו גולה שחורה, עדכנו את ההערכה שלנו:

$$P(S1∣B) ≈ 0.545 \\ P(S2∣B) ≈ 0.455$$

והפכנו להיות מעט יותר בטוחים שמקור הגולה הוא בשקית 1.

דוגמה לבעיה נוספת שניתן לפתור בעזרת נוסחת בייס: מהו הגורם העיקרי לאיחור לעבודה?

בואו נסבך את העניינים מעט כדי לוודא שהבנו. אדם מגיע לעבודה באחת משלוש דרכים:

• ברכב פרטי ב-40% מהימים.
• באוטובוס ב-30% מהימים.
• וביתר הימים על אופניים.

ידועים גם סיכויי האיחור שלו בכל דרך:

• כשהוא נוהג ברכב, הוא מאחר ב-10% מהמקרים.
• כשהוא נוסע באוטובוס, הוא מאחר ב-5% מהמקרים.
• כשהוא רוכב על אופניים, הוא מאחר ב-12% מהמקרים.

שאלה 1: ביום מסוים, האדם איחר לעבודה. באיזה מהדרכים הכי סביר שהגיע?

יש שלוש השערות. נבדוק איזו מהן הכי סבירה לאור הראיות.

לצורך כך, נסמן את ההסתברויות תוך שימוש בנוטציה הבאה:

• L = איחר לעבודה
• Car = הגיע ברכב
• Bus = הגיע באוטובוס
• Bike = הגיע באופניים

שלב 1: נחשב את ה-posterior הלא מנורמל (בלי לחלק בגורם המנרמל P(E)) עבור כל אחד מהמצבים:

$$prior × likelihood \\ Car: P(L|Car)⋅P(Car) = 0.1⋅0.4 = 0.04 \\ Bus: P(L|Bus)⋅P(Bus) = 0.05⋅0.3 = 0.015 \\ Bike: P(L|Bike)⋅P(Bike) = 0.12⋅0.3 = 0.036$$

שים לב שאם אתה צריך רק להשוות בין המצבים, לדוגמה כדי למצוא איזה הכי סביר, מספיק להשוות את הערכים הלא מנורמלים (0.04, 0.015, 0.036).

שלב 2: חישוב P(L), הגורם המנרמל:

$$P(L)=0.04+0.015+0.036=0.091$$

שלב 3: חישוב הפוסטריור המנורמל:

עבור נסיעה ברכב:

$$P(\text{Car}\mid L)=\dfrac{0.04}{0.091}=\dfrac{40}{91}\approx0.4396 $$

עבור הגעה באוטובוס:

$$P(\text{Bus}\mid L)=\dfrac{0.015}{0.091}=\dfrac{15}{91}\approx0.1648$$

ועבור רכיבה על אופניים:

$$P(\text{Bike}\mid L)=\dfrac{0.036}{0.091}=\dfrac{36}{91}\approx0.3956$$

נוודא שסך הפוסטריור המנורמל שווה ל-1:

$$0.4396+0.1648+0.3956=1$$

אם כן, ביום שבו האדם מאחר, ההסתברות הגדולה ביותר היא שהגיע ברכב: כ-44%.

שים לב! למרות שברכב הוא מאחר רק ב-10% מהפעמים, עצם העובדה שהוא נוסע ברכב לעיתים תכופות יחסית הופכת את האפשרות הזו לסבירה ביותר.

זו בדיוק מהות החשיבה הבייסיאנית שקלול ההסתברות הראשונית יחד עם הראיה החדשה.

שאלה 2: מה הסיכוי שרכב על אופניו ביום בו איחר לעבודה?

כדי לענות על השאלה מה הסיכוי שהגיע רכוב על אופניו אם ידוע שאיחר, נחלק את הסיכוי שאיחר כשהגיע רכוב על אופניו בסה"כ הסיכוי שאיחר.

נחשב את סה"כ הסיכוי שאיחר:

$$ P(L) = 0.04 + 0.015 + 0.036 = 0.091 $$

ואז לקבלת התשובה נכניס את סך הסיכוי שאיחר למכנה של נוסחת בייס המלאה:

$$ P(\text{Bike}\mid L) = \frac{P(L\mid \text{Bike}) \cdot P(\text{Bike})}{P(L)} = \frac{0.036}{0.091} \approx 0.3956 $$

מסקנה: הסיכוי שרכב על אופניו אם ידוע שאיחר הוא כ-39.6%.

עדכון מידת האמונה באמצעות חוק בייס

"ספר המה והלמה" של יהודה פרל מספק דוגמה מאירת עיניים לחשיבה בייסיאנית בפעולה.

התרחיש שהוא מתאר הוא הבא:

אתה עומד מול מסוע המזוודות בשדה התעופה לאחר שהטיסה שלך נחתה. ידוע לך שיש סיכוי של 50% שהמזוודה שלך הועמסה למטוס בנמל התעופה, וכל דקה שחולפת מרגע שמסוע המזוודות מתחיל לנוע מגדילה את הסיכוי לראות את המזוודה ב-10%.

עם כל דקה שעוברת מבלי לראות את המזוודה שלך, התקווה שלך לראות את המזוודה דועכת. אבל בכמה בדיוק צריכה לקטון האמונה שלך? משפט בייס מאפשר לך לחשב מספרית.

נגדיר את המשתנים:

ידוע שהסיכוי שהמזוודה הועמסה על המטוס שווה לסיכוי שלא הועמסה:

$$P(M) = P(\neg M) = 0.5$$

נבחין בין שני מצבים: מצב שבו המזוודה הועמסה על המטוס לעומת מצב שבו היא לא הועמסה.

אם המזוודה הועמסה אז בכל דקה שחולפת הסתברות לראות את המזוודה גדלה ב-0.1, ולכן אחרי דקה 1 הסיכוי לראות את המזוודה הוא 0.1 אחרי 5 דקות הסיכוי הוא 0.5 ואחרי 10 דקות הסיכוי הוא 1.

$$P(S_1|M) = 0.1 \\ P(S_5|M) = 0.5 \\ P(S_{10}|M) = 1.0$$

מה שמעניין אותנו הוא ההסתברות שלא נראה את המזוודה אם היא על המטוס שזה המשלים של הערכים לעיל:

$$P(\neg S_1|M) = 1 - P(S_1|M) = 1 - 0.1 = 0.9 \\ P(\neg S_5|M) = 1 - P(S_5|M) = 1 - 0.5 = 0.5 \\ P(\neg S_{10}|M) = 1 - P(S_{10}|M) = 1 - 1 = 0$$

אם המזוודה אינה על המטוס הסיכוי שלא לראותה הוא 100% ללא תלות בכמה זמן שנחכה:

$$P(\neg S_{1} | \neg M) = 1 \\ P(\neg S_{5} | \neg M) = 1 \\ P(\neg S_{10} | \neg M) = 1$$

יש לנו שני צמתים שאנחנו צריכים לקחת בחשבון:

1. האם המזוודה הועמסה על המטוס או שלא הועמסה.
2. חלוף הזמן מתחילת תנועת מסוע המזוודות.

דבר אותו מבטאת דיאגרמת העץ הבאה:

מהדיאגרמה אפשר להבין שצריך לכפול את הסיכויים M (הועמסה על המטוס) ב-S (נצפתה על המסוע כעבור t דקות) כדי לקבל את התשובה.

בהתאם, הסיכוי שלא לראות את המזוודה לאחר דקה 1 אם כן הועמסה על המטוס הוא:

$$P(\neg S_1∩M) = P(M) * P(\neg S_1|M) = 0.5 * 0.9 = 0.45$$

והסיכוי שלא לראות את המזוודה לאחר דקה 1 אם לא הועמסה על המטוס הוא:

$$P(\neg S_1∩ \neg M) = P(\neg M) * P(\neg S_1|\neg M) = 0.5 * 1 = 0.5$$

אותנו מעניין הסיכוי של המאורע שבו המזוודה כן הועמסה מתוך סך כל התוצאות האפשריות ולכן:

$$L_1 = \frac{P(\neg S_1 \cap M)}{P(\neg S_1 \cap M) + P(\neg S_1 \cap \neg M)} = \frac{0.45}{0.45 + 0.5} = \frac{0.45}{0.95} \approx 0.474 = 47.4\%$$

משמע, ההסתברות L1 שהמזוודה אכן הועמסה על המטוס אם לא ראינו אותה אחרי דקה 1 היא 47.4%

נביט על הנוסחה שקיבלנו:

$$L_1 = \frac{P(\neg S_1 \cap M)}{P(\neg S_1 \cap M) + P(\neg S_1 \cap \neg M)}$$

L1 הינה ההסתברות המותנה להיות המזוודה על המטוס בהינתן העובדה שלא ראינו אותה אחרי דקה 1.

או:

$$P(M|\neg S_1) = \frac{P(\neg S_1|M) * P(M)}{P(\neg S_1|M) * P(M) + P(\neg S_1| \neg M) * P( \neg M)}$$

האם זה מזכיר איזושהי נוסחה?

$$P(H|E) = \frac{P(E|H) * P(H)}{P(E|H) * P(H) + P(E| \neg H) * P( \neg H)}$$

נכון. זה מזכיר את נוסחת בייס. כאשר, מכורח הצורך הגענו לפתח אותה.

כאשר:
ההשערה H היא M (הועמס על המטוס)
והעדות E היא ~S (לא נצפתה כעבור t דקות)

נחשב באופן דומה את הסיכוי להיות המזוודה על המטוס אם לא נצפתה לאחר 5 דקות:

$$P( \neg S_5 ∩M) = P(M) * P( \neg S_5 |M) = 0.5 * 0.5 = 0.25$$

$$P( \neg S_5 ∩ \neg M) = P( \neg M) * P( \neg S_5 | \neg M) = 0.5 * 1 = 0.5$$

$$P(M| \neg S_5 ) = \frac{P( \neg S_5 ∩M)}{P( \neg S_5 ∩ M) + P( \neg S_5 ∩ \neg M)} = \frac{0.25}{0.25 + 0.5} = \frac{0.25}{0.75} = 0.333 = 33.3\% $$

משמע, ההסתברות L5 שהמזוודה אכן הועמסה על המטוס אם לא ראינו אותה אחרי 5 דקות היא 33.33%

לאחר 10 דקות הסיכוי לראות את המזוודה פוחת ל-0 כיוון שלפי נתוני השאלה אחרי 10 דקות מגיעים הסיכויים לראות את המזוודה ל-100% אך ורק אם היא על המטוס, והסיכוי המשלים לכך הוא 0:

$$P( \neg S_{10} ∩ M) = P(M) * P( \neg S_{10} |M) = 0.5 * 0 = 0$$

$$P( \neg S_{10} ∩ \neg M) = P( \neg M) * P( \neg S_{10} | \neg M) = 0.5 * 1 = 0.5$$

$$P(M| \neg S_{10} ) = \frac{P( \neg S_{10} ∩M)}{P( \neg S_{10} ∩M) + P( \neg S_{10} ∩ \neg M)} = \frac{0}{0 + 0.5} = 0$$

התרשים להלן עוקב אחר עקומת התקווה הפוחתת במהלך 10 דקות:

ניתן לראות כיצד התקווה המקורית (50% לפני שהמסוע התחיל לנוע) דועכת בהדרגה, עד שאחרי 10 דקות שלמות של המתנה, בייס מאשר דבר אשר האינטואציה האנושית מיטיבה להבין: המזוודה אינה על המטוס.

מדריכים נוספים שעשויים לעניין אותך

חוק בייס (Bayes) וכללי אצבע לחיים - מדריך קליל יותר באותו נושא

סיווג לקבוצות באמצעות למידת מכונה

Confusion matrix ומדדים להערכת המודל

לכל המדריכים בנושא של למידת מכונה

אהבתם? לא אהבתם? דרגו!

0 הצבעות, ממוצע 0 מתוך 5 כוכבים