שְׁאֵלָה:
על מה המשפט של בייס?
user333
2010-07-27 01:30:37 UTC
view on stackexchange narkive permalink

מהם הרעיונות העיקריים, כלומר מושגים הקשורים ל משפט בייס? אני לא מבקש שום גזירה של סימון מתמטי מורכב.

קשורים: http://stats.stackexchange.com/questions/22/bayesian-and-frequentist-reasoning-in-plain-english
אני גם רוצה להציע קישור זה כהסבר ברמה נמוכה כלשהי: http://yudkowsky.net/rational/bayes
משפט בייס יכול להיות בלבול ללא ייצוג חזותי - כמו לעתים קרובות כל כך במתמטיקה.מדוע לא להשתמש בריבועי הסתברות או בעצי הסתברות להסתברות בייסיאנית?כאשר הנתונים החדשים נכנסים, הם מכבים חלק משטח הדגימה (למשל, בדיקה חיובית למחלה מפסיקה בדיקה שלילית).ואז מרחב הדגימה הופך להיות רק תת-קבוצה של ההסתברויות שנבדקות חיוביות, ואפשר לשקול רק את זה.הקושי שיש לי הוא להחיל את בייס על התפלגויות הסתברות במקום הסתברויות דיסקרטיות.המתמטיקה נוראית!
שמונה תשובות:
#1
+24
John L. Taylor
2010-07-27 21:56:35 UTC
view on stackexchange narkive permalink
משפט של בייס הוא תוצאה פשוטה יחסית אך בסיסית של תורת ההסתברות המאפשרת חישוב של הסתברויות מותנות מסוימות. הסתברויות מותנות הן רק ההסתברויות המשקפות את ההשפעה של אירוע אחד על ההסתברות של אחר. בפשטות, בצורתו המפורסמת ביותר היא קובעת כי ההסתברות להשערה בהינתן נתונים חדשים ( P (H | D) הנקראת ההסתברות האחורית) שווה ל המשוואה הבאה: ההסתברות לנתונים שנצפו בהתחשב בהשערה ( P (D | H) ; נקראת ההסתברות המותנית), פעמים בהסתברות התיאוריה להיות נכונה לפני עדויות חדשות ( P (H) נקרא ההסתברות הקודמת ל- H), חלקי ההסתברות לראות את הנתונים, נקודה ( P (D ); נקראת ההסתברות השולית של D).

באופן רשמי, המשוואה נראית כך:

alt text

המשמעות של משפט בייס נובעת בעיקר מכך שהשימוש הנכון בה הוא נקודת מחלוקת בין אסכולות על הסתברות. למשפט Bayesian סובייקטיבי (שמפרש את ההסתברות כדרגות אמונה סובייקטיביות) משפט בייס מהווה את אבן הפינה לבדיקת תיאוריה, לבחירת תיאוריה ולפרקטיקות אחרות, על ידי חיבור שיפוטי ההסתברות הסובייקטיבית שלהם למשוואה, ורצה איתה. בפני תדיר (שמפרש את ההסתברות כ מגבלת התדרים היחסיים), השימוש הזה במשפט של בייס הוא שימוש לרעה, והם שואפים להשתמש במקום קודם לכן משמעותי (לא סובייקטיבי) (כמו גם אנשי Bayesians אובייקטיביים שעדיין לא היו פרשנות נוספת להסתברות).

תשובה טובה. יש לי מריבה קטנה: השימוש במילה "סובייקטיבי" ו"אובייקטיבי "אינו מתאים למדי, משום שאף שיטה איננה" אובייקטיבית ". הייתי אומר יותר שהבייסים התדירים וה"אובייקטיביים "פשוט מפיקים את התפלגויות ההסתברות שלהם באמצעות כללים או סטנדרטים מסוימים. אז במקום להתמודד עם המקרה הספציפי שעומד לרשותו, בייסיאן תכוף / אובייקטיבי ישתמש בבחירות "ברירת מחדל" (ובכך יסתיר את הסובייקטיביות שלהן).
אם אתה מודד משהו בעל ערך אמיתי (נניח את גובה הילדים בגיל 6), אז מה זה P (D)? האם זה קובץ ה- PDF של הנתונים? במקרה כזה פשוט מחשבים את האחורית נקודתית, כך: $ P (x | H | D) = \ frac {P (x | D | H) P (x | H)} {P (x | D )} $?
#2
+14
Dave Kellen
2010-07-27 18:39:36 UTC
view on stackexchange narkive permalink

אני מצטער, אבל נראה שיש כאן בלבול מסוים: משפט בייס אינו עומד לדיון בדיון הבייסיאני- התדיר שאינו נגמר. זה משפט שעולה בקנה אחד עם שתי אסכולות המחשבה (בהתחשב בכך שהוא תואם את אקסיומות ההסתברות של קולמוגורוב).

כמובן, משפט בייס הוא ליבת הסטטיסטיקה של בייסיה, אך המשפט עצמו הוא אוניברסלי. . ההתנגשות בין תכופים לבייסיאנים נוגעת בעיקר כיצד ניתן להגדיר הפצות קודמות או לא.

אם השאלה היא על משפט בייס (ולא על נתונים סטטיסטיים של בייסיה):

Bayes משפט מגדיר כיצד ניתן לחשב הסתברויות מותנות ספציפיות. דמיין למשל שאתה יודע: ההסתברות של מישהו שיש לו סימפטום A, בהתחשב בכך שיש לו מחלה X p (A | X); ההסתברות שמישהו בכלל חולה במחלה X p (X); ההסתברות שלמישהו בכלל יש סימפטום A p (A). בעזרת 3 פיסות המידע הללו תוכלו לחשב את ההסתברות שמישהו חולה במחלה X, בהתחשב בכך שיש לו סימפוטם A p (X | A).

אני לא מסכים בין השאר עם הפסקה הראשונית שלך כיוון שהשאלות שואלות לגבי המושג משפט בייס. הדיון התדיר-בייזיאני * רלוונטי * לחלק זה של השאלה. האקסיומות של קולמוגורוב אינן מעניקות למשפט בייס את אותה חשיבות מושגית כמו לאקסיומות "ההסתברות כמו ההיגיון המורחב".
#3
+8
Andi F
2010-08-13 16:42:08 UTC
view on stackexchange narkive permalink
משפט Bayes הוא דרך לסובב הסתברות מותנית $ P (A | B) $ להסתברות מותנית אחרת $ P (B | A) $.

אבן נגף עבור חלקם היא המשמעות. של $ P (B | A) $. זוהי דרך לצמצם את שטח האירועים האפשריים על ידי התחשבות רק באותם אירועים שבהם $ A $ בהחלט קורים (או נכון). כך למשל ההסתברות שקוביות זרוקות, הוגנות, מציגות שש, $ P (\ mbox {קוביות נוחתות שש}) $, היא 1/6, אולם ההסתברות שקוביות מנחות שש בהתחשב בכך שהנחיתה מספר זוגי, $ P (\ mbox {קוביות נוחתות שש} | \ mbox {קוביות נוחתות אפילו}) $, הוא 1/3.

אתה יכול להפיק בעצמך את משפט בייס באופן הבא. התחל עם הגדרת היחס של הסתברות מותנית:

$ P (B | A) = \ frac {P (AB)} {P (A)} $

כאשר $ P (AB) $ היא ההסתברות המשותפת ל- $ A $ ו- $ B $ ו- $ P (A) $ היא ההסתברות השולית ל- $ A $.

נכון לעכשיו הנוסחה אינה מתייחסת ל- $ P (A | B) $, אז בואו נרשום גם את ההגדרה לכך:

$ P (A | B) = \ frac {P (BA)} {P (B)} $

הטריק הקטן להכנת עבודה זו הוא לראות ש- $ P (AB) = P (BA) $ (מכיוון שאלגברה בוליאנית נמצאת מתחת לכל זה, אתה יכול להוכיח זאת בקלות באמצעות טבלת אמת על ידי הצגת $ AB = BA $ ), כדי שנוכל לכתוב:

$ P (A | B) = \ frac {P (AB)} {P (B)} $

עכשיו כדי לשבץ את זה נוסחה עבור $ P (B | A) $, פשוט כתוב את הנוסחה למעלה כך ש- $ P (AB) $ נמצא משמאל:

$ P (AB) = P (A | B) P (B ) $

והיי פרסטו:

$ P (B | A) = \ frac {P (A | B) P (B)} {P (A)} $

באשר למה הטעם לסובב הסתברות מותנית בדרך זו, שקול את הדוגמה הנפוצה לנסות להסיק את ההסתברות שמישהו חולה במחלה בהתחשב בכך שיש לו תסמין מ ', כלומר, אנו יודעים שיש להם סימפטום - אנחנו יכולים פשוט לראות את זה - אבל אנחנו לא יכולים להיות בטוחים אם יש להם מחלה ועלינו להסיק זאת. אתחיל עם הנוסחה ואעבוד בחזרה.

$ P (\ mbox {disease} | \ mbox {symptom}) = \ frac {P (\ mbox {symptom} | \ mbox {disease} ) P (\ mbox {disease})} {P (\ mbox {symptom})} $

אז כדי לפתור את זה, עליך לדעת את ההסתברות הקודמת לסימפטום, את ההסתברות הקודמת למחלה (כלומר, עד כמה הסימפטום והמחלה שכיחים או נדירים) וגם את ההסתברות שלמישהו יש סימפטום בהינתן לנו יודע שמישהו חולה במחלה (למשל, באמצעות בדיקות מעבדה שדורשות זמן רב).

זה יכול להסתבך הרבה יותר מזה, למשל, אם יש לך מחלות ותסמינים מרובים, אך הרעיון הוא זהה. באופן כללי יותר, משפט בייס מופיע לעתים קרובות אם יש לך תיאוריית הסתברות של קשרים בין גורמים (למשל, מחלות) לבין השפעות (למשל, תסמינים) ואתה צריך לנמק לאחור (למשל, אתה רואה כמה תסמינים שמהם אתה רוצה. להסיק את המחלה הבסיסית).

#4
+5
Tony Breyal
2010-07-27 02:35:30 UTC
view on stackexchange narkive permalink

קיימות שתי אסכולות עיקריות היא סטטיסטיקה: תכופים ובייסיאנים. משפט Bayes קשור לזה האחרון וניתן לראותו כדרך להבין כיצד ההסתברות שתאוריה נכונה מושפעת מראיות חדשות. זה ידוע בשם הסתברות מותנית. ייתכן שתרצה להסתכל על זה כדי להתמודד עם המתמטיקה.

#5
+4
htrahdis
2010-07-27 07:31:39 UTC
view on stackexchange narkive permalink

תן לי לתת לך תובנה מאוד מאוד אינטואיטיבית. נניח שאתה זורק מטבע 10 פעמים ואתה מקבל 8 ראשים ו -2 זנבות. השאלה שתעלה בראשך היא האם מטבע זה מוטה לראשים או לא.

עכשיו אם תעבור לפי הגדרות קונבנציונליות או גישה סבירה של הסתברות אתה יכול לומר שהמטבע אינו משוחד וזה אירוע יוצא דופן. מכאן שתגיע למסקנה שהאפשרות להשיג ראש ליד הטלה היא גם 50%.

אבל נניח שאתה בייסיאן. למעשה היית חושב שמכיוון שיש לך מספר ראשים גבוה במיוחד, המטבע משוחד לצד הראש. ישנן שיטות לחישוב הטיה אפשרית זו. היית מחשב אותם ואז כשאתה זורק את המטבע בפעם הבאה, אתה בהחלט קורא ראשים.

אז, ההסתברות של בייסיה היא על האמונה שאתה מפתח על סמך הנתונים שאתה צופה. אני מקווה שזה היה מספיק פשוט.

כמובן שיש יותר נתונים בזריקת מטבע מאשר רק התוצאה - בייזיאן הגיוני עדיין יתערב כנראה אפילו בגלל משקל נתוני העבר, ומכיוון שהמטבע והמטבע נראה הוגן. אלא אם כן, אינך יכול לראות את המטבע או את המטבע שהופך. במקרה כזה אתה אפילו לא יודע אם הנתונים לא רק מזויפים מלכתחילה, ואתה יכול גם להשליך את הקדימונים שלך מהחלון ...
#6
+3
user3034
2011-02-03 19:13:46 UTC
view on stackexchange narkive permalink
משפט בייס מתייחס לשני רעיונות: הסתברות וסבירות. ההסתברות אומרת: בהתחשב במודל זה, אלה התוצאות. אז: בהינתן מטבע הוגן, אקבל ראשים 50% מהזמן. הסבירות אומרת: בהתחשב בתוצאות אלה, זה מה שאנחנו יכולים לומר על המודל. אז: אם אתה זורק מטבע 100 פעמים ומקבל 88 ראשים (כדי להרים דוגמה קודמת ולהפוך אותו לקיצוני יותר), אז הסבירות שמודל המטבעות ההוגנים נכון אינו כל כך גבוה.

אחת הדוגמאות הסטנדרטיות המשמשות להמחשת משפט בייס היא הרעיון לבדיקת מחלה: אם אתה לוקח בדיקה המדויקת ב 95% למחלה שיש לאחד מכל 10000 מהאוכלוסייה, ואתה נבדק חיובי, מה הסיכוי שיש לך את המחלה?

התשובה הנאיבית היא 95%, אבל זה מתעלם מהנושא ש -5% מהבדיקות ב- 9999 מתוך 10000 אנשים יתנו חיוב כוזב. אז הסיכויים שלך לחלות במחלה נמוכים בהרבה מ- 95%.

השימוש שלי בביטוי המעורפל "מה הסיכוי" הוא מכוון. כדי להשתמש בשפת ההסתברות / הסבירות: הסבירות שהבדיקה מדויקת היא 95%, אך מה שאתה רוצה לדעת הוא הסבירות שאתה חולה במחלה.

מעט מחוץ לנושא: הדוגמה הקלאסית האחרת אשר משפט בייס משמש לפתרון בכל ספרי הלימוד הוא בעיית מונטי הול: אתה במופע חידונים. יש פרס מאחורי אחת משלוש הדלתות. אתה בוחר דלת אחת. המארח פותח דלת שלוש כדי לא לחשוף פרס. האם עליך לעבור לדלת שתיים בהינתן ההזדמנות?

אני אוהב את ניסוח השאלה מחדש (באדיבות ההפניה למטה): אתה במופע חידונים. יש פרס מאחורי אחת ממיליון דלתות. אתה בוחר דלת אחת. המארח פותח את כל שאר הדלתות למעט דלת 104632 כדי לא לחשוף פרס. האם עליך לעבור לדלת 104632?

הספר האהוב עלי ביותר הדן במשפט של בייס, מאוד מנקודת המבט של בייסיה, הוא "תיאוריית המידע, אלגוריתמים מסקנים ולמידה" מאת דייוויד ג'יי סי מקיי. זהו ספר העיתונות של אוניברסיטת קיימברידג ', ISBN-13: 9780521642989. התשובה שלי היא (אני מקווה) זיקוק מסוג הדיונים שנעשו בספר. (חלים כללים רגילים: אין לי שום זיקה למחבר, אני פשוט אוהב את הספר).

#7
+3
probabilityislogic
2011-02-28 15:55:19 UTC
view on stackexchange narkive permalink
משפט Bayes בצורתו הברורה ביותר הוא פשוט הצהרה מחודשת של שני דברים:
  1. ההסתברות המשותפת היא סימטרית בטיעוניה $ P (HD | I) = P (DH | I) $
  2. כלל המוצר $ P (HD | I) = P (H | I) P (D | HI) $

אז על ידי שימוש בסימטריה :

$$ P (HD | I) = P (H | I) P (D | HI) = P (D | I) P (H | DI) $$

$$ P (H | DI) = P (H | I) \ frac {P (D | HI)} {P (D | I)} $$

אז זהו? איך משהו כל כך פשוט יכול להיות כל כך מדהים? כמו ברוב הדברים "המסע הזה חשוב יותר מהיעד". משפט בייס מתנודד בגלל הוויכוחים שמובילים אליו.

מה שחסר מזה הוא שכלל המוצר וסכום הכלל $ P (H | I) = 1-P (\ overline {H} | אני) $, ניתן להפיק באמצעות לוגיקה דדוקטיבית המבוססת על אקסיומות של חשיבה עקבית.

כעת "הכלל" בלוגיקה הדדוקטיבית הוא שאם יש לך קשר "A מרמז על B" אז יש לך גם "לא B מרמז על לא A ". אז יש לנו "נימוק עקבי מרמז על משפט בייס". משמעות הדבר היא "משפט לא בייס מרמז על חשיבה לא עקבית". כלומר, אם התוצאה שלך אינה שווה ערך לתוצאה של בייסיה במשך כמה וכמה סבירות אז אתה מנמק באופן לא עקבי.

תוצאה זו נקראת משפט קוקס והוכחה ב"אלגברה של הסקה אפשרית "בשנות הארבעים. גזירה עדכנית יותר ניתנת בתורת ההסתברות: ההיגיון של המדע.

#8
+2
kgarten
2011-02-03 21:12:13 UTC
view on stackexchange narkive permalink

אני מאוד אוהב את ההקדמה של קווין מרפי למשפט בייס http://www.cs.ubc.ca/~murphyk/Bayes/bayesrule.html

הציטוט כאן הוא ממאמר כלכלן:

http://www.cs.ubc.ca/~murphyk/Bayes/economist.html

מהותה של הגישה הבייסית היא לספק כלל מתמטי המסביר כיצד עליכם לשנות את האמונות הקיימות שלכם לאור ראיות חדשות. במילים אחרות, זה מאפשר למדענים לשלב נתונים חדשים עם הידע או המומחיות הקיימים שלהם. הדוגמה הקנונית היא לדמיין שיילוד טרום-מוקדם צופה בשקיעתו הראשונה, ותוהה האם השמש תזרח שוב או לא. הוא מקצה הסתברויות שוות קודם לשתי התוצאות האפשריות, ומייצג זאת על ידי הצבת שיש אחד לבן ושחור בשקית. למחרת, כשהשמש זורחת, הילד מניח עוד שיש לבן בתיק. ההסתברות ששיש שנקטף באקראי מהתיק יהיה לבן (כלומר מידת האמונה של הילד בזריחות עתידיות) הלכה אפוא מחצי לשני שליש. לאחר הזריחה למחרת, הילד מוסיף עוד שיש לבן, וההסתברות (וכך מידת האמונה) עוברת משני שליש לשלושה רבעים. וכן הלאה. בהדרגה, האמונה הראשונית שהשמש נוטה באותה מידה לא לעלות בכל בוקר משתנה כך שהיא הופכת לוודאות כמעט שהשמש תמיד תזרח.



שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...