שְׁאֵלָה:
הסבר אינטואיטיבי לחלוקה ב- $ n-1 $ בעת חישוב סטיית התקן?
Tal Galili
2010-10-24 03:04:57 UTC
view on stackexchange narkive permalink

נשאלתי היום בכיתה מדוע אתה מחלק את סכום השגיאה הריבועית ב- $ n-1 $ במקום ב- $ n $ בעת חישוב סטיית התקן.

אמרתי שאני לא הולך ענה על כך בכיתה (מכיוון שלא רציתי להיכנס לאומדנים משוחדים), אך בהמשך תהיתי - האם יש הסבר אינטואיטיבי לכך ?!

הייתי רוצה לצטט את הזינגר הזה מהספר * מתכונים מספריים *: "... אם ההבדל בין $ n $ ל- $ n-1 $ אי פעם חשוב לך, אז כנראה שבכל מקרה אין לך שום דבר טוב - למשל, מנסה לבסס השערה מפוקפקת עם נתונים שוליים. "
הסבר אינטואיטיבי ואלגנטי באמת מוצג כאן (מתחת להוכחה) https://en.wikipedia.org/wiki/Bessel%27s_correction#Proof_of_correctness_-_Alternate_3 הרעיון הבסיסי הוא שהתצפיות שלך, באופן טבעי, יהיו קרובות יותר ל ממוצע מדגם מאשר ממוצע האוכלוסייה.
@Tal, זו הסיבה שבתי ספר מבאסים.אתה שואל אותם "למה * זה *?", והם עונים "פשוט תשנן את זה".
אם אתם מחפשים הסבר אינטואיטיבי, עליכם לראות את הסיבה לעצמכם על ידי לקיחת דגימות בפועל!צפו בזה, זה בדיוק עונה לכם על השאלה. https://www.youtube.com/watch?v=xslIhnquFoE
** tl; dr: ** (מהתשובה העליונה :) "... סטיית התקן המחושבת באמצעות חריגות מהמדגם ממזערת את סטיית התקן הרצויה של האוכלוסייה ..." ראה גם: https: // he.wikipedia.org / wiki / Unbiased_estimation_of_standard_deviation # Bias_correction אז, אלא אם כן מתחשק לך לחשב משהו מורכב משהו, פשוט השתמש ב- n-1 אם זה ממדגם.
חֲמֵשׁ עֶשׂרֵה תשובות:
#1
+113
Michael Lew
2010-10-24 08:46:26 UTC
view on stackexchange narkive permalink

סטיית התקן המחושבת עם מחלק $ n-1 $ היא סטיית תקן המחושבת מהמדגם כאומדן של סטיית התקן של האוכלוסייה ממנה נלקח המדגם. מכיוון שהערכים הנצפים נופלים, בממוצע, קרוב יותר לממוצע המדגם מאשר לממוצע האוכלוסייה, סטיית התקן המחושבת באמצעות סטיות מממוצע המדגם ממעיטה בערך סטיית התקן הרצויה של האוכלוסייה. שימוש ב- $ n-1 $ במקום ב- $ n $ כאשר המחלק מתקן זאת על ידי הגדלת התוצאה מעט יותר.

שים לב שלתיקון יש השפעה פרופורציונלית גדולה יותר כאשר $ n $ קטן מאשר כשהוא גדול, וזה מה שאנחנו רוצים מכיוון שכאשר n גדול יותר, ממוצע הדגימה עשוי להיות אומדן טוב של ממוצע אוכלוסיה.

כאשר המדגם הוא כל האוכלוסייה אנו משתמשים בסטיית התקן עם $ n $ כמחלק מכיוון שממוצע המדגם הוא ממוצע אוכלוסיה.

(אני מציין בסוגיות ששום דבר שמתחיל ב"רגע שני שנמצא מחדש סביב אמצעי ידוע ומוגדר "לא ימלא את בקשת השואל להסבר אינטואיטיבי.)

אל לנו לבלבל בין "אינטואיטיבי" לבין "לא טכני".
@Michael, זה לא מסביר מדוע אנו משתמשים `n -1 במקום" n -2 "(או אפילו" n -3 ")?
@Pacerier עיין בתשובת וובר למטה לקבלת פרטים על הנקודה הזו.למעשה, התיקון הוא n-1 ולא n-2 וכו 'מכיוון שהתיקון n-1 נותן תוצאות שקרובות מאוד למה שאנחנו צריכים.תיקונים מדויקים יותר מוצגים כאן: http://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation
שלום @Michael, אז מדוע סטייה המחושבת מממוצע המדגם נוטה להיות קטנה יותר מממוצע האוכלוסייה?
"מכיוון שהערכים הנצפים נופלים, בממוצע, קרוב יותר לממוצע המדגם מאשר לממוצע האוכלוסייה, סטיית התקן המחושבת באמצעות סטיות מממוצע המדגם ממעיטה בערך בסטיית התקן הרצויה של האוכלוסייה."מדוע המשמעות של המדגם תמיד מזלזלת?מה אם זה מעריך יתר על המידה?
-1
#2
+80
sevenkul
2014-02-21 20:40:47 UTC
view on stackexchange narkive permalink

בהגדרה, השונות מחושבת על ידי לקיחת סכום ההבדלים בריבוע מהממוצע וחלוקת הגודל. יש לנו את הנוסחה הכללית

$ \ sigma ^ 2 = \ frac {\ sum_ {i} ^ {N} (X_i- \ mu) ^ 2} {N} $ איפה $ \ mu $ הוא הממוצע ו- $ N $ הוא גודל האוכלוסייה.

על פי הגדרה זו, יש לחשב באופן זה גם את השונות של המדגם (למשל $ t $ לדוגמא) .

$ \ sigma ^ 2_t = \ frac {\ sum_ {i} ^ {n} (X_i- \ overline {X}) ^ 2} {n} $ איפה $ \ overline { X} $ הוא הממוצע ו- $ n $ הוא גודל המדגם הקטן הזה.

עם זאת, לפי שונות הדגימה $ S ^ 2 $, אנו מתכוונים לאומדן של שונות האוכלוסייה $ \ סיגמא ^ 2 $. כיצד נוכל להעריך $ \ sigma ^ 2 $ רק על ידי שימוש בערכים מהמדגם?

על פי הנוסחאות לעיל, המשתנה האקראי $ X $ חורג מהמדגם אומר $ \ overline {X} $ עם שונות $ \ sigma ^ 2_t $. ממוצע הדוגמה $ \ overline {X} $ חורג גם מ- $ \ mu $ עם שונות $ \ frac {\ sigma ^ 2} {n} $ מכיוון שממוצע לדוגמא מקבל ערכים שונים מדגימה לדוגמא וזה משתנה אקראי עם ממוצע $ \ mu $ ושונות $ \ frac {\ sigma ^ 2} {n} $. (אפשר להוכיח בקלות.)

לכן, בערך, $ X $ צריך לסטות מ $ \ mu $ עם שונות הכוללת שתי שונות, אז הוסף את שני אלה וקבל $ \ sigma ^ 2 = \ sigma ^ 2_t + \ frac {\ sigma ^ 2} {n} $. על ידי פתרון זה, אנו מקבלים $ \ sigma ^ 2 = \ sigma ^ 2_t \ times \ frac {n} {n-1} $. החלפת $ \ sigma ^ 2_t $ נותנת את האומדן שלנו לשונות האוכלוסייה:

$ S ^ 2 = \ frac {\ sum_ {i} ^ {n} (X_i- \ overline {X}) ^ 2} {n-1} $.

אפשר גם להוכיח ש- $ E [S ^ 2] = \ sigma ^ 2 $ נכון.

אני מקווה שזה לא טריוויאלי מדי: האם העובדה שממוצע הדוגמה מתכנס ל- ND ($ \ mu $, $ \ frac {\ sigma} {\ sqrt {n}} $) מכיוון ש- n נהיה גדול באופן שרירותי הסיבה מדועממוצע לדוגמא חורג מהממוצע האמיתי עם שונות $ \ frac {\ sigma ^ 2} {n} $?
זהו הסבר טוב יותר מהאחרים מכיוון שהוא מראה את המשוואות והגזירות במקום פשוט ללכת ליגא יגגה עם מונחים סטטיסטיים.
@sevenkul האם נוכל לראות זאת באופן חזותי?כשאומרים, X צריך לחרוג מ- $ \ mu $ עם השונות נטו זו, אני אבוד בדמיוני זה
@whuber ו- sevenkul ... או מי שעוד יודע את התשובה.מדוע השונות הכוללת של האוכלוסייה תהיה סכום השונות של המדגם מממוצע המדגם והשונות של ממוצע המדגם עצמו?איך נסכם את השונות?תודה!
אולי ניתן לחשוב על (1) ציפייה לשינוי במדגם ו- (2) וריאציה של ממוצע לדוגמא בשני מונחים של "חוק השונות הכוללת".ראה [כאן] (https://math.stackexchange.com/q/1742578) לקבלת אינטואיציה והוכחה.
הנה הוכחה אמפירית מהירה בפיתון: `SDs = np.array ([np.random.normal (size = 10) .std () עבור i בטווח (10000)]);SDs.mean () `- הערכה צפויה של סטיית התקן אינה מוערכת (<1) אם לא מוחל על מינוס 1.
למרות שתיקון "מינוס 1" לא פותר את הבעיה לחלוטין: `SDs = np.array ([np.random.normal (size = 50) .std (ddof = 1) עבור i בטווח (100000)]);SDs.mean () `- הערך הצפוי של סטיית התקן הוא עדיין ~ 0.995 (לאחר ריצות מרובות).
מה זה $ \ sigma ^ 2_t $ ו- $ E $?
לא בטוח מדוע אבל נראה ש- statex נוטה לתשובות שמשתמשות בסגנון כתיבה לא כל כך פשוט ובכל זאת מסבירות את הדברים מספיק לעומק (לא תמיד עומק שאליו היינו יכולים להגיע).התשובה שלך שונה, יש לכנות את התשובה שלך באותיות מודגשות 'אינטואיטיבי'.
#3
+59
whuber
2010-10-24 03:21:58 UTC
view on stackexchange narkive permalink

אחת המקובלות היא שהגדרת השונות (של התפלגות) היא הרגע השני שנמצא מחדש סביב ממוצע ידוע ומוגדר, ואילו האומד משתמש בממוצע מוערך . אובדן זה של מידת חופש (בהתחשב בממוצע, אתה יכול ליצור מחדש את מערך הנתונים בידיעה של $ n-1 $ בלבד מערכי הנתונים) דורש שימוש ב- $ n-1 $ במקום ב- $ n $ כדי "להתאים" את תוצאה.

הסבר כזה תואם את השונות המשוערת בניתוח ANOVA ורכיבי שונות. זה באמת רק מקרה מיוחד.

הצורך לבצע איזו התאמה שמנפחת את השונות יכול להיות, לדעתי, להבהיר באופן אינטואיטיבי עם טיעון תקף שאינו רק ex post facto מנופף ביד. (אני זוכר שייתכן שסטודנט טען טיעון כזה במאמרו מ -1908 על מבחן t.) מדוע ההתאמה לשונות צריכה להיות בדיוק גורם של $ n / (n-1) $ קשה יותר להצדיק, במיוחד כאשר לוקחים בחשבון שה- SD המותאם הוא לא אומדן משוחד. (זהו בסך הכל שורש ריבועי של אומדן שונות של השונות. להיות משוחד בדרך כלל אינו שורד טרנספורמציה לא לינארית.) למעשה, ההתאמה הנכונה ל- SD כדי להסיר את ההטיה שלה היא לא גורם של $ \ sqrt {n / (n-1)} $ בכלל!

כמה ספרי לימוד מקדימים אפילו לא טורחים להציג את ה- sd המותאם: הם מלמדים נוסחה אחת (חלקי $ n $) . תחילה הגבתי בצורה שלילית לכך כאשר לימדתי מתוך ספר כזה אבל התחלתי להעריך את החוכמה: להתמקד במושגים וביישומים, המחברים מסירים את כל החבילות המתמטיות הבלתי חשובות. מתברר ששום דבר לא נפגע ואף אחד לא מוטעה.

תודה לך וובר. אני צריך ללמד את התלמידים עם התיקון n-1, ולכן חלוקה ב- n בלבד אינה אפשרות. כפי שנכתב לפני, להזכיר את הקשר לרגע השני זו לא אופציה. אם כי אם להזכיר כיצד העריכו את הממוצע כבר והשאיר אותנו עם פחות "נתונים" עבור ה- SD - זה חשוב. לגבי ההטיה של ה- SD - נזכרתי שנתקלתי בה - תודה שנסעת לנקודה זו הביתה. הכי טוב, טל
@Tal כתבתי בשפה שלך, לא זו של התלמידים שלך, כי אני בטוח שאתה מסוגל לחלוטין לתרגם את זה לכל מה שאתה יודע שיגיע אליהם. במילים אחרות, פירשתי "אינטואיטיבית" בשאלתך כמשמעות אינטואיטיבית עבור * אתה *.
היי וויבר. תודה על הצבעת האמון :). הרופף של מידת החופש לאמידת התוחלת הוא כזה שחשבתי להשתמש בו בכיתה. הבעיה היא שהמושג "דרגות חופש" כשלעצמו הוא מושג שזקוק לידע / אינטואיציה. אך שילוב זה עם כמה מהתשובות האחרות שניתנו בשרשור זה יועיל (בעיני, ואני מקווה שאחרים יהיו בעתיד). הכי טוב, טל
עבור $ n $ גדולים, בדרך כלל אין הבדל גדול בין חלוקה ב- $ n $ או $ n-1 $, ולכן יהיה מקובל להציג את הנוסחה הלא מתוקנת בתנאי שהיא נועדה להחיל על דגימות גדולות, לא?
@Patrick כן, זה מרומז בכל התשובות כאן, אני מאמין: אף אחד לא יהיה מודאג מההבדל כשהוא זעיר.
חשבתי שאפשר לעשות את זה מפורש בתשובתך.במקום לומר רק ש"כמה ספרים לא מפריעים ", חשבתי שאתה יכול להיות מפורש לגבי הסיבה שהם לא מפריעים.אם אתה מתמודד עם דגימות גדולות, ההתאמה אינה רלוונטית.זה די אינטואיטיבי (בקשת OP) לומר, "זה בדרך כלל לא עושה הבדל גדול כאשר $ n $ גדול."לא?
@Patrick יתכן שאתה קורא יותר מדי בתשובה שלי, כי זה * מפורש לגבי הסיבות: הן פדגוגיות ואין לה שום קשר אם $ n $ גדול או לא.
אני מבין, נכון.
#4
+17
user88
2010-10-24 15:28:15 UTC
view on stackexchange narkive permalink

זו אינטואיציה מוחלטת, אך התשובה הפשוטה ביותר היא תיקון שנעשה בכדי להפוך סטיית תקן של מדגם מרכיב אחד ללא מוגדרת ולא 0.

מדוע אם כן לא להשתמש ב- $ \ frac {n} {n ^ 2-1} $ או אפילו $ \ frac {1} {\ exp (1) - \ exp (1 / n)} $ כתיקונים? :-)
@whuber פרסיוני (-;
$\frac{1}{n-1}$ is even more "parsimonious". :-)
@mbq, בנוגע לתשובתך ~ "זה תיקון שנעשה כדי להפוך סטיית תקן של מדגם של אלמנט אחד ללא הגדרה ולא 0", האם זו * באמת * הסיבה לכך, או שזו תשובה של בדיחה?אתה יודע שאינם בני משפחה כמונו אינם יכולים לדעת.
מבחינה פורמלית, זו תוצאה מאשר סיבה, אבל, כפי שכתבתי, אני מוצא שזו כוונה טובה לשנן אותה.
#5
+15
onestop
2010-10-24 16:01:32 UTC
view on stackexchange narkive permalink

תוכל להשיג הבנה מעמיקה יותר של המונח $ n-1 $ באמצעות גאומטריה בלבד, לא רק מדוע זה לא $ n $ אלא מדוע זה לוקח בצורה זו בדיוק, אך ייתכן שתצטרך קודם לבנות את האינטואיציה שלך כדי להתמודד עם $ גיאומטריה ממדית n $. משם, עם זאת, זהו צעד קטן להבנה מעמיקה יותר של דרגות חופש במודלים ליניאריים (כלומר מודל df & שיורי df). אני חושב שאין ספק קטן ש פישר חשב ככה. הנה ספר שבונה אותו בהדרגה:

DJ של Saville, Wood GR. שיטות סטטיסטיות: הגישה הגיאומטרית . מהדורה שלישית. ניו יורק: ספרינגר-ורלאג; 1991. 560 עמודים. 9780387975177

(כן, 560 עמודים. אמרתי בהדרגה.)

תודה בהפסקה - לא חשבתי שתהיה תשובה מהכיוון הזה. איזו דרך לסכם את האינטואיציה, או שזה לא צפוי להיות אפשרי? לחיים, טל
לא יכולתי לעשות זאת בעצמי, אבל מבקר ספרים סיכם את הגישה בפסקה בעמר. סטאט. בשנת 1993: http://www.jstor.org/stable/2684984. אני לא בטוח שזה באמת מעשי להשתמש בגישה זו עם התלמידים שלך אלא אם כן תאמץ אותה במשך כל הקורס.
אתה יכול לסכם קצת מהאינטואיציה ולא רק הפניה לספר?
#6
+14
Richard Hansen
2016-09-03 01:08:29 UTC
view on stackexchange narkive permalink

אומדן שונות האוכלוסייה מוטה כאשר הוא מיושם על מדגם של האוכלוסייה. על מנת להתאים את ההטיה הזו צריך לחלק ב- n-1 במקום ב- n. אפשר להראות מתמטית שהאומדן של השונות המדגמית אינו משוחד כאשר אנו מחלקים ב- n-1 במקום ב- n. הוכחה רשמית ניתנת כאן:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

בתחילה זו הייתה הנכונות המתמטית זה הוביל לנוסחה, אני מניח. עם זאת, אם רוצים להוסיף אינטואיציה לנוסחה ההצעות שהוזכרו כבר נראות סבירות.

ראשית, תצפיות על מדגם הן בממוצע קרוב יותר לממוצע המדגם מאשר לממוצע האוכלוסייה. אומדן השונות עושה שימוש במדגם הממוצע וכתוצאה מכך ממעיט בשונות האמיתית של האוכלוסייה. חלוקה ב- n-1 במקום n מתקנת את ההטיה.

יתר על כן, חלוקה ב- n-1 הופכת את השונות של מדגם של אלמנט אחד ללא מוגדרת ולא לאפס.

#7
+13
Mark L. Stone
2015-08-28 20:28:45 UTC
view on stackexchange narkive permalink

מדוע לחלק ב- $ n-1 $ במקום ב- $ n $? מכיוון שזה נהוג, ומביא להערכה משוחדת של השונות. עם זאת, התוצאה היא הערכה מוטה (נמוכה) של סטיית התקן, כפי שניתן לראות על ידי יישום אי השוויון של ג'נסן לפונקציה הקעורה, שורש ריבועי.

אז מה כל כך נהדר שיש אומדן חסר משוא פנים? זה לא בהכרח ממזער שגיאת ריבוע ממוצעת. ה- MLE להפצה רגילה הוא לחלק ב- $ n $ ולא ב- $ n-1 $. למדו את תלמידיכם לחשוב, במקום להתעורר ולהחיל ללא דעות תפישות מיושנות מלפני מאה שנה.

(+1) ככל שאני חושב יותר על מצב זה (והשקפתי בו מחשבה אמיתית, עד כמה שמחקרים את המאמרים הקודמים כמו תרומת הביומטריה של סטודנט מ -1908 כדי לנסות לאתר מתי ומדוע $ n-1 $ עשומראהו), ככל שאני חושב ש"כי זה נהוג "היא התשובה הנכונה היחידה.אני לא מרוצה לראות את הצבעות ההורדה ויכול רק לנחש שהם מגיבים למשפט האחרון, שניתן היה לראות בקלות כמתקיף את ה- O.P, למרות שאני בספק שזו הייתה כוונתך.
המשפט האחרון שלי היה עצה ידידותית לכל הנוגעים בדבר, בניגוד למתקפה על ה- OP.
בשימוש רב זה לא משנה, כאשר משתמשים במבחנים או במרווחי ביטחון יהיה צורך להתאים חלקים אחרים של ההליך ובסופו של דבר להשיג את אותה תוצאה!
#8
+13
Dilip Sarwate
2015-09-01 09:17:32 UTC
view on stackexchange narkive permalink

ידוע (או הוכח בקלות) כי ל $ \ alpha z ^ 2 + 2 \ beta z + \ gamma $ יש אקסטרים ב $ z = - \ frac {\ beta} {\ alpha} $ איזו נקודה נמצאת באמצע הדרך בין השורשים $ \ frac {- \ beta - \ sqrt {\ beta ^ 2- \ alpha \ gamma}} {\ alpha} $ ו- $ \ frac {- \ beta + \ sqrt {\ beta ^ 2- \ alpha \ gamma}} {\ alpha} $ של הריבוע. זה מראה כי עבור כל $ n $ מספרים אמיתיים $ x_1, x_2, \ ldots, x_n $ , הכמות $$ G (a) = \ sum_ {i = 1} ^ n (x_i-a) ^ 2 = \ left (\ sum_ {i = 1} ^ n x_i ^ 2 \ right) -2a \ left (\ sum_ {i = 1} ^ n x_i \ right) + na ^ 2, ל- $$ יש ערך מינימלי כאשר $ \ displaystyle a = \ frac 1n \ sum_ {i = 1} ^ n x_i = \ bar {x} $ .

כעת, נניח ש $ x_i $ הם מדגם בגודל $ n $ span > הלוך ושוב התפלגות ma עם ממוצע לא ידוע $ \ mu $ ושונות לא ידועה $ \ sigma ^ 2 $ . אנו יכולים להעריך $ \ mu $ כ $ \ frac 1n \ sum_ {i = 1} ^ n x_i = \ bar {x} $ span> שזה קל מספיק לחישוב, אך ניסיון לאמוד את $ \ sigma ^ 2 $ כ $ \ frac 1n \ sum_ {i = 1} ^ n (x_i- \ mu) ^ 2 = n ^ {- 1} G (\ mu) $ נתקל בבעיה שאיננו מכירים $ \ mu $ . אנחנו יכולים, כמובן, לחשב $ G (\ bar {x}) $ ואנחנו יודעים ש $ G (\ mu) \ geq G (\ bar {x}) $ , אך עד כמה גדול $ G (\ mu) $ ? התשובה היא ש $ G (\ mu) $ גדול יותר מ- $ G (\ bar {x}) $ על ידי גורם של בערך $ \ frac {n} {n-1} $ , כלומר $$ G (\ mu) \ approx \ frac {n} {n-1} G (\ bar {x}) \ tag {1} $$ וכן הערכה $ \ displaystyle n ^ {- 1} G (\ mu) = \ frac 1n \ sum_ {i = 1} ^ n (x_i- \ mu) ^ 2 $ לשונות ההפצה ניתן לקירוב על ידי $ \ displaystyle \ frac {1 } {n-1} G (\ bar {x}) = \ frac {1} {n-1} \ sum_ {i = 1} ^ n (x_i- \ bar {x}) ^ 2. $ span >

אז מהו הסבר אינטואיטיבי ל $ (1) $ ? ובכן, יש לנו את \ התחל {align} G (\ mu) & = \ sum_ {i = 1} ^ n (x_i- \ mu) ^ 2 \\ & = \ sum_ {i = 1} ^ n (x_i- \ bar {x} + \ bar {x} - \ mu) ^ 2 \\ & = \ sum_ {i = 1} ^ n \ left ((x_i- \ bar {x}) ^ 2 + (\ סרגל {x} - \ mu) ^ 2 + 2 (x_i- \ בר {x}) (\ בר {x} - \ mu) \ ימין) \\ & = G (\ bar {x}) + n (\ סרגל {x} - \ mu) ^ 2 + (\ bar {x} - \ mu) \ sum_ {i = 1} ^ n (x_i- \ bar {x}) \\ & = G (\ bar {x}) + n (\ bar {x} - \ mu) ^ 2 \ tag {2} \ end {align} since $ \ sum_ {i = 1} ^ n (x_i- \ bar {x}) = n \ bar {x} -n \ bar {x} = 0 $ . עכשיו, \ התחל {align} n (\ bar {x} - \ mu) ^ 2 & = n \ frac {1} {n ^ 2} \ left (\ sum_ {i = 1} ^ n (x_i- \ mu ) \ ימין) ^ 2 \\ & = \ frac 1n \ sum_ {i = 1} ^ n (x_i- \ mu) ^ 2 + \ frac 2n \ sum_ {i = 1} ^ n \ sum_ {j = i + 1} ^ n (x_i- \ mu) (x_j- \ mu) \\ & = \ frac 1n G (\ mu) + \ frac 2n \ sum_ {i = 1} ^ n \ sum_ {j = i + 1} ^ n (x_i- \ mu) (x_j- \ mu) \ tag {3} \ end {align} למעט כשיש לנו מדגם יוצא דופן במיוחד שבו $ x_i $ גדולים מ- $ \ mu $ (או שכולם קטנים מ $ \ mu $ span>), הסיכומים $ (x_i- \ mu) (x_j- \ mu) $ בסכום הכפול בצד ימין של $ (3) $ מקבל על עצמו ערכים חיוביים כמו גם שליליים וכך מתרחשות הרבה ביטולים. לפיכך, ניתן לצפות כי הסכום הכפול יהיה בעל ערך מוחלט קטן , ואנחנו פשוט מתעלמים ממנו בהשוואה ל $ \ frac 1nG (\ mu) $ span > מונח בצד ימין של $ (3) $ . לפיכך, $ (2) $ הופך ל $$ G (\ mu) \ approx G (\ bar {x}) + \ frac 1nG (\ mu) \ Longrightarrow G (\ mu) \ approx \ frac {n} {n-1} G (\ bar {x}) $$ כנטען ב $ (1) $ span>.

רק בבורסת הערימה הזו זה ייחשב אי פעם לתשובה אינטואיטיבית.
#9
+8
B Student
2010-10-25 14:51:11 UTC
view on stackexchange narkive permalink

ניתן לחשוב על שוני לדוגמא כממוצע המדויק של "האנרגיה" הזוגית $ (x_i-x_j) ^ 2/2 $ בין כל נקודות הדגימה. הגדרת השונות לדוגמה הופכת ל $$ s ^ 2 = \ frac {2} {n (n-1)} \ sum_ {i< j} \ frac {(x_i-x_j) ^ 2} {2} = \ frac { 1} {n-1} \ sum_ {i = 1} ^ n (x_i- \ bar {x}) ^ 2. $$

זה מסכים גם עם הגדרת השונות של משתנה אקראי כצפי של האנרגיה הזוגית, כלומר תנו ל- $ X $ ו- $ Y $ להיות משתנים אקראיים עצמאיים עם אותה התפלגות, ואז $$ V (X) = E \ left (\ frac {(XY) ^ 2} {2} \ right) = E ((XE (X)) ^ 2). $$

לעבור מהגדרת המשתנה האקראית לשונות להגדרת השונות המדגם היא עניין של הערכת ציפייה בממוצע שהוא יכול להיות מוצדק על ידי העיקרון הפילוסופי של האופייניות: המדגם הוא ייצוג אופייני להפצה. (שימו לב, זה קשור לאומדן לפי רגעים, אך לא זהה.)

לא ממש הצלחתי לעקוב אחריך בפסקה האחרונה. האין עובדה מתמטית ש- $ V (X) = E \ left (\ frac {(X-Y) ^ 2} {2} \ right) = E ((X-E (X)) ^ 2) $? למרות שהמשוואה מעניינת, אני לא מבין כיצד ניתן להשתמש בה כדי ללמד את n-1 באופן אינטואיטיבי?
אני אוהב גישה זו, אך היא משמטת רעיון מרכזי: כדי לחשב את האנרגיה הממוצעת בין * כל * זוגות נקודות המדגם, צריך לספור את הערכים $ (x_i-x_i) ^ 2 $, למרות שכולם אפסים.לפיכך המונה של $ s ^ 2 $ נשאר זהה אך המכנה צריך להיות $ n $, ולא $ n-1 $.זה מראה את שרביט היד שהתרחש: איכשהו, אתה צריך להצדיק * לא * כולל זוגות עצמיים כאלה.(מכיוון שהם * כלולים * בהגדרת השונות באוכלוסייה המקבילה, זה לא דבר מובן מאליו.)
@whuber להשלמת טיעון התשובה הזו בצורה אלגנטית אינטואיטיבית: הצמדים העצמיים אכן נמצאים גם בהגדרת האוכלוסייה האנלוגית של שונות, _ אבל_ שיעורם נוטה ל 0 כמספר הזוגות האפשריים שתוכלו לצייר הולך לאינסוף.
אז כדי להשלים את התשובה אני טוען ההפך מנקודת הסיום של @whuber: יש לכלול זוגות עצמיים מכיוון שגם הם אינם נמצאים בשונות האוכלוסייה.החלק שלהם $ {n \ over {n ^ 2}} = {1 \ over n} \ ל- 0 $ כ- $ n \ to \ inf $.הגורם $ n \ over {n-1} $ מתקן בדיוק לייצוג יתר זה של זוגות עצמיים במדגם לעומת האוכלוסייה.מתוך זוגות $ n ^ 2 $ במדגם, $ n $ הם זוגות עצמיים, בעוד $ n ^ 2 - n $ עוקבים אחר שונות האוכלוסייה.מכאן שאנחנו מכפילים $ s ^ 2 $ ב- $ {n ^ 2 \ על {n ^ 2 - n}} = {n \ מעל {n - 1}} $ כדי להסיר את הזוגות העצמיים מהמכנה.
@zwets אני חושב שהטיעון שלך מעניין אך פחות שימושי בגלל שני פגמים: אתה מניח שאוכלוסייה אינסופית (והנחה כזו מיותרת ומגבילה יתר על המידה) ונראה שאתה מבלבל את גודל האוכלוסייה עם גודל המדגם, ומתייחס לשניהם כ- $n. $
תודה @whuber, אולי המגבלה של שטח ההערות היא הבעיה כאן.תן לי לנסות שוב: השונות של התפלגות היא חצי מהמרחק הריבועי הצפוי בין זוגות ערכים שרירותיים הנמשכים ממנו.כאשר אנו מעריכים זאת על פי מדגם בגודל $ n $, זה כולל $ n $ זוגות עצמיים המהווים $ 1 / n $ מהזוגות.באוכלוסייה בגודל אינסופי, חלק זה נעלם, ואילו השבר 'זוגות אחרים', $ {n - 1} / n $ נוטה ל 1. אני לא מבלבל אוכלוסייה וגודל מדגם, אבל אכן מניח ששונות האוכלוסייה חלה עלאוכלוסייה אינסופית.
@Zwets תודה על ההבהרה.אני עדיין לא רואה כיצד הוויכוח עם אוכלוסייה אינסופית משפיע על נושא זה.
@whuber מצאתי הוכחה פשוטה לאוכלוסיות סופיות שלמרבה הצער מרווח ההערות הזה קטן מכדי להכיל.:-)
#10
+6
Ben
2018-04-23 05:04:26 UTC
view on stackexchange narkive permalink

על פי הצעתו של whuber, תשובה זו הועתקה מ- שאלה דומה נוספת.

התיקון של Bessel מאומץ כדי לתקן את ההטיה בשימוש בשונות המדגם כאומדן של השונות האמיתית. ההטיה בנתון הלא מתוקן מתרחשת מכיוון שממוצע המדגם קרוב יותר לאמצע התצפיות מהממוצע האמיתי, ולכן הסטיות בריבוע סביב הממוצע המדגם ממעיטות באופן שיטתי את הסטיות בריבוע סביב הממוצע האמיתי.

כדי לראות תופעה זו באופן אלגברי, פשוט הפיק את הערך הצפוי של שונות מדגם ללא תיקון של בסל ותראה איך היא נראית. מתן ל- $ S _ * ^ 2 $ לסמן את שונות הדגימה הלא מתוקנת (באמצעות $ n $ כמכנה) יש לנו:

$$ \ begin {משוואה} \ begin {מיושר} S _ * ^ 2 & = \ frac {1} {n} \ sum_ {i = 1} ^ n (X_i - \ bar {X}) ^ 2 \\ [8pt] & = \ frac {1} {n} \ sum_ {i = 1} ^ n (X_i ^ 2 - 2 \ bar {X} X_i + \ bar {X} ^ 2) \\ [8pt] & = \ frac {1} {n} \ Bigg (\ sum_ {i = 1} ^ n X_i ^ 2 - 2 \ bar {X} \ sum_ {i = 1} ^ n X_i + n \ bar {X} ^ 2 \ Bigg) \\ [8pt] & = \ frac {1} {n} \ Bigg (\ sum_ {i = 1} ^ n X_i ^ 2 - 2 n \ bar {X} ^ 2 + n \ bar {X} ^ 2 \ Bigg) \\ [ 8pt] & = \ frac {1} {n} \ Bigg (\ sum_ {i = 1} ^ n X_i ^ 2 - n \ bar {X} ^ 2 \ Bigg) \\ [8pt] & = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i ^ 2 - \ bar {X} ^ 2. \ end {align} \ end {equation} $$

לקיחת תשואות ציפיות:

$$ \ begin {משוואה} \ begin {מיושר} \ mathbb {E} (S _ * ^ 2) & = \ frac {1} {n} \ sum_ {i = 1} ^ n \ mathbb {E} (X_i ^ 2) - \ mathbb {E} (\ bar {X} ^ 2) \\ [8pt] & = \ frac {1} {n} \ sum_ {i = 1} ^ n (\ mu ^ 2 + \ sigma ^ 2) - (\ mu ^ 2 + \ frac {\ sigma ^ 2} {n}) \ \ [8pt] & = (\ mu ^ 2 + \ sigma ^ 2) - (\ mu ^ 2 + \ frac {\ sigma ^ 2} {n}) \\ [8pt] & = \ sigma ^ 2 - \ frac {\ sigma ^ 2} {n} \\ [8pt] & = \ frac {n-1} {n} \ cdot \ sigma ^ 2 \\ [8pt] \ end {align} \ end {equation} $$

אז אתה יכול לראות שנתון הסטטיסטיות של השונות המדגם לא מתוקן ממעיט בערך השונות האמיתית $ \ sigma ^ 2 $.התיקון של בסל מחליף את המכנה ב- $ n-1 $ שמניב אומדן לא משוחד.בניתוח רגרסיה זה מורחב למקרה הכללי יותר שבו הממוצע המשוער הוא פונקציה לינארית של מספר מנבאים, ובמקרה האחרון, המכנה מצטמצם עוד יותר, למספר הנמוך יותר של דרגות חופש.

תודה על ההוכחה!
#11
+5
Laurent Duval
2016-09-03 01:49:54 UTC
view on stackexchange narkive permalink

נניח שיש לך תופעה אקראית. נניח שוב שתקבל רק $ N = $ 1 לדוגמא, או מימוש, $ x $. ללא הנחות נוספות, הבחירה הסבירה "היחידה" שלך לממוצע לדוגמא היא $ \ overline {m} = x $. אם לא תגרע $ 1 $ מהמכנה שלך, השונות לדוגמה (הלא נכונה) תהיה $$ V = \ frac {\ sum_N (x_n - \ overline {m}) ^ 2} {N} $$, או:

$$ \ overline {V} = \ frac {(x- \ overline {m}) ^ 2} {1} = 0 \,. $$

באופן מוזר, השונות הייתה להיות אפס עם מדגם אחד בלבד. והיה לך מדגם שני $ y $ יסתכן בהגדלת השונות שלך אם $ x \ neq y $. זה לא הגיוני. באופן אינטואיטיבי, שונות אינסופית תהיה תוצאה בריאה יותר, ותוכלו לשחזר אותה רק על ידי "חלוקה ב- $ N-1 = 0 $".

הערכת ממוצע מתאימה לפולינום עם מעלה $ 0 $ ל נתונים, בעלי דרגת חופש אחת (DOF). התיקון של בסל זה מתייחס גם למודלים של דרגות חופש גבוהות יותר: כמובן שתוכלו להתאים באופן מושלם $ d + 1 $ נקודות עם פולינום של $ d $ מעלות, עם $ d + 1 $ dofs. ניתן לאזן את האשליה של שגיאת אפס בריבוע רק על ידי חלוקה במספר הנקודות פחות מספר הדופים. נושא זה רגיש במיוחד כאשר עוסקים ב מערכי נתונים ניסיוניים קטנים מאוד.

לא ברור מדוע "שונות אינסופית תהיה תוצאה בריאה יותר" מאשר שונות אפסית.אכן נראה שאתה משתמש ב"שונות לדוגמא "במובן של שונות * אומדן *, וזה עדיין מבלבל יותר.
אני מבין.כדי לענות על הסבר אינטואיטיבי בין שתי אפשרויות, ניסיתי להציע שאחת מהשתיים היא איכשהו בלתי קבילה, בהתבסס על הכלל הארצי ש- $ 0 \ \ infty $.ניסוח מחדש הוא אכן הכרחי ובא
#12
+3
Vivek
2016-01-15 23:18:56 UTC
view on stackexchange narkive permalink

הממוצע לדוגמה מוגדר כ- $ \ bar {X} = \ frac {1} {n} \ sum_ {i = 1} ^ {n} X_i $, וזה די אינטואיטיבי. אבל השונות לדוגמא היא $ S ^ 2 = \ frac {1} {n-1} \ sum_ {i = 1} ^ {n} (X_i - \ bar {X}) ^ 2 $. מהיכן הגיעו $ n - 1 $?

כדי לענות על שאלה זו, עלינו לחזור להגדרת אומדן משוחד. אומדן חסר משוא פנים הוא כזה שציפייתו נוטה לציפייה האמיתית. ממוצע המדגם הוא אומדן משוחד. כדי לראות מדוע:

$$ E [\ bar {X}] = \ frac {1} {n} \ sum_ {i = 1} ^ {n} E [X_i] = \ frac {n } {n} \ mu = \ mu $$

הבה נבחן את הציפייה מהשונות לדוגמא,

$$ S ^ 2 = \ frac {1} {n- 1} \ sum_ {i = 1} ^ {n} (X_i ^ 2) - n \ bar {X} ^ 2 $$

$$ E [S ^ 2] = \ frac {1} {n-1} \ left (n E [(X_i ^ 2)] - nE [\ bar {X} ^ 2] \ right). $$

שימו לב ש $ \ bar {X} $ הוא משתנה אקראי ולא קבוע, כך שהציפייה $ E [\ bar {X} ^ 2] $ משחקת תפקיד. זו הסיבה מאחורי $ n-1 $ .

$$ E [S ^ 2] = \ frac {1} {n-1} \ left (n ( \ mu ^ 2 + \ sigma ^ 2) - n (\ mu ^ 2 + Var (\ bar {X})) \ right). $$$$ Var (\ bar {X}) = Var (\ frac {1} {n} \ sum_ {i = 1} ^ {n} X_i) = \ sum_ {i = 1} ^ {n} \ frac {1} {n ^ 2} Var (X_i) = \ frac {\ sigma ^ 2} {n} $$

$$ E [S ^ 2] = \ frac {1} {n- 1} \ left (n (\ mu ^ 2 + \ sigma ^ 2) - n (\ mu ^ 2 + \ sigma ^ 2 / n) \ right). = \ frac {(n-1) \ sigma ^ 2} {n-1} = \ sigma ^ 2 \\ $$

כפי שאתה יכול לראות, אם היה לנו המכנה $ n $ במקום זאת של $ n-1 $, היינו מקבלים אומדן מוטה לשונות! אבל עם $ n-1 $ האומדן $ S ^ 2 $ הוא אומדן משוחד.

אך לא נובע מכך ש- $ S $ הוא אומדן משוחד של סטיית התקן.
#13
+1
Sahil Chaudhary
2015-09-25 04:36:40 UTC
view on stackexchange narkive permalink

בדרך כלל השימוש ב- "n" במכנה נותן ערכים קטנים יותר משונות האוכלוסייה וזה מה שאנחנו רוצים לאמוד. זה קורה במיוחד אם לוקחים את הדגימות הקטנות. בשפת הסטטיסטיקה אנו אומרים כי שונות המדגם מספקת הערכה "מוטה" של שונות האוכלוסייה ויש להפוך אותה ל"לא משואת פנים ".

אם אתם מחפשים הסבר אינטואיטיבי, עליכם לתת התלמידים שלך רואים את הסיבה לעצמם על ידי לקיחת דגימות בפועל! צפו בזה, זה עונה בדיוק על שאלתכם.

https://www.youtube.com/watch?v=xslIhnquFoE

#14
  0
Neil G
2015-08-28 20:16:56 UTC
view on stackexchange narkive permalink

אני חושב שכדאי להצביע על הקשר להערכת Bayesian. נניח שאתה מניח שהנתונים שלך הם גאוסיים, ולכן אתה מודד את הממוצע $ \ mu $ ואת השונות $ \ sigma ^ 2 $ של מדגם של $ n $ נקודות. אתה רוצה להסיק מסקנות לגבי האוכלוסייה. הגישה הבייסיאנית תהיה הערכת התפלגות הניבוי האחורית על פני המדגם, שהיא התפלגות T כללית של סטודנט (מקור מבחן T). התפלגות זו אומרת $ \ mu $, ושונות $$ \ sigma ^ 2 \ left (\ frac {n + 1} {n-1} \ right), $$

שהוא אפילו גדול מ התיקון האופייני. (יש לו 2 $ $ דרגות חופש.)

חלוקת ה- T הכללית של הסטודנט כוללת שלושה פרמטרים ועושה שימוש בשלושת הסטטיסטיקה שלך. אם תחליט לזרוק מידע כלשהו, ​​תוכל לקדם את הנתונים שלך באמצעות התפלגות נורמלית של שני פרמטרים כמתואר בשאלתך. מודל (התפלגויות על הממוצע והשונות) גורם לשונות הניבוי האחורי להיות גדולה יותר משונות האוכלוסייה.

#15
-2
user111282
2016-04-07 06:16:58 UTC
view on stackexchange narkive permalink

אלוהים שלי זה מסתבך! חשבתי שהתשובה הפשוטה היא ... אם יש לך את כל נקודות הנתונים אתה יכול להשתמש ב- "n", אך אם יש לך "מדגם", בהנחה שמדובר במדגם אקראי, יש לך יותר נקודות דוגמה מתוך סטיית התקן מאשר מבחוץ (הגדרת סטיית התקן). פשוט אין לך מספיק נתונים בחוץ כדי להבטיח שתקבל את כל נקודות הנתונים שאתה צריך באופן אקראי. ה- n-1 מסייע להתרחב לעבר סטיית התקן "האמיתית".

זה לא הגיוני.יש יותר נקודות מתוך ה- SD מאשר מבחוץ?אם זה אומר שבתוך SD אחד מהממוצע לעומת לא בתוך, אם זה נכון לא קשור לנטילת מדגם.לאילוצים הכרחיים בשברים במרווחים סביב הממוצע, ראה אי השוויון של צ'בישב.לשאלה העיקרית כאן, "עוזר להרחיב" אינו מסביר כלל $ n - 1 $, שכן אפילו מתן הטיעון שלך $ n - 2 $ עשוי להיות עדיף עדיין, וכן הלאה, מכיוון שאין כאן אלגברה, אפילו באופן מרומז..למרבה הצער זה לא מוסיף שום דבר לתשובות אחרות מלבד מערך רעיונות מבולבל, לא נכון או לא רלוונטי.


שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...