אינטואיציה

ההטיה "באה" (בכלל לא מונח טכני) מהעובדה ש- $ E [\ bar {x} ^ 2] $ מוטה עבור $ \ mu ^ 2 $. השאלה הטבעית היא, "ובכן, מה האינטואיציה מדוע $ E [\ bar {x} ^ 2] $ מוטה עבור $ \ mu ^ 2 $"? האינטואיציה היא שבמשמעות מדגם שאינו בריבוע, לפעמים אנו מפספסים את הערך האמיתי $ \ mu $ על ידי אומדן יתר ולעיתים על ידי הערכת חסר. אבל, בלי לריבוע, הנטייה להעריך יתר על המידה ולהעריך יתר על המידה תבטל זו את זו. עם זאת, כאשר אנו מרובעים $ \ bar {x} $ גם הנטייה להערכת אומדן חסר (להחמיץ את הערך האמיתי של $ \ mu $ במספר שלילי) נהיית בריבוע וכך הופכת לחיובית. לפיכך, זה כבר לא מבטל ויש נטייה קלה להעריך יתר.

אם האינטואיציה מאחורי מדוע $ x ^ 2 $ מוטה עבור $ \ mu ^ 2 $ עדיין לא ברורה, נסה להבין את האינטואיציה שמאחורי אי השוויון של ג'נסן (הסבר אינטואיטיבי טוב כאן) ולהחיל אותה על $ E [x ^ 2] $.

בוא נוכיח ש- MLE השונות עבור מדגם iid מוטה. ואז נאמת אנליטית את האינטואיציה שלנו.

הוכחה

תן $ \ hat {\ sigma} ^ 2 = \ frac {1} {N} \ sum_ {n = 1} ^ N (x_n - \ bar {x}) ^ 2 $.

אנו רוצים להראות $ E [\ hat {\ sigma} ^ 2] \ neq \ sigma ^ 2 $.

$$ E [\ hat {\ sigma} ^ 2] = E [\ frac {1} {N} \ sum_ {n = 1} ^ N (x_n - \ bar {x} ) ^ 2] = \ frac {1} {N} E [\ sum_ {n = 1} ^ N (x_n ^ 2 - 2x_n \ bar {x} + \ bar {x} ^ 2)] = \ frac {1 } {N} E [\ sum_ {n = 1} ^ N x_n ^ 2 - \ sum_ {n = 1} ^ N 2x_n \ bar {x} + \ sum_ {n = 1} ^ N \ bar {x} ^ 2] $$

באמצעות העובדה ש $ \ sum_ {n = 1} ^ N x_n = N \ bar {x} $ ו- $ \ sum_ {n = 1} ^ N \ bar {x} ^ 2 = N \ bar {x} ^ 2 $,

$$ \ frac {1} {N} E [\ sum_ {n = 1} ^ N x_n ^ 2 - \ sum_ {n = 1} ^ N 2x_n \ bar {x} + \ sum_ {n = 1} ^ N \ bar {x} ^ 2] = \ frac {1} {N} E [\ sum_ {n = 1} ^ N x_n ^ 2 - 2N \ bar {x} ^ 2 + N \ bar {x} ^ 2] = \ frac {1} {N} E [\ sum_ {n = 1} ^ N x_n ^ 2 - N \ bar {x} ^ 2] = \ frac {1} {N} E [\ sum_ {n = 1} ^ N x_n ^ 2] - E [\ bar {x} ^ 2] = \ frac {1} {N} \ sum_ { n = 1} ^ NE [x_n ^ 2] - E [\ bar {x} ^ 2] \\ = E [x_n ^ 2] - E [\ bar {x} ^ 2] $$

כאשר השלב האחרון שבא בעקבותיו בגלל ש- $ E [x_n ^ 2] $ שווה על פני $ n $ בשל היותה מאותה התפלגות.

כעת, זכור את הגדרת השונות שאומרת $ \ sigma ^ 2_x = E [x ^ 2] - E [x] ^ 2 $. מכאן, אנו מקבלים את הדברים הבאים

$$ E [x_n ^ 2] - E [\ bar {x} ^ 2] = \ sigma ^ 2_x + E [x_n] ^ 2 - \ sigma ^ 2_ \ בר {x} - E [x_n] ^ 2 = \ sigma ^ 2_x - \ sigma ^ 2_ \ bar {x} = \ sigma ^ 2_x - Var (\ bar {x}) = \ sigma ^ 2_x - Var (\ frac {1} {N} \ sum_ {n = 1} ^ Nx_n) = \ sigma ^ 2_x - \ bigg (\ frac {1} {N} \ bigg) ^ 2Var (\ sum_ {n = 1} ^ Nx_n) $$

שים לב שריבוענו כראוי את $ \ frac {1} {N} $ הקבוע כאשר מוציאים אותו מ- $ Var () $. שים לב לכך במיוחד!

$$ \ sigma ^ 2_x - \ bigg (\ frac {1} {N} \ bigg) ^ 2Var (\ sum_ {n = 1 } ^ Nx_n) = \ sigma ^ 2_x - \ bigg (\ frac {1} {N} \ bigg) ^ 2N \ sigma ^ 2_x = \ sigma ^ 2_x - \ frac {1} {N} \ sigma ^ 2_x = \ frac {N-1} {N} \ sigma ^ 2_x $$

שהוא, כמובן, לא שווה ל- $ \ sigma_x ^ 2 $.

אמת אנליטית האינטואיציה שלנו

אנו יכולים לאמת מעט את האינטואיציה על ידי הנחה שאנו יודעים את הערך של $ \ mu $ ולחבר אותה להוכחה לעיל. מכיוון שאנו מכירים כעת $ \ mu $, אין לנו עוד צורך לאמוד $ \ mu ^ 2 $ ולכן אנו לעולם לא מעריכים אותו יתר על המידה ב- $ E [\ bar {x} ^ 2] $. בואו נראה שזה "מסיר" את ההטיה ב- $ \ hat {\ sigma} ^ 2 $.

תנו ל- $ \ hat {\ sigma} _ \ mu ^ 2 = \ frac {1} {N} \ sum_ {n = 1} ^ N (x_n - \ mu) ^ 2 $.

מההוכחה לעיל, בוא נאסוף מ- $ E [x_n ^ 2] - E [\ bar {x} ^ 2] $ מחליף את $ \ bar {x} $ לערך האמיתי $ \ mu $.

$$ E [x_n ^ 2] - E [\ mu ^ 2] = E [x_n ^ 2 ] - \ mu ^ 2 = \ sigma ^ 2_x + E [x_n] ^ 2 - \ mu ^ 2 = \ sigma ^ 2_x $$

שזה לא משוחד!