שְׁאֵלָה:
מרווח אמון של RMSE
robintw
2013-11-30 00:02:06 UTC
view on stackexchange narkive permalink

לקחתי מדגם של $ n $ נקודות נתונים מאוכלוסייה. לכל אחת מהנקודות הללו יש ערך אמיתי (הידוע מאמת קרקעית) וערך משוער. לאחר מכן אני מחשב את השגיאה עבור כל נקודה שנדגמה ואז מחשב את ה- RMSE של המדגם.

כיצד אוכל להסיק איזשהו מרווח ביטחון סביב ה- RMSE זה, בהתבסס על גודל המדגם $ n $?

אם הייתי משתמש בממוצע, במקום ב- RMSE, לא תהיה לי בעיה לעשות זאת מכיוון שאוכל להשתמש במשוואה הרגילה

$ m = \ frac {Z \ sigma } {\ sqrt {n}} $

אבל אני לא יודע אם זה תקף ל- RMSE ולא לממוצע. יש איזושהי דרך שבה אני יכול להתאים זאת?

(ראיתי את השאלה הזו, אבל אין לי בעיות אם האוכלוסייה שלי מפוזרת בדרך כלל, וזה מה התשובה שם עוסקת ב)

מה בדיוק אתה מחשב כשאתה "מחשב את ה- RMSE של המדגם"? האם זה ה- RMSE של * הערכים האמיתיים, * של * הערכים המשוערים, * או של ההבדלים ביניהם?
אני מחשב את ה- RMSE של ההבדלים, כלומר מחשב את השורש הריבועי של ממוצע ההפרשים בריבוע בין הערכים האמיתיים והמשוערים.
אם אתה מכיר את 'האמת הקרקעית' (אם כי אינני בטוח מה משמעות הדבר בפועל), מדוע תזדקק לחוסר הוודאות ב- RMSE? האם אתה מנסה לבנות הסקה כלשהי לגבי מקרים שאין לך אמת קרקעית? האם זו סוגיית כיול?
@Glen_b: כן, זה בדיוק מה שאנחנו מנסים לעשות. אין לנו את האמת הקרקעית עבור כל האוכלוסייה, רק עבור המדגם. לאחר מכן אנו מחשבים RMSE עבור המדגם, ואנו רוצים שיהיו בו מרווחי ביטחון כאשר אנו משתמשים במדגם זה כדי להסיק את ה- RMSE של האוכלוסייה.
כפילות אפשרית של [SE של RMSE ב- R] (http://stats.stackexchange.com/q/67236/5509)
שְׁלוֹשָׁה תשובות:
fabee
2013-12-02 22:33:36 UTC
view on stackexchange narkive permalink

עם הנמקה דומה ל- כאן, אולי אוכל לתת תשובה לשאלתך בתנאים מסוימים.

תן ל- $ x_ {i} $ להיות הערך האמיתי שלך עבור נקודת הנתונים $ i ^ {th} $ ו- $ \ hat {x} _ {i} $ הערך המשוער. אם נניח שההבדלים בין הערכים המשוערים לאמיתיים הם

  1. פירושו אפס (כלומר $ \ hat {x} _ {i} $ מחולקים סביב $ x_ {i} $)

  2. עקוב אחר התפלגות רגילה

  3. ולכולם סטיית תקן זהה $ \ sigma $

בקיצור:

$$ \ hat {x} _ {i} -x_ {i} \ sim \ mathcal {N} \ left (0, \ sigma ^ {2} \ right), $$

אז אתה באמת רוצה רווח ביטחון עבור $ \ sigma $.

אם ההנחות שלמעלה נכונות $$ \ frac {n \ mbox {RMSE} ^ {2}} {\ sigma ^ {2}} = \ frac {n \ frac {1} {n} \ sum_ {i} \ left (\ hat {x_ {i}} - x_ {i } \ right) ^ {2}} {\ sigma ^ {2}} $$ עוקב אחרי $ \ chi_ {n} ^ {2} $ עם התפלגות $ n $ (לא $ n-1 $). פירוש הדבר

\ begin {align} P \ left (\ chi _ {\ frac {\ alpha} {2}, n} ^ {2} \ le \ frac {n \ mbox {RMSE} ^ { 2}} {\ sigma ^ {2}} \ le \ chi_ {1- \ frac {\ alpha} {2}, n} ^ {2} \ right) = 1- \ alpha \\\ Leftrightarrow P \ left ( \ frac {n \ mbox {RMSE} ^ {2}} {\ chi_ {1- \ frac {\ alpha} {2}, n} ^ {2}} \ le \ sigma ^ {2} \ le \ frac { n \ mbox {RMSE} ^ {2}} {\ chi _ {\ frac {\ alpha} {2}, n} ^ {2}} \ right) = 1- \ alpha \\\ Leftrightarrow P \ left (\ sqrt {\ frac {n} {\ chi_ {1- \ frac {\ alpha} {2}, n} ^ {2}}} \ mbox {RMSE} \ le \ sigma \ le \ sqrt {\ frac {n} { \ chi _ {\ frac {\ alpha} {2}, n} ^ {2}}} \ mbox {RMSE} \ right) = 1- \ alpha. \ end {align}

לכן $$ \ left [\ sqrt {\ frac {n} {\ chi_ {1- \ frac {\ alpha} {2}, n} ^ {2}} } \ mbox {RMSE}, \ sqrt {\ frac {n} {\ chi _ {\ frac {\ alpha} {2}, n} ^ {2}}} \ mbox {RMSE} \ right] $$ הוא הביטחון שלך הַפסָקָה.

הנה תוכנית פיתון המדמה את מצבך

  מסטטיסטיקת ייבוא ​​מועטהמייבא numpy * s = 3n = 10c1, c2 = stats.chi2.ppf ([0.025, 1-0.025], n) y = אפסים (50000) עבור i בטווח (len (y)): y [i] = sqrt (ממוצע ((אקראי .rand (n) * s) ** 2)) הדפס " 1-alpha =%. 2f "% (ממוצע ((sqrt (n / c2) * y < s) & (sqrt (n / c1) * y > s)),)  

תקווה שעוזרת.

אם אינך בטוח אם ההנחות חלות או אם ברצונך להשוות בין מה שכתבתי לשיטה אחרת, תוכל תמיד לנסות bootstrapping.

אני חושב שאתה טועה - הוא רוצה CI עבור RMSE, ולא $ \ sigma $. וגם [אני רוצה את זה] (http://stats.stackexchange.com/q/67236/5509) :)
אני לא חושב שאני טועה. רק תחשוב על זה ככה: ה- MSE הוא למעשה השונות לדוגמה מאז $ \ mbox {MSE} = \ hat \ sigma ^ 2 = \ frac {1} {n} \ sum_ {i = 1} ^ n (x_i- \ כובע x_i) ^ 2 $. ההבדל היחיד הוא שאתה מחלק ב- $ n $ ולא ב- $ n-1 $ מכיוון שאתה לא מפחית את ממוצע המדגם כאן. ה- RMSE יתאים ל- $ \ sigma $. לכן, אוכלוסיית ה- RMSE היא $ \ sigma $ ואתה רוצה CI לשם כך. זה מה שהפקתי. אחרת אני חייב להבין בצורה לא נכונה את הבעיה שלך.
ההנחה שלך לגבי אומדן בלתי משוחד היא די חזקה.יתר על כן, רווח הביטחון שלך צריך להיות עם $ n-1 $.
cvr
2014-12-05 21:11:45 UTC
view on stackexchange narkive permalink

ההנמקה בתשובת מאת fabee נראית נכונה אם היא מוחלת על ה- STDE (סטיית התקן של השגיאה), ולא על ה- RMSE. באמצעות מינוי דומה, $ i = 1, \, \ ldots, \, n $ הוא אינדקס המייצג כל רשומת נתונים, $ x_i $ הוא הערך האמיתי ו- $ \ hat {x} _i $ הוא מדידה או חיזוי.

השגיאה $ \ epsilon_i $, BIAS , MSE (שגיאת ריבוע ממוצעת) ו- RMSE ניתנים על ידי: $$ \ epsilon_i = \ hat {x} _i-x_i \ ,, \\\ טקסט {BIAS} = \ אוברליין {\ epsilon} = \ frac {1} { n} \ sum_ {i = 1} ^ {n} \ epsilon_i \ ,, \\\ text {MSE} = \ overline {\ epsilon ^ 2} = \ frac {1} {n} \ sum_ {i = 1} ^ {n} \ epsilon_i ^ 2 \ ,, \\\ טקסט {RMSE} = \ sqrt {\ text {MSE}} \,. $$

בהסכמה להגדרות אלה, ה- BIAS תואם את ממוצע לדוגמא של $ \ epsilon $, אך MSE אינו השונות המדגם המוטה. במקום זאת: $$ \ text {STDE} ^ 2 = \ overline {(\ epsilon- \ overline {\ epsilon}) ^ 2} = \ frac {1} {n} \ sum_ {i = 1} ^ {n} ( \ epsilon_i- \ overline {\ epsilon}) ^ 2 \ ,, $$ או, אם מחושבים גם BIAS וגם RMSE, $$ \ text {STDE} ^ 2 = \ overline {(\ epsilon- \ overline {\ epsilon} ) ^ 2} = \ overline {\ epsilon ^ 2} - \ overline {\ epsilon} ^ 2 = \ text {RMSE} ^ 2 - \ text {BIAS} ^ 2 \,. $$ שים לב שה מוטה נעשה שימוש בשונות לדוגמא במקום ה מוטה , כדי לשמור על עקביות עם ההגדרות הקודמות שניתנו עבור MSE ו- RMSE.

לפיכך, לדעתי רווחי הביטחון שהוקמה על ידי fabee מתייחסים לסטיית התקן לדוגמה של $ \ epsilon $, STDE. באופן דומה, ניתן לקבוע מרווחי ביטחון עבור ה- BIAS בהתבסס על ציון z (או ציון t אם $ n<30 $) ו- $ \ left. \ Text {STDE} \ middle / \ sqrt {n} \ right. $.

אתה צודק, אבל החמצת חלק מהתשובה שלי.אני בעצם הנחתי ש- BIAS = 0 (ראה הנחה 1).במקרה כזה, $ RMSE ^ 2 = STDE ^ 2 $ כפי שהפקת.מכיוון שגם $ RMSE ^ 2 $ וגם $ BIAS ^ 2 $ הם $ \ chi ^ 2 $ וקיים פתרון צורה קרוב לסכום של שני $ \ chi ^ 2 $ RVs, כנראה שתוכלו להפיק רווח ביטחון קרוב שלהמקרה כאשר ההנחה 1 מתבטלת.אם תעשה זאת ותעדכן את תשובתך, אני בהחלט אמליץ עליה.
LKlevin
2017-01-03 14:13:59 UTC
view on stackexchange narkive permalink

בעקבות פאבר 1999, אי הוודאות של RMSE נתונה כ $$ \ sigma (\ hat {RMSE}) / RMSE = \ sqrt {\ frac {1} {2n}} $$ איפה$ n $ הוא מספר נקודות הנתונים.



שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 3.0 עליו הוא מופץ.
Loading...