שְׁאֵלָה:
מדוע ניתן לקבל נתוני F משמעותיים (p <.001) אך מבחני רגרסור לא משמעותיים?
Ηλίας
2010-10-13 14:40:17 UTC
view on stackexchange narkive permalink

ברגרסיה לינארית מרובה, מדוע ניתן לקבל נתון F משמעותי ביותר (p<.001) אך יש ערכי p גבוהים מאוד בכל מבחני ה- regressor?

במודל שלי, יש 10 רגרסורים. לאחד יש ערך p של 0.1 והשאר מעל 0.9


להתמודדות עם בעיה זו עיין ב שאלת המעקב.

האם הקבוע הוא גם לא משמעותי? בכמה מקרים מדובר? כמה משתנים?
כיצד אובחנה מולטי קולינאריות? ישנן שיטות רבות, חלקן אינפורמטיביות יותר מאחרות. ככל שתספר לנו יותר, כך הקהילה יכולה לענות טוב יותר.
** שאלה זו הפכה לשאלות נפוצות. ** חלק מהתשובות כאן אוחו מחוטים דומים באופן מהותי.
ראה גם כאן: [איך רגרסיה יכולה להיות משמעותית אך כל המנבאים אינם משמעותיים] (http://stats.stackexchange.com/questions/14500/), ולדיון במקרה ההפוך, ראה כאן: [משמעותי מבחן t לעומת סטטיסטית F לא משמעותית] (http://stats.stackexchange.com/questions/24720/significance-of-coefficients-in-linear-regression-significant-t-test-vs-non-sig) .
הייתה לי אותה בעיה ואף אחת מהתשובות לעיל לא יכולה לעזור לי.עכשיו אני יודע את התשובה (לפחות לבעיה שלי): ערך ה- F של מודל 2 יכול להיות משמעותי, כי קיבלת את אותו 'קבוע' (משתנה) כמו במודל 1 (שגם ערך ה- F הוא משמעותי).עליכם להסתכל בטבלה המכונה 'סיכום מודלים' בעמודה 'סיג.F שנה 'כדי לראות אם השינוי בריבוע R משמעותי (עבור מודל 2).אם זה משמעותי, ערכי ה- b צריכים להיות משמעותיים.אתה יכול להתעלם לחלוטין מערך ה- F.
למרות ששלוש התשובות אומרות "מולטי קולינאריות", זוהי למעשה נסיבות מיוחדות.המטרה של שימוש במבחן F מלכתחילה היא שערכי p בודדים עבור קבוצת רגרסורים יכולים לתת מידע סותר על חשיבות הקבוצה כולה.ראה את האשכולות הקשורים אליהם @gung.
תֵשַׁע תשובות:
#1
+111
whuber
2011-08-20 03:49:29 UTC
view on stackexchange narkive permalink

נדרש מעט מאוד מתאם בין המשתנים הבלתי תלויים בכדי לגרום לכך.

כדי לראות מדוע, נסה את הדברים הבאים:

  • צייר 50 סטים של עשרה וקטורים. $ (x_1, x_2, \ ldots, x_ {10}) $ עם מקדמים כרגיל רגיל.

  • חישוב $ y_i = (x_i + x_ {i + 1}) / \ sqrt {2} $ עבור $ i = 1, 2, \ ldots, 9 $. זה הופך את $ y_i $ לנורמלי רגיל אך עם כמה מתאמים ביניהם.

  • חישוב $ w = x_1 + x_2 + \ cdots + x_ {10} $. שים לב ש $ w = \ sqrt {2} (y_1 + y_3 + y_5 + y_7 + y_9) $.

  • הוסף שגיאה עצמאית המופצת בדרך כלל ל- $ w $. עם ניסויים קטנים גיליתי ש $ z = w + \ varepsilon $ עם $ \ varepsilon \ sim N (0, 6) $ עובד די טוב. לפיכך, $ z $ הוא סכום $ x_i $ בתוספת שגיאה כלשהי. זהו גם הסכום של חלק מ $ y_i $ בתוספת אותה שגיאה.

אנו נחשיב $ y_i $ כבלתי תלוי משתנים ו- $ z $ המשתנה התלוי.

הנה מטריצת פיזור של מערך נתונים כזה, עם $ z $ בחלק העליון והשמאלי וה- $ y_i $ ממשיך לפי הסדר.

Scatterplot matrix

המתאמים הצפויים בין $ y_i $ ו- $ y_j $ הם $ 1/2 $ כאשר $ | ij | = 1 $ ו- $ 0 $ אחרת. המתאמים הממומשים נעים עד 62%. הם מופיעים כמפוזרים צמודים יותר לצד האלכסון.

תסתכל על הרגרסיה של $ z $ מול $ y_i $:

  Source | SS df MS מספר obs = 50 ------------- + ---------------------------- - F (9, 40) = 4.57 דגם | 1684.15999 9 187.128887 Prob > F = 0.0003 שיור | 1636.70545 40 40.9176363 R- בריבוע = 0.5071 ------------- + ---------------------------- - Adj R- בריבוע = 0.3963 סה"כ | 3320.86544 49 67.7727641 שורש MSE = 6.3967 ------------------------------------------ ----------------------------------- z | קוף. Std. לִטְעוֹת. t P> | t | [95% קונפ. הַפסָקָה]
------------- + ------------------------------------ ---------------------------- y1 | 2.184007 1.264074 1.73 0.092 -.3707815 4.738795 y2 | 1.537829 1.809436 0.85 0.400 -2.119178 5.194837 y3 | 2.621185 2.140416 1.22 0.228 -1.704757 6.947127 y4 | .6024704 2.176045 0.28 0.783 -3.795481 5.000421 y5 | 1.692758 2.196725 0.77 0.445 -2.746989 6.132506 y6 | .0290429 2.094395 0.01 0.989 -4.203888 4.261974 y7 | .7794273 2.197227 0.35 0.725 -3.661333 5.220188 y8 | -2.485206 2.19327 -1.13 0.264 -6.91797 1.947558 ​​y9 | 1.844671 1.744538 1.06 0.297 -1.681172 5.370514 _cons | .8498024 .9613522 0.88 0.382 -1.093163 2.792768 ----------------------------------------- -------------------------------------  

ה- F הנתונים הסטטיסטיים הם משמעותיים ביותר אך אף אחד מהמשתנים הבלתי תלויים הוא, גם ללא כל התאמה לכל 9 מהם.

כדי לראות מה קורה, שקול את הרגרסיה של $ z $ מול רק המספר המוזר $ y_i $:

  Source | SS df MS מספר obs = 50 ------------- + ---------------------------- - F (5, 44) = 7.77 דגם | 1556.88498 5 311.376997 Prob > F = 0.0000 שיורי | 1763.98046 44 40.0904649 R- בריבוע = 0.4688 ------------- + ---------------------------- - Adj R- בריבוע = 0.4085 סה"כ | 3320.86544 49 67.7727641 שורש MSE = 6.3317 ------------------------------------------ ----------------------------------- z | קוף. Std. לִטְעוֹת. t P> | t | [95% קונפ. מרווח] ------------- + ---------------------------------- ------------------------------
y1 | 2.943948 .8138525 3.62 0.001 1.303736 4.58416 y3 | 3.403871 1.080173 3.15 0.003 1.226925 5.580818 y5 | 2.458887 .955118 2.57 0.013 .533973 4.383801 y7 | -.3859711 .9742503 -0.40 0.694 -2.349443 1.577501 y9 | .1298614 .9795983 0.13 0.895 -1.844389 2.104112 _cons | 1.118512 .9241601 1.21 0.233 -.7440107 2.981034 ----------------------------------------- -------------------------------------  

חלק מ משתנים אלה הם משמעותיים ביותר, אפילו עם התאמת בונפרוני. (ניתן לומר הרבה יותר על ידי התבוננות בתוצאות אלה, אך זה ייקח אותנו מהנקודה העיקרית.)

האינטואיציה מאחורי זה היא ש- $ z $ תלוי בעיקר על קבוצת משנה של המשתנים (אך לא בהכרח על קבוצת משנה ייחודית). ההשלמה של קבוצת משנה זו ($ y_2, y_4, y_6, y_8 $) אינה מוסיפה למעשה שום מידע אודות $ z $ עקב מתאמים - קלים ככל שיהיו - עם תת הקבוצת עצמה.

מצב מסוג זה יתעורר ב ניתוח סדרות זמן . אנו יכולים להתייחס למנויים כמועדים. בניית ה- $ y_i $ גרמה למתאם סדרתי לטווח קצר, בדומה לסדרות זמן רבות. בשל כך אנו מאבדים מעט מידע על ידי דגימת משנה של הסדרה במרווחי זמן קבועים.

מסקנה אחת שאנו יכולים להסיק מכך היא שכאשר כלולים במודל יותר מדי משתנים הם יכולים להסוות את המשמעותיים באמת. הסימן הראשון לכך הוא נתון ה- F הכללי המשמעותי ביותר המלווה בבדיקות t לא משמעותיות עבור המקדמים האישיים. (גם כאשר חלק מהמשתנים הם משמעותיים באופן אינדיבידואלי, זה לא אומר באופן אוטומטי שהאחרים אינם. זה אחד הפגמים הבסיסיים של אסטרטגיות רגרסיה בשלבים: הם נופלים קורבן לבעיית מיסוך זו.) אגב, גורמי אינפלציה של שונות. בטווח הרגרסיה הראשון נע בין 2.55 ל -6.09 עם ממוצע של 4.79: רק על קו הגבול של אבחון ריבוי-קולינאריות כלשהי על פי כללי האצבע השמרניים ביותר; הרבה מתחת לסף על פי כללים אחרים (כאשר 10 הוא חתך עליון).

תשובה טובה. פלוס 1 ממני. הייתי רוצה לתת את זה יותר.
#2
+55
csgillespie
2010-10-13 17:29:11 UTC
view on stackexchange narkive permalink

כפי שרוב מזכיר, זה קורה כאשר יש לך משתנים בקורלציה גבוהה. הדוגמה הסטנדרטית בה אני משתמש היא חיזוי משקל מגודל הנעליים. אתה יכול לחזות משקל באותה מידה עם מידת הנעליים הימנית או השמאלית. אך ביחד זה לא מסתדר.

דוגמה לסימולציה קצרה

  RSS = 3:10 # מידת נעליים ימנית LSS = rnorm (RSS, RSS, 0.1) מידת נעליים שמאלית - דומה ל- RSScor (LSS, RSS) # קורלציה ~ 0.99 משקולות = 120 + rnorm (RSS, 10 * RSS, 10) ## התאם מודל משותף m = lm (משקולות ~ LSS + RSS) ערך ה- # # קטן מאוד, אך לא LSS או RSS משמעותיים (m) ## התאמת RSS או LSS בנפרד נותנת תוצאה משמעותית. סיכום (lm (משקולות ~ LSS))  
מעניין וחשוב לציין ששני הדגמים שלך חוזים באותה מידה, במקרה זה. מתאמים גבוהים בין מנבאים אינם בהכרח בעיית ניבוי. רב-קו-קווריות היא רק בעיה כאשר 1) אנליסטים מנסים לפרש כראוי מקדמי רגרסיה מרובים; 2) המודל אינו ניתן להערכה; ו- 3) חברות SE מנופחות ומקדמים אינם יציבים.
אני מבין ששני המשתנים בקורלציה גבוהה זה עם זה, ולכן התוצאה של מבחן t אינה משמעותית ואילו התוצאה של בדיקת F היא משמעותית. אבל איך זה קורה? כלומר, מה הסיבה שעומדת בבסיס עובדה זו?
#3
+41
Jeromy Anglim
2011-08-19 10:27:14 UTC
view on stackexchange narkive permalink

מולטי-קולינאריות

  • כפי שאתה מציין, וכפי שנדון ב- שאלה קודמת זו, רמות גבוהות של רב-קולינאריות הן גורם עיקרי ל R $ משמעותי סטטיסטית ^ 2 $ אך מנבאים סטטיסטיים שאינם משמעותיים.
  • כמובן שרב-קולינאריות איננה רק סף מוחלט. שגיאות סטנדרטיות במקדמי רגרסיה יגדלו ככל שמתאמים יחסי גומלין עם מנבא המוקד.

מספר ניבויים כמעט משמעותיים

  • גם אם לא הייתה לך מולטי קולינאריות, אתה עדיין יכול לקבל מנבאים שאינם משמעותיים ומודל משמעותי כולל אם שני מנבאים בודדים או יותר קרובים למשמעותיים ובכך באופן קולקטיבי, התחזית הכוללת עוברת את סף המובהקות הסטטיסטית. לדוגמא, שימוש באלפא של .05, אם היו לך שני מנבאים עם ערכי p של .06 ו- .07, אז אני לא אתפלא אם למודל הכולל היה p<.05.
תשובה תמציתית נחמדה.כדי להוסיף לכך, הייתי מציע להפריע את הנתונים (או להסיר מנבא) ולראות אם יש שינוי ניכר במקדמי הרגרסיה.לדוגמה, חפשו אחר שינויים בשלטים.
#4
+39
Rob Hyndman
2010-10-13 16:45:32 UTC
view on stackexchange narkive permalink

זה קורה כאשר המנבאים בקורלציה גבוהה. דמיין מצב שיש רק שני מנבאים עם קורלציה גבוהה מאוד. באופן אינדיבידואלי, שניהם תואמים קשר הדוק עם משתנה התגובה. כתוצאה מכך, למבחן F יש ערך p נמוך (אומרים שהמנבאים יחד משמעותיים ביותר בהסבר השונות במשתנה התגובה). אבל למבחן t לכל מנבא יש ערך p גבוה מכיוון שלאחר שמאפשרים את ההשפעה של המנבא האחר, לא נותר הרבה להסביר.

היי רוב, סליחה שהפריעת לך. קראתי את תשובתך (מכיוון שאני עומד בפני מצב השאלה כרגע) אך אינני יכול להבין למה אתה מתכוון באומרו "לאחר שאיפשר את ההשפעה של המנבא האחר לא נותר הרבה להסביר.". אני יכול לבקש ממך להסביר לי את זה? תודה רבה.
@yue86231 פירוש הדבר שלמרות שיש לנו ערך p אחד לכל מנבא, איננו יכולים לפרש כל ערך p במנותק.כל מבחן t מנבא יכול להראות רק את המשמעות של משתנה * לאחר * התחשבות בשונות המוסברת על ידי כל המשתנים האחרים.מקדמי הרגרסיה הליניארית והשגיאה הסטנדרטית מיוצרים באותו זמן, כביכול, ושני המנבאים מפחיתים זה את זה.
#5
+11
StasK
2012-08-07 08:55:57 UTC
view on stackexchange narkive permalink

שקול את המודל הבא: $ X_1 \ sim N (0,1) $, $ X_2 = X_1 + \ delta $, $ Y = bX_1 + cX_2 + \ epsilon $, $ \ delta $, $ \ epsilon $ ו- $ X_1 $ הם כולם בלתי תלויים זה בזה $ N (0,1) $.

ואז $$ {\ rm Cov} (X_2, Y) = {\ rm E} [(aX_1 + \ delta) ( bX_1 + cX_2 + \ epsilon)] = {\ rm E} [(aX_1 + \ delta) (\ {b + ac \} X_1 + c \ delta + \ epsilon)] = a (b + ac) + c $$

אנו יכולים להגדיר זאת לאפס עם נגיד $ a = 1 $, $ b = 2 $ ו- $ c = -1 $. עם זאת, כל היחסים יהיו ללא ספק וניתנים לזיהוי בקלות באמצעות ניתוח רגרסיה.

אמרת שאתה מבין את סוגיית המשתנים המתואמים ורגרסיה טובה יותר משמעותית; זה כנראה אומר שהתנייתם ​​על ידי אזכור תכוף של רב-קולינאריות, אך יהיה עליכם להגביר את הבנתכם את הגיאומטריה של הריבועים הקטנים ביותר.

#6
+10
Stephan Kolassa
2010-10-13 19:38:27 UTC
view on stackexchange narkive permalink

מילת מפתח לחיפוש תהיה "collinearity" או "multicollinearity". ניתן לזהות זאת באמצעות אבחנות כמו גורמי אינפלציה של שונות (VIF) או שיטות כמתואר בספר הלימוד "אבחון רגרסיה: זיהוי נתונים ומשפיעים ומקורות קולינאריות" על ידי בלסלי, קוה ו וולש. קל יותר להבין VIFs, אך הם אינם יכולים להתמודד עם קולינאריות הכרוכה ביירוט (כלומר, מנבאים שהם כמעט קבועים מעצמם או בשילוב ליניארי) - לעומת זאת, אבחון BKW הוא הרבה פחות אינטואיטיבי אך יכול להתמודד עם קולינאריות הכרוכה ביירוט.

#7
+9
Peter Flom
2011-08-19 15:11:00 UTC
view on stackexchange narkive permalink

התשובה שתקבל תלויה בשאלה שאתה שואל. בנוסף לנקודות שכבר הוצגו, הפרמטרים הבודדים ערכי F והערך F המודל הכולל עונים על שאלות שונות, כך שהם מקבלים תשובות שונות. ראיתי שזה קורה גם כאשר ערכי F הפרטניים אינם כה משמעותיים, במיוחד אם במודל יש יותר מ -2 או 3 IVs. אני לא יודע שום דרך לשלב בין ערכי p בודדים ולקבל שום דבר משמעותי, למרות שיש דרך.

(-1) כן - הכרזה המקורית מציינת שהוא / היא ראה את זה קורה גם. השאלה הייתה מה בדיוק כמה דברים שעלולים לגרום לכך מלבד קולינריות, ואני לא רואה איך זו תשובה.
@Macro ההצבעה למטה נראית מעט קשה, משום שיש תשובה שימושית ותקפה בתשובה זו: המבחנים למשמעות כוללת ולמשמעות משתנה אינדיבידואלית "עונים על שאלות שונות." אומנם זו איכותית, אך לא יותר מכך התשובה הראשונה עם הצבעות רבות; ולתשובה זו זה מוסיף אינטואיציה תקפה, וניתן לטעון שהופך אותה לשיפור ביחס לתשובה זו.
מעולם לא אמרתי שהתשובה הזו לא מספקת מידע או אינטואיציה תקפים. אם הייתה לי תשובה טובה לשאלה זו הייתי מגיב עד עכשיו - זו סוג של שאלה קשה - רק אמרתי שתגובה זו לא נראית משיבה לשאלה בשום מובן של המילה.
#8
+9
Dave Kincaid
2011-08-20 02:02:58 UTC
view on stackexchange narkive permalink

דבר נוסף שיש לזכור הוא שהמבחנים על המקדמים האישיים מניחים כל אחד כי כל המנבאים האחרים נמצאים במודל. במילים אחרות כל מנבא אינו משמעותי כל עוד כל המנבאים האחרים נמצאים במודל. חייבת להיות אינטראקציה או תלות הדדית בין שניים או יותר מהמנבאים שלך.

כפי שמישהו אחר שאל לעיל - כיצד אבחנת חוסר רב-קולינאריות?

#9
+4
Peter Flom
2012-08-07 16:06:50 UTC
view on stackexchange narkive permalink

אחת הדרכים להבין זאת היא הגיאומטריה של הכי פחות ריבועים כפי שמציע @StasK.

אחרת היא להבין שזה אומר ש- X קשור ל- Y כאשר הוא שולט במשתנים האחרים, אך לא לבד. אתה אומר ש- X מתייחס ל ייחוד שונות ב- Y. זה נכון. השונות הייחודית ב- Y, לעומת זאת, שונה מהשונות הכוללת. אז, מה השונות המשתנים האחרים מסירים?

זה יעזור אם תוכל לספר לנו את המשתנים שלך.



שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...