שְׁאֵלָה:
מה ההבדל בין מבחן הנורמליות של שפירו-וילק לבין מבחן הנורמליות של קולמוגורוב-סמירנוב?
russellpierce
2010-07-21 05:24:36 UTC
view on stackexchange narkive permalink

מה ההבדל בין מבחן הנורמליות של שפירו-וילק לבין מבחן הנורמליות של קולמוגורוב-סמירנוב? מתי יהיו תוצאות משתי השיטות הללו שונות?

שתיים תשובות:
#1
+27
Glen_b
2013-11-08 14:10:48 UTC
view on stackexchange narkive permalink

אינך יכול אפילו להשוות בין השניים מכיוון ש- Kolmogorov-Smirnov מיועד להפצה מוגדרת לחלוטין (כך שאם אתה בודק תקינות, עליך לציין את הממוצע והשונות; לא ניתן לאמוד אותם מהנתונים * ), בעוד שפירו-וילק נועד לנורמליות, עם ממוצע ושונות לא מוגדרים.

* אתה גם לא יכול לתקנן באמצעות פרמטרים משוערים ולבדוק תקן רגיל; זה בעצם אותו הדבר.

אחת הדרכים להשוות היא להשלים את שפירו-וילק עם מבחן לממוצע ושונות מוגדרים בתקינה (שילוב של הבדיקות בצורה כלשהי), או על ידי קיום KS טבלאות מותאמות לאומדן הפרמטרים (אך אז זה כבר לא נטול הפצה).

יש בדיקה כזו (שווה ערך לקולמוגורוב-סמירנוב עם פרמטרים משוערים) - מבחן Lilliefors; ניתן להשוות באופן חוקי את גרסת מבחן הנורמליות לשפירו-וילק (ובדרך כלל תהיה לה כוח נמוך יותר). תחרותית יותר היא מבחן אנדרסון-דרלינג (שיש להתאים אותו גם כדי שאמידת הפרמטרים תהיה תקפה).


באשר למה שהם בודקים - מבחן KS (וה- Lilliefors) נראה בהפרש הגדול ביותר בין ה- CDF האמפירי לבין ההתפלגות שצוינה, בעוד שפירו וילק משווה למעשה שתי אומדנות שונות; ניתן לראות את שפירא-פרנסיה הקשורה זה לזה כפונקציה מונוטונית של המתאם בריבוע בעלילת Q-Q; אם אני זוכר נכון, שפירו-וילק לוקח בחשבון גם קובראציות בין סטטיסטיקה להזמנות.

נערך להוספה: בעוד שפירא-וילק כמעט תמיד מכה במבחן Lilliefors על חלופות מעניינות, דוגמה שבה הוא אינו $ t_ {30} $ בדוגמאות בינוניות-גדולות ( $ n>60 $ -ish ). שם ל- Lilliefors יש כוח גבוה יותר.

[צריך לזכור שיש הרבה יותר מבחנים לנורמליות שקיימים מאלו.]

זו תשובה מעניינת, אבל אני מתקשה קצת להבין איך לרבוע אותה בתרגול. אולי אלה צריכות להיות שאלות שונות, אך מה התוצאה של התעלמות מהערכת הפרמטרים במבחן K-S? האם זה מרמז שלמבחן לילפורס יש פחות כוח מאשר ל- K-S שנערך באופן שגוי בו הוערכו הפרטרים מהנתונים?
@rpierce - ההשפעה העיקרית של טיפול בפרמטרים משוערים כידועים היא הורדה דרמטית של רמת המשמעות בפועל (ומכאן עקומת הכוח) ממה שהיא צריכה להיות אם לוקחים בחשבון את זה (כפי שעושים Lilliefors). כלומר, Lilliefors הוא ה- K-S 'נעשה נכון' להערכת פרמטרים ויש לו כוח טוב משמעותית מזה של ה- KS. מצד שני, לליליפורס יש כוח הרבה יותר גרוע מאשר לומר מבחן שפירו-וילק. בקיצור, ה- KS הוא לא מבחן חזק במיוחד מלכתחילה, ואנחנו מחמירים בכך שאנחנו מתעלמים מכך שאנחנו עושים הערכת פרמטרים.
... כשאנחנו אומרים 'כוח טוב יותר' ו'עוצמה גרועה יותר 'שבדרך כלל אנחנו מתייחסים לשלטון כנגד מה שאנשים בדרך כלל רואים כאלטרנטיבות מעניינות.
רק כדי להבהיר, כוונתך היא שה- SW רגיש יותר לסטיות מהנורמליות מאשר ל- KS (למרות שאין להשתמש ב- KS בצורה כזו) וה- KS רגיש יותר מאשר לילפורס לסטיות מהנורמליות?
איך משיגים את המסקנה השנייה? עכשיו אני חושש שטעיתי איפשהו.
אני מניח שהנחתי רע. בדרך כלל נראה כי הערכת פרמטרים נוספים גורמת לעונש כוח ולכן הנחתי שמכיוון ש- Lillefors עמד לאמוד את הפרמטרים המשמשים במקום להעביר אותם על ידי המשתמש (באופן שבדיקת KS בוצעה באופן שגוי), לילילפורס תהיה פחות חזק (פחות מסוגל לדחות את H0 שההתפלגות נורמלית) מאשר KS.
בעיה אחת שיש ל- KS היא שכאשר אתה מעריך פרמטרים אתה מקטין את שיעור השגיאות מסוג I (הרבה) מתחת לשיעור הנומינלי. הזכרתי זאת במשפט הראשון של הערתי הראשונה בעקבות שאלתך. האם אתה מתרחק לרגע מכושר הכושר, האם ראית אי פעם עקומת כוח, כמו זו למבחן t?
לא עקבתי אחר דבריך בהתחלה. עכשיו אני מבין שאתה מתכוון שה- p שנובע מה- KS הוא 'למעשה' די גבוה יותר ממה שהוא מדווח בחזרה במקרים שבהם הערכת את הפרמטרים שלו. כתוצאה מכך נותר לשמור על האפס כאשר באמת צריך היה לדחות אותו. כן?
ראיתי עקומת עוצמה: פשוט לא חשבתי מה המשמעות של הורדה או העלאה של זה ובמקום שאלוהים דבק בתגובה השנייה שלך: "לזכור". איכשהו הסתובבתי וחשבתי שאתה אומר שכוח 'טוב יותר' פירושו שיהיה עקומת הכוח במקום שהוא 'צריך' להיות. שאולי בגדנו וקיבלנו כוח לא מציאותי בק.ס. כי נתנו לו פרמטרים שהיו צריכים להיענש להערכתם (כי זה מה שאני רגיל כתוצאה מכך שלא הכרתי שפרמטר מגיע מהערכה) .
לא בטוח איך פספסתי את ההערות האלה בעבר, אבל כן, ערכי p מחושבים משימוש במבחן KS עם פרמטרים משוערים כאילו היו ידועים / מוגדרים נוטים להיות גבוהים מדי.נסה זאת ב- R: `היסט (משכפל (1000, ks.test (סולם (rnorm (x)), pnorm) $ p.value))` - אם ערכי p היו כמו שהם צריכים להיות, זה ייראה אחיד!
#2
+26
John L. Taylor
2010-07-21 20:36:35 UTC
view on stackexchange narkive permalink

נאמר בקצרה, מבחן שפירו-וילק הוא מבחן ספציפי לנורמליות, ואילו השיטה בה השתמשה מבחן קולמוגורוב-סמירנוב היא כללית יותר, אך פחות עוצמתית (כלומר היא דוחה נכונה את השערת האפס של נורמליות בתדירות נמוכה יותר). שתי הנתונים הסטטיסטיים לוקחים את הנורמליות כמבוטלת וקובעים נתונים סטטיסטיים לבדיקה על סמך המדגם, אך כיצד הם עושים זאת שונה זה מזה בדרכים שהופכות אותם לרגישים פחות או יותר לתכונות של התפלגויות רגילות.

כיצד בדיוק W (נתון הבדיקה עבור שפירו-וילק) מחושב הוא קצת מעורב, אך מבחינה רעיונית, זה כרוך במערך ערכי המדגם לפי גודל ומדידת התאמה לאמצעים, שונות וציוויויות צפויות. ההשוואות המרובות הללו כנגד נורמליות, לפי הבנתי, מעניקות למבחן יותר כוח מאשר מבחן קולמוגורוב-סמירנוב, שהוא דרך אחת בה הן עשויות להיות שונות.

לעומת זאת, מבחן קולמוגורוב-סמירנוב ל הנורמליות נגזרת מגישה כללית להערכת טובת ההתאמה על ידי השוואת ההתפלגות המצטברת הצפויה לעומת ההתפלגות המצטברת האמפירית, מול:

alt text

ככזו, היא רגישה ב מרכז ההפצה, ולא הזנבות. עם זאת, ה- KS הוא שהמבחן הוא מתכנס, במובן שכאשר n נוטה לאינסוף, המבחן מתכנס לתשובה האמיתית בהסתברות (אני מאמין ש משפט גליוונקו-קנטלי חל כאן, אך מישהו עשוי לתקן. לִי). אלו שתי דרכים נוספות בהן שני המבחנים הללו עשויים להיות שונים זה מזה בהערכתם לנורמליות.

חוץ מזה ... המבחן של שפירו-וילק משמש לעתים קרובות כאשר מעריכים יציאות מהנורמליות בדגימות קטנות. תשובה נהדרת, ג'ון! תודה.
+1, שתי הערות נוספות לגבי KS: ניתן להשתמש בו לבדיקה מול כל התפלגות עיקרית (ואילו SW הוא * רק * לנורמליות), וההספק הנמוך [יכול] (http://stats.stackexchange.com/questions/ 2492 / הוא נורמלי-בדיקה-למעשה-חסר תועלת) להיות דבר טוב עם דגימות גדולות יותר.
איך כוח נמוך יותר זה דבר טוב? כל עוד סוג I נשאר זהה האם ההספק הגבוה יותר לא תמיד טוב יותר? יתר על כן, KS אינו בדרך כלל פחות חזק, רק אולי לפטוקורטוזיס? לדוגמא, KS חזק בהרבה להטייה ללא עלייה שווה בשגיאות סוג 1.
Kolmogorov-Smirnov מיועד להפצה מוגדרת לחלוטין. שפירו וילק לא. אי אפשר להשוות אותם ... כי ברגע שאתה מבצע את ההתאמות הנדרשות כדי להשוות אותם, * כבר אין לך מבחן כזה או אחר *.
מצאתי את מחקר הסימולציה הזה, למקרה שמוסיף משהו שימושי בדרך לפרטים. אותה מסקנה כללית כנ"ל: מבחן שפירו-וילק הוא רגיש יותר. Http://www.ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf


שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...