שְׁאֵלָה:
מדוע השוואה מרובה היא בעיה?
AgCl
2010-08-09 23:03:54 UTC
view on stackexchange narkive permalink

קשה לי להבין מה באמת הבעיה ב השוואות מרובות . באנלוגיה פשוטה נאמר שאדם שיקבל החלטות רבות יעשה טעויות רבות. כך שמופעלים אמצעי זהירות מאוד שמרניים, כמו תיקון בונפרוני, כדי להפוך את ההסתברות שאדם זה יעשה טעות כלשהי, נמוך ככל האפשר.

אך מדוע אכפת לנו האם האדם עשה טעות כלשהי בין כל ההחלטות שהוא / היא, ולא אחוז ההחלטות השגויות?

תן לי לנסות להסביר מה מבלבל אותי עם אנלוגיה אחרת. נניח שיש שני שופטים, אחד בן 60, והשני בן 20. ואז תיקון בונפרוני אומר לזה שבגיל 20 יהיה כמה שיותר שמרני, בהחלטה להוצאה להורג, כי הוא יעבוד עוד הרבה שנים כשופט, יקבל הרבה יותר החלטות, אז הוא צריך להיזהר. אבל מי שבגיל 60 אולי יפרוש בקרוב, יקבל פחות החלטות, כך שהוא יכול להיות רשלני יותר בהשוואה לאחר. אך למעשה, שני השופטים צריכים להיות זהירים או שמרניים באותה מידה, ללא קשר למספר ההחלטות הכולל שיקבלו. אני חושב שהאנלוגיה הזו מתורגמת פחות או יותר לבעיות האמיתיות שבהן מיושם תיקון בונפרוני, שלדעתי אינו אינטואיטיבי.

לא ממש תשובה לשאלתך, אך האם נתקלת בשיעורי גילוי שגויים (FDR)? "מעבר לבונפרוני" מאת נרום: http://www.springerlink.com/content/c5047h0084528056/
חָמֵשׁ תשובות:
#1
+40
John
2010-08-09 23:55:56 UTC
view on stackexchange narkive permalink

הצהרת משהו שהוא טיעון נגדי קלאסי לתיקוני בונפרוני. האם אני לא צריך להתאים את קריטריון האלפא שלי על סמך כל בדיקה שאעשה אי פעם? סוג זה של השלכה על מודעות אבסורדית הוא הסיבה שאנשים מסוימים כלל לא מאמינים בתיקונים בסגנון בונפרוני. לפעמים סוג הנתונים שמתמודדים איתם בקריירה שלהם הוא כזה שזה לא נושא. עבור שופטים שמקבלים החלטה אחת או מעט מאוד על כל ראיה חדשה זהו טיעון תקף ביותר. אבל מה עם השופט עם 20 נאשמים ומי מבסס את שיקול דעתם על מערכת נתונים גדולה אחת (למשל בתי דין למלחמה)?

אתה מתעלם מהבעיטות בחלק יכול של הוויכוח. בדרך כלל מדענים מחפשים משהו - ערך p פחות מאלפא. כל ניסיון למצוא אחד הוא בעיטה נוספת בפחית. בסופו של דבר אחד ימצא אחד אם יצלמו אליו מספיק יריות. לכן, עליהם להיענש על כך.

הדרך בה אתה תואם את שני הטיעונים הללו היא להבין ששניהם נכונים. הפיתרון הפשוט ביותר הוא לשקול בדיקת הבדלים בתוך מערך נתונים יחיד כבעיטה לבעיה מסוג יכול, אך הרחבת היקף התיקון מחוץ לזה תהיה מדרון חלקלק.

זו בעיה קשה באמת במספר תחומים, בעיקר FMRI שבהם יש השוואה בין אלפי נקודות נתונים, וחייבים להיות כאלה שעשויים להיות משמעותיים במקרה. בהתחשב בכך שהתחום היה חקרני מאוד יש לעשות משהו כדי לתקן את העובדה שמאות אזורים במוח ייראו משמעותיים במקרה בלבד. לכן, שיטות רבות להתאמת הקריטריון פותחו בתחום זה.

מצד שני, בתחומים מסוימים ניתן לכל היותר להסתכל על 3 עד 5 רמות של משתנה ותמיד רק לבדוק כל שילוב. אם מתרחשת ANOVA משמעותי. ידוע שיש לכך כמה בעיות (שגיאות מסוג 1) אך זה לא נורא במיוחד.

זה תלוי בנקודת המבט שלך. חוקר FMRI מכיר בצורך אמיתי בשינוי קריטריון. האדם שמסתכל על ANOVA קטן עשוי להרגיש שיש שם בבירור משהו מהבדיקה. נקודת המבט השמרנית הנכונה על ההשוואות המרובות היא תמיד לעשות משהו לגביהם, אלא רק על בסיס מערך נתונים יחיד. כל נתונים חדשים מאפסים את הקריטריון ... אלא אם כן אתה Bayesian ...

תודה, זה עזר מאוד. אצביע זאת כשיהיה לי מספיק נציג.
חוקר FMRI ישתמש ככל הנראה גם בקריטריון ה- FDR (Discoverer Rate Discovery Rate), מכיוון שהוא מבטיח תוצאות חיוביות אלפא * 100% לאורך תקופות ארוכות של בדיקות.
@John, האם אתה יכול בבקשה לענות על שאלה זו https://stats.stackexchange.com/questions/431011/should-i-correct-p-values-when-the-exact-same-dataset-is-not-beinging-used-for-אשמח, אם בבקשה תוכל לעזור לי.
#2
+26
John D. Cook
2010-08-10 04:39:56 UTC
view on stackexchange narkive permalink

סטטיסטיקאים מכובדים נקטו מגוון רחב של עמדות בהשוואה מרובה. זה נושא עדין. אם מישהו חושב שזה פשוט, הייתי תוהה כמה הם חשבו על זה.

הנה נקודת מבט בייסיאנית מעניינת על בדיקות מרובות מאת אנדרו גלמן: למה אנחנו (בדרך כלל) לא דואגים על השוואות מרובות.

מה שמוצא בעיניי בעיתון זה הוא ש * נקודת המבט * היא בייזיאנית, אך גישת הדוגמנות ההיררכית המוצעת להחלפת תיקונים להשוואות מרובות אינה * מחייבת אותך להיות בייזיאני.
רק הסתכלתי על המאמר ההוא; אני חושב שאולי צריך לצטט יותר. אני שונא שטיפות אפקטים לטמיון מכיוון שטכניקות השוואה מרובות מתקדמות אינן ידועות או קלות לביצוע. לעומת זאת, גישה lmer היא פשוטה. מעניין אם יש בעיות חמורות עם זה שיש לקחת בחשבון.
אבל ראה את הפוסט של גלמן משנת 2014 [באחת האירוניות הנוראיות של החיים כתבתי מאמר "מדוע אנחנו (בדרך כלל) לא צריכים לדאוג להשוואה מרובה", אבל עכשיו אני מקדיש הרבה זמן לדאוג להשוואות מרובות] (http: //andrewgelman.
#3
+13
pmgjones
2010-08-10 03:18:23 UTC
view on stackexchange narkive permalink

שקשור לתגובה קודם לכן, מה שחוקר ה- fMRI צריך לזכור הוא שהתוצאות החשובות מבחינה קלינית הן מה שחשוב, ולא שינוי הצפיפות של פיקסל יחיד ב- fMRI של המוח. אם זה לא מביא לשיפור / פגיעה קלינית, זה לא משנה. זו אחת הדרכים להפחית את החשש מפני השוואות מרובות.

ראה גם:

  1. Bauer, P. (1991). בדיקות מרובות בניסויים קליניים. סטאט מד, 10 (6), 871-89; דיון 889-90.
  2. Proschan, M. A. & Waclawiw, M. A. (2000). הנחיות מעשיות להתאמת ריבוי בניסויים קליניים. ניסויי קליני בקרה, 21 (6), 527-39.
  3. Rothman, K. J. (1990). אין צורך בהתאמות לצורך השוואה מרובה. אפידמיולוגיה (קיימברידג ', מסצ'וסטס), 1 (1), 43-6.
  4. Perneger, T. V. (1998). מה רע בהתאמות בונפרוני. BMJ (עורך מחקר קליני), 316 (7139), 1236-8.
זה בהחלט שווה גם לצטט: http://prefrontal.org/files/posters/Bennett-Salmon-2009.jpg
אני בטוח שהיה להם המון כיף לשאול סלמון מת על רגשותיו !!!
לפוסט זה יש גם הפניות שימושיות הקשורות ל- RCT: http://j.mp/bAgr1B.
#4
+10
robin girard
2010-08-10 02:18:01 UTC
view on stackexchange narkive permalink

כדי לתקן רעיונות: אני אקח את המקרה כאשר אתה מסתיר, $ n $ משתנים אקראיים עצמאיים $ (X_i) _ {i = 1, \ נקודות, n} $ כך שעבור $ i = 1, \ נקודות, n $ $ X_i $ נמשך מ $ \ mathcal {N} (\ theta_i, 1) $ . אני מניח שאתה רוצה לדעת לאיזה ממוצע יש אפס ממוצע, באופן רשמי אתה רוצה לבדוק:

$ H_ {0i}: \ theta_i = 0 $ span> Vs $ H_ {1i}: \ theta_i \ neq 0 $

הגדרת סף: יש לך $ n $ החלטות לקבל ואולי תהיה לך מטרה אחרת. למבחן נתון $ i $ אתה בהחלט מתכוון לבחור סף $ \ tau_i $ ולהחליט שלא לקבל $ H_ {0i} $ אם $ | X_i | > \ tau_i $ .

אפשרויות שונות: עליך לבחור את הספים $ \ tau_i $ ולשם כך יש לך שתי אפשרויות חזק >:

  1. בחר ב אותו סף לכולם

  2. כדי לבחור ב סף אחר לכולם (לרוב רף נתונים חכם, ראה להלן).

מטרות שונות: אפשרויות אלה יכולות להיות מונעות עבור כגון

  • שליטה על ההסתברות לדחות שלא כהלכה $ H_ {0i} $ עבור אחד או יותר מ $ i $ .

  • שליטה על הציפייה של אל השקר יחס זרוע (או קצב גילוי שגוי)

    מה שמטרתך בסופו של דבר, מומלץ להשתמש בסף חכם נתונים.

התשובה שלי לשאלתך: האינטואיציה שלך קשורה להיוריסט הראשי לבחירת סף נתונים. זה הדבר הבא (במקור ההליך של הולם שהוא חזק יותר מבונפרוני):

דמיין שכבר קיבלת החלטה ל $ p $ span> הנמוך ביותר $ | X_ {i} | $ וההחלטה היא לקבל $ H_ {0i} $ span > לכולם. אז אתה רק צריך לבצע השוואות $ np $ ולא לקחת שום סיכון לדחות $ H_ {0i} $ span> שלא בצדק! מכיוון שלא השתמשת בתקציב שלך, אתה עלול לקחת מעט יותר סיכון למבחן שנותר ולבחור סף גדול יותר.

במקרה של השופטים שלך: אני מניח ( ואני מניח שעליכם לעשות את אותו הדבר) שלשני השופטים יש אותם תקציבים של האשמת שווא בחייהם. השופט בן 60 עשוי להיות פחות שמרני אם בעבר הוא לא האשים איש! אבל אם הוא כבר האשים הרבה הוא יהיה שמרני יותר ואולי אפילו יותר מהשופט הכי צומח.

אני חושב שיש לך שגיאת הקלדה בהשערותיך - נראה ששניהם זהים ...
#5
+4
peuhp
2016-01-05 00:52:28 UTC
view on stackexchange narkive permalink

מאמר מדגים (ומצחיק) ( http://www.jsur.org/ar/jsur_ben102010.pdf) אודות הצורך לתקן בדיקות מרובות במחקר מעשי כלשהו המפתח משתנים רבים למשל. MRI פונקציונלי (fMRI). ציטוט קצר זה מכיל את מרבית ההודעה:

"[...] סיימנו מפגש סריקת fMRI עם סלמון אטלנטי שלאחר המוות כנושא. לסלמון הוצג אותה משימה של לקיחת פרספקטיבה חברתית שהועברה מאוחר יותר לקבוצת נבדקים אנושיים. "

כלומר, מניסיוני, טיעון נהדר לעודד משתמשים להשתמש בבדיקות מרובות תיקונים.



שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...