שאלה זו מגיעה לליבה של מהי סטטיסטיקה וכיצד לבצע ניתוח סטטיסטי טוב. זה מעלה סוגיות רבות, חלקן של טרמינולוגיה ואחרות של תיאוריה. כדי להבהיר אותם, נתחיל לציין את ההקשר הגלום של השאלה ונמשיך משם להגדיר את מונחי המפתח "פרמטר", "מאפיין" ו"אומד. " על כמה חלקי השאלה עונים כשהם עולים בדיון. החלק האחרון המסכם מסכם את רעיונות המפתח.

ציין רווחים

שימוש סטטיסטי נפוץ ב"התפלגות ", כמו ב"התפלגות רגילה עם PDF ביחס ל $ \ exp (- \ frac {1} {2} (x- \ mu) / \ sigma) ^ 2) dx $ " הוא למעשה שימוש לרעה (רציני) באנגלית, כי ברור זו לא תפוצה אחת: מדובר במשפחה שלמה של התפלגויות פרמטמטר לפי הסמלים $ \ mu $ ו- $ \ sigma $ . סימון סטנדרטי לכך הוא "מרחב המדינה" $ \ Omega $ , סט של הפצות. (אני מפשט כאן מעט לצורך ההצגה ואמשיך לפשט ככל שנלך, תוך שמירה קפדנית ככל האפשר.) תפקידה הוא לשרטט את היעדים האפשריים של ההליכים הסטטיסטיים שלנו: כאשר אנו מעריכים משהו, אנו בחירת אלמנט אחד (או לפעמים יותר) מ $ \ Omega $ .

לפעמים רווחים מפורשים של רווחי מדינה, כמו ב $ \ Omega = \ {\ mathcal {N} (\ mu, \ sigma ^ 2) | \ mu \ in \ mathbb { R}, \ sigma \ gt 0 \} $ . בתיאור זה קיימת התכתבות אחת לאחת בין קבוצת הצמרות $ \ {(\ mu, \ sigma) \} $ במישור החצי העליון ו מערך ההפצות בו נשתמש למודל הנתונים שלנו. ערך אחד של פרמטרציה כזו הוא שעכשיו אנו מתייחסים באופן קונקרטי להפצות ב $ \ Omega $ באמצעות זוג מסודר של מספרים אמיתיים.

במקרים אחרים רווחי המדינה אינם פרמטרים במפורש. דוגמה תהיה קבוצת כל ההפצות הרציפות הלא-מודרניות. להלן, אנו נעסוק בשאלה האם בכל מקרה ניתן למצוא פרמטריזציה נאותה במקרים כאלה.

פרמטרים

בדרך כלל, פרמטריזציה של $ \ Omega $ היא תכתובת ( פונקציה מתמטית) מקבוצת משנה של $ \ mathbb {R} ^ d $ (עם $ d $ סופי) עד $ \ Omega $ . כלומר, הוא משתמש בסטים מסודרים של $ d $ -סדנים כדי לתייג את ההפצות. אבל זו לא סתם התכתבויות: צריך "לנהוג היטב". כדי להבין זאת, שקול את מכלול ההפצות הרציפות שקובצי ה- PDF שלהם מצפים סופיים. זה ייחשב באופן נרחב כ"לא פרמטרי "במובן שכל ניסיון" טבעי "לפרמט מערך זה יהיה כרוך ברצף ניכר של מספרים אמיתיים (תוך שימוש בהרחבה בכל בסיס אורתוגונלי). אף על פי כן, מכיוון שלמערכת זו יש קרדינליות $ \ aleph_1 $ , שהיא הקרדינליות של הריאלים, חייבת להתקיים התאמה אחת לאחד בין התפלגויות אלה ל- $ \ mathbb {R} $ . באופן פרדוקסלי, נראה שזה הופך את זה למצב של פרמטר עם פרמטר אמיתי יחיד!

הפרדוקס נפתר על ידי ציון שמספר אמיתי יחיד לא יכולים ליהנות ממערכת יחסים "נחמדה" עם ההפצות: כאשר אנו משנים את ערך המספר הזה, ההתפלגות שהוא תואם חייבת להשתנות במקרים מסוימים בדרכים רדיקליות. אנו שוללים פרמטריזציות "פתולוגיות" כאלו על ידי דרישה ש התפלגויות המתאימות לערכים קרובים של הפרמטרים שלהן חייבות להיות "קרובות" זו לזו. דיון בהגדרות מתאימות של "קרוב" ייקח אותנו רחוק מדי, אבל אני מקווה שתאור זה מספיק בכדי להוכיח שיש הרבה יותר להיות פרמטר מאשר רק לתת שם להפצה מסוימת.

מאפייני הפצות

באמצעות יישום חוזר ונשנה, אנו רגילים לחשוב על "מאפיין" של התפלגות ככמות מובנת כלשהי המופיעה לעיתים קרובות בעבודתנו, כמו ציפייה, שונות וכדומה. הבעיה עם זה כ הגדרה אפשרית של "נכס" היא שהוא מעורפל מדי ולא מספיק כללי. (זה המקום בו הייתה המתמטיקה באמצע המאה ה -18, שם נחשבו "פונקציות" כתהליכים סופיים המיושמים על אובייקטים.) במקום זאת, ההגדרה ההגיונית היחידה של "תכונה" שתעבוד תמיד היא לחשוב על מאפיין להיות מספר שמוקצה באופן ייחודי לכל הפצה ב $ \ Omega $ . זה כולל את הממוצע, השונות, כל רגע, כל שילוב אלגברי של רגעים, כל כמות, והרבה יותר, כולל דברים שאי אפשר אפילו לחשב. עם זאת, הוא לא כולל דברים שלא היו הגיוניים לחלק מהרכיבים של $ \ Omega $ . לדוגמא, אם $ \ Omega $ מורכב מכל הפצות התלמידים, אז הממוצע הוא לא מאפיין חוקי עבור $ \ Omega $ (כי ל $ t_1 $ אין שום משמעות). זה מרשים אותנו שוב כמה הרעיונות שלנו תלויים במה ש $ \ Omega $ באמת מורכב ממנו.

מאפיינים הם לא תמיד פרמטרים

מאפיין יכול להיות פונקציה כל כך מסובכת שהוא לא ישמש כפרמטר. שקול את המקרה של "ההפצה הרגילה". אולי נרצה לדעת האם ממוצע ההתפלגות האמיתי, כאשר הוא מעוגל למספר השלם הקרוב ביותר, הוא שווה. זה נכס. אך הוא לא ישמש כפרמטר.

פרמטרים אינם בהכרח מאפיינים

כאשר פרמטרים והפצות הם בהתאמה אחת לאחת אז ברור שכל פרמטר וכל פונקציה של הפרמטרים לצורך העניין הם מאפיין על פי ההגדרה שלנו. אך לא צריך להיות התאמה בין אחד לאחד בין פרמטרים והפצות: לפעמים יש לתאר כמה התפלגויות על ידי שניים או יותר ערכים שונים של הפרמטרים. לדוגמא, פרמטר מיקום לנקודות בספירה ישתמש באופן טבעי ברוחב ובאורך. זה בסדר - למעט בשני הקטבים התואמים קו רוחב נתון ו כל אורך תקף. ה מיקום (נקודה על הכדור) אכן הוא נכס אך אורכו אינו בהכרח נכס. למרות שישנן התחמקות שונות (רק הכריזו על אורך הקוטב כאפס, למשל), נושא זה מדגיש את ההבדל הרעיוני החשוב בין מאפיין (שקשור באופן ייחודי להפצה) לבין em> פרמטר (שזו דרך לסמן את ההפצה ואולי לא ייחודית).

נהלים סטטיסטיים

יעד האומדן נקרא הערכה . זה רק נכס. הסטטיסטיקאי אינו רשאי לבחור את האומדן: זה פרובינציית הלקוח שלה. כשמישהו מגיע אליך עם מדגם של אוכלוסיה ומבקש ממך לאמוד את אחוזון 99 האוכלוסייה, סביר להניח שתהיה רשלנית לספק במקום זאת אומדן של הממוצע! התפקיד שלך, כסטטיסטיקאי, הוא לזהות הליך טוב לאמידת האומדן שקיבלת. (לפעמים התפקיד שלך הוא לשכנע את הלקוח שלך שהוא בחר אומדן שגוי ליעדים המדעיים שלו, אבל זה נושא אחר ...)

בהגדרה, הליך הוא דרך להוציא מספר מהנתונים. נהלים ניתנים בדרך כלל כנוסחאות המיושמות על הנתונים, כמו "הוסיפו את כולם וחלקו לפי ספירתם." פשוטו כמשמעו כל הליך ניתן לבטא כ"אומדן "של אומדן נתון. למשל, אוכל להכריז שממוצע המדגם (נוסחה המיושמת על הנתונים) מעריך את שונות האוכלוסייה (מאפיין של האוכלוסייה, בהנחה הלקוח שלנו הגביל את מערך האוכלוסיות האפשריות $ \ אומגה $ span> כדי לכלול רק את אלה שיש להם באמת שונות).

אומדנים

לאומדן לא צריך להיות קשר ברור ל estimand. לדוגמא, האם אתה רואה קשר כלשהו בין ממוצע המדגם לשונות האוכלוסייה? גם אני לא. אבל עם זאת, המשמעות של המדגם היא אומדן הגון של שונות האוכלוסייה עבור $ \ Omega $ (כגון סט של כל הפצות פואסון). כאן טמון מפתח אחד להבנת אומדנים: איכויותיהם תלויות במכלול המצבים האפשריים $ \ Omega $ . אבל זה רק חלק מזה.

סטטיסטיקאי מוסמך ירצה לדעת עד כמה ההליך עליו הם ממליצים אכן יבצע. בואו נקרא לפרוצדורה " $ t $ " ונתן לאמידה להיות $ \ theta $ . לא יודעת איזו תפוצה היא האמיתית, היא תשקול את ביצועי ההליך לכל חלוקה אפשרית $ F \ in \ Omega $ . בהינתן $ F $ , וניתנת לכל תוצאה אפשרית $ s $ (כלומר, סט של נתונים), היא תשווה $ t (s) $ (מה שמעריכה ההליך שלה) ל $ \ theta (F) $ (ערך האומדן עבור $ F $ ). באחריות הלקוח שלה לומר לה עד כמה שניהם קרובים או רחוקים זה מזה. (זה נעשה לעתים קרובות עם פונקציית "אובדן"). לאחר מכן היא יכולה לשקול את ה ציפייה של המרחק בין $ t (s) $ ו- $ \ theta (F) $ . זהו ה סיכון בהליך שלה. מכיוון שזה תלוי ב $ F $ , הסיכון הוא פונקציה המוגדרת ב- $ \ Omega $ .

סטטיסטיקאים (טובים) ממליצים על נהלים המבוססים על השוואת סיכונים. למשל, נניח שבכל $ F \ ב \ Omega $ , הסיכון להליך $ t_1 $ הוא פחות או שווה לסיכון של $ t $ . אז אין שום סיבה להשתמש אי פעם ב $ t $ : זה "לא קביל". אחרת זה "קביל".

(סטטיסטיקאי "בייסיאני" תמיד ישווה סיכונים על ידי ממוצע של חלוקה "קודמת" של מצבים אפשריים (המסופק בדרך כלל על ידי הלקוח). סטטיסטיקאי "תדיר" עשוי לעשות זאת, אם כזה קודמת קיימת בצדק, אך מוכנה גם להשוות סיכונים בדרכים אחרות שהבייסאים נמנעים.)

מסקנות

יש לנו זכות לומר כי כל $ t $ שמותר ל $ \ theta $ הוא אומדן של $ \ theta $ . עלינו, למטרות מעשיות (מכיוון שקשה מאוד למצוא הליכים קבילים), לכופף זאת באומרו ש כל $ t $ שיש סיכון קטן למדי (בהשוואה ל $ \ theta $ ) בקרב הליכים מעשיים הוא אומדן של $ \ theta $ . "באופן קביל" ו"מעשי "נקבעים על ידי הלקוח, כמובן:" באופן מתקבל על הדעת "מתייחס לסיכון שלהם ו"מעשי" משקף את העלות (ששולמה בסופו של דבר על ידם) ליישום ההליך.

בבסיס ההגדרה התמציתית הזו עומדים כל הרעיונות שנדונו זה עתה: כדי להבין זאת עלינו יש לזכור $ \ Omega $ (שהוא מודל של הבעיה, התהליך או האוכלוסייה הנחקרים) , אומדן מוגדר (המסופק על ידי הלקוח), פונקציית אובדן ספציפית (המחברת כמותית $ t $ לאומדן וניתנת גם על ידי הלקוח), הרעיון של סיכון (מחושב על ידי הסטטיסטיקאי), הליך כלשהו להשוואת פונקציות סיכון (אחריות הסטטיסטיקאי בהתייעצות עם הלקוח), ותחושה של אילו נהלים ניתן לבצע בפועל (סוגיית "הניתנות לביצוע"), אף על פי שאין מאלה מוזכרים במפורש בהגדרה.

כמו בשאלות רבות בנושא הגדרות, התשובות צריכות לשים עין הן על העקרונות הבסיסיים והן על דרכי השימוש במונחים בפועל, שלעתים קרובות יכולים להיות לפחות רופפים או לא עקביים, אפילו על ידי אנשים שמודעים היטב. וחשוב מכך, משתנה מקהילה לקהילה.

עקרון מקובל אחד הוא שסטטיסטיקה היא תכונה של מדגם, וקבוע ידוע, ופרמטר הוא המאפיין המקביל של האוכלוסייה, ולכן קבוע לא ידוע. יש להבין את המילה "מקביל" כאלסטית למדי כאן. אגב, בדיוק הבחנה זו ובדיוק מינוח זה הם בני פחות ממאה שנה, לאחר שהוצגו על ידי ר.א. פישר.

אבל

1. מערך מדגם ואוכלוסייה אינו מאפיין את כל הבעיות שלנו. סדרות זמן הן סוג גדול של דוגמאות בהן הרעיון הוא דווקא תהליך ייצור בסיסי, ומשהו כזה הוא ללא ספק הרעיון העמוק והכללי יותר.

2. ישנם הגדרות בהן הפרמטרים משתנים. שוב, ניתוח סדרות הזמן מספק דוגמאות.

3. לנקודה העיקרית כאן, אנחנו לא חושבים בפועל על כל המאפיינים של אוכלוסייה או תהליך כפרמטרים. אם הליך כלשהו מניח מודל של התפלגות נורמלית, אז המינימום והמקסימום אינם פרמטרים. (ואכן, על פי המודל, המינימום והמקסימום הם מספרים שליליים וחיוביים באופן שרירותי באופן כלשהו, ​​לא שזה צריך להדאיג אותנו.)

הייתי אומר שבשביל ברגע שוויקיפדיה מכוונת לכיוון הנכון כאן, ושני הפרקטיקה והעקרון מכובדים אם נאמר ש פרמטר הוא כל מה שאנחנו מעריכים .

זה עוזר גם לשאלות אחרות שגרמו לתמיהה. לדוגמא, אם נחשב ממוצע גזוז של 25%, מה אנו מעריכים? תשובה סבירה היא המאפיין המקביל של האוכלוסייה, אשר למעשה מוגדר על ידי שיטת האמידה. מונח אחד הוא שלאומד יש אומדן, ולא משנה מה הוא מעריך. החל מאיזה רעיון אפלטוני של נכס "שם בחוץ" (נניח אופן ההפצה) וחושב כיצד להעריך את זה סביר, כמו גם לחשוב על מתכונים טובים לניתוח נתונים ולחשיבה מה הם מרמזים כשמראים אותם כמסקנה.

לעתים קרובות במתמטיקה יישומית או במדע, יש היבט כפול לפרמטר. לעתים קרובות אנו חושבים על זה כעל משהו אמיתי שם שאנו מגלים, אך נכון גם שזה משהו המוגדר על ידי המודל שלנו של התהליך, כך שאין לו שום משמעות מחוץ להקשר של המודל.

שתי נקודות שונות לגמרי:

1. מדענים רבים משתמשים במילה "פרמטר" באופן בו הסטטיסטיקאים משתמשים במשתנה. יש לי פרסונה של מדען וגם סטטיסטית, והייתי אומר שזה מצער. משתנים ומאפיינים הם מילים טובות יותר.

2. נהוג להפליא בשימוש באנגלית רחבה שפרמטר נחשב כגבולות או גבולות, שעשויים לנבוע מבלבול מקורי כלשהו בין "פרמטר" ל"היקפי ".

הערה על נקודת המבט וההערכה

העמדה הקלאסית היא שאנחנו מזהים פרמטר מראש ואז להחליט כיצד לאמוד זאת, וזה נותר נוהג ברוב, אך היפוך התהליך אינו מופרך ויכול להועיל לכמה בעיות. אני מכנה זאת נקודת המבט המוערכת. זה נמצא בספרות לפחות 50 שנה. טוקי (1962, עמ '60) דחק כי

"עלינו לתת תשומת לב רבה עוד יותר להתחיל עם אומדן ולגלות מהו אומדן סביר, ולגלות מה זה סביר לחשוב על האומדן כמעריך. "

קיימת גם גרסה אלמנטרית. שימוש (למשל) ממוצע מדגם או גיאומטרי לדוגמא כדי לאמוד את פרמטר האוכלוסייה המתאים, הגיוני ללא קשר אם החלוקה הבסיסית היא סימטרית, ואותו מוניטין טוב ניתן להרחיב (למשל) לאמצעי גזום מדגמים, אשר נחשבים לאומדים של עמיתיהם לאוכלוסייה.

Bickel, P.J. ו- E.L. להמן. 1975. סטטיסטיקה תיאורית עבור מודלים שאינם פרמטריים. II. מיקום. Annals of Statistics 3: 1045-1069.

Mosteller, F. ו- J.W. טוקי. 1977. ניתוח נתונים ורגרסיה. רידינג, תואר שני: אדיסון-ווסלי.

Tukey, J.W. 1962. העתיד של ניתוח הנתונים. Annals of Statistics Mathematical 33: 1-67.

אני נוטה לחשוב על פרמטרים באנלוגיה על ידי חשיבה על ההתפלגות הנורמלית:
$$ \ text {pdf} = \ frac {1} {\ sqrt {2 \ pi \ sigma ^ 2}} e ^ {- \ frac {1} {2} \ frac {(x_i- \ mu) ^ 2} {\ sigma ^ 2}} $$ מה שחשוב להכיר בקשר לפונקציה זו זה מכוער כמו זהו, אני די יודע מה רוב החלקים. לדוגמא, אני יודע מה המספרים $ 1 $ ו- $ 2 $, מה זה $ \ pi $ ($ \ כ 3.1415926 $) ומה זה $ e $ ($ \ כ 2.718281828 $); אני יודע מה זה אומר לריבוע משהו או לקחת את השורש הריבועי של משהו - אני בעצם יודע הכל. יתר על כן, אם הייתי רוצה לדעת את גובה הפונקציה בערך ספציפי $ X $, $ x_i $, ברור שאני יודע ש ערך זה גם כן. במילים אחרות, ברגע שאני יודע שהמשוואה הנ"ל היא מה שאני צריך לעבוד איתו, אני יודע כל מה שיש לדעת, ברגע שאני לומד את הערכים עבור $ \ boldsymbol \ mu $ ו- $ \ boldsymbol \ sigma ^ 2 $ . ערכים אלה הם ה פרמטרים . באופן ספציפי הם אינם ידועים קבועים השולטים בהתנהגות ההפצה. כך, למשל, אם הייתי רוצה לדעת את הערך $ X $ שמתאים ל- $ 25 ^ {\ text {th}} \% $, אני יכול לקבוע את זה (או כל דבר אחר לגבי ההפצה הזו), אחרי לדעת $ \ mu $ ו- $ \ sigma ^ 2 $ (אבל לא להפך). הרשאות המשוואה הנ"ל $ \ mu $ ו- $ \ sigma ^ 2 $ באופן שהוא לא עושה שום ערך אחר.

כמו כן, אם הייתי עובד עם מודל רגרסיה מרובה של OLS, כאשר ההנחה היא שתהליך יצירת הנתונים הוא:
$$ Y = \ beta_0 + \ beta_1X_1 + \ beta_2X_2 + \ varepsilon \\ \ text {where} \ varepsilon \ sim \ mathcal N (0, \ sigma ^ 2) $$ ואז, ברגע שאני לומד (בפועל, אומדן ) הערכים של $ \ boldsymbol \ beta_0 $, $ \ boldsymbol \ beta_1 $, $ \ boldsymbol \ beta_2 $, ו- $ \ boldsymbol \ sigma ^ 2 $, אני יודע כל מה שיש לדעת . כל דבר אחר, כגון $ 25 ^ {\ text {th}} \% $ של ההתפלגות המותנית של $ Y $ כאשר $ X = x_i $, אני יכול לחשב על סמך הידע שלי ב- $ \ beta_0 $, $ \ beta_1 $ , $ \ beta_2 $ ו- $ \ sigma ^ 2 $. מודל הרגרסיה המרובה מעל הרשאות $ \ beta_0 $, $ \ beta_1 $, $ \ beta_2 $ ו- $ \ sigma ^ 2 $ באופן שאינו עושה שום ערך אחר.

(כל זה מניח, כמובן, שהמודל שלי של התפלגות האוכלוסייה או תהליך ייצור הנתונים הוא נכון. כמו תמיד, כדאי לזכור ש"כל המודלים טועים, אבל חלקם שימושי "- ג'ורג 'בוקס.)

כדי לענות על שאלותיך בצורה מפורשת יותר, הייתי אומר:

• לא, כל כמות ישנה כראוי לא אמורה להיות יתויג כ"פרמטר ".
• n/a
• המאפיינים שיש לתייג כ"פרמטר "תלויים במפרט המודל. אין לי שם מיוחד למאפיינים כמותיים אחרים, אבל אני חושב שזה יהיה בסדר לקרוא להם מאפיינים או מאפיינים או השלכות , וכו '

היו כמה תשובות נהדרות לשאלה זו, פשוט חשבתי לסכם התייחסות מעניינת המספקת דיון קפדני למדי באומדנים.

המעבדות הווירטואליות דף על אומדנים מגדיר

• a סטטיסטיקה כ"פונקציה הניתנת לצפייה של משתנה התוצאה ".
• " ב חוש טכני, פרמטר $ \ theta $ הוא פונקציה של התפלגות ה- X "

המושג פונקציה של התפלגות הוא רעיון כללי מאוד. לפיכך, ניתן היה לראות בכל דוגמה שהובאה לעיל כפונקציה של התפלגות מסוימת.

• כל כמות, כולל הכמות המינימלית, החציונית, ה -25, המקסימום יכולה להיות פונקציה של התפלגות.
• עקמת היא פונקציה של התפלגות. אם התפלגות האוכלוסייה הזו היא נורמלית, אז הם יהיו אפסים, אך זה לא מפסיק את חישוב הערכים הללו.
• ספירת מספר המתאמים גדול מערך מסוים היא פונקציה של מטריצת הקווריאנטיות שבה תור הוא פונקציה של התפלגות רב-משתנית.
• ריבוע R הוא פונקציה של ההתפלגות.