באופן מסורתי, השערת האפס היא ערך נקודתי. (זה בדרך כלל $ 0 $, אך למעשה יכול להיות כל ערך נקודתי.) ההשערה החלופית היא שהערך האמיתי הוא כל ערך שאינו הערך null . מכיוון שמשתנה רציף (כגון הבדל ממוצע) יכול לקבל ערך הקרוב ללא הגבלה לערך האפס אך עדיין לא לגמרי שווה וכך להפוך את השערת האפס לשגויה, לא ניתן להוכיח השערת אפס נקודתית מסורתית.

תאר לעצמך שהשערת האפס שלך היא $ 0 $, וההפרש הממוצע שאתה צופה הוא $ 0.01 $. האם זה סביר להניח שהשערת האפס נכונה? אתה עדיין לא יודע; מועיל לדעת כיצד נראה רווח הביטחון שלנו. נניח שמרווח הביטחון של 95% הוא $ (- 4.99, \ 5.01) $. כעת, עלינו להסיק שהערך האמיתי הוא $ 0 $? לא ארגיש בנוח לומר את זה מכיוון שה- CI הוא רחב מאוד ויש ערכים גדולים וגדולים שאינם אפסים שאנו עשויים לחשוד בקנה אחד עם הנתונים שלנו. בואו נגיד שאנחנו אוספים הרבה הרבה יותר נתונים, ועכשיו ההבדל הממוצע שנצפה שלנו הוא 0.01 $, אך ה- 95% CI הוא $ (0.005, \ 0.015) $. ההבדל הממוצע שנצפה נותר זהה (וזה יהיה מדהים אם זה באמת יקרה), אך רווח הביטחון אינו כולל כעת את ערך האפס. כמובן, זהו רק ניסוי מחשבה, אך עליו להבהיר את הרעיונות הבסיסיים. לעולם איננו יכולים להוכיח שהערך האמיתי הוא ערך נקודתי מסוים; אנחנו יכולים רק (אולי) להפריך שזה ערך נקודתי כלשהו. בבדיקת השערה סטטיסטית, העובדה שערך ה- p הוא> 0.05 (וכי ה- 95% CI כולל אפס) פירושה ש איננו בטוחים אם השערת האפס נכונה .

באשר למקרה הקונקרטי שלך, אינך יכול לבנות בדיקה בה ההשערה החלופית היא שההפרש הממוצע הוא $ 0 $ והשערת האפס היא משהו אחר מאפס. זה מפר את ההיגיון של בדיקת השערה. סביר לחלוטין שזו ההשערה המהותית והמדעית שלך, אך היא לא יכולה להיות ההשערה החלופית שלך במצב של בדיקת השערה.

אז מה אתה יכול לעשות? במצב זה, אתה משתמש בבדיקת שקילות. (כדאי לקרוא חלק מהשרשורים שלנו בנושא זה על ידי לחיצה על התג שקילות). האסטרטגיה האופיינית היא להשתמש בגישת שני המבחנים החד-צדדיים. בקצרה רבה, אתה בוחר מרווח שבמסגרתו אתה מחשיב שההפרש הממוצע האמיתי עשוי להיות $ 0 $ לכל מה שמעניין אותך, ואז תבצע בדיקה חד צדדית כדי לקבוע אם הערך הנצפה הוא פחות מהגבול העליון של מרווח זה, ובדיקה חד צדדית נוספת לבדוק אם היא גדולה מהגבול התחתון. אם שתי המבחנים הללו הם משמעותיים, דחית את ההשערה שהערך האמיתי נמצא מחוץ למרווח שמעניין אותך. אם אחד (או שניהם) אינם משמעותיים, אינך מצליח לדחות את ההשערה לפיה הערך האמיתי נמצא מחוץ למרווח.

לדוגמא, נניח שכל דבר במרווח $ (- 0.02, \ 0.02) $ כל כך קרוב לאפס שאתה חושב שזה בעצם זהה לאפס למטרותיך, אז אתה משתמש בזה כהשערה המהותית שלך. עכשיו דמיין שתקבל את התוצאה הראשונה שתוארה לעיל. אף על פי ש- $ 0.01 $ נופל בתוך מרווח זה, לא תוכל לדחות את השערת האפס במבחן t חד צדדי, ולכן לא תצליח לדחות את השערת האפס. מצד שני, דמיין שקיבלת את התוצאה השנייה שתוארה לעיל. כעת אתה מגלה שהערך הנצפה נופל בתוך המרווח המיועד, וניתן להראות שהוא פחות מהגבול העליון וגדול מהגבול התחתון, כך שתוכל לדחות את האפס. (ראוי לציין כי ניתן לדחות את שניהם את ההשערה לפיה הערך האמיתי הוא $ 0 $, ו את ההשערה שהערך האמיתי נמצא מחוץ למרווח $ (- 0.02 , \ 0.02) $, שנראה אולי מבלבל בהתחלה, אך תואם לחלוטין את ההיגיון של בדיקת השערה.)

שקול את המקרה שבו השערת האפס היא שמטבע הוא בעל 2 ראשים, כלומר ההסתברות לראשים היא 1. כעת הנתונים הם תוצאה של היפוך מטבע בפעם אחת וראיית ראשים. התוצאה היא ערך p של 1.0 שגדול מכל אלפא סביר. האם זה אומר שהמטבע מכוון 2? זה יכול להיות, אבל זה יכול להיות גם מטבע הוגן וראינו ראשים בגלל סיכוי (יקרה 50% מהמקרים עם מטבע הוגן). כך שערך ה- p הגבוה במקרה זה אומר כי הנתונים שנצפו תואמים לחלוטין את האפס, אך הם תואמים גם אפשרויות אחרות.

בדיוק כמו פסק דין "לא אשם" בבית המשפט יכול להיות הנאשם חף מפשע, זה יכול להיות גם בגלל שהנאשם אשם אך אין מספיק ראיות. אותו דבר עם השערת האפס שאיננו מצליחים לדחות מכיוון שהאפס יכול להיות נכון, או יכול להיות שאין לנו מספיק ראיות לדחות למרות שהוא שקר.

היעדר ראיות אינו עדות להיעדרות (כותרתו של אלטמן, מאמר בלנד על BMJ). ערכי P נותנים לנו עדות להיעדר רק כאשר אנו רואים בהם משמעות. אחרת הם לא אומרים לנו כלום. מכאן, העדר ראיות. במילים אחרות: אנחנו לא יודעים ונתונים נוספים עשויים לעזור.

השערת האפס, $ H_0 $, נחשבת בדרך כלל לדבר שיש לך סיבה להניח. פעמים רבות "מצב הידע הנוכחי" שאתה מעוניין להציג אינו סביר מבחינה סטטיסטית.

ההגדרה המקובלת לבדיקת השערה היא למזער את שגיאת סוג I כלומר , למזער את הסיכוי שנדחה את השערת האפס לטובת החלופה $ H_1 $ למרות ש- $ H_0 $ נכון. זו השגיאה שאנו בוחרים לצמצם תחילה כי איננו רוצים לבטל את הידע הנפוץ כאשר הידע המשותף אכן נכון.

עליך תמיד לעצב את הבדיקה שלך תוך התחשבות ש- $ H_0 $ צריך להיות מה אתה מצפה.

אם יש לנו שתי דוגמאות אנו מצפים להתפלג זהה אז ההשערה האפסית שלנו היא שהדוגמאות זהות. אם יש לנו שתי דוגמאות שהיינו מצפים שהן יהיו שונות (באופן פראי), השערת האפס שלנו היא שהן שונות.