פרנק הראל כתב על כך בבלוג שלו: סיווג מול חיזוי, שאני מסכים איתו בלב שלם.

בעיקרו של דבר, הטיעון שלו הוא שהמרכיב הסטטיסטי של התרגיל שלך מסתיים כאשר אתה מביא הסתברות לכל מחלקה במדגם החדש שלך. בחירת סף שמעבר לו אתה מסווג תצפית חדשה כ -1 לעומת 0 אינה חלק יותר מ סטטיסטיקה . זה חלק ממרכיב ה החלטה . וכאן, אתה זקוק לפלט ההסתברותי של המודל שלך - אך גם לשיקולים כמו:

• מה ההשלכות של ההחלטה להתייחס לתצפית חדשה כאל מחלקה 1 לעומת 0? האם אז אני שולח דואר שיווקי זול לכל ה- 1s? או שמא אני מבצע טיפול פולשני בסרטן עם תופעות לוואי גדולות?
• מה ההשלכות של התייחסות ל- "אמיתי" כאל 1, ולהיפך? האם אסמן לקוח? להעביר מישהו לטיפול רפואי מיותר?
• האם "השיעורים" שלי באמת נפרדים? או שמא ישנו רצף (למשל, לחץ דם), שבו הספים הקליניים הם למעשה רק קיצורי דרך קוגניטיביים? אם כן, עד כמה רחוק מעבר לסף המקרה שאני "מסווג" כרגע?
• או שמא סבירות נמוכה אך חיובית להיות מחלקה 1 פירושה למעשה "קבל יותר נתונים", "הפעל בדיקה נוספת"?

אז, כדי לענות על שאלתך: שוחח עם הצרכן הסופי של הסיווג שלך וקבל תשובות לשאלות שלמעלה. או הסבירו לה או לו את התפוקה ההסתברותית שלכם, ותנו לה או לו לעבור על השלבים הבאים.

התשובה של סטפן היא נהדרת. זה תלוי מיסודו במה ברצונך לעשות עם המסווג.

רק הוסף כמה דוגמאות.

דרך למצוא את הסף הטוב ביותר היא להגדיר פונקציה אובייקטיבית. לסיווג בינארי זה יכול להיות דיוק או ציון F1 למשל. תלוי באיזו בחירה, הסף הטוב ביותר יהיה שונה. לציון F1 יש כאן תשובה מעניינת: מהו סף F1 אופטימלי? כיצד לחשב את זה?. אבל האמירה "אני רוצה להשתמש בציון F1" היא המקום בו אתה באמת מבצע את הבחירה. אם בחירה זו טובה או לא תלויה במטרה הסופית.

דרך נוספת לראות את זה היא להתמודד עם הפשרה בין חקירה וניצול (הנקודה האחרונה של סטפן): השודד הרב זרוע הוא דוגמה לבעיה כזו: אתה צריך להתמודד עם שניים מטרות סותרות של רכישת מידע ובחירת השודד הטוב ביותר. אסטרטגיה בייסיאנית אחת היא לבחור כל שודד באופן אקראי עם ההסתברות שהוא הטוב ביותר. זה לא בדיוק סיווג אלא התמודדות עם הסתברויות פלט באופן דומה.

אם המסווג הוא רק לבנה אחת באלגוריתם של קבלת החלטות, הרי שהסף הטוב ביותר יהיה תלוי במטרה הסופית של האלגוריתם. יש להעריך ולהתאים אותו לתפקוד האובייקטיבי של התהליך כולו.

זה גורם לבלבול בעולם האמיתי של אנשים שלא לקחו אלגברה לינארית, אני מניח.הם מוטרדים מהעובדה שיש ציוני הסתברות לפריטים שלדעתם צריכים להיות 0. במילים אחרות, הם מבלבלים בין הקלט הסטטיסטי לבין ההחלטה על סמך קלט זה.כבני אדם, אנו יכולים לומר שמשהו עם הסתברות של 0.0002234 זהה ל- 0, ברוב המקרים השימושיים ה"מעשיים ".בדיונים מדעיים קוגניטיביים גבוהים יותר, אולי, קיים דיון מעניין מדוע וקטור ההטיה עושה זאת, או ליתר דיוק, האם זה תקף ליישומים קוגניטיביים.

אין סף שגוי.הסף שתבחר תלוי במטרתך בחיזוי שלך, או ליתר דיוק במה אתה רוצה להעדיף, למשל דיוק לעומת זיכרון (נסה לשרטט אותו ולמדוד את ה- AUC המשויך אליו כדי להשוות מודלים של סיווג שונה לבחירתך).

אני נותן לך את הדוגמה הזו של דיוק לעומת זיכרון, מכיוון שבמקרה הבעייתי שלי עליו אני עובד כרגע, אני בוחר את הסף שלי בהתאם לדיוק המינימלי (או ערך החיזוי החיובי של PPV) שאני רוצה שיהיה למודל שלי בעת חיזוי, אבל לא אכפת לי מאוד משלילי.ככזה אני לוקח את הסף שמתאים לדיוק המבוקש ברגע שאימנתי את המודל שלי.הדיוק הוא האילוץ שלי וזיכרון הוא הביצועים של המודל שלי, כאשר אני משווה למודלים אחרים של סיווג.