שְׁאֵלָה:
אימות צולב באנגלית פשוטה?
Shane
2010-08-18 18:11:19 UTC
view on stackexchange narkive permalink

כיצד היית מתאר את אימות צולב למישהו ללא רקע ניתוח נתונים?

שאלה זו נועדה בכל בלבול סביב הצעת שם האתר: http://meta.stats.stackexchange.com/questions/21/what-should-our-site-be-called-what-should-our-domain- שם-להיות / 53 # 53.
חָמֵשׁ תשובות:
#1
+57
user28
2010-08-18 18:38:30 UTC
view on stackexchange narkive permalink

שקול את המצב הבא:

אני רוצה לתפוס את הרכבת התחתית כדי ללכת למשרד שלי. התוכנית שלי היא לקחת את המכונית שלי, לחנות ברכבת התחתית ואז לקחת את הרכבת כדי ללכת למשרדי. המטרה שלי היא לתפוס את הרכבת בשעה 8.15 בבוקר כל יום כדי שאגיע למשרדי בזמן. עלי להחליט על הדברים הבאים: (א) הזמן בו עלי לעזוב מביתי ו (ב) את הדרך שאקח לנסוע לתחנה.

לעיל לדוגמא, יש לי שני פרמטרים (כלומר, זמן היציאה מהבית והמסלול לתחנה) ואני צריך לבחור פרמטרים אלה כך שאגיע לתחנה עד השעה 8.15 בבוקר.

על מנת לפתור את הבעיה שלעיל אוכל לנסות קבוצות שונות של 'פרמטרים' (כלומר, שילוב שונה של זמני היציאה והמסלול) בימי שני, רביעי ושישי, כדי לראות איזה שילוב הוא 'הכי טוב. הרעיון הוא שברגע שזיהיתי את השילוב הטוב ביותר אוכל להשתמש בו מדי יום כדי שאשיג את המטרה שלי.

בעיית התאמת יתר

הבעיה. עם הגישה שלעיל אני יכול להתאמן יתר על המידה שמשמעותו שלמעשה השילוב הטוב ביותר שאני מזהה עשוי להיות במובן מסוים ייחודי לימים שני, רביעי ושישי ושילוב זה אולי לא יעבוד בימים שלישי וחמישי. התאמת יתר עשויה לקרות אם בחיפושי אחר השילוב הטוב ביותר בין זמנים ומסלולים אני מנצל היבט כלשהו של מצב התנועה בימים שני / רביעי / שישי שאינו מתרחש בימי שלישי וחמישי.

פיתרון אחד להתאמת יתר: אימות צולב

אימות צולב הוא פיתרון להתאמת יתר. הרעיון הוא שברגע שזיהינו את שילוב הפרמטרים הטוב ביותר שלנו (בזמן ובמסלול שלנו) אנו בודקים את הביצועים של אותה קבוצת פרמטרים בהקשר אחר. לכן, ייתכן שנרצה לבדוק גם ביום ג 'ובחג כדי להבטיח שהבחירות שלנו יעבדו גם בימים ההם.

הרחבת האנלוגיה לסטטיסטיקה

בסטטיסטיקה יש לנו בעיה דומה. לעתים קרובות אנו משתמשים במערך נתונים מוגבל להערכת הפרמטרים הלא ידועים שאיננו מכירים. אם נתמלא יותר מדי, אומדני הפרמטרים שלנו יעבדו טוב מאוד לנתונים הקיימים, אך גם לא כאשר אנו משתמשים בהם בהקשר אחר. לפיכך, אימות צולב מסייע במניעת הנושא של התאמת יתר לעיל על ידי הוכחת ביטחון מסוים לכך שאומדני הפרמטרים אינם ייחודיים לנתונים בהם השתמשנו כדי לאמוד אותם.

כמובן, אימות צולב אינו מושלם. אם נחזור לדוגמא שלנו ברכבת התחתית, זה יכול לקרות שגם לאחר אימות צולב, הבחירה הטובה ביותר שלנו בפרמטרים עשויה שלא לעבוד חודש בהמשך הקו בגלל בעיות שונות (למשל, בנייה, שינויים בנפח התנועה לאורך זמן וכו '). / p>

מבחינה טכנית, זהו אימות מוחזק אך ניתן לדמיין להרחיב את דוגמת הרכבת התחתית להקשר אימות צולב. אם זה יעזור אני אכתוב מחדש את הדוגמה ואת שאר הטקסט כדי להיות ספציפיים לאימות צולב.
@srikant..המילה התאמת יתר כמילה מרמזת לי שמשהו נעשה "יתר על המידה" כלומר יותר ממה שנדרש..אז מה נעשה יתר על המידה? האם לא מדובר במשתנים? אני מצטער ששמעתי את המונח של התאמת יתר פעמים רבות והייתי לוקח את ההתאוששות הזו כדי לברר את זה איתך.
אני חושב שתשובה זו תשופר על ידי הוספת מושג הקפלים, שהוא המפתח לאופן שבו קורות החיים שונים מביצוע בדיקות ההחזקה.בדוגמה (שימוש בקיצור M ליום שני, T ליום שלישי, ..., R ליום חמישי, ...): אז אתה מסתכל על TWRF עבור השילוב הטוב ביותר ורואה איך זה עובד על M, ואז MWRF ורואה איך זהעובד על T וכו '. לכן כל יום משמש כחלק מהבעיה ארבע פעמים וכבדיקה לבעיה פעם אחת, אך אף פעם לא כבעיה והמחאה באותו סיבוב.
#2
+44
Shane
2010-08-18 18:20:29 UTC
view on stackexchange narkive permalink

אני חושב שזה מתואר בצורה הטובה ביותר באמצעות התמונה הבאה (במקרה זה מראה אימות צולב של קפל K):

alt text

אימות צולב הוא טכניקה המשמשת להגנה מפני התאמת יתר במודל ניבוי, במיוחד במקרה בו כמות הנתונים עשויה להיות מוגבלת. באימות צולב, אתה מבצע מספר קבוע של קיפולים (או מחיצות) של הנתונים, מריץ את הניתוח בכל קיפול ואז ממוצע אומדן השגיאה הכולל.

נראה שניתנים לדיונים במקום אחר באתר זה כי אימות צולב ב- K הוא רק סוג אחד של אימות צולב ותיאורו אינו עושה את התפקיד הכללי לתאר מהו אימות צולב.
@drknexus: זה הוגן, אבל אני מזכיר שזה קיפול ורציתי לספק הדמיה של התהליך כדי להסביר את זה.
הבהרה מהירה: האם זה המקרה ש- nfold = 4 פירושו 25% לערכת הבדיקה;nfold = 5 פירושו 20% עבור ערכת הבדיקה;nfold = 10 פירושו 10% עבור ערכת הבדיקה, וכן הלאה: nfold = n פירושו 100 / n אחוז נכנס לערכת הבדיקה?
#3
+10
Andre Holzner
2010-08-19 00:09:38 UTC
view on stackexchange narkive permalink

"הימנע מללמוד את נתוני האימון שלך בעל פה על ידי לוודא שהמודל המאומן מבצע ביצועים טובים על נתונים עצמאיים."

זהו מוטיבציה ל- cv, ולא תיאור של cv עצמו.
#4
+6
user88
2010-08-18 20:14:02 UTC
view on stackexchange narkive permalink
נניח שאתה בודק תהליך כלשהו; אספתם כמה נתונים המתארים את זה ובניתם מודל (או סטטיסטי או ML, לא משנה). אבל עכשיו, איך לשפוט אם זה בסדר? כנראה זה מתאים לטובה לנתונים שעליהם התבססו, כך שאף אחד לא יאמין שהמודל שלך כל כך נהדר שאתה חושב.
הרעיון הראשון הוא להפריד קבוצת משנה של הנתונים שלך ולהשתמש בו לבדיקת בניית המודל לפי שיטתך על שאר הנתונים. עכשיו התוצאה היא בהחלט ללא התאמת יתר, עם זאת (במיוחד עבור סטים קטנים) היית יכול להיות (לא) בר מזל ולצייר (פחות) מקרים פשוטים יותר לבדיקה, מה שמקל על החיזוי (קשה) יותר ... גם הדיוק שלך / הערכת שגיאה / טובות אינה מועילה להשוואה / אופטימיזציה של מודלים, מכיוון שאתה בטח לא יודע דבר על התפלגותה.
כשאתה בספק, השתמש בכוח אכזרי, אז פשוט העתק את התהליך הנ"ל, אסוף מעט הערכות של דיוק / שגיאה / טוב וממוצע אותם - וכך אתה מקבל אימות צולב. בין הערכות טובות יותר תקבל גם היסטוגרמה, כך שתוכל לערוך התפלגות משוערת או לבצע בדיקות לא פרמטריות.
וזהו; הפרטים של פיצול רכבות המבחן הם הסיבה לסוגי קורות חיים שונים, אך למעט מקרים נדירים והבדלי חוזק קטנים הם שווים למדי. אכן זהו יתרון עצום, מכיוון שהוא הופך אותו לשיטה חסינת קליע-הוגנת; קשה מאוד לרמות את זה.
#5
+3
ebony1
2010-08-20 02:50:48 UTC
view on stackexchange narkive permalink

מכיוון שאין לך גישה לנתוני הבדיקה בזמן האימון, ואתה רוצה שהמודל שלך יצליח בנתוני הבדיקה שלא נראו, אתה "מעמיד פנים" שיש לך גישה לנתוני בדיקה מסוימים על ידי דגימה חוזרת של חלק קטן מנתוני האימון שלך, החזיקו את הסט הזה בזמן אימון המודל, ואז התייחסו לסט המוחזק כפרוקסי לנתוני הבדיקה (ובחרו פרמטרים של מודלים שנותנים את הביצועים הטובים ביותר על הנתונים המוחזקים). אתה מקווה שעל ידי דגימה אקראית של קבוצות משנה שונות מנתוני האימון, אתה עשוי לגרום להם להיראות כמו נתוני המבחן (במובן ההתנהגות הממוצע), ולכן פרמטרי המודל הנלמדים יהיו טובים גם לנתוני המבחן (כלומר המודל שלך מכליל היטב לנתונים שלא נראים).



שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 2.0 עליו הוא מופץ.
Loading...