ניתן להוסיף לרשימה זו:

• אימות חוצה-חוזר
• השאר אימות חוצה-קבוצה-מחוץ
• מחוץ- תיק (ליערות אקראיים ולדגמים אחרים שקיים)
• 632+ bootstrap

אין לי ממש עצה כ עד כמה ניתן להשתמש בטכניקות אלה או מתי להשתמש בהן. תוכלו להשתמש בחבילת caret ב- R כדי להשוות בין קורות חיים, Boot, Boot632, leave-one-out, leave-group-out ו- out-of-validation valid.

אימות צולב של K-fold (CV) מפרק באופן אקראי את הנתונים שלך למחיצות K, ואתה מצידך מחזיק את אחד מאותם חלקי K כמקרה מבחן, ומגבש את חלקי K-1 האחרים יחד כנתוני האימון שלך. . השאר אחד בחוץ (LOO) הוא המקרה המיוחד שבו אתה לוקח את פריטי הנתונים שלך N ועורך קורות חיים בקיפול N. במובן מסוים, הולד אאוט הוא מקרה מיוחד נוסף, שבו אתה בוחר רק אחד מקיפולי K שלך כמבחן ולא מסתובב בכל קפלי K.

עד כמה שידוע לי, קורות חיים פי 10 זה יפה במידה רבה הקפדנות, מכיוון שהוא משתמש בנתונים שלך ביעילות ומסייע גם במניעת אפשרויות מחיצה לא מוצלחות. ה- Hold Out אינו עושה שימוש יעיל בנתונים שלך, ו- LOO אינו חזק כמוהו (או משהו כזה), אך קיפול 10-איש נכון בדיוק.

אם אתה יודע שהנתונים שלך מכילים יותר מ- קטגוריה אחת, וקטגוריה אחת או יותר קטנות בהרבה מהשאר, חלק מהמחיצות האקראיות של K יכולות אפילו לא להכיל אף אחת מהקטגוריות הקטנות, וזה יהיה רע. כדי לוודא שכל מחיצה מייצגת באופן סביר, אתה משתמש בשכבות: מחלק את הנתונים שלך לקטגוריות ואז יוצר מחיצות אקראיות על ידי בחירה אקראית ופרופורציונית מכל קטגוריה.

כל הווריאציות הללו בקורות החיים בקיפול K בחר מתוך הנתונים שלך ללא החלפה. ה- bootstrap בוחר בנתונים עם החלפה, כך שניתן לכלול את אותו נתון מספר פעמים וייתכן שחלק מהנתונים כלל לא ייכללו. (בכל "מחיצה" יהיו גם פריטי N, בניגוד לקיפול K, ובכל מחיצה יהיו פריטי N / K.)

(אצטרך להודות שאני לא יודע בדיוק איך עם זאת, ה- bootstrap ישמש בקורות חיים. העיקרון של בדיקה וקורות חיים הוא לוודא שלא תבדוק נתונים שהתאמנת עליהם, כך שתקבל מושג מציאותי יותר לגבי האופן שבו הטכניקה + המקדמים שלך עשויים לעבוד במציאות עולם.)

עריכה: הוחלף "החזק מעמד אינו יעיל" ל"החזק מעמד אינו עושה שימוש יעיל בנתונים שלך "כדי לעזור להבהיר, לפי ההערות.

מצאתי את אחת ההפניות המקושרות במאמר בוויקיפדיה די שימושית

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.48.529&rep = rep1&type = pdf

"מחקר של אימות צולב ו- bootstrap לאמידת דיוק ובחירת מודל", רון כהבי, IJCAI95

הוא מכיל השוואה אמפירית עבור תת קבוצה של טכניקות קורות חיים. גרסת ה- tl; dr היא בעצם "השתמש בקורות חיים פי 10".

... ומדריך מתי להשתמש בכל אחד מהם ...

למרבה הצער הבעיה הזו קשה יותר ממה שהיא מקבלת קרדיט. ישנם שני שימושים עיקריים לפחות של אימות צולב: בחירת מודל והערכת ביצועי המודל.

באופן גס, אם אתה משתמש בגרסת CV המפצלת את הנתונים באמצעות יחס רכבת גבוהה לבדיקה. , זה יכול להיות טוב יותר להערכה. שימוש במערך אימונים גדול יותר יחקה בצורה מדויקת יותר את ביצועי המודל המתאים למערך הנתונים המלא.

אך יחס גבוה לרכבת לבדיקה יכול להיות גרוע יותר לבחירה. תאר לעצמך שיש באמת מודל "הכי טוב" שאתה צריך "לבחור, אבל מערך הנתונים שלך די גדול. לאחר מכן, דגמים גדולים מדי המשתלמים מעט יתרמו לביצועי קורות חיים כמעט זהים למודל "הטוב ביותר" (מכיוון שתעריכו בהצלחה את הפרמטרים המזויפים שלהם כזניחים). אקראיות בנתונים והליך CV / פיצול יגרמו לעיתים קרובות לבחור במודל התאמת יתר במקום המודל "הטוב ביותר" באמת.

ראה שאו (1993), "בחירת מודל לינארי על ידי צלב -אימות " לתיאוריה אסימפטוטית ישנה יותר במקרה של רגרסיה לינארית. יאנג (2007), "עקביות של אימות צולב לצורך השוואה בין נהלי רגרסיה" ו יאנג (2006), "השוואת שיטות למידה לסיווג" נותנות תיאוריה אסימפטוטית לנסיגה כללית יותר ו בעיות סיווג. אך קשה להשיג עצות של דוגמה סופית .