כשירות הצהרה, אני עובד על רשתות עצביות במחקר שלי, אך בדרך כלל אני משתמש ברשתות עצביות קטנות ורדודות יחסית ברשתות העמוקות באמת בקצה המחקר שאתה מציין בשאלתך. אני לא מומחה במוזרויות וייחודיות של רשתות עמוקות מאוד ואתייחס למישהו שכן.

ראשית, באופן עקרוני, אין שום סיבה שתצטרך רשתות עצביות עמוקות בכלל. רשת עצבית רחבה דיה עם שכבה נסתרת אחת בלבד יכולה לבחון כל פונקציה (סבירה) בהינתן מספיק נתוני אימון. עם זאת, ישנם קשיים מעטים בשימוש ברשת רחבה ורדודה במיוחד. ה נושא העיקרי הוא שרשתות רחבות מאוד ורדודות אלה טובות מאוד בשינון, אך לא כל כך טובות בהכללה . לכן, אם אתה מאמן את הרשת עם כל ערך קלט אפשרי, רשת סופר רחבה יכולה בסופו של דבר לשנן את ערך הפלט המתאים שאתה רוצה. אך זה לא שימושי מכיוון שלכל יישום מעשי לא יהיה לך כל ערך קלט אפשרי להתאמן איתו.

היתרון של מספר רב של שכבות הוא שהם יכולים ללמוד תכונות ברמות שונות של הפשטה חזק>. לדוגמא, אם אתה מאמן רשת עצבית עוויתית עמוקה לסווג תמונות, תגלה שהשכבה הראשונה תאמן את עצמה לזהות דברים בסיסיים מאוד כמו קצוות, השכבה הבאה תאמן את עצמה לזהות אוספי קצוות כגון צורות, הבאה השכבה תאמן את עצמה לזהות אוספים של צורות כמו עיניים או אף, והשכבה הבאה תלמד תכונות מסדר גבוה עוד יותר כמו פרצופים. שכבות מרובות טובות בהכללה הרבה יותר מכיוון שהן לומדות את כל תכונות הביניים בין הנתונים הגולמיים לבין הסיווג ברמה הגבוהה.

אז זה מסביר מדוע אתה יכול להשתמש ברשת עמוקה ולא ברשת רחבה מאוד אך רדודה. אבל למה לא רשת עמוקה מאוד, רחבה מאוד? אני חושב שהתשובה שם היא שאתה רוצה שהרשת שלך תהיה קטנה ככל האפשר כדי לייצר תוצאות טובות. ככל שאתה מגדיל את גודל הרשת, אתה באמת מציג רק יותר פרמטרים שהרשת שלך צריכה ללמוד, ומכאן מגדיל את הסיכויים להתאמת יתר. אם אתה בונה רשת רחבה מאוד ועמוקה מאוד, אתה מפעיל את הסיכוי שכל שכבה רק תשנן את מה שאתה רוצה שהפלט תהיה, ובסופו של דבר תגיע לרשת עצבית שלא תצליח להכליל לנתונים חדשים. .

מלבד רוח הרפאים של התאמת יתר, ככל שהרשת שלך רחבה יותר כך ייקח זמן רב יותר להתאמן . רשתות עמוקות כבר יכולות להיות יקרות מאוד מבחינה חישובית להכשרה, ולכן יש תמריץ חזק להפוך אותן לרחבות מספיק כדי לעבוד טוב, אך לא רחבות יותר.

אני לא חושב שיש תשובה ברורה לשאלותיך. אבל אני חושב שהחוכמה המקובלת הולכת כדלקמן:

בעיקרון, ככל שמרחב ההשערה של אלגוריתם למידה גדל, האלגוריתם יכול ללמוד מבנים עשירים ועשירים יותר. אך יחד עם זאת, האלגוריתם נוטה יותר להתאמת יתר ושגיאת ההכללה שלו עשויה לגדול.

אז בסופו של דבר, עבור כל מערך נתונים נתון, מומלץ לעבוד עם המודל המינימלי שיש לו מספיק יכולת ללמוד את המבנה האמיתי של הנתונים. אך זו עצה מאוד גלי-ידיים, מכיוון שבדרך כלל "המבנה האמיתי של הנתונים" אינו ידוע, ולעתים קרובות אפילו היכולות של מודלים המועמדים מובנות רק במעורפל.

כשמדובר ברשתות עצביות. , גודל מרחב ההשערה נשלט על ידי מספר הפרמטרים. ונראה כי עבור מספר קבוע של פרמטרים (או סדר גודל קבוע), העמקה יותר מאפשרת למודלים לתפוס מבנים עשירים יותר (למשל מאמר זה).

זה עשוי להסביר חלקית את ההצלחה של מודלים עמוקים יותר עם פחות פרמטרים: ל- VGGNet (משנת 2014) יש 16 שכבות עם ~ 140M פרמטרים, ואילו ResNet (משנת 2015) ניצח אותה עם 152 שכבות אך רק ~ 2M פרמטרים

(כצד, מודלים קטנים יותר עשויים להיות קלים יותר לאימון מבחינה חישובית - אבל אני לא חושב שזה גורם מרכזי כשלעצמו - מכיוון שעומק למעשה מסבך את האימון)

שים לב שזה מגמה (יותר עומק, פחות פרמטרים) קיימת בעיקר במשימות הקשורות בראייה וברשתות קונבולוציה, וזה דורש הסבר ספציפי לתחום. אז הנה נקודת מבט נוספת:

לכל "נוירון" בשכבה התפתחותית יש "שדה קולט", שהוא גודל וצורת הקלטים המשפיעים על כל פלט. באופן אינטואיטיבי, כל גרעין לוכד קשר כלשהו בין תשומות סמוכות. ולגרעינים קטנים (הנפוצים והעדיפים) יש שדה קליטה קטן, כך שהם יכולים לספק מידע רק בנוגע ליחסים מקומיים.

אבל ככל שאתה הולך לעומק, השדה הקולט של כל נוירון ביחס לשכבה קודמת הופך גדול יותר. שכבות עמוקות כל כך יכולות לספק תכונות בעלות משמעות סמנטית עולמית ופרטים מופשטים (יחסי יחסים ... של יחסי אובייקטים), תוך שימוש בגרעינים קטנים בלבד (המסדירים את היחסים שהרשת לומדת ומסייעים לה להתכנס ולהכליל).

אז התועלת של רשתות קונבולוציה עמוקות בראיית המחשב עשויה להיות מוסברת חלקית על ידי המבנה המרחבי של תמונות וסרטונים. יתכן שהזמן יגיד שעבור סוגים שונים של בעיות, או עבור ארכיטקטורות לא-קונבולוציות, עומק למעשה לא עובד טוב.

הוספת תכונות נוספות מסייעת אך התועלת הופכת במהרה לשולית לאחר שנוספו הרבה תכונות. זו אחת הסיבות שבגללן כלים כמו PCA עובדים: כמה רכיבים לוכדים את השונות ביותר בתכונות. לפיכך, הוספת תכונות נוספות לאחר נקודה מסוימת היא כמעט חסרת תועלת.

מצד שני למצוא תמיד את הפונקציונליות המתאימה לאם התכונה זה תמיד רעיון טוב. עם זאת, אם אין לך תיאוריה טובה קשה להגיע לפונקציה נכונה, כמובן. לכן, הוספת שכבות מועילה כצורה של גישה כוח אכזרית.

שקול מקרה פשוט: גרירת אוויר של מכונית. נגיד, לא ידענו את המשוואה: $$ f \ sim C \ rho A v ^ 2/2 $$ שבו $ A $ - שטח חתך של מכונית, $ \ rho $ - צפיפות אוויר ו- $ v $ - מהירות מכונית. נוכל להבין שמדידות המכוניות חשובות ולהוסיף אותן כתכונות, גם מהירות המכונית תיכנס. אז אנחנו ממשיכים להוסיף תכונות, ואולי נוסיף לחץ אוויר, טמפרטורה, אורך, רוחב של מכונית, מספר מושבים וכו '.

בסופו של דבר נקבל דגם כמו $$ f \ sim \ sum_i \ beta_i x_i $$ אתה רואה כיצד תכונות אלה אינן הולכות להרכיב את עצמן למשוואה "האמיתית" אלא אם נוסיף את כל האינטראקציות והפולינומים. עם זאת, אם המשוואה האמיתית לא הייתה פולינומית נוחה, נניח שיש לה אקספוננטים או פונקציות טרנסצנדנטליות מוזרות אחרות, אז לא יהיה לנו שום סיכוי לחקות אותה באמצעות ערכת תכונות מתרחבת או הרחבת הרשת.

עם זאת, העמקת הרשת תביא אותך בקלות למשוואה למעלה עם שתי שכבות בלבד. פונקציות מסובכות יותר זקוקות לשכבה רבה יותר, ולכן העמקת מספר השכבות יכולה להיות דרך ללכת בבעיות רבות.

עבור רשת עצבית מחוברת בצפיפות של עומק $ d $ ורוחב $ w $, מספר הפרמטרים (לפיכך, זיכרון RAM הנדרש להפעלת או אימון הרשת) הוא $ O (dw ^ 2) $. לפיכך, אם יש לך רק מספר מוגבל של פרמטרים, לרוב הגיוני להעדיף עלייה גדולה בעומק על פני הגדלת רוחב קטנה.

מדוע אתה מנסה להגביל את מספר הפרמטרים? מספר סיבות:

• אתה מנסה להימנע מהתאמת יתר. (למרות שהגבלת מספר הפרמטרים היא מכשיר בוטה מאוד להשגת זה.)
• המחקר שלך מרשים יותר אם אתה יכול לעלות על המודל של מישהו אחר תוך שימוש באותו מספר פרמטרים.
• אימון המודל שלך קל הרבה יותר אם המודל (פלוס רגעים אם אתה משתמש באדם) יכול להשתלב בזיכרון של GPU יחיד.
• ביישומים בחיים האמיתיים, זיכרון RAM לעתים קרובות יקר בעת הצגת מודלים. זה נכון במיוחד עבור ריצת דגמים למשל. טלפון סלולרי, אך לפעמים יכול לחול אפילו על הצגת דגמים מהענן.