שְׁאֵלָה:
רשתות אמונות עמוקות או מכונות בולצמן עמוקות?
Jack Twain
2014-04-28 00:04:19 UTC
view on stackexchange narkive permalink

אני מבולבל. האם יש הבדל בין רשתות אמונות עמוק למכונות בולצמן עמוקות? אם כן, מה ההבדל?

מאמר הוויקיפדיה ב- [רשתות אמונה עמוקות] (http://en.wikipedia.org/wiki/Deep_belief_network) ברור למדי אם כי יהיה שימושי / תובנה לקבל תמונה גדולה יותר של האטימולוגיה / ההיסטוריה של המונחים. ביסודו של דבר רשת אמונות עמוקות מקבילה למדי לרשת עצבית עמוקה מה- pov ההסתברותי, ומכונות בולצמן עמוקות הן אלגוריתם אחד המשמש ליישום רשת אמונה עמוקה. ככל הנראה לכל ה- ANN יש פרשנויות / מודלים הסתברותיים אך הם אינם מושגים / ישירות באותה מידה כמו למודלים מסוימים של "אמונה" המבוססים על בייזיה / הסתברות.
שתיים תשובות:
alto
2014-04-29 17:58:33 UTC
view on stackexchange narkive permalink

אף שרשתות אמונה עמוקה (DBN) ומכונות בולצמן עמוקות (DBM) נראות באופן דיאגרמטי מאוד דומות, הן למעשה שונות מאוד מבחינה איכותית. הסיבה לכך היא ש- DBNs מופנים ו- DBM אינם מכוונים. אם היינו רוצים להתאים אותם לתמונת ה- ML הרחבה יותר נוכל לומר ש- DBNs הם רשתות אמונה sigmoid עם הרבה שכבות מחוברות בצפיפות של משתנים סמויים ו- DBM הם שדות אקראיים של markov עם שכבות רבות של משתנים סמויים המחוברים בצפיפות.

ככאלה הם יורשים את כל המאפיינים של המודלים האלה. לדוגמה, במחשוב DBN $ P (v | h) $ , שם $ v $ הוא שכבה גלויה ו $ h $ הם המשתנים הנסתרים הוא קל. מצד שני המחשוב $ P $ של כל דבר הוא בדרך כלל בלתי אפשרי מבחינה חישובית ב- DBM בגלל פונקציית המחיצה הבלתי ניתנת לביצוע.

שנאמר שיש קווי דמיון. לדוגמא:

  1. DBNs ו- DBM המקורי פועלים שניהם באמצעות תוכניות אתחול המבוססות על הכשרה חמדנית בשכבה של מכונות בולזמן מוגבלות (RBM),
  2. שניהם "עמוקים".
  3. שניהם כוללים שכבות של משתנים סמויים המחוברים בצפיפות לשכבות מעל ומתחת, אך אין להם חיבורים תוך-שכבתיים וכו '.
    4. o>

    הפניות

  • "למידת מכונות מרובות תצוגה" מאת Shiliang Sun, Liang Mao, Ziang Dong, Lidan Wu
איך DBNs יכולים להיות רשתות אמונה sigmoid? !! השכבות של DBN הן RBM, כך שכל שכבה היא שדה אקראי של מרקוב!
אני חושב שיש כאן שגיאת שגיאה "זה בגלל ש- DBM מכוונים ו- DBM לא מכוונים.". אני חושב שהתכוונת ל- DBNs אינם מכוונים
@AlexTwain כן, הייתי צריך לקרוא "DBNs מופנים". למרות שאתה עשוי ליצור אינטימיזציה ל- DBN על ידי למידה ראשונה של חבורת RBM, בסוף אתה בדרך כלל מתיר את המשקולות ובסופו של דבר עם רשת אמונות סיגמואידית עמוקה (מכוונת). בחלק ניכר מעבודות ה- DBN המקוריות אנשים השאירו את השכבה העליונה ללא כיוון ואז נקנסו במשהו כמו שינה-שינה, ובמקרה כזה יש לך הכלאה.
האם אתה מתכוון ב- 3. שאין להם חיבורים * שכבתיים פנימיים (למשל בין צמתים בשכבה הנסתרת) ולא * שכבת ביניים * (למשל מהקלט לשכבה הנסתרת)?
@ddiez כן, ככה זה צריך לקרוא.תודה על התיקון.
Darkensberge
2015-09-04 16:29:04 UTC
view on stackexchange narkive permalink

שניהם מודלים גרפיים הסתברותיים המורכבים משכבות RBM מוערמות. ההבדל הוא באופן שכבות אלה מחוברות.

קישור זה מבהיר למדי: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf. איור 2 וסעיף 3.1 רלוונטיים במיוחד.

לסיכום:

ב- DBN מכוונים החיבורים בין שכבות. לכן, שתי השכבות הראשונות יוצרות RBM (מודל גרפי לא מכוון), ואז השכבות הבאות יוצרות מודל גנראטיבי מכוון.

ב- DBM, הקשר בין כל השכבות אינו מכוון, ולכן כל זוג שכבות נוצר. RBM.

אז מכונת בולצמן עמוקה עדיין בנויה ממכשירי RBM?אני מבסס את מסקנתי על ההקדמה והתמונה בעיתון


ⓘ
שאלה ותשובה זו תורגמה אוטומטית מהשפה האנגלית.התוכן המקורי זמין ב- stackexchange, ואנו מודים לו על רישיון cc by-sa 3.0 עליו הוא מופץ.
Loading...