או אפילו עם אותה תמיכה, כאשר להפצה אחת יש זנב שמן הרבה יותר מהשנייה.לקחת $$ KL (P \ vert \ vert Q) = \ int p (x) \ log \ left (\ frac {p (x)} {q (x)} \ right) \, \ text {d} x $$ מתי $$ p (x) = מגן יתר {\ frac {1} {\ pi} \, \ frac {1} {1 + x ^ 2}} ^ \ טקסט {צפיפות קוצ'ית} \ qquad q (x) = \ מגן{\ frac {1} {\ sqrt {2 \ pi}} \, \ exp \ {- x ^ 2/2 \}} ^ \ text {צפיפות רגילה} $$ לאחר מכן $$ KL (P \ vert \ vert Q) = \ int \ frac {1} {\ pi} \, \ frac {1} {1 + x ^ 2} \ log p (x) \, \ text {d}x + \ int \ frac {1} {\ pi} \, \ frac {1} {1 + x ^ 2} [\ log (2 \ pi) / 2 + x ^ 2/2] \, \ text {d} x $$ ו $$ \ int \ frac {1} {\ pi} \, \ frac {1} {1 + x ^ 2} x ^ 2/2 \, \ text {d} x = + \ infty $$ ישנם מרחקים אחרים שנותרו מוגבלים כמו

• מרחק $ L¹ $, שווה ערך למרחק הווריאציה הכולל,
• מרחקי וואסרשטיין
• מרחק הלינגר

עבור הפצות שאין להן אותה תמיכה, ההבדל של KL אינו מוגבל.עיין בהגדרה:

$$ KL (P \ vert \ vert Q) = \ int _ {- \ infty} ^ {\ infty} p (x) \ ln \ left (\ frac {p (x)} {q (x)}\ ימין) dx $$

אם ל- P ו- Q אין תמיכה זהה, קיימת איזו נקודה $ x '$ בה $ p (x') \ neq 0 $ ו- $ q (x ') = 0 $, מה שהופך את KL לאינסוף.זה חל גם על הפצות דיסקרטיות, וזה המקרה שלך.

Edit: אולי בחירה טובה יותר למדוד סטייה בין התפלגויות הסתברות תהיה מה שנקרא מרחק Wasserstein שהוא מדד ובעל תכונות טובות יותר מסטיית KL.זה הפך פופולרי למדי בגלל היישומים שלו בלימוד עמוק (ראה רשתות WGAN)

כדי להוסיף לתשובות המצוינות של קרלוס ו שיאן, מעניין גם לציין שתנאי מספיק כדי שההפרש של KL יהיה סופי הוא לשניהם משתנים אקראיים בעלי תמיכה קומפקטית זהה וכדי שתוחם את צפיפות הייחוס. תוצאה זו קובעת גם גבול מרומז למקסימום ההבדל של KL (ראה משפט והוכחה בהמשך).

Theorem: אם הצפיפות $ p $ ו- $ q $ יש תמיכה קומפקטית זהה $ \ mathscr {X} $ והצפיפות $ p $ מוגבלת בתמיכה זו (כלומר, יש גבול עליון סופי) אז $ KL (P || Q) < \ infty $.

Proof: מכיוון של- $ q $ יש תמיכה קומפקטית $ \ mathscr {X} $ זה אומר שיש ערך חיובי חיובי כלשהו:

$$ \ קו תחתון {q} \ equiv \ inf_ {x \ in \ mathscr {X}} q (x) > 0. $$

באופן דומה, מכיוון של- $ p $ יש תמיכה קומפקטית $ \ mathscr {X} $ זה אומר שיש ערך עליון חיובי כלשהו:

$$ \ bar {p} \ equiv \ sup_ {x \ in \ mathscr {X}} p (x) > 0. $$

יתר על כן, מכיוון ששניהם צפיפויות על אותה תמיכה, והאחרון מוגבל, יש לנו $ 0 < \ קו תחתון {q} \ leqslant \ bar {p} < \ infty $. פירוש הדבר הוא ש

$$ \ sup_ {x \ in \ mathscr {X}} \ ln \ Bigg (\ frac {p (x)} {q (x)} \ Bigg) \ leqslant \ ln (\ bar {p}) - \ ln (\ קו תחתון {q}). $$

כעת, כאשר $ \ קו תחתון {L} \ equiv \ ln (\ bar {p}) - \ ln (\ קו תחתון {q}) $ יהיה הגבול העליון האחרון, ברור שיש לנו $ 0 \ leqslant \ קו תחתון {L } < \ infty $ כך:

$$ \ begin {equation} \ begin {align} KL (P || Q) & = \ int \ limit _ {\ mathscr {X}} \ ln \ Bigg (\ frac {p (x)} {q (x)} \ Bigg) p (x) dx \\ [6pt] & \ leqslant \ sup_ {x \ in \ mathscr {X}} \ ln \ Bigg (\ frac {p (x)} {q (x)} \ Bigg) \ int \ limits _ {\ mathscr {X}} p ( x) dx \\ [6pt] & \ leqslant (\ ln (\ bar {p}) - \ ln (\ קו תחתון {q})) \ int \ limits _ {\ mathscr {X}} p (x) dx \\ [6pt] & = \ קו תחתון {L} < \ infty. \\ [6pt] \ end {align} \ end {equation} $$

זה קובע את הגבול העליון הנדרש, מה שמוכיח את המשפט.$ \ blacksquare $