LSTMs פותרים את הבעיה באמצעות מבנה שיפוע תוסף ייחודי הכולל גישה ישירה להפעלת השער לשכוח, מה שמאפשר לרשת לעודד התנהגות רצויה משיפוע השגיאה באמצעות עדכון שערים תכופים בכל שלב של תהליך הלמידה.
איך LSTM פותר שיפוע מתפוצץ?
תשובה קצרה מאוד: LSTM מפרק את מצב התא (מסומן בדרך כלל ב-c) ושכבה/פלט נסתרת (מסומן בדרך כלל ב-h), ועושה רק עדכונים תוספים ל-c, מה שהופך את הזיכרונות ב-c ליציבים יותר. לפיכך השיפוע הזורם דרך c נשמר וקשה להעלם (לכן קשה להעלם את השיפוע הכללי).
איך ניתן לפתור בעיית שיפוע נעלמת?
פתרונות: הפתרון הפשוט ביותר הוא להשתמש בפונקציות הפעלה אחרות, כמו ReLU, שאינה גורמת לנגזרת קטנה. רשתות שיוריות הן פתרון נוסף, שכן הן מספקות חיבורים שיוריים ישירות לשכבות קודמות.
איזו בעיה LSTM פותר?
LSTMs. LSTM (קיצור לזיכרון לטווח קצר ארוך) פותר בעיקר בעיית השיפוע הנעלם בהפצה לאחור. LSTMs משתמשים במנגנון שער השולט בתהליך הזיכרונות. ניתן לאחסן, לכתוב או לקרוא מידע ב-LSTMs באמצעות שערים שנפתחים ונסגרים.
למה LSTMs עוצרים את ההדרגות שלך מלהעלם נוף מהמעבר לאחור?
הסיבה לכך היא משום שכדי לאכוף את זרימת השגיאה הקבועה הזו, חישוב השיפוע נחתך כדי לא לזרום חזרה לשערי הקלט או המועמדים.
