ירידה בדרגה הומצאה ב- Cauchy בשנת 1847. Méthode générale pour la résolution des systèmes d'équations simultanées. עמ' 536–538 למידע נוסף עליו ראה כאן.
מתי הומצא SGD?
הדולר הסינגפורי הונפק לראשונה ב- 1965 לאחר התמוטטות האיחוד המוניטרי בין מלזיה וברוניי, אך נותר להחלפה עם הדולר ברוניי בשתי המדינות.
מי המציא הגברת שיפוע?
מי המציא מכונות להגברת שיפוע? Jerome Friedman, במאמרו המכונן משנת 1999 (עודכן ב-2001) בשם Greedy Function Approximation: A Gradient Boosting Machine, הציג את מכונת הגברת השיפוע, למרות שהרעיון להגביר את עצמו לא היה חדש.
האם אדם משתמש בירידה בשיפוע סטוכסטי?
Adam הוא אלגוריתם אופטימיזציה להחלפה לירידה בשיפוע סטוכסטי לאימון מודלים של למידה עמוקה. אדם משלב את המאפיינים הטובים ביותר של האלגוריתמים AdaGrad ו-RMSProp כדי לספק אלגוריתם אופטימיזציה שיכול להתמודד עם שיפועים דלילים בבעיות רועשות.
למה זה נקרא ירידה בשיפוע סטוכסטי?
המילה 'סטוכסטי' פירושה מערכת או תהליך המקושרים בהסתברות אקראית. לפיכך, ב-Stochastic Gradient Descent, כמה דגימות נבחרות באופן אקראי במקום מערך הנתונים המלא עבור כל איטרציה.
