Gradient Descent הוא אלגוריתם אופטימיזציה למציאת מינימום מקומי של פונקציה הניתנת להפרדה. ירידה בשיפוע משמשת פשוט בלמידת מכונה כדי למצוא את הערכים של פרמטרים (מקדמים) של פונקציה שממזערים פונקציית עלות עד כמה שניתן.
למה אנחנו משתמשים בירידה בשיפוע ברגרסיה ליניארית?
הסיבה העיקרית לכך שהירידה בשיפוע משמשת לרגרסיה ליניארית היא המורכבות החישובית: זול יותר מבחינה חישובית (מהיר יותר) למצוא את הפתרון באמצעות ירידת השיפוע במקרים מסוימים. כאן, עליך לחשב את המטריצה X′X ואז להפוך אותה (ראה הערה למטה). זה חישוב יקר.
מדוע נעשה שימוש בירידה בשיפוע ברשתות עצביות?
ירידה בדרגה היא אלגוריתם אופטימיזציה המשמש בדרך כלל לאימון מודלים של למידת מכונה ורשתות עצביות. נתוני הדרכה עוזרים למודלים הללו ללמוד לאורך זמן, ופונקציית העלות בירידה בשיפוע פועלת באופן ספציפי כברומטר, המודדת את הדיוק שלה בכל איטרציה של עדכוני פרמטרים.
מדוע ירידה בשיפוע עובדת ללמידה עמוקה?
ירידה בשיפוע הוא אלגוריתם אופטימיזציה המשמש למזער פונקציה כלשהי על ידי תנועה איטרטיבית בכיוון הירידה התלולה ביותר כפי שמוגדר על ידי השלילי של השיפוע. בלמידת מכונה, אנו משתמשים בירידה בשיפוע כדי לעדכן את הפרמטרים של המודל שלנו.
היכן משתמשים בירידה בשיפוע?
ירידה בשיפוע עדיף להשתמש כאשר לא ניתן לחשב את הפרמטרים בצורה אנליטית (למשל באמצעות אלגברה לינארית) ויש לחפש אותם באמצעות אלגוריתם אופטימיזציה.
