Descente de gradient
Période historique : 1847 (Cauchy)
L'algorithme d'optimisation universel : descendre pas à pas le long de la ligne de plus grande pente pour minimiser une fonction.
Contenu & Formulation mathématique
Genèse & Portée historique
Algorithme d'optimisation différentiable du premier ordre. En partant d'un point initial arbitraire, il effectue des pas proportionnels à l'opposé du vecteur gradient de la fonction de coût, guidant les paramètres vers un minimum local avec un taux d'apprentissage η.
Augustin-Louis Cauchy proposa cette méthode en 1847 pour résoudre des systèmes d'équations astronomiques ; un siècle et demi plus tard, sa variante stochastique (SGD) est devenue le moteur d'apprentissage de tous les réseaux de neurones profonds.
Filiations & Relations conceptuelles (1)
Objet de collection MathTCG
Descente de gradient
Principe : Ajuster itérativement un vecteur de paramètres dans la direction opposée au gradient local de la fonction d'erreur.
Dans l'édition physique et numérique de MathTCG, cette carte appartient à l'extension Foundations.