From c9604fa75513ea0d4a4e6efe4bd965dfe9d1ef7d Mon Sep 17 00:00:00 2001 From: "aliya.myaz" <aliya.myaz@hesge.ch> Date: Sun, 2 Jun 2024 02:29:24 +0200 Subject: [PATCH] introduction --- report/report.qmd | 44 ++++++++++++++++++++++++++++++++------------ 1 file changed, 32 insertions(+), 12 deletions(-) diff --git a/report/report.qmd b/report/report.qmd index d89959d..0c6b575 100644 --- a/report/report.qmd +++ b/report/report.qmd @@ -23,18 +23,38 @@ format: # Introduction -Dans le cadre de ce travail pratique, nous étions amenés à nous familiariser -avec le concept de la descente de gradient dans le contexte de l’apprentissage -machine et l’intelligence artificielle. - -La descente de gradient (le concept en lui-même ainsi que les divers -algorithmes) est utilisée dans l’entraînement des réseaux neuronaux lors de la -rétropropagation ("Backpropagation"). En bref, la rétropropagation consiste à -"remonter" dans le réseau depuis la couche de sortie en direction de la couche -d’entrée afin d’ajuster les poids de chaque neurones qui ont contribué à un -résultat faussé de sorte à pouvoir corriger le réseau. Cette correction -s’effectue grâce à une descente de gradient sur une fonction, dite de "coût", -qui représente l’erreur commise lors d’une mauvaise classification. +Dans le cadre (subtilement élargi) de ce travail pratique, nous étions amenés à +nous familiariser avec le concept de la descente de gradient dans le contexte de +l’apprentissage machine et l’intelligence artificielle. + +En effet, parmi d’autres utilités hautement majeures, la descente de gradient +(le concept en lui-même ainsi que les divers algorithmes) est utilisée dans +l’entraînement des réseaux neuronaux lors de la rétropropagation ("backpropagation"). +En bref, la rétropropagation consiste à "remonter" dans le réseau depuis la couche +de sortie en direction de la couche d’entrée. Cette remontée permet d’ajuster les +poids des neurones ayant contribué à un résultat faussé de sorte à optimiser les +performances du modèle. Cette correction consiste plus concrètement en +l’optimisation des paramètres d’une fonction dite de "coût", qui représente l’écart +entre les prédictions du réseau et les valeurs attendues. Il s’agit donc en fait +d’un problème de minimisation d’erreur. + +Or l’essence même de la descente de gradient réside dans sa capacité à orienter +un processus d'optimisation vers un minimum (au moins local) en ajustant +itérativement les paramètres d'un modèle ou variables d'une fonction. Cependant, +ce voyage est jonché de multiples pièges que nous avons inévitablement rencontré +dans notre exploration. + +Car en effet, ayant compris l’importance de la descente de gradient, nous avons +voulu à travers ce rapport (de notre propre volonté), explorer en détail +différentes facettes de cet outil, de ses paramètres à ses implications pratiques, +sur des fonctions particulières et une fonction de coût réelle. +Perpendiculairement à la comparaison des fonctions, ce sont les méthodes de +descente qui ont été confrontées, nous menant à méditer les subtilités de chacune +d’entre elles. + +Aussi, nous souhaitons-vous un bon voyage dans l’univers merveilleux de ce rapport +immersif, et vous prions de vous laisser porter au-travers des dunes par les +descentes de gradient, les plus rapides comme les plus erratiques et aventureuses. # Expérimentation -- GitLab