From c5d37628714deabd77e32894455e91f2cbed470f Mon Sep 17 00:00:00 2001 From: "iliya.saroukha" <iliya.saroukhanian@etu.hesge.ch> Date: Sun, 2 Jun 2024 10:53:29 +0200 Subject: [PATCH] fix: reworked paragraph about doing a descent on a "real" cost function because in the end, we ain't doing it --- report/report.qmd | 13 +++++++------ 1 file changed, 7 insertions(+), 6 deletions(-) diff --git a/report/report.qmd b/report/report.qmd index 3dae28a..8714d51 100644 --- a/report/report.qmd +++ b/report/report.qmd @@ -29,7 +29,7 @@ l’apprentissage machine et l’intelligence artificielle. En effet, parmi d’autres utilités hautement majeures, la descente de gradient (le concept en lui-même ainsi que les divers algorithmes) est utilisée dans -l’entraînement des réseaux neuronaux lors de la rétropropagation ("backpropagation"). +l’entraînement des réseaux neuronaux lors de la "rétropropagation" (_backpropagation_). En bref, la rétropropagation consiste à "remonter" dans le réseau depuis la couche de sortie en direction de la couche d’entrée. Cette remontée permet d’ajuster les poids des neurones ayant contribué à un résultat faussé de sorte à optimiser les @@ -47,10 +47,11 @@ dans notre exploration. Car en effet, ayant compris l’importance de la descente de gradient, nous avons voulu à travers ce rapport (de notre propre volonté), explorer en détail différentes facettes de cet outil, de ses paramètres à ses implications pratiques, -sur des fonctions particulières et une fonction de coût réelle. -Perpendiculairement à la comparaison des fonctions, ce sont les méthodes de -descente qui ont été confrontées, nous menant à méditer les subtilités de chacune -d’entre elles. +sur quelques fonctions dites de [**test**](https://fr.wikipedia.org/wiki/Fonction_de_test_pour_l%27optimisation) +qui permettent de mieux évaluer les diverses caractéristiques des algorithmes +de descente. Perpendiculairement à la comparaison des fonctions, ce sont les +méthodes de descente qui ont été confrontées, nous menant à méditer les +subtilités de chacune d’entre elles. Aussi, nous souhaitons-vous un bon voyage dans l’univers merveilleux de ce rapport immersif, et vous prions de vous laisser porter au-travers des dunes par les @@ -106,7 +107,7 @@ $$ f(x, y) = x^2 + ky^2 \quad \forall k \in \mathbb{N} $$ {#eq-func-bol} -**n.b.** : Le gradient $\nabla$ de la fonction ci-dessus est accentué dans +**n.b.** : Le gradient $\nabla$ de la fonction ci-dessous est accentué dans la direction de l'axe $y$ à l'aide du facteur $k = 5$. Ceci aura son importance lors de l'explication de la problématique des ravines ainsi que de la visualisation de la méthode d'**Adam**. -- GitLab