From bc41433fe770706013460895b1bc9b8eaa9b5e7a Mon Sep 17 00:00:00 2001 From: "iliya.saroukha" <iliya.saroukhanian@etu.hesge.ch> Date: Fri, 31 May 2024 20:13:12 +0200 Subject: [PATCH] fix: nesterov grad approximation --- report/report.qmd | 13 +++++++------ 1 file changed, 7 insertions(+), 6 deletions(-) diff --git a/report/report.qmd b/report/report.qmd index f3fcf2e..d89959d 100644 --- a/report/report.qmd +++ b/report/report.qmd @@ -186,12 +186,13 @@ trajectoires. La trajectoire empruntée par la descente **Nesterov** est _étrangement_ similaire à celle de **Momentum** à un détail près, elle est **moins erratique**. Ceci est dû au fait qu'avant d'effectuer le pas (c'est-à-dire passer à la -prochaine itération), **Nesterov** pré-calcule $\nabla{f}(\vec{x}_{k + 1})$ pour -corriger le grand pas effectué par **Momentum** de sorte à pousser la -trajectoire un peu plus tôt dans la bonne direction vers le minimum. La -@fig-nesterov l'illustre très bien, les deux trajectoires ont les mêmes -tendances sauf que l'orange (Nesterov) se "redresse" plus tôt et atteint le -minimum plus rapidement que Momentum (205 contre 317 itérations). +prochaine itération), **Nesterov** pré-calcule une approximation de +$\nabla{f}(\vec{x}_{k + 1})$ pour corriger le grand pas effectué par +**Momentum** de sorte à pousser la trajectoire un peu plus tôt dans la bonne +direction vers le minimum. La @fig-nesterov l'illustre très bien, les deux +trajectoires ont les mêmes tendances sauf que l'orange (Nesterov) se "redresse" +plus tôt et atteint le minimum plus rapidement que Momentum (205 contre 317 +itérations). ## Méthode d'Adam -- GitLab