Skip to content
Snippets Groups Projects
Verified Commit bc41433f authored by iliya.saroukha's avatar iliya.saroukha :first_quarter_moon:
Browse files

fix: nesterov grad approximation

parent 6a635ae2
Branches
No related tags found
No related merge requests found
...@@ -186,12 +186,13 @@ trajectoires. ...@@ -186,12 +186,13 @@ trajectoires.
La trajectoire empruntée par la descente **Nesterov** est _étrangement_ La trajectoire empruntée par la descente **Nesterov** est _étrangement_
similaire à celle de **Momentum** à un détail près, elle est **moins erratique**. similaire à celle de **Momentum** à un détail près, elle est **moins erratique**.
Ceci est dû au fait qu'avant d'effectuer le pas (c'est-à-dire passer à la Ceci est dû au fait qu'avant d'effectuer le pas (c'est-à-dire passer à la
prochaine itération), **Nesterov** pré-calcule $\nabla{f}(\vec{x}_{k + 1})$ pour prochaine itération), **Nesterov** pré-calcule une approximation de
corriger le grand pas effectué par **Momentum** de sorte à pousser la $\nabla{f}(\vec{x}_{k + 1})$ pour corriger le grand pas effectué par
trajectoire un peu plus tôt dans la bonne direction vers le minimum. La **Momentum** de sorte à pousser la trajectoire un peu plus tôt dans la bonne
@fig-nesterov l'illustre très bien, les deux trajectoires ont les mêmes direction vers le minimum. La @fig-nesterov l'illustre très bien, les deux
tendances sauf que l'orange (Nesterov) se "redresse" plus tôt et atteint le trajectoires ont les mêmes tendances sauf que l'orange (Nesterov) se "redresse"
minimum plus rapidement que Momentum (205 contre 317 itérations). plus tôt et atteint le minimum plus rapidement que Momentum (205 contre 317
itérations).
## Méthode d'Adam ## Méthode d'Adam
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment