Skip to content
Snippets Groups Projects
Verified Commit bc41433f authored by iliya.saroukha's avatar iliya.saroukha :first_quarter_moon:
Browse files

fix: nesterov grad approximation

parent 6a635ae2
Branches
Tags v1.0.0
No related merge requests found
......@@ -186,12 +186,13 @@ trajectoires.
La trajectoire empruntée par la descente **Nesterov** est _étrangement_
similaire à celle de **Momentum** à un détail près, elle est **moins erratique**.
Ceci est dû au fait qu'avant d'effectuer le pas (c'est-à-dire passer à la
prochaine itération), **Nesterov** pré-calcule $\nabla{f}(\vec{x}_{k + 1})$ pour
corriger le grand pas effectué par **Momentum** de sorte à pousser la
trajectoire un peu plus tôt dans la bonne direction vers le minimum. La
@fig-nesterov l'illustre très bien, les deux trajectoires ont les mêmes
tendances sauf que l'orange (Nesterov) se "redresse" plus tôt et atteint le
minimum plus rapidement que Momentum (205 contre 317 itérations).
prochaine itération), **Nesterov** pré-calcule une approximation de
$\nabla{f}(\vec{x}_{k + 1})$ pour corriger le grand pas effectué par
**Momentum** de sorte à pousser la trajectoire un peu plus tôt dans la bonne
direction vers le minimum. La @fig-nesterov l'illustre très bien, les deux
trajectoires ont les mêmes tendances sauf que l'orange (Nesterov) se "redresse"
plus tôt et atteint le minimum plus rapidement que Momentum (205 contre 317
itérations).
## Méthode d'Adam
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment