diff --git a/cours.md b/cours.md index 7e90f33b0b80c5d5b578b9c26c82bbce50d44ce7..70f1cf7bbf081518963c42c3ed60e9cfeb636a7c 100644 --- a/cours.md +++ b/cours.md @@ -1267,7 +1267,7 @@ $x\in[x^\ast-\delta,x^\ast+delta]$. Un *minimum global* est un $x^\ast$ tel que En fait, il n'existe pas de méthode pour déterminer un minimum global, pour n'importe quelle fonction. Nous somme assurés de le trouver, uniquement si $f$ est une fonction convexe partout ($f''(x)>0 \ \forall x$). -## Algorithme de recherche d'un zéro d'une fonction +## Algorithme des recherche d'un zéro d'une fonction Comme nous venons de le voir, lors de la recherche d'un minimum, il est nécessaire de trouver le point $x^\ast$ où $f'(x^\ast)=0$. Le problème est donc de déterminer les zéros de la fonction $f'(x)$. Pour avoir un maximum de généralité, @@ -1280,6 +1280,8 @@ analytiquement les zéros. En revanche, pour des fonctions plus complexes, ou "i l'équation $g(x)=0$ sous la forme $x=...$) la détermination des zéros est beaucoup plus difficile et nécessite l'utilisation de **méthodes itératives**. Nous allons en voir quelques unes. +## Méthodes par raffienement d'intervalles + ### Méthode de la bissection ![Illustration de la méthode de la bissection. Source: Wikipedia @@ -1383,6 +1385,42 @@ $$ --- +### Recherche de la fourchette intiale + +Dans les méthodes ci-dessus, nous avons supposé que nous avions une fonction $g(x)$ continue, ainsi qu'un intervalle, $[a,b]$, +avec +\begin{equation} +g(a)<0,\quad g(b)>0. +\end{equation} +Mais, nous n'avons pas encore vu de méthode pour déterminer les valeur de la fourchette $a,b$. + +--- + +Remarque +.# + +On peut procéder de façon très similaire pour $[a,b]$ tel que + +\begin{equation} +g(a)>0,\quad g(b)>0. +\end{equation} + +Il suffit de prendre remplacer $g(x)\rightarrow -g(x)$. + +--- + +Les méthodes pour déterminer la fourchette initiales sont également des *méthodes itératives*. + +La plus simple qu'on puisse imaginer est de partir d'un point initial $a$ (choisi aus hasard par exemple). +On suppose que $g(a)<0$ (sinon voir la remarque ci-dessus). +Puis on choisir deux *hyperparamètres*: $\delta x$ et $k$[^10]. Ensuite on calcule $b=a+k\cdot \delta x$. +Si $f(b)>0$, on a terminé. Sinon on recommence avec $k\rightarrow 2\cdot k$ et $b\rightarrow k\cdot b$. + +## Méthodes de descentes locales + +L'idée de ce type de méthodes est, contrairement aux méthodes de la section précédente, d'utiliser des +connaissances *locales* que nous pouvons avoir sur la fonction. Cette connsaissance loale +a en général comme effet une *convergence* plus rapide de l'algorithme de recherche de zéros. + ### Méthode de Newton (ou *Newton-Raphson") La méthode de Newton est également une méthode itérative, qui nécessite que la fonction $g(x)$ soit non seulement continue mais également dérivable. @@ -1390,8 +1428,8 @@ Revenons sur la méthode de la sécante. Il s'agissait de choisir deux points, $ \begin{equation*} y=\frac{g(b)-g(a)}{b-a}(x-a) + g(a). \end{equation*} -Il se trouve que $g(b)-g(a)/(b-a)$ n'est autre qu'une approximation avec une formule de différences finies -de la dérivée de $g$ et $a$, $g'(a)$. Si la fonction $f$ est dérivable, on peut simplement remplacer ce terme par $g'(a)$ +Il se trouve que $g(b)-g(a)/(b-a)$ n'est autre qu'une approximation avec une formule de *différences finies* +de la dérivée de $g$ et $a$, $g'(a)$. Si la fonction $g$ est dérivable, on peut simplement remplacer ce terme par $g'(a)$ et on obtient $$ y=g'(a)(x-a) + g(a). @@ -1456,7 +1494,35 @@ Exercice +.# Écrire l'algorithme de Newton pour le cas de la minimisation d'une fonction $f(x)$ quelconque, mais continuement dérivable 2 fois. --- - + +## En plusieurs dimensions + +Quand notre fonction de coût dépend de plusieurs arguments, on dit que c'est une fonction *multivariée*, $f(\vec x)$, avec $\vec x\in\real^n$. +On peut également l'écrire de façon plus explicite (et aussi plus longue) comme +\begin{equation} +f(\vec x)=f(x_1, x_2, ..., x_n). +\end{equation} +Bien que la fonction de coût prenne en argument plusieurs variables, elle retourne uniquement un réel +\begin{equation} +f:\real^n\rightarrow \real. +\end{equation} + +--- + +Exemple +.# (Régression linéaire) + +Dans le cas de la régression linéaire, si la droite ne passe pas par l'origine, nous avons que +la fonction de coût dépent de la pente de la droite, ainsi que de son ordonnée l'origine + +\begin{equation} +f(a,b)=\frac{1}{N}\sum_{i=1}^N \left(a\cdot x_i+b - y_i\right)^2. +\end{equation} + +--- + +### Les drivées en plusieurs dimensions + + Équations différentielles ordinaires ==================================== @@ -4667,3 +4733,4 @@ Borel, Gay-Balmaz, Ibanez, Lovino et Sousa. Je voudrais également remercier A. boule blanche ($p(B)=1/3$) n’est pas donnné par $p(A)=\mbox{nombre d'éléments dans }A/\mbox{nombre total d'éléments}=1/2$, $p(B)=\mbox{nombre d'éléments dans }B/\mbox{nombre total d'éléments}=1/2$. +[^10]: Leur valeur est un peu arbitraire, souvent $\delta x=0.01$ et $k=2$. \ No newline at end of file