Dans ce chapitre nous ne parlerons que del'optimisation continue.
Dans ce chapitre nous ne parlerons que del'optimisation continue.
### L'optimisation continue
L'optimisation continue ou *programme mathématique continu* est un programme d'optimisation soumis à certaines contraintes.
On peut l'exprimer de la façon suivante.
Soit $f:\real^n\rightarrow\real$ une fonction objectif (ou fontion de coût), on cherche $\vec x_0\in\real^n$, tel que $f(\vec x_0)\leq f(\vec x)$ pour $\vec x$ certaines conditions: **les contraintes**. Celles-ci sont en général des égalités strictes ou des inégalités qui peuvent s'exprimer de la façon suivante.
Soit $f:\real^n\rightarrow\real$ une fonction objectif (ou fonction de coût), on cherche $\vec x_0\in\real^n$, tel que $f(\vec x_0)\leq f(\vec x)$ pour $\vec x$ certaines conditions: **les contraintes**. Celles-ci sont en général des égalités strictes ou des inégalités qui peuvent s'exprimer de la façon suivante.
@@ -119,7 +119,7 @@ optimiser les poids des réseaux de neurones.
## Optimisation continue
Dans cette section, nous allons considérer des problèmes purement continus.
Nous allons dans un premier temps considérer une fonction opbjectif, $f$,
Nous allons dans un premier temps considérer une fonction objectif, $f$,
$$
f:D\rightarrow\real,\quad D\subseteq \real,
$$
...
...
@@ -144,8 +144,8 @@ $$
Les cas où $f''(x)=0$ est un point d'inflexion et $f''(x)<0$ est un maximum.
Un autre problème beaucoup plus compliqué à résoudre est de déterminer un minimum **global**.
En effet, comme pour la fonction de Ackley (voir la @fig:ackley), une fonction peut posséder un grand nombre de minimam**locaux** (où
$f'(x)=0$ et $f''(x)>0$) mais qui n'est pas un mimumum global.
En effet, comme pour la fonction de Ackley (voir la @fig:ackley), une fonction peut posséder un grand nombre de minima **locaux** (où
$f'(x)=0$ et $f''(x)>0$) mais qui n'est pas un minimum global.
Mathématiquement un *minimum local* se définit comme $x^\ast$ tel qu'il existe $\delta>0$ et que $f(x^\ast)\leq f(x)$, pour
$x\in[x^\ast-\delta,x^\ast+delta]$. Un *minimum global* est un $x^\ast$ tel que $\forall x\in D$, $f(x^\ast)\leq f(x)$.
...
...
@@ -166,7 +166,7 @@ analytiquement les zéros. En revanche, pour des fonctions plus complexes, ou "i
l'équation $g(x)=0$ sous la forme $x=...$) la détermination des zéros est beaucoup plus difficile et nécessite l'utilisation
de **méthodes itératives**. Nous allons en voir quelques unes.
## Méthodes par raffienement d'intervalles
## Méthodes par raffinement d'intervalles
### Méthode de la bissection
...
...
@@ -175,7 +175,7 @@ de **méthodes itératives**. Nous allons en voir quelques unes.
Afin de déterminer le zéro d'une fonction, une des méthodes les plus simple est la méthode de la bissection.
Il s'agit de choisir deux points, $a_1$ et $b_1$, $b_1>a_1$, tels que le signe de $g(a_1)$ et $g(b_1)$ est différent.
Si cela est le cas, nous aommes assurés de l'existence d'au moins un zéro si la fonction $g(x)$ est continue
Si cela est le cas, nous sommes assurés de l'existence d'au moins un zéro si la fonction $g(x)$ est continue
(en vertu du théorème de la valeur intermédiaire). Ensuite, nous allons calculer la valeur se situant "au milieu"
entre $a_1$ et $b_1$
$$
...
...
@@ -183,7 +183,7 @@ c_1=\frac{b_1+a_1}{2}.
$$
Puis, nous évaluons $g(c_1)$ et si ce n'est pas un zéro, étudions son signe. Si le signe $g(c_1)$ est différent de celui de $g(a_1)$, nous remplaçons
$b_1$ par $c_1$ et recommençons. Si le signe de $g(c_1)$ est différent de celui de $g(b_1)$, nous remplaçons $a_1$ par $c_1$.
Nous itérons cette méthode jusqu'à ce que nous ayons atteint une valeur "siffisamment proche" (nous vons une précision acceptable pour nous)
Nous itérons cette méthode jusqu'à ce que nous ayons atteint une valeur "suffisamment proche" (nous avons une précision acceptable pour nous)
de zéro. Une façon d'exprimer "proche" est de considérer la taille de l'intervalle $b_1-a_1$ et de le comparer avec une précision $\varepsilon>0$ que nous
aurons choisie
$$
...
...
@@ -196,7 +196,7 @@ distance maximale du zéro de $(b_1+a_1)/2^n$. On dit que cette méthode est d'o
---
#### Exercice (Racice de polynôme) {-}
#### Exercice (Racine de polynôme) {-}
Déterminer la racine du polynôme $x^4+x^3+x^2-1$ avec $a_1=0.5$ et $b_1=1$ (faire au maximum 6 itérations).
...
...
@@ -271,7 +271,7 @@ $$
---
### Recherche de la fourchette intiale
### Recherche de la fourchette initiale
Dans les méthodes ci-dessus, nous avons supposé que nous avions une fonction $g(x)$ continue, ainsi qu'un intervalle, $[a,b]$,
avec
...
...
@@ -304,7 +304,7 @@ Si $f(b)>0$, on a terminé. Sinon on recommence avec $k\rightarrow 2\cdot k$ et
## Méthodes de descentes locales
L'idée de ce type de méthodes est, contrairement aux méthodes de la section précédente, d'utiliser des
connaissances *locales* que nous pouvons avoir sur la fonction. Cette connsaissance loale
connaissances *locales* que nous pouvons avoir sur la fonction. Cette connaissance locale
a en général comme effet une *convergence* plus rapide de l'algorithme de recherche de zéros.