![Page 1: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/1.jpg)
2. Optimisation sans contrainte
Fonctions à une seule variable
![Page 2: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/2.jpg)
2.1. Méthodes n’utililisant que les valeurs des fonctions
• Méthode de Fibonacci Hypothèse: La fonction f est définie sur l’intervalle [a, b] et est unimodal;
i.e., f ne possède qu’un seul minimum local dans [a, b]
![Page 3: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/3.jpg)
• L’approche consiste
– à choisir un certain nombre de points selon une stratégie basée sur les
nombres de Fibonacci
– à évaluer séquentiellement la valeur de la fonction à ces points
– avec l’objectif de réduire la longuer de l’intervalle contenant le
minimum local en se basant sur la propriété d’unimodalité de la
fonction
![Page 4: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/4.jpg)
• Étant données les valeurs de la fonction en deux points de l’intervalle, l’unimodalité permet d’identifier une partie de l’intervalle où le minimum ne peut se retrouver
a a ab b bx1 x1 x1x2 x2 x2
1 2
2
et * ,
f x f x
x a x
1 2
1
et * ,
f x f x
x x b
1 2
1 2
et * ,
f x f x
x x x
![Page 5: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/5.jpg)
a bx1 x2x3 x4
Choisir deux points x1 et x2 symétrique et à la même distance de chaque extrémité de l’intervalle [a, b]
Choisir le prochain point symétriquement par rapport au point déjà dans l’intervalle résultant.
![Page 6: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/6.jpg)
a bx1 x2x3 x4
Choisir le prochain point symétriquement par rapportau point déjà dans l’intervalle résultant.
![Page 7: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/7.jpg)
Stratégie optimale de sélection des points d’évaluation
• Notation:
d1 = b – a, la longueur de l’intervalle initial
dk = longueur de l’intervalle après avoir utilisé k points d’évaluation
{Fk} la suite des nombres de Fibonacci définie comme suit:
F0 = F1 = 1
Fn = Fn-1 + Fn-2 n = 2, 3, ….
{1, 1, 2, 3, 5, 8, 13, 21, …}
![Page 8: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/8.jpg)
Stratégie optimale de sélection des points d’évaluation
Supposons que nous décidons au départ d’utiliser N points d’évaluation.
Procédure se résume comme suit:
i. Les deux premiers points sont choisis symétriques à une distance
de chacune des extrémités de l’intervalle [a, b]. Une partie de
l’intervalle est éliminée en se basant sur l’unimodalité de la fonction.
Il en résulte un intervalle de longueur .
ii. Le troisième point est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. Ceci engendre un intervalle de longueur
11
N
N
Fd
F
12 1
N
N
Fd d
F
23 1
N
N
Fd d
F
![Page 9: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/9.jpg)
Stratégie optimale de sélection des points d’évaluation
i. Les deux premiers points sont choisis symétrique à une distance de chacune des extrémités de l’intervalle [a, b]. Une partie de l’intervalle est éliminée en se basant sur l’unimodalité de la fonction. Il en résulte un intervalle de longueur .
ii. Le troisième point est choisi symétriquement par rapport au point déjà dans l’intervalle résultant. Ceci engendre un intervalle de longueur
iii. En général le point suivant est choisi symétriquement par rapport au point déjà dans l’intervalle résultant.
11
N
N
Fd
F
12 1
N
N
Fd d
F
23 1
N
N
Fd d
F
![Page 10: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/10.jpg)
iii. En général le point suivant est choisi symétriquement par rapport au point déjà dans l’intervalle résultant.
Note: Selon iii. , le dernier point N devrait être placé au centre de l’intervalle superposé à celui s’y trouvant déjà. En effet, puisqu’en utilisant cette stratégie de sélection des points d’évaluation, nous avons que
11 2,3, ,N k
k
N
Fd d k N
F
![Page 11: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/11.jpg)
Note: Selon iii. , le dernier point N devrait être placé au centre de l’intervalle superposé à celui s’y trouvant déjà. En effet, puisqu’en utilisant cette stratégie de sélection des points d’évaluation, nous avons que
11 2,3, ,N k
k
N
Fd d k N
F
( 1) 1 21 1 1 1
1
1 11 1 1
il s'ensuit que2
1.
21
N N
N
N N N
N N
N NN
N N N
F Fd d d d
F F Fd d
F Fd d d d
F F F
Pour remédier à cette situation, le dernier point est plutôt placé à une distance (à gauche ou à droite) de celui s'y trouvant déjà.
N
![Page 12: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/12.jpg)
• En utilisant cette stratégie de sélection des points d’évaluation,
et il est possible de démontrer que
est le plus petit intervalle qu’il est possible d’obtenir en utilisant N
points d’évaluations
11 2,3, ,N k
k
N
Fd d k N
F
1 1 11 1
N NN
N N N
F F dd d d
F F F
![Page 13: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/13.jpg)
• En utilisant cette stratégie de sélection des points d’évaluation,
Ainsi, lorsque le nombre de points d’évaluation N devient très grand pour tendre vers l’infini, la suite des valeurs
plus rapidement qu’en utilisant toute autre stratégie.
11 2,3, ,N k
k
N
Fd d k N
F
1 1 11 1
N NN
N N N
F F dd d d
F F F
0kd
![Page 14: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/14.jpg)
3
8
0 15
8
N = 5{1, 1, 2, 3, 5, 8}
1 4
5
5
8N
N
F F
F F
5 12 1
5
5
8
Fd d
F 1
1 2,3, ,N kk
N
Fd d k N
F
![Page 15: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/15.jpg)
3
8
0 12
8
5
8
N = 5{1, 1, 2, 3, 5, 8}
5 23 1
5
3
8
Fd d
F 1
1 2,3, ,N kk
N
Fd d k N
F
![Page 16: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/16.jpg)
3
8
0 11
8
2
8
5
8
N = 5{1, 1, 2, 3, 5, 8}
5 34 1
5
2
8
Fd d
F 1
1 2,3, ,N kk
N
Fd d k N
F
![Page 17: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/17.jpg)
3
8
0 11
8
2
8
5
8
N = 5{1, 1, 2, 3, 5, 8}
1
8
5 45 1
5
1
8
Fd d
F 1
1 2,3, ,N kk
N
Fd d k N
F
![Page 18: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/18.jpg)
• Méthode de la section dorée ( nombre d’or τ = 1.618…)
La méthode de la section dorée utilise la même stratégie que la méthode de Fibonacci pour selectionner les points d’évaluation, mais le nombre de points d’évaluation n’est pas spécifié au départ.
Pour spécifier les deux premiers points, nous procédons comme dans la
méthode de Fibonacci en les prenant symétriques à une distance
de chaque extrémité en considérant que N → ∞.
11
N
N
Fd
F
![Page 19: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/19.jpg)
• La méthode de la section dorée utilise la même stratégie que la méthode de Fibonacci pour selectionner les points d’évaluation, mais le nombre de points d’évaluation n’est pas spécifié au départ.
Pour spécifier les deux premiers points, nous procédons comme dans la
méthode de Fibonacci en les prenant symétrique à une distance
de chaque extrémité en considérant que N → ∞.
11
N
N
Fd
F
1
1
1Il est possible de démontrer que lim .
Par conséquent les deux premiers points sont choisis symétriquement à 1
une distance de chaque extrémité.
N
NN
F
F
d
![Page 20: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/20.jpg)
• Méthode de bisection (ou de bipartition) Méthode pour identifier le 0 d’une fonction g(x) sur un intervalle [a, b].
Si , alors la méthode de bisection peut être utilisée pour identifier un point où la dérivée d’une fonction s’annule.
Hypothèse: Sur l’intervalle [a, b], la fonction g est continue et telle que
g(a) g(b) < 0 (i.e.,
g x f x
il existe , où 0).x a b g x
![Page 21: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/21.jpg)
• Principe de la méthode: à chaque itération, réduire la longueur de
l’intervalle contenant en la divisant en deux.x
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
![Page 22: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/22.jpg)
• Puisque par hypothèse g est continue sur [a, b] et g(a) g(b) < 0,
– g change de signe entre a et b
– g s’annule en un point entre a et b
– la méthode génère une suite d’intervalles de longueur décroissante
jouissant de la même propriété
• La suite des valeurs des longueurs des intervalles est la suivante:
, , , , , , où 2 4 8 2n
L L L LL L b a
![Page 23: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/23.jpg)
a bc
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
g
![Page 24: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/24.jpg)
a b
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
g
c
![Page 25: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/25.jpg)
a b
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
g
c
![Page 26: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/26.jpg)
a b
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
g
![Page 27: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/27.jpg)
La suite des valeurs des longueurs d'intervalle est la suivante:
, , , , , , où 2 4 8 2n
L L L LL L b a
Le nombre d'itérations requises pour atteindre une longueur inférieure ou égale à :
À la fin de l'itération la longueur de l'intervalle est
egale à .2
Si représente le nombre d'it
k
nl
kL
n
2
2
érations requises, alors
2 log .2
Donc en prenant égale au plus petit entier plus grand ou
égale à log , la longueur après itératio
n
n
L L Ll n
l ln
Ln
l
2
ns sera
inférieure ou égale à . Ainsi
log .
lL
nl
![Page 28: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/28.jpg)
• La suite des valeurs des longueurs d’intervalle est la suivante:
, , , , , , où 2 4 8 2n
L L L LL L b a
1
La suite des longueurs des intervalles converge vers 0:
1La convergence est linéaire avec un rapport de convergence de :
2
02lim l
lim 0
i0
2
.2
m2
k
k k
k
nn
LL
L
L
1
2 1.
2
k
k L
![Page 29: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/29.jpg)
Hypothèse g(a) g(b)<0 est essentielle
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
a bc
![Page 30: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/30.jpg)
Hypothèse g(a) g(b)<0 est essentielle
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
a bc
![Page 31: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/31.jpg)
Hypothèse g(a) g(b)<0 est essentielle
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
a bc
![Page 32: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/32.jpg)
Hypothèse g(a) g(b)<0 est essentielle
Étape 0: Soit et tel que 0. Soit le niveau de tolérance
sur la longueur de l'intervalle contenant la racine à la fin de l'algorithm
Étape 1: Soit le poin2
e.
a bc
a b g a g b
x
t milieu de l'intervalle , .
Si 0, alors et l'algorithme s'arrête.
Si 0 i.e., et sont de même signe ,
alors : .
Étape 2: S
Autrement : .
i
a b
g c x c
g c g a g c g a
a c
b
c b
, l'algorithme s'arrête. Autrement, reprendre l'étape 1.a
a b
Uniquement l’intervalle initial contient la racine
![Page 33: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/33.jpg)
• Méthode de Newton Rappel: Formule de Taylor d’ordre n
2
( 1) ( )1
Il existe un point entre et tel que
2!
1 ! !
k
k
k k k k
n k nn nk k
z x x
f xf x f x f x x x x x
f x f zx x x x
n n
2.2 Méthode utilisant les dérivées
![Page 34: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/34.jpg)
• Méthode de Newton
Hypothèses:
Aux points d'évaluation , il est possible d'évaluer
, , , et de plus 0.
k
k k k k
x
f x f x f x f x
2
Étant donné un point d'évaluation , considérons
l'approximation quadratique suivante de à :
2!
k
k
k
k k k k
k
x
f x
f xq x f x f x x x x x
2
2! entre et
k k k k
k
ff x f x x x x
x
x x
x
f
z
z
![Page 35: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/35.jpg)
f
qk
xk
2
2!
k
k k k k
k
f xq x f x f x x x x x
2
2!
k
k k k k k k k k
k
f xq x f x f x x x x x f x
22 !
k
k k
k
f xq x f x x x
22 !
k
k k k k k
k
f xq x f x x x f x
k k
kq x f x
k
kq x f x
![Page 36: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/36.jpg)
f
qk
xk
1
1 1
1
1
La méthode itérative de Newton determine le prochain point
d'évaluation en remplaçant par et en annulant :
0
k
k k
k k k k k
k
k
k k
k
k
k k
k
x f q q x
q x f x f x x x
f xx x
f x
f xx x
f x
xk+1
![Page 37: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/37.jpg)
Convergence de la méthode de Newton
0
Soit une fonction possédant des dérivées continuesd'ordre 3. Supposons que * satisfait les conditions * 0 et
* 0. Si (le point initial) est choisi su
Théorème
ffisemment près de *,
a
2.1:
o
r
l
fx f x
f x x x
1 2 1 2
s la suite des points générés par la méthode de Newton converge vers * avec un ordre de convergence d'au moins 2.
Soient 0 et 0 tels que * et * .
Par continui
Preu
té de
ve.
e
kxx
k k f x k f x k
f
1
11
1 2
t de , il existe un scalaire 0 tel que pour
tout * : *
et .
f
B x x
f k f k
![Page 38: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/38.jpg)
1 2 1 2
1
11
1 2
Soient 0 et 0 tels que * et * .
Par continuité de et de , il existe un scalaire 0 tel que pour
tout * : *
et .
Puisque * 0, alors la
Preuve. k k f x k f x k
f f
B x x
f k f k
f x
1
1
1
1
1
relation définissant
devient*
** *
* ** . 2.1
k
k
k k
k
k
k k
k
k
k k
k
k k k
k
k
x
f xx x
f x
f x f xx x
f x
f x f xx x x x
f x
f x x x f x f xx x
f x
![Page 39: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/39.jpg)
1
2
* ** . 2.1
Se référant à la formule de Taylor d'ordre 2 appliquée à , il existe un entre * et tel que
* * *2!
ce qui s'écrit également
k k k
k
k
k
k k k k
k
f x x x f x f xx x
f xf
x xf
f x f x f x x x x x
f x
2
2
2 21 1
* * *2!
ou encore
* * * .2!
Substituant dans 2.1 ,
1 1* * * * . 2.2
2 2
k k k
k k k k
k k k k
k k
fx x f x f x x x
ff x x x f x f x x x
ffx x x x x x x x
f x f x
![Page 40: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/40.jpg)
2 21 1
21
10
1 1* * * * . 2.2
2 2
Posons maintenant
2min , .
Démontrons maintenant que partant de n'importe lequel point * ,nous convergeons vers * et que la co
k k k k
k k
ffx x x x x x x x
f x f x
k
k
x B xx
1 21
nvergence est d'ordre au moins 2.En effet si * , alorsi) le point dans la formule de developpement de Taylor a la propriété que * ,et ainsi (par définition de et )
kx x
B x k k
2
Se référant à la formule de Taylor d'ordre 2 appliquée à , il existe un entre * et tel que
* * *2!
k
k k k k
fx x
ff x f x f x x x x x
![Page 41: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/41.jpg)
Convergence de la méthode de Newton
0
Soit une fonction possédant des dérivées continuesd'ordre 3. Supposons que * satisfait les conditions * 0 et
* 0. Si (le point initial) est choisi su
Théorème
ffisemment près de *,
a
2.1:
o
r
l
fx f x
f x x x
1 2 1 2
s la suite des points généréspar la méthode de Newton converge vers * avec un ordre de convergence d'au moins 2.
Soient 0 et 0 tels que * et * .
Par cont
P
inuité
reu
de et
ve.
kxx
k k f x k f x k
f
1
11
1 2
de , il existe un scalaire 0 tel que pour
tout * : *
et .
f
B x x
f k f k
![Page 42: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/42.jpg)
2 21 1
21
10
1 1* * * * . 2.2
2 2
Posons maintenant
2min , .
Démontrons maintenant que partant de n'importe lequel point * ,nous convergeons vers * et que la co
k k k k
k k
ffx x x x x x x x
f x f x
k
k
x B xx
1 21
1
nvergence est d'ordre au moins 2.En effet si * , alors) le point dans la formule de developpement de Taylor a la propriété que
* ,et ainsi (par définition de et )
et
kx xi
B x k k
f k f
2
1
1 2
21 1
2
.
Puisque * , alors également * et
et .
Substituant dans 2.2 ,1
* * ;2
k k
k k
k k
k
x x x B x
f x k f x k
kx x x x
k
![Page 43: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/43.jpg)
21
1
1 21
1 2
2min ,
En effet si * , alors) le point dans la formule de developpement de Taylor a la propriété que
* ,et ainsi (par définition de et )
et ,
Puisque
k
k
k
k
x xi
B x k k
f k f k
x
1
1 2
21 1
2
2
1
* , alors également * et
et .
Substituant dans 2.21
* * ;2
) également2
*
k
k k
k k
k
x x B x
f x k f x k
kx x x x
kii
kx x
k
![Page 44: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/44.jpg)
21 1
2
2
1
1
2
21 1 1
2 21
1* * ;
2) également
2*
et par conséquent1
* 1.2
Il s'ensuit que1 1
* * = * *2 2
* * ,et la méthode converge.De plus, la convergence est
k k
k
k
k k k k
k k
kx x x x
kii
kx x
k
kx x
k
k kx x x x x x x x
k kx x x x
1
12
2
d'ordre au moins 2 puisque* 1
.2*
k
k
x x k
kx x
![Page 45: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/45.jpg)
• Note:
• Méthode également utilisée pour déterminer un point où la fonction s’annule. Il suffit de considérer la fonction
2
hypothèse * 0 assure que * est un maximun ou un
minimum de , et qu'il est possible d'utiliser un 0.
f x x
f k
g x f x
1 1
1
1
ou encore
0
k k
k k k k
k
k
k k
k
k k
k
k
k
g
g x g xx x x x
g x
f
f xx
g x
g
f x
xg x
x x
x
![Page 46: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/46.jpg)
1
1
1
ou encore
0
k
k k
k
k
k
k
k k
k
k k
f
f xx x
f
g
g xx x
g
gx
x x
xg
x x
g
kx1kx
kg x kg x
1
1
Interprétation géométrique:
choisi de telle sorte que
de la droite passant par les
points , et ,0
a pour pente , celle de
au point .
k
k k k
k
k
x
x g
g x
g
x x
x
1 à l'intersection de l'axe des et la tangente de au point k kx x g x
![Page 47: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/47.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
0x1x
![Page 48: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/48.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
2x1x
0x
![Page 49: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/49.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
2x3x
1x
![Page 50: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/50.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
4x3x
2x
![Page 51: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/51.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
2kx2 1kx
![Page 52: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/52.jpg)
• Importance de l’hypothèse que x0 soit suffisemment près de x*
g
2 2kx 2 1kx
![Page 53: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/53.jpg)
• Méthode de la fausse position
Hypothèses:
Aux points d'évaluation , il est possible d'évaluer
, .
k
k k
x
f x f x
1
2
1
Étant donné un point d'évaluation , considérons
l'approximation quadratique suivante de à
ne nécessitant pas la connaissance de :
1
2
k
k
k
k k
k k k k
k k k
x
f x
f x
f x f xq x f x f x x x x x
x x
2
2! entre et
k k k k
k
ff x f x x x x
x
x x
x
f
z
z 2
2!
k
k k k k
k
f xq x f x f x x x x x
![Page 54: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/54.jpg)
12
1
12
1
1
1
1
1
La fonction
1
2a les propriétés
1)
2
)
k k
k k k k
k k k
k k
k k k k k k k
k k k
k k
k
k k
k k
k k k
k k
k k k k
k k k
k
k
f x f xq x f x f x x x x x
x x
f x f xi q x f x f x x x x x
x xq x f x
f x f xii q x f x x x
x xf x f x
q x f x x xx x
q x
1
1 1
1
1 1
)
k
k k
k k k k
k k k
k k
k
f x
f x f xiii q x f x x x
x xq x f x
![Page 55: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/55.jpg)
1
12
1
1
1
La méthode itérative de la fausse position determine le prochain point
d'évaluation en remplaçant par et en annulant :
1
2
k
k k
k k
k k k k
k k k
k k
k
k k
x f q q x
f x f xq x f x f x x x x x
x x
f x f xq x f x
x
1
1 1
1
11
1
11
1
0
k
k
k k
k k k k
k k k
k kk k k
k k
k kk k k
k k
x xx
f x f xq x f x x x
x x
x xx x f x
f x f x
x xx x f x
f x f x
![Page 56: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/56.jpg)
Convergence de la méthodede la fausse position
0 1
Soit une fonction possédant des dérivées continuesd'ordre 3. Supposons que * satisfait les conditions * 0 et
* 0. Si et (les points initiaux) son
Théorème
t choisi
2.2:
s suf
fisemment près
fx f x
f x x x
de *,
alors la suite des points générés par la méthode de la fausse position converge vers * avec un ordre de convergence égal à =1.618 (le nombre d'or).
voir le livre de LuenPreuve: berger p. 22
k
x
xx
2.
![Page 57: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/57.jpg)
1
1
1
11
1
Méthode également utilisée pour déterminer un point où la fonction s'annule.
Il suffit de considérer la fonction
k k
k k kk k k k
k k
k k k
k k
g
x x x
f
x xx x f x
x x g x g xg x g x
f x
x
x
g f x
f
11
1
1
1 1
ou encore
0
kk k
k k
k k k
k k k k
xx x
g x g x
g x g x g x
x x x x
![Page 58: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/58.jpg)
11
1
1
1 1
ou encore
0
k kk k k
k k
k k k
k k k k
g
x xx x g x
g x g x
g x g x g x
x x x x
1kx kx1kx
1kg x
kg x
1
1 1
Interprétation géométrique:
choisi a l'intersection
de la droite passant par les
points , et ,
et de l'axe des .
k
k k k k
x
x g x x g x
x
g
![Page 59: 2. Optimisation sans contrainte Fonctions à une seule variable](https://reader035.vdocuments.site/reader035/viewer/2022062312/551d9dbd497959293b8dfe71/html5/thumbnails/59.jpg)
• Importance de l’hypothèse que x0 et x1 soit suffisemment près de x*
g
0x1x