1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Problèmes d’optimisation sans contraintes

Zakia ANKHILI
Université Cadi Ayyad
ENSA, Marrakech

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 1/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

1) Théorème d’existence
Nous nous intéressons dans ce chapitre au problème suivant:
(
min f (x)
(P ) s.àn
x∈IR

Avant d’étudier la solution (ou les solutions ) de (P ), il faut

d’abord s’assurer de leur existence.
Définition
Une application f : X ⊂ IRn → IR est dite coercive (ou
infinie à l’infinie) ssi lim f (x) = +∞. i.e.
kxk→+∞

∀A ∈ IR+ , ∃R > 0/ ∀x ∈ X, kxk > R ⇒ f(x) > A.

Théorème
Soit f une fonction continue sur IRn . Si f est coercive, alors
elle possède un minimum global sur IRn .
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 2/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

1) Théorème d’existence
Nous nous intéressons dans ce chapitre au problème suivant:
(
min f (x)
(P ) s.àn
x∈IR

Avant d’étudier la solution (ou les solutions ) de (P ), il faut

d’abord s’assurer de leur existence.
Définition
Une application f : X ⊂ IRn → IR est dite coercive (ou
infinie à l’infinie) ssi lim f (x) = +∞. i.e.
kxk→+∞

∀A ∈ IR+ , ∃R > 0/ ∀x ∈ X, kxk > R ⇒ f(x) > A.

Théorème
Soit f une fonction continue sur IRn . Si f est coercive, alors
elle possède un minimum global sur IRn .
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 2/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

2) Optimisation d’une fonction réelle

2.1 Conditions nécessaire d’optimalité
Théorème (Condition nécessaire du premier ordre)
Soient I un intervalle ouvert de IR, f : I → IR une application
dérivable sur I et x∗ ∈ I.
Si f admet un optimum local en x∗ , alors f 0 (x∗ ) = 0

Preuve : Montrons ce résultat dans le cas d’un minimum

local.
x∗ est un minimum local, donc ∃ > 0 tel que
f (x∗ ) ≤ f (x), ∀x ∈]x∗ − , x∗ + [. Donc
f (x) − f (x∗ )
∀x ∈]x∗ − , x∗ [, ≤0 (1)
x − x∗
f (x) − f (x∗ )
∀x ∈]x∗ , x∗ + [, ≥0 (2)
x − x∗
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 3/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

2) Optimisation d’une fonction réelle

2.1 Conditions nécessaire d’optimalité
Théorème (Condition nécessaire du premier ordre)
Soient I un intervalle ouvert de IR, f : I → IR une application
dérivable sur I et x∗ ∈ I.
Si f admet un optimum local en x∗ , alors f 0 (x∗ ) = 0

Preuve : Montrons ce résultat dans le cas d’un minimum

local.
x∗ est un minimum local, donc ∃ > 0 tel que
f (x∗ ) ≤ f (x), ∀x ∈]x∗ − , x∗ + [. Donc
f (x) − f (x∗ )
∀x ∈]x∗ − , x∗ [, ≤0 (1)
x − x∗
f (x) − f (x∗ )
∀x ∈]x∗ , x∗ + [, ≥0 (2)
x − x∗
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 3/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Puisque f est dérivable en x∗ , alors

f (x) − f (x∗ ) f (x) − f (x∗ )

f 0 (x∗ ) = lim∗ = lim
x→x
x>x∗
x − x∗ x→x∗
x<x∗
x − x∗

Par passage à la limite dans (1) et (2), on a

f (x) − f (x∗ )
lim∗ ≥ 0 càd f 0 (x∗ ) ≥ 0
x→x
x>x∗
x − x∗

f (x) − f (x∗ )
lim∗ ∗
≤ 0 càd f 0 (x∗ ) ≤ 0
x→x
x<x∗
x−x
D’où f 0 (x∗ ) = 0

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 4/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Remarque
La réciproque du théorème est fausse. Si on prend par
exemple la fonction x 7→ x3 , on a f 0 (0) = 0, mais 0 n’est
pas un minimum local.
Ce théorème n’est valable que dans un intervalle ouvert.
i.e. x∗ n’est pas une borne de I.

Définition
Soient f : I → IR une application dérivable sur I. Un point
x∗ ∈ I vérifiant f 0 (x∗ ) = 0 est dit point stationnaire ou point
critique ou point candidat.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 5/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Théorème (Condition nécessaire du second ordre)

Soient f : I → IR une application deux fois dérivable sur I.
Si f admet un maximum local en un point stationnaire
x∗ , alors f 0 (x∗ ) = 0 et f 00 (x∗ ) ≤ 0.
Si f admet un minimum local en un point stationnaire
x∗ , alors f 0 (x∗ ) = 0 et f 00 (x∗ ) ≥ 0.

Preuve
Pour un minimum local, il existe  > 0 tel que f (x∗ ) ≤ f (x)
pour tout x ∈]x∗ − , x∗ + [. Comme f est deux fois dérivable
sur I, elle admet un développement de Taylor d’ordre 2 sur
]x∗ − , x∗ + [.
il existe c compris entre x et x∗ tel que

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 6/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

1
f (x) = f (x∗ ) + f 0 (x∗ )(x − x∗ ) + f 00 (c)(x − x∗ )2
2
0 ∗
Or f (x ) = 0 , alors
1
f (x) = f (x∗ ) + f 00 (c)(x − x∗ )2 .
2
Posons h = x − x∗ . On a x = x∗ + h et alors
1
f (x∗ + h) = f (x∗ ) + h2 f 00 (c)
2
or f (x∗ ) ≤ f (x) pour tout x ∈]x∗ − , x∗ + [, alors

f (x∗ + h) ≥ f (x∗ ), ∀h ∈] − , [.

Par conséquent f 00 (c) ≥ 0.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 7/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

1
f (x) = f (x∗ ) + f 0 (x∗ )(x − x∗ ) + f 00 (c)(x − x∗ )2
2
0 ∗
Or f (x ) = 0 , alors
1
f (x) = f (x∗ ) + f 00 (c)(x − x∗ )2 .
2
Posons h = x − x∗ . On a x = x∗ + h et alors
1
f (x∗ + h) = f (x∗ ) + h2 f 00 (c)
2
or f (x∗ ) ≤ f (x) pour tout x ∈]x∗ − , x∗ + [, alors

f (x∗ + h) ≥ f (x∗ ), ∀h ∈] − , [.

Par conséquent f 00 (c) ≥ 0.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 7/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Puisque c est compris entre x et x∗ , donc ∃ θ ∈]0, 1[, tel que

c = θx + (1 − θ)x∗ = θ(x − x∗ ) + x∗ = θh + x∗ . On a donc
f 00 (θh + x∗ ) ≥ 0 et ceci ∀h ∈] − , [. Par conséquent
lim f 00 (θh + x∗ ) ≥ 0, et puisque f 00 est continue, alors
h→0
f 00 (x∗ ) ≥ 0.

Remarque
Si f 00 (x∗ ) = 0 et f 00 change de signe en x∗ , on dit que x∗ est
un point d’inflexion ( exemple: x 7→ x3 )

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 8/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

2.2 Condition suffisante d’optimalité locale

Théorème
Soit f une fonction définie et de classe C 2 sur l’intervalle
ouvert I. Soit x∗ ∈ I.
Si f 0 (x∗ ) = 0 et f 00 (x∗ ) < 0, alors f admet un maximum
local strict en x∗ .
Si f 0 (x∗ ) = 0 et f 00 (x∗ ) > 0, alors f admet un minimum
local strict en x∗ .

Preuve
On donne la preuve pour un minimum. On se place donc sous
les hypothèses f 0 (x∗ ) = 0 et f 00 (x∗ ) > 0. On va monter qu’il
existe V ∈ V (x∗ ) tel que f (x∗ ) ≤ f (x), ∀x ∈ V .
f est deux fois dérivable sur I, elle admet alors un
développement de Taylor d’ordre 2.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 9/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

il existe c compris entre x et x∗ tel que

1
f (x) = f (x∗ ) + f 0 (x∗ )(x − x∗ ) + f 00 (c)(x − x∗ )2
2
Or f 0 (x∗ ) = 0 , alors
1
f (x) = f (x∗ ) + f 00 (c)(x − x∗ )2 .
2
f 00 est continue sur I car f est de classe C 2 . Alors
lim∗ f 00 (x) = f 00 (x∗ ) i.e.
x→x
x6=x∗

∀ > 0 ∃α > 0 tel que |x − x∗ | < α ⇒ |f 00 (x) − f 00 (x∗ )| < 

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 10/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

c’est à dire

f 00 (x∗ ) −  < f 00 (x) < f 00 (x∗ ) + , ∀x vérifiant |x − x∗ | < α.

Puisque f 00 (x∗ ) > 0, on peut choisir  > 0 tel que  < f 00 (x∗ ).
Il existe alors α > 0 tel que

|x − x∗ | < α ⇒ 0 < f 00 (x∗ ) −  < f 00 (x) < f 00 (x∗ ) + .

Puisque c est compris entre x et x∗ , alors

|c − x∗ | < |x − x∗ | < α ⇒ f 00 (c) > 0

On a montré que si |x − x∗ | < α et x 6= x∗ , alors

1
2
(x − x∗ )f 00 (c) > 0.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 11/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

c’est à dire
1
f (x) − f (x∗ ) = (x − x∗ )f 00 (c) > 0, ∀x ∈]x∗ − α, x∗ + α[.
2
D’où, il existe α > 0 tel que
f (x∗ ) < f (x), ∀x ∈]x∗ − α, x∗ + α[

Remarques
1 Dans la résolution pratique des problèmes d’optimisation,
la première étape consiste à rechercher des points
stationnaires, la seconde est de calculer la valeur de la
dérivée seconde en chaque point stationnaire, ce qui
permet de conclure sur leur nature.
2 La condition nécessaire du second ordre et la condition
suffisante ne sont pas une condition nécessaire et
suffisante puisque l’inégalité dans la première est large et
dans la deuxième est stricte.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 12/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

c’est à dire
1
f (x) − f (x∗ ) = (x − x∗ )f 00 (c) > 0, ∀x ∈]x∗ − α, x∗ + α[.
2
D’où, il existe α > 0 tel que
f (x∗ ) < f (x), ∀x ∈]x∗ − α, x∗ + α[

Remarques
1 Dans la résolution pratique des problèmes d’optimisation,
la première étape consiste à rechercher des points
stationnaires, la seconde est de calculer la valeur de la
dérivée seconde en chaque point stationnaire, ce qui
permet de conclure sur leur nature.
2 La condition nécessaire du second ordre et la condition
suffisante ne sont pas une condition nécessaire et
suffisante puisque l’inégalité dans la première est large et
dans la deuxième est stricte.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 12/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Exemples
f (x) = x2 . On a f 0 (x) = 2x, donc le point x = 0 est un
point stationnaire. On a f 00 (0) = 2 > 0, alors d’après le
théorème f admet un minimum local strict au point 0.
f (x) = x3 . On a f 0 (x) = 3x2 , donc le point x = 0 est un
point stationnaire. On a f 00 (x) = 6x, donc f 00 (0) = 0.
On ne peut pas conclure l’existence d’un extremum local
en 0.
f (x) = x3 + 5x2 + 3x + 5. f 0 (x) = 3x2 + 10x + 3. f
admet 2 points stationnaires x1 = −1 3
et x2 = −3.
00 00
f (x) = 6x + 10, alors f (x1 ) = 8 > 0 et
f 00 (x2 ) = −8 < 0. Par conséquent, la fonction f possède
un maximum local en x2 et un minimum local en x1 .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 13/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Cas où f 00(x∗) = 0

Théorème (Condition nécessaire et suffisante d’optimalité

locale)
Soit f une fonction de classe C ∞ sur I =]a, b[ et soit x∗ un
point stationnaire tel que f 00 (x∗ ) = 0. Alors,
f admet admet un maximum local en x∗ ssi la première
dérivée non nulle au point x∗ est d’ordre pair et négative.
f admet admet un minimum local en x∗ ssi la première
dérivée non nulle au point x∗ est d’ordre pair et positive.

Preuve On donne la preuve pour un minimum.

Condition nécessaire : Supposons que x∗ est un minimum
local de f . Notons f (p) (x∗ ) la première dérivée non nulle
en x∗ .
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 14/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Puisque f est de classe C ∞ sur I, alors elle admet un DLpx∗ :

(x − x∗ )p (p) ∗
f (x) = f (x∗ ) + f (x ) + (x − x∗ )p β(x),
p!
où lim∗ β(x) = 0.
x→x
x∗ est un minimum local de f ⇒ ∃ V1 ∈ V(x∗ ) tel que
f (x∗ ) ≤ f (x), ∀x ∈ V1 . On a alors

f (p) (x∗ )
" #
∗ p
∀x ∈ V1 , (x − x ) + β(x) ≥ 0. (∗)
p!

1) Montrons que f (p) (x∗ ) > 0. Supposons que f (p) (x∗ ) < 0.
lim β(x) = 0 ⇔ ∀ > 0, ∃ α > 0, |x − x∗ | < α ⇒
x→x∗
|β(x)| < .
−f (p) (x∗ )
Puisque f (p) (x∗ ) < 0, posons  = > 0. Alors,
p!
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 15/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Alors,

0 f (p) (x∗ )
∗ 0 −f (p) (x∗ )
∃α > 0, |x − x | < α ⇒ < β(x) < .
p! p!
On a alors
f (p) (x∗ )
∀x ∈ V2 =]x∗ − α0 , x∗ + α0 [, β(x) + < 0.
p!

L’inégalité (∗) implique que (x − x∗ )p ≤ 0, ∀x ∈ V1 ∩ V2 .

Absurde, car
si p est pair, (x − x∗ )p ≥ 0
si p est impair, (x − x∗ )p n’a pas de signe constant quand
x décrit l’intervalle V1 ∩ V2 .
D’où f (p) (x∗ ) > 0.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 16/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

f (p) (x∗ )
2) Montrons que p est pair. Posons  = > 0. Alors,
p!

00 −f (p) (x∗ )
∗ f (p) (x∗ )
00
∃ α > 0, |x−x | < α ⇒ < β(x) < .
p! p!
Donc,

f (p) (x∗ )
∀x vérifiant |x − x∗ | < α00 , + β(x) > 0.
p!

Donc l’inégalité (∗) est vérifiée si (x − x∗ )p ≥ 0. Cela est

vérifié que si p est pair.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 17/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Condition suffisante : Supposons que f (p) (x∗ ) > 0 et p

est pair. Montrons que x∗ est un minimum local. f est
de classe C ∞ , donc elle admet un DLpx∗ .

(x − x∗ )p (p) ∗
f (x) = f (x∗ ) + f (x ) + (x − x∗ )p β(x)
p!

où lim∗ β(x) = 0.
x→x
lim∗ β(x) = 0 ⇔ ∀ > 0, ∃ α > 0, |x − x∗ | < α ⇒
x→x
|β(x)| < .

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 18/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

f (p) (x∗ )
Par hypothèse f (p) (x∗ ) > 0. Donc pour  = >0,
p!
−f (p) (x∗ ) f (p) (x∗ )
∃ α00 > 0, |x − x∗ | < α00 ⇒ < β(x) < .
p! p!
f (p) (x∗ )
Donc ∀x, tel que |x − x∗ | < α00 , β(x) + > 0.
p!
Puisque p est pair, alors (x − x∗ )p ≥ 0, ∀x. Ainsi

f (p) (x∗ )
" #
∗ p
(x − x ) + β(x) ≥ 0, ∀x ∈ V =]x∗ − α00 , x∗ + α00 [.
p!

Alors f (x) ≥ f (x∗ ), ∀x ∈ V càd, x∗ est un minimum local de

f.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 19/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Remarque
En pratique, ce théorème s’applique quand f 00 (x∗ ) = 0, où x∗
est un point stationnaire. On dérive jusqu’une dérivée non
nulle au point x∗ soit détecté. Si l’ordre est paire, on est en
présence d’un optimum et si l’ordre est impair, on est en
présence d’un point d’inflexion.

Exemples
f (x) = x3 . f 0 (x) = 3x2 , f 00 (x), = 6x et f (3) (x) = 6.
On a f 0 (0) = f 00 (0) = 0 et f (3) (0) = 6 6= 0. La première
dérivée non nulle au point stationnaire x∗ = 0 est d’ordre
impair donc le point 0 est un point d’inflexion.
f (x) = x4 . f 0 (x) = 4x3 , f 00 (x) = 12x2 , f (3) (x) = 24x
et f (4) (x) = 24. On a
f 0 (0) = f 00 (0) = f (3) (0) = 0, f (4) (0) = 24 > 0. Donc, f
admet un minimum en x∗ = 0.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 20/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Remarque
En pratique, ce théorème s’applique quand f 00 (x∗ ) = 0, où x∗
est un point stationnaire. On dérive jusqu’une dérivée non
nulle au point x∗ soit détecté. Si l’ordre est paire, on est en
présence d’un optimum et si l’ordre est impair, on est en
présence d’un point d’inflexion.

Exemples
f (x) = x3 . f 0 (x) = 3x2 , f 00 (x), = 6x et f (3) (x) = 6.
On a f 0 (0) = f 00 (0) = 0 et f (3) (0) = 6 6= 0. La première
dérivée non nulle au point stationnaire x∗ = 0 est d’ordre
impair donc le point 0 est un point d’inflexion.
f (x) = x4 . f 0 (x) = 4x3 , f 00 (x) = 12x2 , f (3) (x) = 24x
et f (4) (x) = 24. On a
f 0 (0) = f 00 (0) = f (3) (0) = 0, f (4) (0) = 24 > 0. Donc, f
admet un minimum en x∗ = 0.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 20/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Remarque
En pratique, ce théorème s’applique quand f 00 (x∗ ) = 0, où x∗
est un point stationnaire. On dérive jusqu’une dérivée non
nulle au point x∗ soit détecté. Si l’ordre est paire, on est en
présence d’un optimum et si l’ordre est impair, on est en
présence d’un point d’inflexion.

Exemples
f (x) = x3 . f 0 (x) = 3x2 , f 00 (x), = 6x et f (3) (x) = 6.
On a f 0 (0) = f 00 (0) = 0 et f (3) (0) = 6 6= 0. La première
dérivée non nulle au point stationnaire x∗ = 0 est d’ordre
impair donc le point 0 est un point d’inflexion.
f (x) = x4 . f 0 (x) = 4x3 , f 00 (x) = 12x2 , f (3) (x) = 24x
et f (4) (x) = 24. On a
f 0 (0) = f 00 (0) = f (3) (0) = 0, f (4) (0) = 24 > 0. Donc, f
admet un minimum en x∗ = 0.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 20/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation d’une fonction réelle sur un

intervalle fermé borné

Théorème de Weirstrass
Soit f une fonction continue sur [a, b]. Alors f atteint son
minimum et son maximum sur [a, b].

Soit x∗ un point optimal.

Si x∗ ∈]a, b[, on applique les théorèmes des sections
précédentes.
Si x∗ est une borne càd x∗ = a ou x∗ = b, on a le
théorème suivant:

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 21/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation d’une fonction réelle sur un

intervalle fermé borné

Théorème de Weirstrass
Soit f une fonction continue sur [a, b]. Alors f atteint son
minimum et son maximum sur [a, b].

Soit x∗ un point optimal.

Si x∗ ∈]a, b[, on applique les théorèmes des sections
précédentes.
Si x∗ est une borne càd x∗ = a ou x∗ = b, on a le
théorème suivant:

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 21/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation sur un intervalle fermé borné

Théorème
Pour x∗ = a.
Supposons que f est dérivable à droite en a.
Condition nécessaire : Si f admet un maximum (resp.
minimum) local en a, alors fd0 (a) ≤ 0 (resp. fd0 (a) ≥ 0 ).
Condition suffisante : Si fd0 (a) < 0 (resp. fd0 (a) > 0 ),
alors f admet un maximum (resp. un minimum) local en
a
Preuve
Condition nécessaire : a est un minimum local, alors ∃ α
tel que ∀x ∈ [a, a + α[, f (a) ≤ f (x).
Alors,
f (x) − f (a)
∀x ∈]a, a + α[, ≥ 0.
x−a
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 22/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Par passage à la limite,

f (x) − f (a)
lim ≥ 0.
x→a
x>a x−a

D’où, fd0 (a) ≥ 0.

Condition suffisante : Par définition,
f (x) − f (a)
fd0 (a) = lim .
x→a
x>a x−a

∀ > 0, ∃α > 0, t.q 0 < x − a < α

f (x) − f (a)
⇒ − < − fd0 (a) < 
x−a

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 23/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Puisque fd0 (a) > 0, choisissons  < fd0 (a). Il existe alors α > 0
tel que

f (x) − f (a)
∀x : 0 < x−a < α, 0 < −+fd0 (a) < < +fd0 (a).
x−a
Donc ∀x : 0 < x < α + a, on a f (x) − f (a) > 0. D’où a est
un minimum local de f .

Théorème
Pour x∗ = b.
Supposons que f admet une dérivée à gauche en b.
Condition nécessaire : Si f admet un maximum (resp
minimum) local en b, alors fg0 (b) ≥ 0 (resp. fg0 (b) ≤ 0).
Condition suffisante : Si fg0 (b) > 0 (resp fg0 (b) < 0) alors
f admet un maximum (resp. minimum) local en b.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 24/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Puisque fd0 (a) > 0, choisissons  < fd0 (a). Il existe alors α > 0
tel que

f (x) − f (a)
∀x : 0 < x−a < α, 0 < −+fd0 (a) < < +fd0 (a).
x−a
Donc ∀x : 0 < x < α + a, on a f (x) − f (a) > 0. D’où a est
un minimum local de f .

Théorème
Pour x∗ = b.
Supposons que f admet une dérivée à gauche en b.
Condition nécessaire : Si f admet un maximum (resp
minimum) local en b, alors fg0 (b) ≥ 0 (resp. fg0 (b) ≤ 0).
Condition suffisante : Si fg0 (b) > 0 (resp fg0 (b) < 0) alors
f admet un maximum (resp. minimum) local en b.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 24/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation sur un intervalle fermé borné

Preuve
La preuve est similaire à celle du théorème précédent.

Exemples
3−x
f (x) = sur I = [0, 3].
1+x
Df = IR\{−1}. f est continue sur I = [0, 3] ⇒ f admet un
minimum et un maximum sur I = [0, 3].
−(1 + x) − (3 − x) −4
f 0 (x) = = .
(1 + x)2 (1 + x)2
Puisque f 0 (x) 6= 0, ∀x ∈]0, 3[, alors elle n’admet pas des
optimums sur ]0, 3[. On a fd0 (0) = −4 < 0 et
fg0 (3) = −4
16
= −1 4
< 0. Alors,
max f (x) = f (0) = 3 et min f (x) = f (3) = 0.
x∈[0,3] x∈[0,3]

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 25/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation sur un intervalle fermé borné

Preuve
La preuve est similaire à celle du théorème précédent.

Exemples
3−x
f (x) = sur I = [0, 3].
1+x
Df = IR\{−1}. f est continue sur I = [0, 3] ⇒ f admet un
minimum et un maximum sur I = [0, 3].
−(1 + x) − (3 − x) −4
f 0 (x) = = .
(1 + x)2 (1 + x)2
Puisque f 0 (x) 6= 0, ∀x ∈]0, 3[, alors elle n’admet pas des
optimums sur ]0, 3[. On a fd0 (0) = −4 < 0 et
fg0 (3) = −4
16
= −1 4
< 0. Alors,
max f (x) = f (0) = 3 et min f (x) = f (3) = 0.
x∈[0,3] x∈[0,3]

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 25/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation sur un intervalle fermé borné

Preuve
La preuve est similaire à celle du théorème précédent.

Exemples
3−x
f (x) = sur I = [0, 3].
1+x
Df = IR\{−1}. f est continue sur I = [0, 3] ⇒ f admet un
minimum et un maximum sur I = [0, 3].
−(1 + x) − (3 − x) −4
f 0 (x) = = .
(1 + x)2 (1 + x)2
Puisque f 0 (x) 6= 0, ∀x ∈]0, 3[, alors elle n’admet pas des
optimums sur ]0, 3[. On a fd0 (0) = −4 < 0 et
fg0 (3) = −4
16
= −1 4
< 0. Alors,
max f (x) = f (0) = 3 et min f (x) = f (3) = 0.
x∈[0,3] x∈[0,3]

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 25/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Optimisation sur un intervalle fermé borné

Preuve
La preuve est similaire à celle du théorème précédent.

Exemples
3−x
f (x) = sur I = [0, 3].
1+x
Df = IR\{−1}. f est continue sur I = [0, 3] ⇒ f admet un
minimum et un maximum sur I = [0, 3].
−(1 + x) − (3 − x) −4
f 0 (x) = = .
(1 + x)2 (1 + x)2
Puisque f 0 (x) 6= 0, ∀x ∈]0, 3[, alors elle n’admet pas des
optimums sur ]0, 3[. On a fd0 (0) = −4 < 0 et
fg0 (3) = −4
16
= −1 4
< 0. Alors,
max f (x) = f (0) = 3 et min f (x) = f (3) = 0.
x∈[0,3] x∈[0,3]

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 25/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

3) Optimisation d’une fonction à plusieurs variables

3.1 Conditions nécessaires d’optimalité

Les résultats de ce paragraphe reste valable dans le cas où

l’ensemble des contraintes est un ouvert.
Lemme 1
Soit f : IRn → IR, une fonction diff au point x∗ ∈ IRn .
S’il existe d ∈ IRn / ∇f (x∗ )T d < 0, alors
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 26/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Preuve
f est diff au point x∗ , alors

f (x∗ + λd) = f (x∗ ) + λ∇f (x∗ )T d + λkdkα(x∗ + λd),

avec limλ→0 α(x∗ + λd) = 0.

Divisons par λ 6= 0,

f (x∗ + λd) − f (x∗ )

= ∇f (x∗ )T d + kdkα(x∗ + λd),
λ
or ∇f (x∗ )T d < 0 et limλ→0 α(x∗ + λd) = 0, alors
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 27/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Théorème (Condition nécessaire du premier ordre)

Soit f : IRn → IR une fct diff au point x∗ ∈ IRn .
Si x∗ est minimum local, alors ∇f (x∗ ) = 0

Preuve
Supposons ∇f (x∗ ) 6= 0 et soit d = −∇f (x∗ ). D’après le
lemme (−k∇f (x∗ )k2 < 0)
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[. Absurde, car x∗ est
un minimum local.

Théorème (Condition nécessaire du second ordre)

Soit f : IRn → IR une fct 2 fois diff au point x∗ ∈ IRn .
Si x∗ est minimum local, alors ∇f (x∗ ) = 0 et H(x∗ ) est semi-
définie positive.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 28/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Théorème (Condition nécessaire du premier ordre)

Soit f : IRn → IR une fct diff au point x∗ ∈ IRn .
Si x∗ est minimum local, alors ∇f (x∗ ) = 0

Preuve
Supposons ∇f (x∗ ) 6= 0 et soit d = −∇f (x∗ ). D’après le
lemme (−k∇f (x∗ )k2 < 0)
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[. Absurde, car x∗ est
un minimum local.

Théorème (Condition nécessaire du second ordre)

Soit f : IRn → IR une fct 2 fois diff au point x∗ ∈ IRn .
Si x∗ est minimum local, alors ∇f (x∗ ) = 0 et H(x∗ ) est semi-
définie positive.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 28/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Preuve : On a
f (x) = f (x∗ ) + ∇f (x∗ )T (x − x∗ ) + 12 (x − x∗ )T H(x∗ )(x −
x∗ ) + kx − x∗ k2 α(x), où limx→x∗ α(x) = 0.
Prenons x = x∗ + λd, où d est une direction arbitraire
f (x∗ + λd) =
f (x∗ ) + λ∇f (x∗ )T d + 12 λ2 dT H(x∗ )d + λ2 kdk2 α(x∗ + λd),
avec limλ→0 α(x∗ + λd) = 0.
Divisons par λ2 ,
f (x∗ + λd) − f (x∗ ) 1
2
= dT H(x∗ )d + kdk2 α(x∗ + λd)
λ 2
(∇f (x∗ ) = 0, d’après le théorème précédent).
x∗ est un minimum local, donc
1 T
d H(x∗ )d + kdk2 α(x∗ + λd) ≥ 0.
2
En passant à la limite, on obtient dT H(x∗ )d ≥ 0.
Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 29/31
1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

3.2 Condition suffisante d’optimalité

La condition nécessaire n’est pas suffisante. En effet, il existe

des fonctions pour lesquelles ∇f (x∗ ) = 0 sans qu’il existe un
minimum en ce point. Dans ce cas, on parle de point-selle.
Théorème (Condition suffisante d’optimalité)
Soit f : IRn → IR une fct 2 fois diff au point x∗ ∈ IRn .
Si ∇f (x∗ ) = 0 et H(x∗ ) est définie positive, alors x∗ est
minimum local strict.

Preuve
La preuve est évidente par le même développement de Taylor à
l’ordre 2.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 30/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

3.2 Condition suffisante d’optimalité

La condition nécessaire n’est pas suffisante. En effet, il existe

des fonctions pour lesquelles ∇f (x∗ ) = 0 sans qu’il existe un
minimum en ce point. Dans ce cas, on parle de point-selle.
Théorème (Condition suffisante d’optimalité)
Soit f : IRn → IR une fct 2 fois diff au point x∗ ∈ IRn .
Si ∇f (x∗ ) = 0 et H(x∗ ) est définie positive, alors x∗ est
minimum local strict.

Preuve
La preuve est évidente par le même développement de Taylor à
l’ordre 2.

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 30/31

1)Théorème d’existence d’un point minimum 2) Optimisation d’une fonction réelle 3) Optimisation multidimensionnelle

Théorème (Condition nécessaire et suffisante d’optimalité

global)
Soit f : IRn → IR une fct convexe de classe C 1 et x∗ ∈ IRn .
Une condition nécessaire et suffisante pour que x∗ ∈ IRn
soit un minimum global est que ∇f (x∗ ) = 0.
Si de plus f est strictement convexe et x∗ est un point
critique alors x∗ est l’unique point global de f .

Preuve
f est convexe, donc ∀x ∈ IRn

f (x) − f (x∗ ) ≥ ∇f (x∗ )T (x − x∗ ) = 0

Zakia ANKHILI Chapitre 3 Cours d’optimisation ENSA (Marrakech) 2015/2016 31/31