Chap 3

Résultats d’existence Conditions d’optimalité Dualité Lagrangienne Point-selle
Optimisation avec contraintes
Zakia ANKHILI
Université Cadi Ayyad
ENSA, Marrakech
Zakia ANKHILI Chapitre 4 Optimisation avec contraintes ENSA (Marrakech) 2015/2016 1/46
Le but de ce chapitre est de résoudre le problème

d’optimisation
(
min f (x)
(P ) s.à n
x ∈ S ⊂ IR
Définitions
Un point x ∈ S est appelé solution réalisable ou
admissible.
Un point x∗ ∈ S est dit solution globale du problème (P )
ou minimum global de f sur S si ∀x ∈ S, f (x∗ ) ≤ f (x)
Un point x∗ ∈ S est dit solution locale du problème (P )
ou minimum local de f sur S s’il existe v ∈ V (x∗ ) tel que
∀x ∈ v ∩ S, f (x∗ ) ≤ f (x).
Le résultat suivant montre l’impact de la convexité pour les

problèmes d’optimisation.
Théorème
Soit f une fonction convexe sur un ensemble convexe S de
IRn . Alors,
i) Tout minimum local de f sur S est un minimum global.
ii) Si f est strictement convexe, il y a au plus un minimum
global.
Preuve
i) Soit x∗ ∈ S un minimum local, alors ∃r > 0 : ∀x vérifiant
kx − x∗ k < r, f (x) ≥ f (x∗ ).
Soit x ∈ S. Puisque S est convexe, ∃α ∈]0, 1[ tel que
z = (1 − α)x∗ + αx ∈ S et kz − x∗ k < r. On a alors
f (z) ≥ f (x∗ ). Or
f (x∗ ) ≤ f (z) ≤ αf (x) + (1 − α)f (x∗ )
donc 0 ≤ α(f (x) − f (x∗ )). D’où f (x) ≥ f (x∗ ), ∀x ∈ S.

ii) supposons qu’il existe x1 , x2 tel que
f (x1 ) = f (x2 ) = inf f (x). Comme f est strictement convexe,
x∈S
alors
1 1 1 1
f ( x1 + x2 ) < f (x1 ) + f (x2 ) = inf f (x).
2 2 2 2 x∈S
Absurde. D’où x1 = x2
Remarque
Le ii) du théorème ne donne pas l’existence d’un minimum.
Exemple
Dans le cas N = 1, la fonction f définie par f (x) = ex
n’atteint pas son minimum ; en effet, inf f (x) = 0 et
x∈IR
f (x) 6= 0 pour tout x ∈ IR, et pourtant f est strictement
convexe.
Remarque
Le ii) du théorème ne donne pas l’existence d’un minimum.
Exemple
Dans le cas N = 1, la fonction f définie par f (x) = ex
n’atteint pas son minimum ; en effet, inf f (x) = 0 et
x∈IR
f (x) 6= 0 pour tout x ∈ IR, et pourtant f est strictement
convexe.
1) Résultats d’existence
La plupart des théorèmes d’existence de minimum sont des

variantes du théorème classique de Weirstrass : une fonction
continue sur un compact admet un minimum.
Théorème
Soit f une fonction continue sur un ensemble S fermé de IRn .
On suppose que l’une des hypothèses suivantes est satisfaite.
(H1 ) S est borné.
(H2 ) S est non borné et lim f (x) = +∞ (i.e. f est
kxk→+∞, x∈S
coercive).
Alors f possède un minimum global sur S.
Remarque
Sous les hyp du théorème, il n’y a pas toujours unicité du
minimum.
Exemple
f (x) = x2 (x − 1)(x + 1)
Par contre, si on réunit les hypothèses des deux théorèmes

précédents on obtient le résultat d’existence et d’unicité
suivant :
Remarque
Sous les hyp du théorème, il n’y a pas toujours unicité du
minimum.
Exemple
f (x) = x2 (x − 1)(x + 1)
Par contre, si on réunit les hypothèses des deux théorèmes

précédents on obtient le résultat d’existence et d’unicité
suivant :
Théorème
Soit f une fonction sur un ensemble S fermé de IRn . On
suppose que
i) f est continue
ii) S est non borné et lim f (x) = +∞ ou S est borné
kxk→+∞, x∈S
iii) f est strictement convexe.
Alors, f possède un unique minimum global sur S.
2) Conditions d’optimalité
Théorème
Si S est ouvert, alors, x∗ est un minimum global de f sur S
alors ∇f (x∗ ) = 0.
Définitions
Soit S ⊂ IRn , S =
6 ∅ et x∗ ∈ cl S. Le cône des directions
admissibles de S noté D est donné par
D = {d ∈ IRn / x∗ +λd ∈ S, ∀λ ∈]0, δ[ pour un certain δ > 0}.

d ∈ D est appelé direction admissible.
Soit f : IRn → IR. Le cône des directions qui améliore f
au point x∗ est donné par
F = {d ∈ IRn / f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[
pour un certain δ > 0}.
un point d ∈ F est appelé direction de descente.
Théorème
alors ∇f (x∗ ) = 0.
Définitions

F = {d ∈ IRn / f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[
Théorème
alors ∇f (x∗ ) = 0.
Définitions

F = {d ∈ IRn / f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[
Lemme 1
Soit f : IRn → IR, une fonction diff au point x∗ ∈ IRn .
S’il existe d ∈ IRn / ∇f (x∗ )T d < 0, alors
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[
Théorème (Condition nécessaire)

Soit
(P ) min f (x),
x∈S
n
f : S ⊂ IR → IR, S 6= ∅.
Si x∗ est un minimum local de f alors
∇f (x∗ )T d ≥ 0,
pour toute direction admissible d. Cette inégalité porte aussi le

nom d’inégalité d’Euler.
Lemme 1
Soit f : IRn → IR, une fonction diff au point x∗ ∈ IRn .
S’il existe d ∈ IRn / ∇f (x∗ )T d < 0, alors
∃δ > 0/ f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ[
Théorème (Condition nécessaire)

Soit
(P ) min f (x),
x∈S
n
f : S ⊂ IR → IR, S 6= ∅.
Si x∗ est un minimum local de f alors
∇f (x∗ )T d ≥ 0,
pour toute direction admissible d. Cette inégalité porte aussi le

nom d’inégalité d’Euler.
Preuve
Supposons ∃d ∈ D tel que ∇f (x∗ )T d < 0. On a
∇f (x∗ )T d < 0, donc d’après le lemme 1
∃δ1 , / f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ1 [.
d est une direction admissible alors,
∃δ2 , / x∗ + λd ∈ S, ∀λ ∈]0, δ2 [.
Pour δ = min(δ1 , δ2 ), on a
f (x∗ + λd) < f (x∗ ), et x∗ + λd ∈ S, ∀λ ∈]0, δ[.
Absurde, car x∗ est un minimum local.
Théorème (Cas convexe)

Soit f : S ⊂ IRn → IR une fonction convexe différentiable au
point x∗ ∈ S.
Alors, x∗ est un minimum global de f sur S si et seulement si
∀x ∈ S, ∇f (x∗ )T (x − x∗ ) ≥ 0.
Remarque
Si f n’est pas convexe. ∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S,
n’implique pas x∗ est minimum local.
Exemple
f (x) = x3 et S = [−1, 1]. On a pour x∗ = 0,
∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S, mais x∗ n’est pas un minimum
local.

point x∗ ∈ S.
∀x ∈ S, ∇f (x∗ )T (x − x∗ ) ≥ 0.
Remarque
Exemple
f (x) = x3 et S = [−1, 1]. On a pour x∗ = 0,
local.

point x∗ ∈ S.
∀x ∈ S, ∇f (x∗ )T (x − x∗ ) ≥ 0.
Remarque
Exemple
f (x) = x3 et S = [−1, 1]. On a pour x∗ = 0,
local.
Condition suffisante
Définition
On considère le problème f : S ⊂ IRn → IR une application
diff.
f est pseudo-convexe au point x∗ ∈ S si
∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S ⇒ f (x) ≥ f (x∗ ).
Exercice
Si f est convexe alors f est pseudo-convexe
Condition suffisante
Définition
On considère le problème f : S ⊂ IRn → IR une application
diff.
f est pseudo-convexe au point x∗ ∈ S si
∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S ⇒ f (x) ≥ f (x∗ ).
Exercice
Si f est convexe alors f est pseudo-convexe
Théorème (Condition suffisante)

Soit
(P ) min f (x),
x∈S
n
f : S ⊂ IR → IR, S 6= ∅.
Supposons que
∇f (x∗ )T d ≥ 0,
pour toute direction admissible d , f est pseudo-convexe au
point x∗ et ∃V ∈ V(x∗ ) tel que x − x∗ ∈ D, ∀x ∈ S ∩ V .
Alors, x∗ est un minimum local de f
Preuve
Soit x ∈ S ∩ V , on a x − x∗ ∈ D, alors
∇f (x∗ )T (x − x∗ ) ≥ 0,
d’où f (x) ≥ f (x∗ ), ∀x ∈ S ∩ V (car f est pseudo-convexe).

Théorème (Condition nécessaire et suffisante)

Soit
(P ) min f (x),
x∈S
n
f : S ⊂ IR → IR, S 6= ∅, et soit x∗ ∈ S
Supposons que la fonction f est convexe et S est un ensemble
convexe. x∗ est un minimum global de f sur S ssi
∇f (x∗ )T d ≥ 0,
pour toute direction admissible d.
Interprétation géométrique
Soit x∗ un minimum local du pb
(P ) min f (x)
x∈S
∇f (x∗ ) est normal aux courbes de niveaux f (x) = cte.

∇f (x∗ ) forme un angle aigu avec toute direction
admissible.
Contraintes inégalités
On suppose, dans cette partie, que l’ensemble S sur lequel on

veut minimiser f est donné par des contraintes de type
inégalités
S = {x ∈ IRn , gi (x) ≤ 0, i ∈ {1, ..., m}},
où les gi sont des fonctions de IRn dans IR.

Caractérisation de direction admissible
Notons par I l’ensemble des indices des contraintes saturées
ou actives au point x∗ , c’est-à-dire l’ensemble
I = {i ∈ {1, ..., m}/ gi (x∗ ) = 0}.
On a alors le résultat suivant :
Contraintes inégalités
On suppose, dans cette partie, que l’ensemble S sur lequel on

veut minimiser f est donné par des contraintes de type
inégalités
S = {x ∈ IRn , gi (x) ≤ 0, i ∈ {1, ..., m}},
où les gi sont des fonctions de IRn dans IR.

Caractérisation de direction admissible
Notons par I l’ensemble des indices des contraintes saturées
ou actives au point x∗ , c’est-à-dire l’ensemble
I = {i ∈ {1, ..., m}/ gi (x∗ ) = 0}.
On a alors le résultat suivant :
Théorème
Si d est une direction admissible au point x∗ , alors
(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0
Afin de préciser les conditions d’optimalité, il est nécessaire de

décrire plus précisément les directions admissibles. L’inégalité
(1) ne le permet pas puisque ce n’est pas une équivalence.
Exemple
Considérons dans IR2 l’ensemble S défini par
g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

g3 (x) = −(1 − x1 )3 + x2 ≤ 0
Théorème
(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0

Exemple
g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

g3 (x) = −(1 − x1 )3 + x2 ≤ 0
Théorème
(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0

Exemple
g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

g3 (x) = −(1 − x1 )3 + x2 ≤ 0
Au point x∗ = (1, 0)T , les contraintes saturées sont 2 et 3.

Alors I = {2, 3}. D’autre part,
∇g2 (x∗ ) = (0, −1)T , ∇g3 (x∗ ) = (0, 1)T .
la direction d = (1, 0)T vérifie l’inégalité (1). En effet,
∇g2 (x∗ )T d = 0 ≤ 0 et ∇g3 (x∗ )T d = 0 ≤ 0. Pourtant d n’est
pas une direction admissible, puisque pour tout λ > 0,
x∗ + λd = (1 + λ, 0)T 6∈ S, car g3 (x∗ + λd) = λ3 > 0, ∀λ > 0.
Pour éliminer de telles situations il faut introduire des

conditions supplémentaire sur S (i.e. sur l’ensemble des
contraintes gi (x)). On donne la définition suivante :
Au point x∗ = (1, 0)T , les contraintes saturées sont 2 et 3.

Alors I = {2, 3}. D’autre part,
∇g2 (x∗ ) = (0, −1)T , ∇g3 (x∗ ) = (0, 1)T .
la direction d = (1, 0)T vérifie l’inégalité (1). En effet,
∇g2 (x∗ )T d = 0 ≤ 0 et ∇g3 (x∗ )T d = 0 ≤ 0. Pourtant d n’est
pas une direction admissible, puisque pour tout λ > 0,
x∗ + λd = (1 + λ, 0)T 6∈ S, car g3 (x∗ + λd) = λ3 > 0, ∀λ > 0.
Pour éliminer de telles situations il faut introduire des

conditions supplémentaire sur S (i.e. sur l’ensemble des
contraintes gi (x)). On donne la définition suivante :
Définition
Nous dirons que les contraintes sont qualifiées au point x∗ si
ou bien les fonctions gi sont affines,
ou bien les vecteurs ∇gi (x∗ ), i ∈ I, sont linéairement
indépendants.
On a alors la caractérisation suivante:

Théorème
Si les contraintes sont qualifiées au point x∗ , alors d est une
direction admissible si et seulement si
∇gi (x∗ )T d ≤ 0, ∀i ∈ I.
Définition
Nous dirons que les contraintes sont qualifiées au point x∗ si
ou bien les fonctions gi sont affines,
ou bien les vecteurs ∇gi (x∗ ), i ∈ I, sont linéairement
indépendants.
On a alors la caractérisation suivante:

Théorème
Si les contraintes sont qualifiées au point x∗ , alors d est une
direction admissible si et seulement si
∇gi (x∗ )T d ≤ 0, ∀i ∈ I.
Théorème (Conditions nécessaires de Karush Kuhn Tucker

(KKT))
Soit f, gi , i = 1, .., m, des fonctions de classe C 1 . Soit
x∗ ∈ S = {x ∈ IRn , /gi (x) ≤ 0}. Supposons que les
contraintes sont qualifiées au point x∗ .
Si x∗ est un minimum local de f sur S, alors il existe des
nombres positifs µi , i = 1, ..., m appelés multiplicateurs de
Lagrange tel que
 m
µi ∇gi (x∗ ) = 0
X
∇f (x∗ ) +


i=1
µi gi (x∗ ) = 0, ∀i = 1, ..., m (condition de complémentarité)


Exemple 1
(x1 − 3)2 + (x2 − 2)2

 min
s.à



x21 + x22 ≤ 5




(P ) x1 + 2x2 ≤ 4


−x1 ≤ 0





−x2 ≤ 0

Vérifions les conditions de KKT pour x∗ = (2, 1). On a

I = {1, 2}. µ3 = µ4 = 0.
∇f (x∗ ) = (−2, −2)T , ∇g1 (x∗ ) = (4, 2)T et
∇g2 (x∗ ) = (1, 2)T . On doit trouver µ1 , µ2 ≥ 0 vérifiant
(−2, −2)T + µ1 (4, 2)T + µ3 (1, 2)T = (0, 0)T

1 2
donc µ1 = 3
et µ2 = 3
Exemple 1
(x1 − 3)2 + (x2 − 2)2

 min
s.à



x21 + x22 ≤ 5




(P ) x1 + 2x2 ≤ 4


−x1 ≤ 0





−x2 ≤ 0

Vérifions les conditions de KKT pour x∗ = (2, 1). On a

I = {1, 2}. µ3 = µ4 = 0.
∇f (x∗ ) = (−2, −2)T , ∇g1 (x∗ ) = (4, 2)T et
∇g2 (x∗ ) = (1, 2)T . On doit trouver µ1 , µ2 ≥ 0 vérifiant
(−2, −2)T + µ1 (4, 2)T + µ3 (1, 2)T = (0, 0)T

1 2
donc µ1 = 3
et µ2 = 3
Exemple 2

min −x1
s.à



(P ) 3
 x2 − (1 − x1 ) ≤ 0
−x2 ≤ 0



Géométriquement, x∗ = (1, 0) est un point minimal.

∇f (x∗ ) = (−1, 0)T , ∇g1 (x∗ ) = (0, 1)T et
∇g2 (x∗ ) = (0, −1)T . Mais, le point x∗ ne vérifie pas les
conditions de KKT puisque les contraintes ne sont pas
qualifiées en x∗ . En effet, il n’existe pas µ1 , µ2 ≥ 0, vérifiant
(−1, 0)T + µ1 (0, 1)T + µ2 (0, −1)T = (0, 0)T
Exemple 2
min −x1



 s.à
(P ) x1 + x2 − 1 ≤ 0

−x2 ≤ 0


x∗ = (1, 2), I = {1, 2}.
Conditions suffisantes
Les conditions nécessaires de KKT deviennent suffisantes si on

considère des fonctions convexes. On a alors le théorème
suivant.
Théorème
Soit f, gi , i = 1, .., m, des fonctions convexes de classe C 1 .
Soit x∗ ∈ S = {x ∈ IRn , /gi (x) ≤ 0}. Supposons que les
contraintes sont qualifiées au point x∗ .
x∗ est un minimum global de f sur S ssi il existe des nombres
positifs µi , i = 1, ..., m tel que
 m
µi ∇gi (x∗ ) = 0
X
∇f (x∗ ) +


i=1


Contraintes égalités
Nous supposons ici que l’ensemble des contraintes est de type
égalités, i.e. hi (x) = 0, i = 1, ..., p. Puisqu’une contrainte
égalité est équivalente à deux contraintes inégalités, à savoir
hi (x) ≤ 0 et −hi (x) ≤ 0, nous allons pouvoir nous ramener au
cas précédent. Ce qu’il faut retenir dans ce cas est que
les contraintes sont forcément saturées (évident),
pour qu’une direction d soit admissible, il faut supposer
ici ∇hi (x∗ )T d = 0, pour tout i,
on a la même notion de contraintes qualifiées : si on
suppose que les vecteurs ∇hi (x∗ ) sont linéairement
indépendants, alors d est admissible si et seulement si :
∇hi (x∗ )T d = 0, pour tout i.
Lorsque l’on écrit la condition de KKT pour les contraintes
égalités, nous allons avoir
p
∗
µ1i ∇hi (x∗ ) − µ2i ∇hi (x∗ ) = 0
X
∇f (x ) +
i=1
où encore p
∗
µi ∇hi (x∗ ) = 0
X
∇f (x ) +
i=1
où µi = − µ1i µ2i .
Notons que les multiplicateurs µi ne vérifient pas de conditions
de signes (contrairement au cas avec contraintes inégalités).
Contraintes égalités et inégalités

Afin de résumer l’ensemble de ces résultats, énonçons le
théorème suivant
Théorème
On considère le problème

 min f (x)
s.à



(P )  gi (x) ≤ 0, i = 1, ..., m
 hi (x) = 0, i = 1, ..., p


x ∈ IRn
Soit x∗ un point réalisable du pb (P ). Supposons que les
contraintes sont qualifiées au point x∗
si x∗ est un minimum local de (P ), alors ils existent des
nombres positifs µ1 , ..., µm et des nombres réels λ1 , ..., λp , tels
que
 m p
∗
λi ∇hi (x∗ ) = 0
X X
∗
∇f (x ) + µi ∇gi (x ) +


i=1 i=1


Exemple
x21 + x22

 max
s.à



x21 + x22 ≤ 5




(P ) −x1 ≤ 0


−x2 ≤ 0





x1 + 2x2 = 4

x∗ = ( 45 , 58 ), I = ∅. ∇f (x∗ ) = ( 85 , 16
5
)T , ∇h(x∗ ) = (1, 2)T .
8 16 T
Il faut chercher λ tel que ( 5 , 5 ) + λ(1, 2)T = 0.
C’est vérifié pour λ = −8 5
. Le problème est convexe, donc
x∗ = ( 45 , 58 ) est un minimum global.
 m p
∗
λi ∇hi (x∗ ) = 0
X X
∗
∇f (x ) + µi ∇gi (x ) +


i=1 i=1


Exemple
x21 + x22

 max
s.à



x21 + x22 ≤ 5




(P ) −x1 ≤ 0


−x2 ≤ 0





x1 + 2x2 = 4

x∗ = ( 45 , 58 ), I = ∅. ∇f (x∗ ) = ( 85 , 16
5
)T , ∇h(x∗ ) = (1, 2)T .
8 16 T
Il faut chercher λ tel que ( 5 , 5 ) + λ(1, 2)T = 0.
C’est vérifié pour λ = −8 5
. Le problème est convexe, donc
x∗ = ( 45 , 58 ) est un minimum global.
Dualité Lagrangienne
On considère le problème d’optimisation (P )


 min f (x)
s.à



(P ) gi (x) ≤ 0, i = 1, ..., m
 hi (x) = 0, i = 1,n ..., p



x ∈ X ⊂ IR
L’ensemble X peut être par exemple, un ensemble de points
de coordonnées entières.
Définition
On appelle le dual Lagrangien de (P ), Le problème (D)
suivant :
(
max θ(u, v)
(D) s.à
u≥0
m
X p
X
où θ(u, v) = inf{f (x) + ui gi (x) + vi hi (x)/ x ∈ X}.
i=1 i=1
La fonction ainsi définie est appelée la fonction duale (au
sens de la dualité de Lagrange)
La fonction (x, u, v) 7→ L(x, u, v) où
m
X p
X
L(x, u, v) = f (x) + ui gi (x) + vi hi (x)
i=1 i=1
est appelée fonction de Lagrange associée au problème

(P )
Théorème (dualité faible)

Soit x un point réalisable de (P ). Soit (u, v) un point
réalisable de (D). Alors f (x) ≥ θ(u, v)
Preuve
θ(u, v) = inf {f (y) + uT g(y) + v T h(y)}
y∈X
≤ f (x) + uT g(x) + v T h(x)
≤ f (x), ∀x ∈ X
Corollaire 1
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} ≥ sup{θ(u, v)/ u ≥ 0}
Théorème (dualité faible)

Soit x un point réalisable de (P ). Soit (u, v) un point
réalisable de (D). Alors f (x) ≥ θ(u, v)
Preuve
θ(u, v) = inf {f (y) + uT g(y) + v T h(y)}
y∈X
≤ f (x) + uT g(x) + v T h(x)
≤ f (x), ∀x ∈ X
Corollaire 1
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} ≥ sup{θ(u, v)/ u ≥ 0}
Corollaire 2
Soient x∗ une solution réalisable de (P ) et u∗ une solution
réalisable de (D).
Si f (x∗ ) = θ(u∗ , v ∗ ), alors x∗ est solution optimale de (P ) et
(u∗ , v ∗ ) est solution optimale de (D).
Preuve
Pour toute x solution réalisable de (P ), on a
f (x) ≥ θ(u∗ , v ∗ ) = f (x∗ )
Donc x∗ est solution optimale de (P ).

De même raisonnement, on aura (u∗ , v ∗ ) solution optimale de
(D).
Corollaire 3
Si
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} = −∞
alors θ(u, v) = −∞, ∀ (u, v) vérifiant u ≥ 0

Si sup{θ(u, v)/ u ≥ 0} = +∞, alors le problème (P )
n’admet pas de solution réalisable.
Définition (Saut de dualité)

On a
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} ≥ sup{θ(u, v)/ u ≥ 0}.
Si l’inégalité est stricte, on dit qu’on a un saut de dualité égale

à la différence positive
Corollaire 3
Si
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} = −∞
alors θ(u, v) = −∞, ∀ (u, v) vérifiant u ≥ 0

Si sup{θ(u, v)/ u ≥ 0} = +∞, alors le problème (P )
n’admet pas de solution réalisable.
Définition (Saut de dualité)

On a
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} ≥ sup{θ(u, v)/ u ≥ 0}.
Si l’inégalité est stricte, on dit qu’on a un saut de dualité égale

à la différence positive
Exemple


 min −2x1 + x2

s.à
(P )  h(x) = x1 + x2 − 3 = 0,
(x1 , x2 ) ∈ X


où
X = {(0, 0), (0, 4), (4, 4), (4, 0), (1, 2), (2, 1)}.
On peut vérifier facilement que (2, 1) est solution optimale de
(P ). On peut vérifier facilement que (2, 1) est solution de (P )
et on a f (2, 1) = −3.
θ(v) = min{−2x1 + x2 + v(x1 + x2 − 3)/ (x1 , x2 ) ∈ X}

−4 + 5v

 si v ≤ −1
θ(v) =  −8 + v si −1 ≤ v ≤ 2

−3v si v≥2
(
max θ(v)
(D) s.à
v∈IR
La solution optimale de (D) est v ∗ = 2, ce qui donne

L(v ∗ ) = −6. On remarque que
−3 = f (x∗ ) > θ(v ∗ ) = −6
donc saut de dualité est 3

Le théorème suivant donne les conditions sous lesquelles le
saut de dualité est nul.
(
max θ(v)
(D) s.à
v∈IR
La solution optimale de (D) est v ∗ = 2, ce qui donne

L(v ∗ ) = −6. On remarque que
−3 = f (x∗ ) > θ(v ∗ ) = −6
donc saut de dualité est 3

Le théorème suivant donne les conditions sous lesquelles le
saut de dualité est nul.
Théorème (dualité forte)

Supposons que X est convexe non vide de IRn , f : IRn → IR,
g : IRn → IRm sont des fonctions convexes et h : IRn → IRp
une fonction affine. Supposons également que la qualification
des contraintes suivante est vérifiée :
∃x̄, g(x̄) < 0, h(x̄) = 0
et 0 ∈ int h(X) = int {h(x), x ∈ X}.

Alors,
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0} = sup{θ(u, v)/ u ≥ 0}.
Remarque
Supposons que les hypothèses du théorème précédent sont
satisfaites. Alors,
Si
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0}
est fini et est atteint en x∗ , alors sup{θ(u, v)/ u ≥ 0} est fini
et est atteint en (u∗ , v ∗ ), u∗ ≥ 0. De plus, f (x∗ ) = L(u∗ , v ∗ ).
La réciproque est vraie i.e. si sup{θ(u, v)/ u ≥ 0} est fini et
est atteint en (u∗ , v ∗ ), u∗ ≥ 0, alors
inf{f (x)/ x ∈ X, g(x) ≤ 0, h(x) = 0}
est fini et est atteint en x∗
Point-selle
Définition (point-selle)
On considère le problème (P ) et la fonction de Lagrange
associée :
L(x, u, v) = f (x) + uT g(x) + v T h(x)
On dit qu’un point (x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est un
point-selle de la fonction L : si
L(x∗ , u, v) ≤ L(x∗ , u∗ , v ∗ ) ≤ L(x, u∗ , v ∗ ), ∀(x, u, v) ∈ X×IR+
m
×IRp
Remarque
x∗ minimise la fonction définie sur X par
x 7→ L(x, u∗ , v ∗ ).
(u∗ , v ∗ ) maximise la fonction définie sur IRm × IRp par
(u, v) 7→ L(x∗ , u, v).
Point-selle
Définition (point-selle)
On considère le problème (P ) et la fonction de Lagrange
associée :
L(x, u, v) = f (x) + uT g(x) + v T h(x)
On dit qu’un point (x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est un
point-selle de la fonction L : si
L(x∗ , u, v) ≤ L(x∗ , u∗ , v ∗ ) ≤ L(x, u∗ , v ∗ ), ∀(x, u, v) ∈ X×IR+
m
×IRp
Remarque
x∗ minimise la fonction définie sur X par
x 7→ L(x, u∗ , v ∗ ).
(u∗ , v ∗ ) maximise la fonction définie sur IRm × IRp par
(u, v) 7→ L(x∗ , u, v).
Théorème (Caractérisation du point-selle)

Soit (x∗ , u∗ , v ∗ ) ∈ X × IR+ m
× IRp .
(x∗ , u∗ , v ∗ ) est un point-selle de L(x, u, v) ssi
1 L(x∗ , u∗ , v ∗ ) = min L(x, u∗ , v ∗ )
x∈X
∗ ∗
2 g(x ) ≤ 0 et h(x ) = 0
3 u∗ T g(x∗ ) = 0
Preuve
1) est vérifié par définition (Remarque)
2) Par définition, on a L(x∗ , u, v) ≤ L(x∗ , u∗ , v ∗ ), ∀(u, v)
tel que u ≥ 0. Alors,
f (x∗ ) + uT g(x∗ ) + v T h(x∗ ) ≤
f (x∗ ) + u∗ T g(x∗ ) + v ∗ T h(x∗ ), ∀(u, v), tel que u ≥ 0.
Ce qui donne
(∗)
(u − u∗ )T g(x∗ ) + (v − v ∗ )T h(x∗ ) ≤ 0, ∀(u, v) t.q u ≥ 0
Supposons qu’il existe 1 ≤ k ≤ n tel que gk (x∗ ) > 0. En

prenant v = v ∗ et ui = u∗i pour i 6= k, on trouve
(uk − u∗k )gk (x∗ ) ≤ 0, ∀uk ≥ 0.
En prenant uk suffisamment grand, on obtient
(uk − u∗k )gk (x∗ ) > 0.
Contradiction. Donc g(x∗ ) ≤ 0. Montrons maintenant que

h(x∗ ) = 0. Supposons qu’il existe 1 ≤ k ≤ p t.q hk (x∗ ) > 0.
En prenant dans (∗), u = u∗ et vi = vk pour i 6= k, on obtient
(vk − vk∗ )hk (x∗ ) ≤ 0, ∀vk .
Quand vk → +∞, on a
(vk − vk∗ )hk (x∗ ) > 0, contradiction.

∗T
3) Reste à montrer que u g(x∗ ) = 0. En effet, on a u∗ ≥ 0
et g(x∗ ) ≤ 0. Dans (∗), en prenant u = 0 et v = v ∗ , on
obtient u∗ T g(x∗ ) ≥ 0. D’où
u∗ T g(x∗ ) = 0.
Réciproquement, Soit (x∗ , u∗ , v ∗ ) ∈ X × IR+ m
× IRp , vérifiant
1),2) et 3).
1) implique que L(x∗ , u∗ , v ∗ ) ≤ L(x, u∗ , v ∗ ), ∀x ∈ X. D’autre
part, on a
L(x∗ , u∗ , v ∗ ) = f (x∗ )+u∗ T g(x∗ )+v ∗ T h(x∗ ) = f (x∗ )(d’après 2) et 3)
et
L(x∗ , u, v) = f (x∗ )+uT g(x∗ )+v T h(x∗ ) ≤ f (x∗ )(d’après 2) et 3)).
Finalement, on a L(x∗ , u, v) ≤ f (x∗ ) = L(x∗ , u∗ , v ∗ ). D’où
L(x∗ , u∗ , v ∗ ) ≤ L(x∗ , u, v) ≤ L(x∗ , u∗ , v ∗ ), ∀x ∈ X, ∀u ≥ 0.
Théorème (Point-selle et absence de saut de dualité)

(x∗ , u∗ , v ∗ ), x∗ ∈ X, u∗ ≥ 0, est un point-selle de L(x, u, v)
ssi
1 x∗ est solution optimale de (P )
2 (u∗ , v ∗ ) est solution optimale de (D)
3 f (x∗ ) = θ(u∗ , v ∗ ) (pas de saut de dualité)
Preuve
Supposons que (x∗ , u∗ , v ∗ ) un point-selle de L. D’après le
Théorème précédent x∗ est solution réalisable de (P ), et on a
(u∗ , v ∗ ) est nécessairement réalisable de (D).
1) du théorème précédent implique
θ(u∗ , v ∗ ) = L(x∗ , u∗ , v ∗ ) = f (x∗ ) + u∗T g(x∗ ) + v ∗T h(x∗ )
D’après 2) et 3) du théorème précédent, on a
h(x∗ ) = 0, et u∗T g(x∗ ). D’où θ(u∗ , v ∗ ) = f (x∗ ). Finalement,
d’après le corollaire 2, x∗ est solution de (P ) et (u∗ , v ∗ ) est
solution deChapitre
Zakia ANKHILI
D. 4 Optimisation avec contraintes ENSA (Marrakech) 2015/2016 43/46
Théorème (Point-selle et absence de saut de dualité)

(x∗ , u∗ , v ∗ ), x∗ ∈ X, u∗ ≥ 0, est un point-selle de L(x, u, v)
ssi
1 x∗ est solution optimale de (P )
2 (u∗ , v ∗ ) est solution optimale de (D)
3 f (x∗ ) = θ(u∗ , v ∗ ) (pas de saut de dualité)
Preuve
Supposons que (x∗ , u∗ , v ∗ ) un point-selle de L. D’après le
Théorème précédent x∗ est solution réalisable de (P ), et on a
(u∗ , v ∗ ) est nécessairement réalisable de (D).
1) du théorème précédent implique
θ(u∗ , v ∗ ) = L(x∗ , u∗ , v ∗ ) = f (x∗ ) + u∗T g(x∗ ) + v ∗T h(x∗ )
D’après 2) et 3) du théorème précédent, on a
h(x∗ ) = 0, et u∗T g(x∗ ). D’où θ(u∗ , v ∗ ) = f (x∗ ). Finalement,
d’après le corollaire 2, x∗ est solution de (P ) et (u∗ , v ∗ ) est
solution deChapitre
Zakia ANKHILI
D. 4 Optimisation avec contraintes ENSA (Marrakech) 2015/2016 43/46
Réciproquement, On a
f (x∗ ) = θ(u∗ , v ∗ ) = inf{f (x) + u∗ T g(x) + v ∗ T h(x)/ x ∈ X}
≤ f (x∗ ) + u∗ T g(x∗ ) + v ∗ T h(x∗ )
donc 0 ≤ u∗ T g(x∗ ) ≤ 0, ce qui implique u∗ T g(x∗ ) = 0.
D’autre part, on a
L(x∗ , u∗ , v ∗ ) = f (x∗ ) = θ(u∗ , v ∗ ) = min{L(x, u∗ , v ∗ )/ x ∈ X}.
Alors (x∗ , u∗ , v ∗ ) est un point selle de L.
Remarque
Pour certain problèmes, il peut ne pas exister de point-selle.
Exemple
−x2

min

s.à

(P )
 2x − 1 ≤ 0,

0≤x≤1
Réciproquement, On a
f (x∗ ) = θ(u∗ , v ∗ ) = inf{f (x) + u∗ T g(x) + v ∗ T h(x)/ x ∈ X}
≤ f (x∗ ) + u∗ T g(x∗ ) + v ∗ T h(x∗ )
donc 0 ≤ u∗ T g(x∗ ) ≤ 0, ce qui implique u∗ T g(x∗ ) = 0.
D’autre part, on a
L(x∗ , u∗ , v ∗ ) = f (x∗ ) = θ(u∗ , v ∗ ) = min{L(x, u∗ , v ∗ )/ x ∈ X}.
Alors (x∗ , u∗ , v ∗ ) est un point selle de L.
Remarque
Pour certain problèmes, il peut ne pas exister de point-selle.
Exemple
−x2

min

s.à

(P )
 2x − 1 ≤ 0,

0≤x≤1
On pose X = [0, 1], g(x) = 2x − 1. On a alors
L(x, v) = −x2 + v(2x − 1).
Pour v fixé, x 7→ L(x, v) est concave, donc le minimum est

atteint, soit pour x = 0, soit pour x = 1 et les seuls
points-selles possibles sont (0, v) ou (1, v). Mais le problème
(P ) consiste à minimiser f sur [0, 12 ]. Alors, le minimum est
atteint en x∗ = 21 alors qu’il n’existe pas de points-selles de la
forme ( 12 , v).
Théorème (Relation point-selle et conditions de KKT)

Supposons que f, g et h sont de classe C 1 et que
(x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est un point-selle de L. Alors
∗ ∗ ∗
(x , u , v ) vérifie les conditions de KKT
Dans le cas important convexe, on a une caractérisation des

points-selles grâce aux conditions de Kuhn-Tucker.
Théorème
Supposons que f, g, et h sont convexes et de classe C 1 .
Alors, (x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est point selle de L ssi il
vérifie les conditions de KKT.
Théorème (Relation point-selle et conditions de KKT)

Supposons que f, g et h sont de classe C 1 et que
(x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est un point-selle de L. Alors
∗ ∗ ∗
(x , u , v ) vérifie les conditions de KKT
Dans le cas important convexe, on a une caractérisation des

points-selles grâce aux conditions de Kuhn-Tucker.
Théorème
Supposons que f, g, et h sont convexes et de classe C 1 .
Alors, (x∗ , u∗ , v ∗ ) ∈ X × IR+
m
× IRp est point selle de L ssi il
vérifie les conditions de KKT.

Chap 3

Transféré par

Droits d'auteur :

Formats disponibles

Chap 3

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chap 3

Transféré par

Droits d'auteur :

Formats disponibles

Résultats d’existence Conditions d’optimalité Dualité Lagrangienne Point-selle

Optimisation avec contraintes

Le but de ce chapitre est de résoudre le problème

Le résultat suivant montre l’impact de la convexité pour les

f (x∗ ) ≤ f (z) ≤ αf (x) + (1 − α)f (x∗ )

donc 0 ≤ α(f (x) − f (x∗ )). D’où f (x) ≥ f (x∗ ), ∀x ∈ S.

La plupart des théorèmes d’existence de minimum sont des

Par contre, si on réunit les hypothèses des deux théorèmes

Par contre, si on réunit les hypothèses des deux théorèmes

D = {d ∈ IRn / x∗ +λd ∈ S, ∀λ ∈]0, δ[ pour un certain δ > 0}.

D = {d ∈ IRn / x∗ +λd ∈ S, ∀λ ∈]0, δ[ pour un certain δ > 0}.

D = {d ∈ IRn / x∗ +λd ∈ S, ∀λ ∈]0, δ[ pour un certain δ > 0}.

Théorème (Condition nécessaire)

pour toute direction admissible d. Cette inégalité porte aussi le

Théorème (Condition nécessaire)

pour toute direction admissible d. Cette inégalité porte aussi le

∃δ1 , / f (x∗ + λd) < f (x∗ ), ∀λ ∈]0, δ1 [.

d est une direction admissible alors,

f (x∗ + λd) < f (x∗ ), et x∗ + λd ∈ S, ∀λ ∈]0, δ[.

Absurde, car x∗ est un minimum local.

Théorème (Cas convexe)

Théorème (Cas convexe)

Théorème (Cas convexe)

∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S ⇒ f (x) ≥ f (x∗ ).

∇f (x∗ )T (x − x∗ ) ≥ 0, ∀x ∈ S ⇒ f (x) ≥ f (x∗ ).

Théorème (Condition suffisante)

d’où f (x) ≥ f (x∗ ), ∀x ∈ S ∩ V (car f est pseudo-convexe).

Théorème (Condition nécessaire et suffisante)

pour toute direction admissible d.

Soit x∗ un minimum local du pb

∇f (x∗ ) est normal aux courbes de niveaux f (x) = cte.

On suppose, dans cette partie, que l’ensemble S sur lequel on

S = {x ∈ IRn , gi (x) ≤ 0, i ∈ {1, ..., m}},

où les gi sont des fonctions de IRn dans IR.

I = {i ∈ {1, ..., m}/ gi (x∗ ) = 0}.

On a alors le résultat suivant :

On suppose, dans cette partie, que l’ensemble S sur lequel on

S = {x ∈ IRn , gi (x) ≤ 0, i ∈ {1, ..., m}},

où les gi sont des fonctions de IRn dans IR.

I = {i ∈ {1, ..., m}/ gi (x∗ ) = 0}.

On a alors le résultat suivant :

(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0

Afin de préciser les conditions d’optimalité, il est nécessaire de

g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0

Afin de préciser les conditions d’optimalité, il est nécessaire de

g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

(1) ∀i ∈ I, ∇gi (x∗ )T d ≤ 0

Afin de préciser les conditions d’optimalité, il est nécessaire de

g1 (x) = −x1 ≤ 0, g2 (x) = −x2 ≤ 0,

Au point x∗ = (1, 0)T , les contraintes saturées sont 2 et 3.

Pour éliminer de telles situations il faut introduire des

Au point x∗ = (1, 0)T , les contraintes saturées sont 2 et 3.

Pour éliminer de telles situations il faut introduire des

On a alors la caractérisation suivante:

On a alors la caractérisation suivante:

Théorème (Conditions nécessaires de Karush Kuhn Tucker

Vérifions les conditions de KKT pour x∗ = (2, 1). On a

(−2, −2)T + µ1 (4, 2)T + µ3 (1, 2)T = (0, 0)T