Chapitre 2

Optimisation numérique sans contraintes

Nous nous intéressons dans ce chapitre à la conception de méthodes numériques pour la

recherche des points x ∈ Rn qui réalisent le minimum d’une fonction f : Rn → R :
(P ) min f (x),
x∈Rn

où f est supposée au moins différentiable. On parle d’optimisation sans contrainte.

2.1 Conditions d’optimalité

Nous commençons dans cette section à étudier ce que l’on appelle les conditions d’optimalité
qui sont des caractérisations des points de minimum.

Théorème 2.1 (Conditions nécessaires d’optimalité locale) Soit f : Rn → R une appli-

cation différentiable. Si x� ∈ Rn réalise un minimum local (resp. maximum local) de f ,
alors :

∇f (x� ) = 0 (CN d’optimalité du 1er ordre)

Si, de plus, f est deux fois différentiable dans un voisinage ouvert de x� , alors :

H[f ](x� ) est semidéfinie positive (CN d’optimalité du 2nd ordre)

(resp. H[f ](x� ) est semidéfinie négative)

Preuve. Soit h ∈ Rn , h �= 0. Pour s assez petit, on définit ϕ : s ∈ R �→ f (x� + sh). ϕ admet

donc un minimum local en s = 0, d’où : ϕ� (0) = ∇f (x� )� h = 0. Ceci étant vrai pour tout h, on
en déduit : ∇f (x� ) = 0.
Supposons maintenant f deux fois différentiable. On écrit le développement de Taylor d’ordre
2 de la fonction ϕ. Comme ∇f (x� ) = 0, on obtient :
s2 �
f (x� + sh) − f (x� ) = h H[f ](x� )h + o(s2 ).
2
23
24 2.1. Conditions d’optimalité

s2 �
soit : h H[f ](x� )h+o(s2 ) ≥ 0 puisque x� est un point de minimum local de f . Après division
2
par s2 , on fait tendre s vers 0 et on obtient : h� H[f ](x� )h ≥ 0. �
La condition d’optimalité du premier ordre montre que les points où le gradient s’annule sont
des points importants. Ils sont appelés points critiques et sont définis comme suit :
Définition 2.1 (Points critiques) Soit f : Rn → R une application différentiable. Tout point
x ∈ Rn vérifiant :
∇f (x) = 0,
est appelé point critique (ou point stationnaire) de f .
Mais attention ! Les conditions du théorème 2.1 ne sont que nécessaires : tout point où le
gradient est nul n’est pas nécessairement un extremum. Les exemples suivants montrent les dif-
férents types de cas qui peuvent apparaître.
Exemple 2.1.1 – La fonction x �→ x2 admet un point critique en x = 0 qui est aussi mini-
mum local.
– La fonction x �→ −x2 admet un point critique en x = 0 qui est aussi maximum local.
– La fonction x �→ x3 admet un point critique en x = 0 qui n’est ni minimum local ni
maximum local, c’est ici un point d’inflexion.
– La fonction x �→ x2 − y 2 admet un point critique en (x, y) = (0, 0) qui n’est ni minimum
local ni maximum local, c’est ici un point-selle.
Cependant, la condition du premier ordre joue un rôle central en optimisation numérique : elle
permet de sélectionner un certain nombre de points candidats à être des extrema locaux, même
s’il faut vérifier que les points critiques que l’on a sélectionné sont bien des minima locaux. Par
exemple dans l’exemple suivant
Exemple 2.1.2 Trouver le(s) minima globaux de f : x �→ ax2 + bx + c avec a, b, c ∈ R.
Si a > 0 alors la fonction est infinie à l’infini et admet un minimum global. Si a < 0 la fonction
vaut −∞ en ±∞ et si a = 0 et b �= 0 la fonction vaut −∞ en +∞ ou −∞ selon le signe de b et
dans tous ces cas n’admet pas de minimum global. Si a = 0 et b = 0, la fonction est constante
et tout point est minimum global. Nous nous intéressons donc au seul cas a > 0. L’équation des
points critiques est 2ax + b = 0, il existe un seul point critique x = −b/(2a) et dans le cas a > 0
nous savons qu’il existe un minimum global qui est donc point critique donc c’est −b/(2a).
Nous avons vu qu’être un point fixe est une condition nécessaire pour être un extremum, nous
voyons maintenant une condition suffisante.

Théorème 2.2 (Condition suffisante d’optimalité locale) Soit O un ouvert de Rn . Soit f :

Rn → R une application supposée de classe C 2 sur O. Si x̄ ∈ O vérifie :

∇f (x̄) = 0 et H[f ](x̄) symétrique, définie positive (resp. définie négative)

Alors x̄ est un point de minimum local (resp. maximum local) de f .

Chapitre 2. Optimisation numérique sans contraintes 25

Remarque 2.1 D’un point de vue géométrique, la condition du second ordre : "H[f ](x̄) définie
positive", revient à dire que f est localement convexe en x� , i.e. convexe dans un voisinage ouvert
de x� . En pratique, elle est difficile à vérifier systématiquement car elle nécessite de calculer les
dérivées secondes et d’étudier les valeurs propres de la matrice hessienne.

Exemple 2.1.3 L’exemple qui suit montre que la condition du Théorème 2.2 est suffisante mais
non nécessaire :
Montrer que 0 est un minimum global de f : x �→ x4 , que c’est bien un point critique de f mais
que la Hessienne de f en ce point est semidéfinie positive mais n’est pas définie positive (elle est
nulle).

Si de plus la fonctionnelle à optimiser est convexe ou strictement convexe, en appliquant le

Théorème 1.3 au convexe X = Rn , on obtient :
Théorème 2.3 (Condition Suffisante d’optimalité globale) Soit f : Rn → R une application
différentiable et x̄ un point critique de f .
i. Si f est convexe, alors x̄ est un point de minimum global de f .
ii. Si f est strictement convexe, alors x̄ est l’unique point de minimum global de f .

2.2 Généralités sur les algorithmes de descente

Nous allons maintenant nous intéresser aux algorithmes de calcul de minimum et plus par-
ticulièrement aux algorithmes de descente. Partant d’un point x0 arbitrairement choisi, un algo-
rithme de descente va chercher à générer une suite d’itérés (xk )k∈N telle que :
∀k ∈ N, f (xk+1 ) ≤ f (xk ).
Commençons par définir plus précisément la notion de descente.

2.2.1 Notion de direction de descente

Le gradient joue un rôle essentiel en optimisation. Dans le cadre des méthodes d’optimisation,
il sera également important d’analyser le comportement de la fonction objectif dans certaines
directions. Commençons pour cela par rappeler le concept de dérivée directionnelle :
Définition 2.2 Soit f : Rn → R une application continue. Soit x ∈ Rn et d ∈ Rn .
La dérivée directionnelle de f en x dans la direction d est définie par :
f (x + td) − f (x)
df (x; d) := lim+ ,
t→0 t
si cette limite existe.

Proposition 2.1 Si f est différentiable en un point x ∈ Rn , alors pour tout d �= 0, f admet une
dérivée dans la direction d en x et :
df (x; d) = Df (x)(d) = ∇f (x)� d.
26 2.2. Généralités sur les algorithmes de descente

On rappelle que la réciproque est fausse ! La dérivabilité selon tout vecteur en x n’implique
pas nécessairement la différentiabilité de f en x.
La dérivée directionnelle donne des informations sur la pente de la fonction dans la direction
d, tout comme la dérivée donne des informations sur la pente des fonctions à une variable. En
particulier,
– si df (x; d) > 0 alors f est croissante dans la direction d.
– si df (x; d) < 0 alors f est décroissante dans la direction d.
Dans ce dernier cas, on dira que d est une direction de descente de f .

Définition 2.3 (Direction de descente) Soient f : Rn → R et x ∈ Rn . Le vecteur d ∈ Rn est

une direction de descente pour f à partir du point x si t �→ f (x + td) est décroissante en t = 0,
c’est-à-dire s’il existe η > 0 tel que :

∀t ∈]0, η], f (x + td) < f (x). (2.1)

20

18
d1 = −∇f (1, 1)
16

14
ϕ(t) = f (x + tdi)

12 � �
1
10 d2 =
−3
8

4
� �
−1
2
d3 =
−1
0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

F IGURE 2.1 – Allure de la fonction f : x �→ 12 x21 + 2x22 au point x = (1, 1)� dans plusieurs
directions.

Proposition 2.2 Soient f : Rn → R différentiable et x ∈ Rn tel que : ∇f (x) �= 0. Soit

d ∈ Rn un veteur
– Si ∇f (x)� d < 0 alors d est une direction de descente.
– Si d est une direction de descente alors ∇f (x)� d ≤ 0.
Chapitre 2. Optimisation numérique sans contraintes 27

Preuve de la proposition 2.2. Soit d telle ∇f (x)� d < 0. On écrit le développement de Taylor-
Young de t �→ f (x + td) : pour t assez petit,

f (x + td) = f (x) + t∇f (x)� d + t�(t), avec : �(t) −→ 0.

t→0

Comme −∇f (x)� d > 0, il existe η > 0 tel que si |t| ≤ η, alors |�(t)| < −∇f (x)� d. D’où :
� �
∀t ∈]0, η], f (x + td) − f (x) = t ∇f (x)� d + �(t) < 0.

Ce qui montre la première partie de la proposition Soit maintenant d une direction de descente,
supposons que ∇f (x)� d > 0, en appliquant le même raisonnement que ci-dessus, on montre
qu’il existe un η tel que pour tout t tel que t ≤ η, on a �(t) > −∇f (x)� d et ainsi f (x + td) −
f (x) > 0, ce qui contredit le fait que d soit une direction de descente. �
Parmi toutes les directions de descente existantes en un point x donné, il est naturel de s’inté-
resser à celle où la pente est la plus forte. Un résultat remarquable montre que cette direction est
donnée par le gradient (ou plus exactement son opposé). Pour le démontrer, il suffit de comparer
les dérivées directionnelles :

Théorème 2.4 (Direction de plus forte descente) Soit f : Rn → R une fonction différentiable.
Soit x ∈ Rn . Alors pour toute direction d de norme constante égale à �d� = �∇f (x)�, on a :

(−∇f (x))� ∇f (x) ≤ d� ∇f (x), (2.2)

Ainsi, la direction d� = −∇f (x) est appelée "direction de plus forte descente".

Preuve. Soit d ∈ Rn une direction quelconque de norme : �d� = �∇f (x)�. On a alors :

(−d)� ∇f (x) ≤ � − d��∇f (x)� d’après l’inégalité de Cauchy-Schwarz

≤ �∇f (x)�2 = ∇f (x)� ∇f (x) puisque �d� = �∇f (x)�.

On en déduit donc (2.2). �

Sans surprise, si l’opposé du gradient correspond à la plus forte descente, le gradient corres-
pond, lui, à la plus forte pente de montée :

Corollaire 2.1 Le vecteur ∇f (x) est appelé direction de plus forte pente de f au point x ∈ Rn
et si d� = ∇f (x) alors

(d� )� ∇f (x) = maxn (d� ∇f (x)) sous la contrainte �d� = �∇f (x)�
d∈R

Exercice 2.2.1 Retrouver les conditions nécessaires d’optimalité du théorème 2.1 en utilisant la
notion de direction de descente.
28 2.2. Généralités sur les algorithmes de descente

2.2.2 Algorithme de descente modèle

Partant d’un point x0 arbitrairement choisi, un algorithme de descente va chercher à générer
une suite d’itérés (xk )k∈N telle que :
∀k ∈ N, f (xk+1 ) ≤ f (xk )
D’après la caractérisation de la descente (cf proposition 2.2), il s’agit donc à chaque itération k,
de trouver un point xk+1 dans une direction d vérifiant : ∇f (xk )� d < 0.

Le schéma général d’un algorithme de descente est le suivant :

A LGORITHME DE DESCENTE MODÈLE .

Données: f : Rn → R supposée au moins différentiable, x0 point initial arbitrairement
choisi
Sortie: une approximation de la solution du problème : minn f (x)
x∈R
1. k := 0
2. Tant que “test de convergence” non satisfait,
(a) Trouver une direction de descente dk telle que : ∇f (xk )� dk < 0.
(b) Recherche linéaire : Choisir un pas sk > 0 à faire dans la direction dk et tel que :
f (xk + sk dk ) < f (xk ).
(c) Mise à jour : xk+1 = xk + sk dk ; k := k + 1 ;
3. Retourner xk .

Oracle/Boite noire. Pour obtenir le prochain itéré, l’algorithme aura besoin d’informations sur
la fonction objectif f : la valeur numérique de f en un point donné x, et souvent également du
gradient ∇f (x). Ces informations sont fournies en “boite noire”, i.e. par un sous-programme
indépendant de l’algorithme d’optimisation choisi : routine de calcul du gradient par différences
finies lorsque celui-ci n’est pas calculable explicitement, ou simulateur renvoyant les valeurs
numériques f (x) et ∇f (x) sans formule mathématique explicite par exemple.

Test de convergence/Test d’arrêt. Soit x� un point de minimum local du critère f à optimiser.

Supposons que l’on choisisse comme test d’arrêt dans l’algorithme de descente modèle, le critère
idéal : “xk = x� ”. Dans un monde idéal (i.e. en supposant tous les calculs exacts et la capacité
de calcul illimitée), soit l’algorithme s’arrête après un nombre fini d’itérations, soit il construit
(théoriquement) une suite infinie x1 , x2 , . . . , xk , . . . de points de Rn qui converge vers x� .
En pratique, un test d’arrêt devra être choisi pour garantir que l’algorithme s’arrête toujours
après un nombre fini d’itérations et que le dernier point calcul soit suffisamment proche de x� .
Soit ε > 0 la précision demandée. Plusieurs critères sont à notre disposition : tout d’abord (et
c’est le plus naturel), un critère d’optimalité basé sur les conditions nécessaires d’optimalité du
premier ordre présentées dans la section 2.1 : on teste si
�∇f (xk )� < ε, (2.3)
Chapitre 2. Optimisation numérique sans contraintes 29

auquel cas l’algorithme s’arrête et fournit l’itéré courant xk comme solution.

En pratique, le test d’optimalité n’est pas toujours satisfait et on devra faire appel à d’autres
critères (fondés sur l’expérience du numérique) :
– Stagnation de la solution : �xk+1 − xk � < ε�xk �.
– Stagnation de la valeur courante : |f (xk+1 ) − f (xk )| < ε|f (xk )|.
– Nombre d’itérations dépassant un seuil fixé à l’avance : k < IterMax.
et généralement une combinaison de ces critères :

Critère d’arrêt = Test d’optimalité satisfait

OU (Stagnation de la valeur courante & Stagnation de la solution)
OU Nombre maximum d’itérations autorisées dépassé.

En pratique, on préférera travailler avec les erreurs relatives plutôt qu’avec les erreurs abso-
lues, trop dépendantes de l’échelle.

2.2.3 Convergence et vitesse de convergence

Étudier la convergence d’un algorithme, c’est étudier la convergence de la suite des itérés
générés par l’algorithme. Un algorithme de descente selon le modèle précédent, est dit convergent
si la suite de ses itérés (xk )k∈N converge vers un point limite x� , solution du problème :

min f (x).
x∈Rn

De plus, la convergence est dite locale si elle n’a lieu que pour des points initiaux x0 dans un
voisinage de x� . Sinon elle est dite globale.
En pratique, le but d’un algorithme d’optimisation ne sera que de trouver un point critique
(i.e. un point vérifiant la condition d’optimalité du premier ordre : ∇f (x� ) = 0). On introduit
alors la notion de convergence globale d’un algorithme d’optimisation :

Définition 2.4 Soit un algorithme itératif qui génère une suite (xk )k∈N dans Rn afin de résoudre
le problème :
minn f (x),
x∈R

où f : Rn → R est une application de classe C 1 . L’algorithme est dit globalement convergent si

quel que soit le point initial x0 ∈ Rn ,

lim �∇f (xk )� = 0.

k→+∞

Cette propriété garantit que le critère d’arrêt “�∇f (xk )� ≤ ε ?” sera satisfait à partir d’un certain
rang quelle que soit la précision ε > 0 demandée.

Remarque 2.2 Attention, la notion de convergence que l’on a vu ne suppose pas que l’algo-
rithme converge vers un minimum, même un minimum local. Prenons par exemple la fonction
30 2.2. Généralités sur les algorithmes de descente

f : (x, y) �→ x2 −√y 2 + y 4 qui est infinie à l’infini. Son minimum global est obtenu pour les points
(x, y) = (0, ±1/ 2). on peut montrer cependant que l’algorithme qui consiste à poser

dk = (−2xk , 2yk − 3yk3 ), sk << 1

est bien un algorithme de descente. Il converge au sens de la définition 2.4, cependant, si on part
du point (1, 0), l’algorithme converge vers le point (0, 0) qui est bien un point de gradient nul
mais pas un point de minimum (même local).

Il est bien entendu très important de garantir la convergence d’un algorithme sous certaines
hypothèses, mais la vitesse de convergence et la complexité sont également des facteurs à prendre
en compte lors de la conception ou de l’utilisation d’un algorithme ; en effet, on a tout intérêt à ce
que la méthode choisie soit à la fois rapide, précise et stable. Pour cela, on introduit les notions
de vitesse (ou taux) de convergence qui mesurent l’évolution de l’erreur commise �xk − x� �.

Définition 2.5 Soit (xk )k∈N une suite d’itérés générées par un algorithme convergent donné.
On note x� la limite de la suite (xk )k∈N et on suppose : ∀k ∈ N, xk �= x� (sinon l’algorithme
convergerait en un nombre fini d’itérations). La convergence de l’algorithme est dite :
– linéaire si l’erreur ek = �xk − x� � décroît linéairement i.e. s’il existe τ ∈]0, 1[ tel que :

�xk+1 − x� �
lim = τ.
k→+∞ �xk − x� �

– superlinéaire si
�xk+1 − x� �
lim = 0.
k→+∞ �xk − x� �

– d’ordre p s’il existe τ ≥ 0 tel que :

�xk+1 − x� �
lim = τ.
k→+∞ �xk − x� �p

En particulier, si p = 2, la convergence est dite quadratique (grosso modo partir d’un

certain rang, le nombre de chiffres significatifs exacts double à chaque itération).

Bien entendu, on a intérêt à ce que la convergence d’un algorithme soit la plus élevée possible
afin de converger vers la solution en un minimum d’itérations pour une précision donnée.
√
Exemple 2.2.1 La fonction f : x �→ x3 − 6x + 1 admet un minimum local sur R en x� = 2.
Partant d’une approximation grossière x0 = 2 de x� , comparons plusieurs algorithmes de calcul
approché de x� avec 5 chiffres significatifs exacts :
• Soit l’algorithme xk+1 = xk − α(x2k − 2). Vérifier que pour 0 < α < √12 , cet algorithme
√
converge linéairement avec un taux τ = |2α 2 − 1|.
Chapitre 2. Optimisation numérique sans contraintes 31

2 1 1
α 3 0.5 3
√
2 2
√
τ = |2α 2 − 1| 0.885 0.414 0.057 0
Nb d’itérations 105 15 6 4
Nb chiffres sign. exacts 5 5 7 10

1
Si α = √ , la convergence est dite superlinéaire et c’est la meilleure convergence pos-
2 2
sible de l’algorithme en question.
1 2
• Soit l’algorithme : xk+1 = (xk + ) dont la convergence est quadratique. On peut
2 xk
montrer que 4 itérations suffisent pour calculer une valeur approche de x� avec 5 chiffres
significatifs exacts ; en réalité, on a même 11 chiffres significatifs exacts dès la quatrième
itération.

2.3 Premiers algorithmes de descente

Un algorithme de descente est déterminé par les stratégies de choix des directions de descente
successives, puis par le pas qui sera effectué dans la direction choisie. Concentrons nous dans
cette partie sur le choix de la direction de descente : l’idée est de remplacer f par un modèle local
plus simple, dont la minimisation nous donnera une direction de descente de f .

2.3.1 Algorithmes de gradient à pas fixe/pas optimal

Soit xk ∈ Rn l’itéré courant. Étant donnés la valeur f (xk ) et le gradient ∇f (xk ) (notre
“oracle”), on remplace f au voisinage de xk par son développement de Taylor au premier ordre :

f (xk + d) ∼ f (xk ) + ∇f (xk )� d.

On voudrait que la dérivée directionnelle ∇f (xk )� d soit la plus petite possible dans un voisinage
de d = 0. On cherche donc à résoudre :

min ∇f (xk )� d s.c. �d� = �∇f (xk )�,

d∈Rn

dont la solution nous est donnée par le théorème 2.4, par :

dk = −∇f (xk ).

Le choix de la direction de plus forte descente définit une famille d’algorithmes appelés algo-
rithmes de descente de gradient dont le schéma est le suivant :

A LGORITHME DE DESCENTE DE GRADIENT.

Données: f , x0 première approximation de la solution cherchée, ε > 0 précision demandée
Sortie: une approximation x� de la solution de : ∇f (x) = 0
32 2.3. Premiers algorithmes de descente

1. k := 0 ;
2. Tant que critère d’arrêt non satisfait,
(a) Direction de descente : dk = −∇f (xk ).
(b) Recherche linéaire : trouver un pas sk tel que : f (xk + sk dk ) < f (xk ).
(c) xk+1 = xk − sk ∇f (xk ) ; k := k + 1 ;
3. Retourner xk .
Il reste maintenant à définir une stratégie de recherche linéaire pour le calcul du pas. Nous
étudions ici en première approche une méthode à pas optimal, puis une à pas fixe.

Méthode de plus profonde descente (“Steepest descent”)

Une idée naturelle consiste à suivre la direction de plus forte descente et à faire un pas qui
rende la fonction à minimiser la plus petite possible dans cette direction. Cette méthode est
appelée méthode de gradient à pas optimal ou encore méthode de plus profonde descente.
L’étape 2(a) de l’algorithme de descente de gradient est alors remplacée par :

R ECHERCHE LINÉAIRE EXACTE .

2. (a) Calculer un pas optimal sk solution de : min f (xk + sdk ).
s>0

La méthode de plus profonde descente est une sorte d’idéalisation : d’une part, nous ne savons
pas en pratique calculer de façon exacte un point minimum sk de l’objectif dans une direction
donnée et le problème n’est en général pas trivial. D’autre part, la résolution du problème de
minimisation unidimensionnel de l’étape 2 (a), même de façon approchée, coûte cher en temps
de calcul. Pour ces raisons, on peut lui préférer parfois l’algorithme de gradient à pas constant
(ou à pas fixe).

Algorithme de gradient à pas fixe

L’ide est très simple : on impose une fois pour toutes la taille du pas effectué selon la direction
de descente calculée à chaque itération. Les itérations 2 (b) et (c) de l’algorithme de descente de
gradient sont alors remplacées par :

xk+1 = xk − s∇f (xk ).

La question est alors : comment choisir un pas qui garantisse la convergence de l’algorithme ?

Quelques observations numériques. On souhaite minimiser f : (x, y) ∈ R2 �→ 12 x2 + 72 y 2 ,

en utilisant les algorithmes de descente de gradient à pas fixe et pas optimal.
Commençons par analyser le problème de minimisation : d’une part, la fonction f est deux fois
différentiable sur R2 et strictement convexe. D’autre part, le point (0, 0) vérifie les conditions
suffisantes d’optimalité du théorème 2.3. Donc (0, 0) est l’unique point de minimum global de f .
Soit Xk = (xk , yk ) ∈ R2 l’itéré courant tel que : ∇f (xk , yk ) �= 0. Calculons par la méthode
de plus profonde descente, l’itéré suivant :
Chapitre 2. Optimisation numérique sans contraintes 33

F IGURE 2.2 – Itérations des algos de gradient à pas fixe et optimal, générées à partir du point
(7, 1.5).

� �
−xk
– Direction de plus forte descente : dk = −∇f (Xk ) = .
−7yk
– Calcul du pas optimal sk solution, si elle existe, du problème à une dimension :

1 7
min f (Xk + sdk ) = min x2k (1 − s)2 + yk2 (1 − 7s)2 .
s>0 s>0 2 2

La solution se calcule de façon immédiate : sk = (x2k + 72 yk2 )/(x2k + 73 yk2 ).

� �
x2k + 72 yk2 −xk
A chaque itération, la méthode génère donc le point : xk+1 = xk + 2 .
xk + 73 yk2 −7yk
Appliquons maintenant ces deux méthodes à partir du point x0 = (7, 1.5). Leurs comporte-
ments sont illustrés par la figure 2.2 et les itérations sont décrites dans les tableaux 2.1 et 2.2
Cet exemple met en évidence la lenteur de la méthode de plus profonde descente, caractérise
par le comportement en zigzag des itérés. Essayons de comprendre d’où vient ce phénomène.
A l’itération k + 1, l’algorithme de plus profonde descente minimise ϕ : s ∈ R �→ f (xk −
s∇f (xk )). L’objectif f étant supposé différentiable, la fonction ϕ est dérivable sur R de dérivée :

ϕ� (s) = −�∇f (xk ), ∇f (xk − s∇f (xk ))�.

Soit sk le pas optimal calculé ; nécessairement sk vérifie : ϕ� (sk ) = 0, soit :

�∇f (xk ), ∇f (xk − sk ∇f (xk ))� = 0.

Le point xk+1 = xk − sk ∇f (xk ) vérifie donc : �∇f (xk ), ∇f (xk+1 )� = 0.

Deux directions de descente successives calculées par l’algorithme de plus profonde des-
cente sont orthogonales ce que traduisent les zigzags des itérés, observés sur la figure 2.2.
34 2.3. Premiers algorithmes de descente

k f (xk , yk ) �∇f (xk , yk )�2 sk xk yk

0 32.375 10.547512 − 7 1.5

1 16.925373 7.9786973 0.1940299 5.641791 −0.5373134
2 8.8484403 6.5973298 0.3513514 3.6595401 0.7841872
3 4.6258889 3.5448339 0.1940299 2.9494801 −0.2809029
4 2.4183752 3.4490276 0.3513514 1.9131763 0.4099663
5 1.2643059 1.8532089 0.1940299 1.541963 −0.1468536
.. .. .. .. .. ..
. . . . . .
40 1.751e−10 2.9343653 × 10−5 0.3513514 1.63 × 10−5 0.35 × 10−5
41 9.155e − 11 1.5725775 × 10−5 0.1940299 1.31 × 10−5 −0.12 × 10−5
42 4.786e − 11 1.536522 × 10−5 0.3513514 0.85 × 10−5 0.18 × 10−5
43 2.502e − 11 0.8292768 × 10−5 0.1940299 0.69 × 10−5 0.07 × 10−5
.. .. .. .. .. ..
. . . . . .
76 1.268e − 20 0.2523886 × 10−9 0.3513514 0.14 × 10−9 0.03 × 10−9
77 6.630e − 21 0.1303840 × 10−9 0.1940299 0.11 × 10 −9 −0.01 × 10−9
78 3.466e − 21 0.1303840 × 10−9 0.3513514 0.72 × 10−10 0.16 × 10−10
79 1.812e − 21 0.6989278 × 10−10 0.1940299 0.58 × 10−10 −0.05 × 10−10

TABLE 2.1 – Itérations de la méthode de plus profonde descente. Le critère d’optimalité est
satisfait en 43 itérations pour une précision ε = 10−5 et en 79 itérations si ε = 10−10 .

pas 0.325 0.25 0.125 0.05 0.01

Nb d’itérations DV 49 101 263 1340

TABLE 2.2 – Nombres d’itérations de l’algorithme de gradient à pas fixe pour approcher l’unique
argument minimum de f à 10−5 près, en fonction du pas choisi - Point initial : x0 = (7, 1.5).

Enfin, les données du tableau 2.2 illustrent l’importance du choix du pas dans l’algorithme
de pas fixe : un pas “bien choisi” donne des résultats comparables à ceux obtenus par la plus
profonde descente, un pas plus petit atténue les zigzag des itérés mais augmente significativement
le nombre d’itérations et enfin, un pas trop grand fait diverger la méthode.

2.3.2 Méthode de Newton locale

Pour construire les méthodes de gradient, nous avons remplacé f par son approximation
linéaire au voisinage de l’itéré courant. Nous avons vu que ces méthodes ne sont pas très perfor-
mantes, en partie parce qu’elles ne tiennent pas compte de la courbure (ou de la Hessienne) qui
est une information de second ordre.

Principe Supposons maintenant que f est de classe C 2 et remplaçons f au voisinage de l’itéré

courant xk par son développement de Taylor de second ordre :
1
f (y) ∼ q(y) = f (xk ) + �∇f (xk ), y − xk � + �H[f ](xk )(y − xk ), y − xk �,
2
Chapitre 2. Optimisation numérique sans contraintes 35

où la valeur f (xk ), le gradient ∇f (xk ) et la matrice hessienne H[f ](xk ) sont donnés par notre
oracle (boite noire).
On choisit alors comme point xk+1 le minimum de la quadratique q lorsqu’il existe et est
unique, ce qui n’est le cas que si H[f ](xk ) est définie positive. Or le minimum de q est réalisé
par xk+1 solution de : ∇q(xk+1 ) = 0, soit :

∇f (xk ) + H[f ](xk )(xk+1 − xk ) = 0,

ou encore, en supposant que H[f ](xk ) est définie positive :

xk+1 = xk − H[f ](xk )−1 ∇f (xk ). (2.4)

On reconnaît dans la formule (2.4) les itérations de la méthode de Newton vue en cours
d’analyse numérique, appliquée ici à la résolution de l’équation : ∇f (x) = 0. La méthode ne
doit cependant jamais être appliquée en utilisant une inversion de la matrice Hessienne (qui peut
être de très grande taille et mal conditionnée) mais plutôt en utilisant :

xk+1 = xk + dk
où dk est l’unique solution du système linéaire :

H[f ](xk )dk = −∇f (xk ).

dk est appelée direction de Newton.

Cette méthode est bien définie si à chaque itération, la matrice hessienne H[f ](xk ) est définie
positive : ceci est vrai en particulier au voisinage de la solution x� cherchée si on suppose que
H[f ](x� ) est définie positive (par continuité de H[f ]).

Algorithme

M ÉTHODE DE N EWTON LOCALE .

Données: f : Rn → R de classe C 2 , x0 première approximation de la solution cherchée,
ε > 0 précision demandée
Sortie: une approximation x� de la solution
1. k := 0 ;
2. Tant que �∇f (xk )� > ε,
(a) Calculer dk solution du système : H[f ](xk )dk = −∇f (xk ) ;
(b) xk+1 = xk + dk ;
(c) k := k + 1 ;
3. Retourner xk ;

Remarque 2.3 1. La méthode de Newton est un algorithme de descente à pas fixe égal à 1.
36 2.3. Premiers algorithmes de descente

2. Si la fonctionnelle f est quadratique, strictement convexe, alors l’algorithme converge en

une itération.

Exercice 2.3.1 Démontrer les deux assertions de la remarque 2.3.

Convergence de la méthode de Newton locale

L’algorithme hérite des propriétés de l’algorithme de Newton vu en cours d’analyse numé-
rique pour la résolution des équations non-linéaires :

Proposition 2.3 Soit f de classe C 3 et x� un point de minimum local de f . On suppose en outre

que la matrice Hessienne H[f ](x� ) est définie positive.
1. Il existe un voisinage V � de x� tel que si x0 ∈ V � , alors la suite des itérés (xk )k∈N générés
à partir de x0 par la méthode de Newton locale, converge vers x� .
2. La convergence est au moins quadratique.

La méthode peut diverger si le point initial n’est pas suffisamment proche d’un point de mi-
nimum local, et elle n’est pas définie si les matrices H[f ](xk ) ne sont pas définies positives.
Utilisée dans le cadre de l’optimisation, la méthode de Newton locale présente un autre incon-
vénient : la solution identifiée à la fin de l’algorithme n’est pas forcément un point de minimum
local, mais uniquement un point critique de f .

2.3.3 Méthode de Gauss-Newton

Si maintenant F désigne une application de Rn dans Rm , avec par exemple m > n, le sys-
tème d’équations F (x) = 0 n’a généralement pas de solutions. Le problème de moindres carrés
associé à F consiste à rechercher x∗ tel que
� m
�
1 � 1
r(x∗ ) = min r(x) = Fi (x)2 = �F (x)�22 , x ∈ Rn . (2.5)
2 i=1 2

De tels problèmes se rencontrent fréquemment dans le cadre de l’identification de paramètres.

Les variables xi sont les n paramètres d’un modèle physique non linéaire. On effectue m > n
mesures, et on cherche les xi qui permettent d’ajuster au mieux ce modèle aux mesures.
La solution de (2.5) est caractérisée par ∇r(x∗ ) = 0. Pour appliquer la méthode de Newton,
on doit résoudre des systèmes de la forme
� m
�
�
Hr (x) d = −∇r(x) ⇐⇒ JF (x)T JF (x) + Fi (x) HFi (x) d = −JF (x)T F (x), (2.6)
i=1

où JF (x) = ∇F (x)� = [∇F1 (x) . . . ∇Fm (x)]� désigne la matrice Jacobienne de F en x. Les
calculs permettant d’obtenir la relation (2.6) sont détaillés en annexe.
Chapitre 2. Optimisation numérique sans contraintes 37

La matrice Hessienne Hr (x) de r(x) a une expression assez compliquée. Cependant le terme
m
�
Fi (x) HFi (x) est tel que lorsque le résidu �F (x)� devient petit, c’est-à-dire lorsque l’on se
i=1
rapproche de la solution, il devient lui même négligeable.

La méthode de Gauss-Newton consiste à remplacer (2.6) par :

JF (x)� JF (x)d = −JF (x)� F (x). (2.7)

Une autre façon de voir les choses consiste à remplacer dans l’expression de r, la fonction F
par une approximation linéaire au voisinage du point courant x. Autrement dit, on s’intéresse au
problème approché :
1
min r�(y) = �F (x) + JF (x)(y − x)�2 .
y 2
La solution de ce problème est caractérisée par la relation : ∇�
r(y) = 0 i.e. :

JF (x)� (F (x) + JF (x)(y − x)) = 0 soit : JF (x)� JF (x)(y − x) = −JF (x)� F (x)

On retrouve ainsi la direction de Gauss-Newton trouvée précédemment.

A LGORITHME DE G AUSS -N EWTON .

Données: F fonction différentiable, x0 point initial, ε > 0 précision demandée
Sortie: une approximation de la solution du problème de moindres carrés :
1
minn r(x) = F (x)� F (x).
x∈R 2
1. k := 0 ;
2. Tant que ,
(a) Calcul d’une direction de recherche : calculer dk+1 solution de :

JF (xk )T JF (xk ) d = −JF (xk )� F (xk ).

(b) xk+1 = xk + dk+1 ;

(c) k := k + 1 ;
3. Retourner sk .

Application aux moindres carrés linéaires. Dans le cas où la fonction F est linéaire, i.e. :

F (x) = A x − b, avec A ∈ Mn,p (R),

on obtient : JF (x) = A, et l’équation de Gauss-Newton (2.7) devient : A� Adk+1 = −A� (Axk −

b). Comme dk+1 = xk+1 − xk , on obtient :

A� Axk+1 = A� b
38 2.3. Premiers algorithmes de descente

et ceci quel que soit xk . On reconnaît ici le système d’équations normales du problème de
moindres carrés linéaire :
1
minn �Ax − b�22 , (2.8)
x∈R 2

On rappelle que d’après le théorème 2.4 du cours d’analyse numérique, x� est solution du pro-
blème (2.8) si et seulement si x� vérifie les équations normales : A� Ax = A� b. De plus si A est
de rang plein, x� est l’unique solution de (2.8).
Ceci signifie donc que la méthode de Gauss-Newton identifie la solution en une seule itération
lorsque la fonction F est linéaire.

Exercice 2.3.2 Soit F : R3 −→ Rn une application définie par :

Fi (x0 , x1 , x2 ) = ci − x0 − x1 e−x2 ti , i = 1, . . . , n.

1. Calculer ∇Fi et H[Fi ].

2. En déduire : Jr et Hr où r = 12 F (x)� F (x).