Retour sur le cours

+
SVD - PCA
 Rappel : Convergence, Consistance et Stabilité
● Convergence : la solution numérique tend vers la solution 
exacte
● Consistance : solution discrète tend vers la solution exacte avec 
la réduction de la discrétisation 
● Stabilité : différence entre solution discrète et numérique est 
bornée
● Relations
Équation Équation discrétisée

Consistance
Solution exacte Solution discrète

Convergence Stabilité
Solution numérique

2/27
 Rappel : Conditionnement
● Robustesses aux perturbations
– Données d (perturbées d d)
● Bruit de mesure
● Conversion en numérique
– Résultats x (perturbées x x)
●Erreur numérique
● Conditionnement relatif K rel (d )=lim sup { ∣δ x∣/∣x∣
ϵ→ 0 ∣δd ∣<ϵ ∣δ d ∣/∣d ∣ }
● Conditionnement absolu K abs (d )=lim sup { }
∣δ x∣
ϵ→ 0 ∣δ d∣< ϵ ∣δ d ∣

3/27
 Rappel : système linéaire

A x=b
● Si A est une matrice inversible, le conditionnement relatif du 
système est
K rel ( b)≤Κ ( A ) =∣A ∣∣A∣
−1

K (A) = conditionnement de la matrice
● Matrice symétrique définie positive
λ max
– Conditionnement = Rapport des valeurs propres Κ ( A )=
λ min

4/27
 Rappel : résoudre un système linéaire
● Méthodes directes Ne jamais résoudre avec 
– Si A est diagonale : O(n) l'inverse de la matrice A
– Si A est triangulaire : O(n2)
– Sinon : triangulation ou factorisation
● LU : matrice quelconque – O(2/3 n3)
● Cholesky : matrice symétrique définie positive – O(1/3 n3)
● Householder et QR : 
● Limites : Grand conditionnement -> solution peu précise
● Méthodes itératives : convergence vers une solution
– Jacobi : A à diagonale dominante stricte par ligne 
– Gauss-Seidel : A à diagonale dominante stricte par ligne et 
symétrique définie positive
– Gradient conjugué

5/27
 Rappel : optimisation
● Approcher des données par une fonction analytique fv(x)
– Donnée : ( xm=1..M, ym=1..M )
– v : paramètres de la fonction M
– v  minimise une erreur : exemple min v ∑ w m‖ y m −f v ( x m )‖
m =1
ou maximise un qualité
– Sous des contraintes
● Optimisation linéaire K

– fv est une combinaison linéaire de fonctions f v ( x )= ∑ v k f k ( x )
k=1
– L'erreur est quadratique et les contraintes sont linéaires
● Optimisation non-linéaire
– Tous les autres cas

6/27
 Rappel : moindres carrés
M
L'erreur est une norme euclidienne 2
E = ∑ w m‖ y m−f v ( x m )‖2
●

– Un minimum atteint → m=1

gradient de l'erreur est nul ∇ v E =0
– Ajout de contrainte par des multiplicateurs (ex : Lagrange)
● Optimisation linéaire
→ Résoudre une système linéaire sous contraintes linéaires
– Solution unique 
● Optimisation non-linéaire
– Solution unique seulement si l'erreur est convexe
● En général : minimum local
– Processus itératifs convergeant vers un minimum
● Méthodes de descente de gradient
● Levenberg-Marquard
7/27
Valeurs propres
SVD
PCA

8
 Moindres carrés sous-constraint
●
Moins de mesures que de variables  
– Impossible théoriquement d'utiliser les moindres carrés
●
Le système à résoudre a la forme ATAx = ATb
●
A a plus de colonnes que de lignes
●
ATA  est donc singulière
●
Les mesures sont de mauvaises contraintes
– ATA  est presque singulière : mauvais conditionnement
– Ex : approcher avec la parabole y=ax2+bx+c

9/27
 Décomposition singulière SVD
● Soit une matrice A de dimension MxN
– Il existe 2 matrices orthogonales U (MxM) et V (NxN) et une 
matrice diagonale  de dimension P= min(M,N) telle que
T T
A=U Σ V ⇔ Σ=U A V

[ ]
σ1 0 ⋯ 0
– Avec Σ= 0 ⋱ ⋱ ⋮ σ 1≥σ 2≥⋯≥σ P ≥0
⋮ ⋱ ⋱ 0
0 ⋯ 0 σP

● Les i sont les valeurs singulières
● Les colonnes de U et V sont les vecteurs singuliers de gauche 
et de droite 

10/27
 Interprétations
● Lien avec les valeurs propres
T T T T T T T T T
Σ Σ=(U A V) U A V=V A U U A V=V A A V
– Donc : 
● Les i2 sont les valeurs propres de ATA et AAT
● Les colonnes de V sont les vecteurs propres 
● Approximation des données * *
* *
– Demi-longueurs des axes de l’hyperellipse  *
* *
* * *
* * *
T T * * **
x A A x −1=0 * *
* *
*

* *

● Conditionnement 
σ max σ1
Κ (A)= σ Κ (A)= σ
min p

11/27
 Calcul de pseudo inverse

[ ]
● On définie la matrice 
1
σ1 0 ⋯ ⋯ ⋯ ⋯ 0
0 ⋱ ⋱ ⋮
+
A =V Σ U + T
Σ += ⋮ 1
⋱ σR ⋱ ⋮
⋮ ⋱ 0 ⋱ ⋮
⋮ ⋱ ⋱ ⋱ ⋮
0 ⋯ ⋯ ⋯ 0 0 0

● Principes
– On annule les valeurs inverses trop grandes
– On laisse libre un certain nombre de paramètres

12/27
 Applications
● Avantage : méthode numérique stable
– Coût : 0(n3)
– Plus rapide si l'on ne cherche que , U et , ou  et V
● Calcul du rang R
P
A=∑ σi ui v
T
σ 1≥σ 2≥⋯≥σ R >σ R+1=⋯=σ P =0 i
i =1
– En matlab
s=svd(X);
tol=max(size(X))*s(1)*eps;
rang=sum(s > tol);
● Approximation par une somme de matrice de rang K
K
A K =∑ σ i u i v
T
i ∥A−A K∥2=σ K +1
i=1

13/27
 Analyse en composantes principales (PCA)
● Une méthode de réduction de dimension des données
– Projection des données au sens des moindres carrés
– Capturer les principales variations M
2
● Une première approximation E 0 =min a ∑ ‖ y m −a‖ 2
m=1
– Meilleur représentant au sens des moindres carrés
1
a=
M
∑
m=1
ym

– Quelles sont le ou les directions principales ?
● Représenter les données par une ligne passant par la moyenne
y m=a+α m e
M
2
E 1=min α 1,
⋯, α M , e ∑ ‖ y m−a−α m e‖
2
m =1

14/27
 PCA – Intuitions (suite)
● Calculer les m par différentiation partielle ∂α E 1=0⇔ α m =e T ( y m −a )
m

● Nouvelle erreur pour calculer la direction principale
M M M M
2
E 1= ∑ ‖ y m −a−α m e‖ = ∑ α 2m −2 ∑ α m e T ( y m −a )+ ∑ ‖ y m −a‖2
2
m=1 m=1 m =1 m=1
M M M
= ∑ ‖ y m −a‖2 −2 ∑ e T ( y m −a )( y m −a ) T e + ∑ ‖ y m−a‖2
m=1 m =1 m =1
M M
=−2 ∑ e T ( y m−a )( y m−a )T e+ 2 ∑ ‖ y m −a‖2
m=1 m=1
M
=−2 e T S e + 2 ∑ ‖ y m −a‖2
m=1 M
S= ∑ ( y m−a )( y m −a )
T
– S matrice de covariance (scatter matrix)
m= 1
● Minimisation sous contrainte
T
min e E 1 ⇔ max e e S e
∥e∥2 =1

15/27
 PCA – Intuitions (fin)
T T
● Utilisation des multiplicateurs de Lagrange E 3 =e S e −λ (e e−1 )
● Par dérivation ∇ e E 3=0 ⇔S e=λ e
– e est un vecteur propre de la matrice S
● Peut-être étendue à M directions principales
– Calcul d'une SVD
– Amplitude de variation=
valeur propre
– Direction de variation=
vecteur propre

16/27
Rappel - suite

17
 Rappel – autre optimisation
● Programmation linéaire min v d T v
T
– Minimiser une norme infinie subject to c m v≤b m

maxv d T v

{
c Tm v +e m=bm ∀ m
subject to v k ≥0 ∀k
– Maximiser un objectif
e m≥0 ∀m

{
T
v= ( v1 .. v k )
T
with d =( d 1 .. d k )
T
c m=( c m 1 .. c m k )

● Programmation quadratique T T
min v v Q v+ d v
T

Norme euclidienne
{ c Tj v=b j
–
subject to T
– Contraintes linéaires d'inégalité c m v ≤b m

18/27
 Rappel - intégration numérique 1D
● Intervalles uniformes Convergence
● Méthode des rectangles n
b−a
I n= ∑
n k =1
f (xk) O(n-1)
● Méthode des trapèzesn
b−a
I n= ∑
2n k =1
( f ( x k−1 ) +f ( x k ) )
O(n-2)
f

● Formule de Simpson
n
b−a
I n= ∑
6n k =1
( f ( x k−1 ) +4 f ( x k −1/ 2 ) +f ( x k ) ) O(n-4)
f

19/27
 Rappel - quadrature de Gauss en 1D
M
1
I =∫−1 f ( x ) d x≃ ∑ W m f (εm )
m=1

Poids Positions d'intégration
●
Les poids et les positions maximisent la précision
●
M positions pour l'espace des polynômes de degré 2M-1
●
Le calcul des intégrales est exact sur cet espace
M
1
∀ p∈P 2 M −1 ,∫−1 p (x )d x= ∑ W m p(ε m )
m =1
●
Les positions sont les racines du polynôme de Legendre
●
Base de polynômes orthogonale sur [-1,1] 

1 d M ( 2 )M
P M ( x)= M M
( x −1 )
2 M!dx
20/27
 Rappel – intégration de Monte Carlo 1D
n
● Estimateur 1 1
I n= ∑ f ( xi )
n i =1 pdf ( x i )
● Densité de probabilité pdf ( x )≥0
– Probabilité associée P [ X i ∈ [ x , x+dx ] ] = pdf ( x ) d x
– Propriété ∞
∫
−∞
pdf ( x ) d x=1
● Convergence 
1
– Variance V [ I n ]= V [ I 1 ]
n
1
– Écart-type σ [ I n ]= σ [ I 1]
√n
1
● Meilleur choix de pdf  pdf ( x ) = f ( x ) ⇒ V [ In ] =0
I

21/27
 Rappel – intégration Monte Carlo
● Biais
– Différence valeur attendue vs cherchée biais=E [ I n ] − I

– Estimateur sans biais biais=0

22/27
 Rappel : convergence et dimension
● En 1D
– Convergence en O(n-(c+1))
– c = continuité de la fonction

● En dimension plus élevée d
– Pour n valeurs / mailles 
– Taille intervalle 1D n1/d
– Convergence en O(n-c/d)
– Monte Carlo en O(n-1/2)

23/27
 Rappel : espace de fonctions
b
Produit scalaire
〈 f , g 〉 [ a , b ]=∫a f ( x )g ( x )d x
●

2 b
– Norme ‖f ‖[a , b] =∫a f ( x )d x
2

– Orthogonalité 〈 f , g 〉 [ a , b ]=0
● Matrice de Gram

[ ]
2
∣f 1∣ 〈 f 1, f 2 〉 ⋯ 〈 f 1, f K 〉
– Det = 0 → pas une base 2

M=
〈 f 2, f 1 〉 ∣ f 2∣ ⋱ ⋮
– Diagonale →  orthogonale ⋮ ⋱ ⋱ 〈 f K −1 , f K 〉
– Vecteurs propres avec  〈 f K , f 1〉 ⋯ 〈 f K , f K −1 〉 ∣ f K∣
2

valeurs propres non-nulles → 
base orthogonale.
● Partition de l'unité
– i fi = 1
● Exercice : base orthogonale 
– xn sur [a,b]

24/27
 Rappel : bases de fonctions
● 1D – polynomiales 
1 f ( x )g ( x )
– Tchebychev 1 : orthogonale sur [-1,1] 〈 f , g 〉=∫−1 dx
T n (cos(θ ))=cos (n θ ) √1−x 2

–
(k)
Bernstein : orthogonale sur [0,1] b k , N (t )= N t k (1−t ) N −k avec k =0 ⋯ N
● 1D – polynomiales par morceaux
– Support compact
● Gram à diagonales
[ ]
p+ N +1 p+ N +1
1
– B-Splines de degré P B p , N ( t )= ∑ ∏ N
max (t−t i ,0)
i= p j= p , j ≠i t j−t i
● 2D – sur un disque
– Zernike : orthonormale
● 2D – directions
– Harmonique sphérique : orthonormale

25/27
 Rappel – résolution EDP - EDO
● Différences finies : calculer des valeurs en des positions
– Approximation des dérivées d'ordre k

1
n∑ j
n k
● Avant ∂ ui = x
n u + o (Δ x )
Δ x j≥i
1
n∑ j
n k
● Arrière ∂ x ui = n u + o (Δ x )
Δ x j≤i
p
1
n ∑
● Centrée  ∂ nx u i =n u i+ p + o(Δ x k
)
– Résolution d'un système linéaire Δ x j =− p

● Explicite : pour chaque itération k  u(k +1) −f ( u(k ) ,... , u(0 ) ) =0

● Implicite : pour chaque itération k  f ( u(k +1) , u(k ) , ... ,u(0) )=0

– En général : stable
26/27
 Rappel – résolution EDP - EDO
● Éléments finies K
– Coefficients dans un base de fonctions u ( x )≃∑ v k b k ( x )
k=1
● Étapes
1. Forme faible ∀ b ,∫ b res(u )=0
2. Intégration par partie K
3. Discrétisation ∀ bi , ∫ bi res (∑
k =1
)
v k bk ( x ) =0

27/27