Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente

IDENTIFICAREA PUNCTELOR
CORESPONDENTE, ÎN STEREOGRAMA
DIGITALĂ
5.1 Introducere
Procesul de identificare a punctelor corespondente în cele două imagini ale
stereogramei, este necesar în lucrări precum aerotriangulaţia, întocmirea ortofotohărţilor,
efectuarea orientării relative, crearea modelului altimetric al terenului (metode diferite în funcţie
de accidentaţia terenului reprezentat pe fotogramă, teren plan sau accidentat), etc.
Identificarea punctelor corespondente din cele două imagini care alcătuiesc o
stereogramă sau din mai multe imagini, se face prin corelare. Corelarea imaginilor se efectuează
prin compararea celor două imagini pixel cu pixel, iar imaginile de corelat sunt prelucrate
radiometric în mod preliminar, prin "filtrare trece sus" sau "filtrare trece jos", a imaginilor
gradient sau binarizate. Prelucrările preliminare radiometrice necorespunzătoare, pot conduce la
soluţii greşite ale procesului de corelare, sau la necorelarea imaginilor.
Metodele de corelare se pot clasifica astfel:
a) corelarea bazată pe compararea nivelurilor de gri din imaginile de corelat.
Punctele corespondente se identifică pe baza similarităţii valorilor de gri din imaginile
corelate. Corelarea imaginilor se realizează prin compararea numerică a nivelurilor de gri ale
pixelilor din fiecare imagine.
Această metodă este implementată de obicei în softurile cu care sunt echipate staţiile
fotogrammetrice digitale şi are mai multe variante în funcţie tipul imaginii, de conţinutul
informaţional al acesteia, de raportul semnal/zgomot şi de tipul prelucrărilor radiometrice
preliminare efectuate.
b) corelarea bazată pe compararea trăsăturilor
Această metodă are un grad de mare de complexitate şi constă în identificarea,
extragerea şi parametrizarea trăsăturilor din imagini, după care se calculează coeficientul de
corelaţie. Trăsăturile sunt caracterizate de dimensiune şi de formă, care poate fi: punct, linie sau
suprafaţă. Parametrizarea este procesul de aproximare a formelor trăsăturilor cu principalele
forme geometrice: cerc, dreaptă, elipsă, etc.
Pentru identificarea prin corelaţie a punctelor de aerotriangulaţie marcate pe una din
fotograme, (puncte în care nu avem informaţie fotografică), se va stabili o zonă în jurul acestora
care va fi luată în consideraţie în cadrul procesului de corelaţie, după care se poate efectua
corelarea pentru cele două ferestre.
c) corelarea pe baza unei informaţii suplimentare (relaţii, vecinătăţi sau poziţii de grup între
diferitele obiecte reprezentate pe fotogramele de corelat).
Cunoscută şi sub denumirea de corelare relaţională, se bazează pe segmentarea
imaginilor şi descrierea lor structurală, ea include şi formele liniare precum şi relaţiile ce pot
exista între acestea (paralelism, perpendiculare, etc). Nu se utilizează în mod curent în
fotogrammetria digitală.

Imaginile de corelat, sunt afectate de zgomote apărute în cadrul procesului de conversie

analog-digitală prin scanare, dacă cele două imagini de corelat sunt preluate cu sisteme de
preluare diferite şi în condiţii diferite de iluminare şi orientare a senzorului faţă de formele
topografice ale terenului etc., dacă valorile saturaţiei, intensităţii şi nuanţei de gri pentru acelaşi
obiect sunt diferite, sau dacă cele două imagini prezintă variaţii de scară şi deformaţii
geometrice locale diferite.

23
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
Legat de aceste aspecte, identificarea cu precizie a punctelor corespondente nu se poate
realiza în următoarele cazuri:
 diferenţe mari de scară între imaginile de corelat şi deformaţii mari datorate
reliefului;
 zone umbrite în fotograme unde detaliile nu pot fi identificate;
 orientări total diferite ale suprafeţelor de reflectanţă pentru diferitele puncte de
preluare a fotogramelor, creând diferenţe mari a nivelurilor de gri în imagine;
 condiţii diferite de iluminare ce conduc la diferenţe mari a nivelurilor de gri.

5.2 Identificarea automată a punctelor corespondente în cazul terenurilor

plane
Corelaţia se poate efectua în domeniul spaţial sau în domeniul frecvenţei. În funcţie de
tipul imaginii, de conţinutul informaţional şi raportul semnal/zgomot al acesteia se poate alege
metoda de corelaţie adecvată. Pentru scările medii şi mici metodele pot fi diferite de cele
utilizate la scară mare.

5.2.1 Corelaţia plană în domeniul spaţial

Corelaţia plană în domeniul spaţial, este metoda cea mai utilizată deşi cere timp mai
mare de calcul decât corelaţia în domeniul frecvenţei.

(a) (b) (c)

Figura 5.1  Metoda corelaţiei plane: a-fereastra R (de referinţă) extrasă din imaginea din
stânga; b-fereastra S ( de căutare) extrasă din imaginea din drepta; c-suprafaţa de corelaţie
obţinută în urma corelaţiei plane a celor două ferestre

Pentru date bidimensionale se deosebesc următoarele posibilităţi de calcul pentru

coeficientul de corelaţie:
 Coeficientul de corelaţie normat:
n m

 g
i 1 j 1
S (i, j )  g R (i, j )
 ( a, b)  n m n m (5.1)
 g
i 1 j 1
2
S (i, j )   g (i, j )
i 1 j 1
2
R

în care:
 coeficientul de corelaţie;
a,b  poziţiile coeficientului  în cadrul matricii de corelaţie (valori întregi reprezentând
linia şi coloana), rezultată în urma procesului de corelaţie;
gS (i,j) valoarea de gri a pixelului aflat pe linia i, coloana j din fereastra de căutare S;
gR (i,j) valoarea de gri a pixelului aflat pe linia i, coloana j din fereastra de referinţă R;
n şi m  sunt dimensiunile ferestrei R;
k şi l  sunt dimensiunile ferestrei S (R se localizează în cadrul ferestrei S).

24
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
Acest coeficient de corelaţie nu conduce totdeauna la soluţia optimă, deoarece depinde
de conţinutul informaţional al imaginii, făcând dificilă identificarea maximelor de corelaţie.
Atunci când se execută normalizarea valorilor de gri pentru cele două ferestre imagine,
inconvenientele amintite mai sus sunt înlăturate, cele două ferestre se normalizează cu media
geometrică, aritmetică sau abaterea medie pătratică.

 coeficientul de corelaţie normalizat încrucişat, ţine seama de proprietăţile statistice ale

funcţiei imagine pe fiecare fereastră de corelat.

Acest coeficient este recomandat pentru calculul corelaţiei unidimensionale dar şi

pentru cazul bidimensional în procesul de registraţie şi este dat de relaţia:

cov( S , R ) (a, b)
 ( a , b)  (5.2)
var( S ) (a, b) var( R ) (a, b)

în care:
1 n m
cov( S , R ) (a, b)   ( gS (i, j)  gS )( g R (i, j)  g R )
n  m i 1 j 1
(5.3)

1 n m 1 n m
gS   gS (i, j) iar
n  m i 1 j 1
gR   g R (i, j )
n  m i 1 j 1
(5.4)

1 n m 1 n m
var( S ) (a, b)  
n  m i 1 j 1
( g S (i, j )  g S ) 2 ; var( R ) (a, b)  
n  m i 1 j 1
( g R (i, j )  g R ) 2 (5.5)

Ecuaţia (5.2) scrisă dezvoltat este de următoarea formă:

n m

 ( g
i 1 j 1
S (i, j )  g S )( g R (i, j )  g R )
 ( a, b)  (5.6)
n m n m

 ( g
i 1 j 1
S (i, j )  g S ) 2
 ( g
i 1 j 1
R (i, j )  g R ) 2

în care:
 coeficientul de corelaţie;
a,b  poziţiile coeficientului  în cadrul matricii de corelaţie (valori întregi reprezentând
linia şi coloana), rezultată în urma procesului de corelaţie;
gS (i,j) valoarea de gri a pixelului aflat pe linia i, coloana j din fereastra de căutare S;
gR (i,j) valoarea de gri a pixelului aflat pe linia i, coloana j din fereastra de referinţă R;
n şi m  sunt dimensiunile ferestrei R;
k şi l  sunt dimensiunile ferestrei S (R se localizează în cadrul ferestrei S);
g S  media valorilor de gri din fereastra de căutare S;
g R  media valorilor de gri din fereastra de referinţă R;

Coeficientul de corelaţie normalizat are valori cuprinse între -1 şi +1 (+1 reprezintă

corelaţie perfectă între două segmente imagine, iar -1, corespunde de asemenea corelaţiei
perfecte dar negative şi apare când se compară două segmente imagine identice extrase din
negativul şi respectiv, pozitivul fotografic al imaginii). Valorile coeficientului apropiate de zero
indică nepotrivirea imaginilor.
Datorită factorilor cum ar fi de exemplu zgomotul din imagine, corelaţia perfectă (+1)
este extrem de rară. De obicei, pragul de toleranţă pentru acest coeficient se alege în jur de 0.6-
0.7. Coeficientul de corelaţie se calculează pe baza relaţiei dintre covarianţa şi abaterea standard
a valorilor de gri din segmentele imagine ale celor două imagini care trebuie corelate. Acest

25
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
lucru semnifică faptul că coeficientul de corelaţie este independent de nivelul sau intervalul
valorilor de gri, astfel încât o modificare a contrastului imaginii nu are nici o influenţă asupra
acestuia. Un parametru important este reprezentat de dimensiunea segmentelor imagine pentru
care este calculat coeficientul de corelaţie. Fereastra de referinţă trebuie să aibă o dimensiune
optimă. Dimensiunea minimă a ferestrelor de căutare este de 8 pixeli, iar cea maximă de 32
pixeli. O dimensiune prea mare a acestor segmente poate conduce la erori în identificarea
punctelor corespondente [Iulia Dana, 2010].

Exemplu de calcul:

Din imaginea din stânga se alege un segment imagine denumit de referinţă, reprezentat
printr-o submatrice de 55 pixeli (figura 5.2 a). Se consideră imaginea de căutare (imagine din
dreapta) (figura 5.2 b) reprezentând imaginea unui punct de sprijin montat pe faţada unei clădiri,
folosit pentru realizarea orientării exterioare a fotogramei. Se stabileşte segmentul imagine
corespondent celui de referinţă în imaginea din dreapta printr-un proces de căutare într-un
segment imagine de căutare, reprezentat în figura 5.3. Deoarece poziţia exactă a submatricii de
referinţă în imaginea din dreapta nu este cunoscută iniţial, submatricea de căutare se alege de
dimensiuni mai mari decât cele ale submatricii de referinţă. Pentru acest exemplu, submatricea
de căutare are dimensiunea 1011 pixeli. Segment-imagine de cautare
Imagine de cautare
250
10

20
5 200
200
30

40

50 150
10 100
2 60

15
0
70 100

4 80

90
50 2 5 10 15 20
2 4 100
4
110
0
6
20 40 60 80 100 120 140
8
10
2 4 6 8 10

(a) (b) (c)

Figura 5.2  (a) Submatricea de referinţă, (b) Imaginea de căutare,
(c) Submatricea de căutare

Pentru a găsi poziţia în care coeficientul de corelaţie calculat pentru submatricea de

referinţă şi cea corespunzătoare din submatricea de căutare, este mai mare sau egal cu pragul de
0.7, aceasta se deplasează în cadrul submatricii de căutare, începând din poziţia (1,1), până la
poziţia (6,7) din submatricea de căutare. Astfel, numărul total de poziţii ale submatricii de
referinţă în cadrul submatricii de căutare şi implicit şi cel al coeficienţilor de corelaţie, este 42 şi
este dat de relaţia:
n  ((k  n)  1)  ((l  m)  1)
sau particularizat : (5.7)
n  ((10  5)  1)  ((11  5)  1))  42
Submatricea de referinţă reprezintă zona de intersecţia a diagonalelor reperului şi are
următoarele valori ale nivelului de gri pentru pixelii componenţi:
115 129 119 142 165 
89 97 107 120 95 

R  86 99 105 111 71 
 
116 141 153 148 120 
129 148 156 143 164 
26
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
Submatricea de căutare este de următoarea formă:

172 183 183 182 188 188 181 177 179 178 174 
 
126 154 174 181 181 179 178 183 180 158 132 
86 110 139 169 179 186 185 178 157 121 88 
 
73 82 101 135 159 179 172 145 115 89 73 
 71 76 85 99 127 150 140 110 85 75 74 
S 
78 75 74 91 120 145 141 111 83 73 74 
 
72 77 89 126 151 173 168 140 107 83 71 
77 101 132 169 178 185 184 175 154 121 94 
 
111 143 170 183 180 175 175 181 180 161 137 
154 173 181 182 184 180 174 176 182 182 176 

Primul coeficient de corelaţie corespunde poziţiei (1,1) pe care submatricea de referinţă

R o va avea în interiorul submatricii de căutare S.
Se extrage submatricea B cu dimensiunile 55 pixeli, din submatricea de căutare:
172 183 183 182 188 
126 154 174 181 181 

B  86 110 139 169 179 
 
73 82 101 135 159 
71 76 85 99 127 
Mediile valorilor nivelurilor de gri, pentru submatricile R şi B sunt:
B  136.6; R  122.7
Se calculează covarianţa pentru cele submatrici:
cov( B, R ) =-5831.8
Se calculează varianţa pentru cele două submatrici:
var( B ) =15975.04; var( R ) =43082.00.
Se calculează coeficientul de corelaţie corespunzător acestei poziţii:
cov( B , R ) (1,1) -5831.8
 (1,1)    0.22
var( B ) (1,1) var( R ) (1,1) 15975.04  43082.00
În acelaşi mod se calculează şi restul coeficienţilor de corelaţie din matricea ,
rezultând:

-0.22 -0.25 -0.30 -0.42 -0.44 -0.41 -0.37 

-0.07 -0.15 -0.19 -0.25 -0.29 -0.33 -0.34 
 
0.24 0.23 0.32 0.38 0.18 -0.07 -0.19 
 
0.52 0.58 0.72 0.82 0.55 0.24 0.11 
0.52 0.54 0.55 0.49 0.36 0.26 0.27 
 
0.42 0.37 0.25 0.04 -0.04 0.04 0.18 
Coeficientul maxim de corelaţie are valoarea 0.82 şi apare pe linia 4, coloana 4 în
cadrul matricii coeficienţilor de corelaţie. Această valoare a fost calculată pentru poziţia (4,4) în
cadrul submatricii de căutare, a elementului din stânga sus a submatricii de referinţă, aşa cum se
poate observa mai jos.
172 183 183 182 188 188 181 177 179 178 174 
126 154 174 181 181 179 178 183 180 158 132 

86 110 139 169 179 186 185 178 157 121 88 
 
73 82 101 135 159 179 172 145 115 89 73 
71 76 85 99 127 150 140 110 85 75 74 
S 
78 75 74 91 120 145 141 111 83 73 74 
 
72 77 89 126 151 173 168 140 107 83 71 
77 101 132 169 178 185 184 175 154 121 94 
 
111 143 170 183 180 175 175 181 180 161 137 
154 173 181 182 184 180 174 176 182 182 176 

27
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
5.2.2 Metoda detectării secvenţiale a similarităţii (Algoritmul SSDA)

Metoda detectării secvenţiale a similarităţii a fost stabilită de Barnea D. şi Silvermen H.,

în anul 1972.
Operând în domeniul spaţial, algoritmul determină secvenţial similaritatea (SSDA) între
cele două ferestre ale imaginilor de căutare S şi de referinţă R şi lucrează tot după principiul
metodei anterioare, determinându-se în acest mod o suprafaţă de similaritate.
Algoritmul este mai rapid decât metoda corelaţiei şi se bazează pe următorul principiu:
din cele două segmente imagine se selectează două ferestre imagine ca şi în cadrul metodei
determinării coeficientului de corelaţie. Se deplasează fereastra mai mică R în cadrul ferestrei
mai mari S, comparând fiecare element al ferestrei S(k,l) extrase din imaginea de căutare, cu
elementul corespunzător al ferestrei R(n,m) extrase din imaginea de referinţă.
Corespunzător fiecărei localizări a ferestrei R în cadrul ferestrei S, pentru n<k, iar m<l
în total ((k-n+1)(l-m+1))2 poziţii, se calculează diferenţa:

D(iS, j, R )  g S (i, j )  g R (i, j ) (5.8)

în care: i=1,…,k şi j=1,…,l.

Suma acestor diferenţe absolute este o măsură a similarităţii locale a celor două plane
imagine.
k l
r(iS, ,jR )   D(iS, j, R ) (5.9)
i 1 j 1

Cea mai bună corespondenţă a celor două ferestre va fi cea pentru care r(S,R) este minim
pentru un număr cât mai mare de elemente analizate. Pentru a economisi timp de calcul, în
determinarea acestei sume, s-a introdus un prag T care permite întreruperea însumării atunci
când suma depăşeşte acest prag, deşi suma nu a fost calculată pentru toate elementele celor două
ferestre, trecându-se la deplasarea ferestrei R în cadrul ferestrei S, reţinându-se în acest fel pentru
matricea de similaritate, numai localizările ferestrelor care au o anumită semnificaţie.
Ferestrele S şi R se aleg în mod ordonat după o acoperire în sens X şi Y impusă/sau se
deplasează în mod aleator la început pentru a depista eventualele zone de maximă similaritate,
iar apoi revenindu-se în aceste zone cu ferestre de dimensiuni mai mici, pentru calculul
similarităţii.
Poziţiile pentru care sumele sunt cele mai mici, dar obţinute pentru un număr cât mai
mare de elemente analizate, se reţin prin coordonatele centrului zonelor respective, constituind
puncte de sprijin pentru calculul parametrilor transformării imaginii de transformat în sistemul
imaginii de referinţă.
Pot fi utilizate mai multe funcţii în locul relaţiei (5.9) dintre care se amintesc:
 suma pătratelor diferenţelor:
k l
r(iS, ,jR )   ( D(iS, j, R ) )2 (5.10)
i 1 j 1

 suma diferenţelor absolute:

k l
r(iS, ,jR )    g S (i, j )  g S    g R (i, j )  g R  (5.11)
i 1 j 1

 suma pătratelor diferenţelor absolute:

k l 2

r(iS, ,jR )     g S (i, j )  g S    g R (i, j )  g R   (5.12)

i 1 j 1
 

28
Fotogrammetrie 2 Curs 5 – Identificarea punctelor corespondente
 suma pătratelor diferenţelor normalizate cu valoarea medie:
2
k  l
g 
r    g S (i, j )  S g R (i, j ) 
i, j
( S ,R) (5.13)
i 1 j 1  gR 
 suma diferenţelor absolute normalizate cu valoarea medie:
k l
gS
r(iS, ,jR )   g S (i, j )  g R (i, j ) (5.14)
i 1 j 1 gR

Implementarea algoritmului SSDA se realizează după următoarele etape:

a) alegerea ferestrelor (dimensiunilor acestor ferestre) şi extragerea lor din segmentele imagine
respective;
b) calculul valorilor medii;
c) calculul diferenţei absolute şi însumarea ei;
d) compararea sumei cu pragul T (o valoare constantă prestabilită) care poate fi exprimată
funcţie de raportul semnal/zgomot din imagine;
e)continuarea calculelor sau trecerea la alegerea altei ferestre R.
Dificultatea implementării acestui algoritm constă în alegerea pragului T constant.
Dacă pragul T este prea mic, numărul perechilor de elemente ce trebuie examinate este
prea mic, iar matricea coeficienţilor de similaritate este nesigură. Dacă T este mare, timpul de
calcul creşte o dată cu examinarea unui număr mare de elemente imagine. Alegerea pragului T se
face experimental, însă acest lucru este îngreunat de schimbările ce au loc în planul imaginii
putând fi examinate vizual.
Funcţia de calcul a valorii de prag trebuie să satisfacă următoarele criterii:
- să minimizeze probabilitatea ca un punct ce nu poate fi considerat punct de sprijin să nu
depăşească valoarea de prag;
-să maximizeze probabilitatea ca punctele de sprijin să nu depăşească valoarea de prag;
-numărul total de operaţii pentru determinarea punctelor de sprijin să fie minim.
Primele două condiţii constituie o funcţie de decizie statistică min-max, iar cea de a
treia condiţie poate fi tratată ca un test secvenţial de optimizare a numărului de operaţii.

29