UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI

FACULTATEA DE INGINERIE MEDICALĂ

PROIECT - COMUNICATII SI RETELE DE DATE MEDICALE

Detectia anomaliilor la nivelul coloanei vertebrale

Studenti: Prof. coordonator: VULPE

Razvan-Alexandru
BIVOLARU Georgiana-Andreea
SARBULET Mihai-Valentin

Grupa:
1445A
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Introducere

Coloana vertebrală este o parte importantă a sistemului musculo-scheletic, susținând și susținând

corpul și organe din structura acestuia, jucând în același timp un rol major în mobilitatea organismului.
De asemenea, protejează maduva spinarii de accidentari și șocuri mecanice datorate impacturilor.
Intelegerea biomecanicii coloanei vertebrale umane implică imagistica cantitativă, modelarea vertebrelor,
analiza alinierii coloanei vertebrale și modele biomecanice complexe. Modificările biomecanice pot
provoca dureri severe și handicap pe termen scurt, dar pot produce consecințe mai grave pe termen lung,
de ex. osteoporoză duce la o rată de mortalitate de 8 ori mai mare.
Majoritatea simptomelor bolilor vertebrale provoaca dureri in zona gatului, dureri de umăr,
cefalee, vertij și dureri lombosacrale, etc. Unele complicații pot duce la dureri la nivelul membrelor
inferioare, din aceasta cauza oamenii nu sunt capabili să stea în poziție verticală. Cazurile serioase pot
duce la paralizie, ceea ce dăunează calității vieții pacienților.
În ciuda criticității lor, patologiile coloanei vertebrale sunt diagnosticate în mod popular, insa nu
tocmai corect, de aceea este nevoie de asistenta computerizata pentru o detectare eficienta și timpurie a
unor astfel de patologii, permițând prevenirea sau administrarea unui tratament eficient.

Imagistica medicala
Transpunerea in imagini a unor componente din corpul uman joaca un rol important in procesul de
ingrijire a sanatatii, insa cel mai mult conteaza faptul ca ele ne comunica informatii medicale detaliate.
Principalele topicuri in imagistica medicala sunt reprezentate de: achizitia imaginilor, reprezentarea
continutului unei imagini, procesarea imaginilor, si nu in ultimul rand, interpretarea imaginilor.
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Cele enumerate mai sus sunt cheia pentru a extrage informatii particulare despre structura corpului si
pentru a evidentia caracteristici care ulterior vor fi utile pentru caracterizarea anomaliilor.
În general, există două strategii diferite în imagistica corpului: (1) delimitarea structurilor anatomice
(imagistica anatomica/structurala) și (2) determinarea compoziției sau funcției țesutului (imagistică
functionala).
Scopul imaginii anatomice este de a descrie cu exactitate structura corpului - dimensiunea și forma
organelor. Deoarece scopul în imagistica anatomică este de a descrie și înțelege structura entităților
anatomice cu precizie, rezoluția spațială ridicată este foarte importantă in reprezentarea imaginilor. Multe
tehnici imagistice nu numai că arată structura corpului, dar și funcția, care poate fi dedusă prin observarea
schimbărilor de structură în timp. De exemplu, ultrasunete și angiografia este utilizată pe scară largă
pentru a arăta funcționarea inimii prin reprezentarea mișcării peretelui cu ultrasunete Doppler.

Echipamente utilizate in imagistica

Exista multe abordari diferite care au fost dezvoltate pentru a obtine imagini din interiorul
organismului, studiile realizate in acest scop reflectă faptul că nu există o modalitate de imagistică
perfectă; nicio tehnică de imagistică unică nu satisface toate dezideratele pentru descrierea unei largi
varietăți de tipuri de patologii, dintre care unele sunt mai bine văzute pe unele modalități decât pe altele.
Diferența principala dintre modalitățile de imagistică este sursa de energie utilizată pentru a genera
imaginile.
X-Rays
Razele X au fost descoperite pentru prima dată în 1895 de Wilhelm Conrad Roentgen; descoperirea a
provocat entuziasm la nivel mondial, în special în domeniul medicinii, astfel, s-au pus bazele pentru o
noua ramură a medicinei dedicată imagisticii structurii și funcției corpului. Radiografia este principala
modalitate utilizată în secțiile de radiologie de astăzi, atât pentru a înregistra o imagine statică, precum și
pentru a produce o vedere în timp real a pacientului (fluoroscopie).
Imagistica cu raze X este o tehnică de proiecție; un fascicul de raze X - o formă de radiație ionizantă -
este proiectat dintr-o sursă de raze X prin corpul pacientului pe un detector cu raze X. Deoarece un
fascicul de raze X este absorbit diferențial de diferitele țesuturi ale corpului în funcție de grosimea și
numărul atomic al țesuturilor, razele X produc grade diferite de luminozitate și întuneric pe imaginea
radiografică. Cantitățile diferite de luminozitate și întuneric de pe imagine sunt denumite „contrast de
imagine”. Contrastul diferențial între structurile de pe imagine este baza pentru recunoașterea structurilor
anatomice. Deoarece imaginea din radiografie este o proiecție, radiografiile arată o suprapunere a tuturor
structurilor traversate de fasciculul de raze X.

Computer Tomograf
Tomografia computerizată (CT), de asemenea, utilizeaza raze X pentru a produce imagini în secțiune
transversală și volumetrică a corpului. Similar cu radiografia, razele X sunt proiectate prin detectoare;
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

fasciculul și
detectoarele se rotesc în jurul pacientului, făcând numeroase vederi la diferite unghiuri de rotație.

RMN
Baza formării imaginii în RMN se bazează pe relaxarea protonilor (denumită acțiune de relaxare T1 și
T2); diferențele în T1 și T2 sunt inerente proprietățile țesutului și acestea variază între țesuturi. Astfel,
RMN oferă informații funcționale detaliate despre țesuturi). În același timp, fluxul de unde de
radiofrecvență utilizate pentru a produce imaginile este ridicat, iar RMN are astfel o rezoluție spațială
ridicată.

CAPITOLUL I. Stadiul actual

I.1 Retele neuronale convolutionale

Retelele neuronale convolutionale folosesc o operație matematică numită convoluție . Rețelele
convoluționale au fost inspirate din procesele biologice de la nivelul creierului uman, asemanandu-se
foarte mult cu o retea de neuroni. Așadar,o rețea neuronală convoluțională este formată din straturi în care
fiecare neuron dintr-un singur strat prelucrează și transmite către neuronul din stratul următor. Straturile
sunt împărțite în strat de intrare, straturi ascunse și un strat de ieșire.
Rețelele neuronale convoluționale sunt un tip de rețele neuronale artificiale profunde utilizate pe
scară largă în domeniul prelucrarii imaginilor medicale si nu numai. Au fost aplicate la multe sarcini,
inclusiv la clasificarea imaginilor si segmentarea semantică.
Progresele recente în segmentarea semantică au permis aplicarea lor la segmentarea imaginii
medicale. CNN-urile folosesc bidimensional kernels, insa, au aparut publicații recente bazate pe CNN
care se ocupa de segmentarea imaginilor medicale cu nuclee tridimensionale, permițând accesul complet
la structura tridimensională a imaginilor medicale.
Metodele de succes de segmentare a imaginii medicale bazate pe CNN se bazează adesea pe aceste
descoperiri recente în segmentarea semantică. Cele mai frecvente două abordări sunt instruirea unui CNN
pe patch-uri extrase de la imagini și făcând inferență prin parcurgerea CNN-ului prin toți pixelii rețelei, și
instruirea unui FCN(„“fully convolutional network”) pe imagini sau secțiuni mari de imagini.
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Cum functioneaza un CNN?

Clasificatoare tipice rețelelor neuronale profunde (precum AlexNet, VGGNet sau GoogLeNet) citesc
o imagine și returneaza un set de probabilități cu privire la întreaga imagine. Acest lucru se face prin
furnizarea imaginii brute ca intrare în primul strat al rețelei și efectuarea unei „treceri înainte”: lăsând
secvențial fiecare strat să își calculeze funcția respectivă pe ieșirea stratului care l-a precedat.
Un exemplu pentru o problemă de clasificare este recunoașterea cifrelor scrise de mână, în cazul în
care o rețea neuronală primește imaginea unei singure cifre scrise de mână și trebuie să decidă care dintre
cele zece cifre este descrisă pe imagine. Sarcinile de segmentare, pe de altă parte, necesită o clasificare la
fiecare pixel al intrarii. Acest obiectiv poate fi îndeplinit prin aplicarea unui clasificator la patch-urile de
intrare într-o fereastră glisantă. În această schemă, fiecare pixel este clasificat prin extragerea unui patch
în jurul său și clasificarea acestuia de către rețea. Pixeli multipli pot fi clasificați simultan prin procesarea
mai multor patch-uri suprapuse ca un lot.
Daca pixeli vecini dintr-o imagine sunt similari în vecinătatea lor, această abordare suferă de calcul
redundant. O limitare a acestei metode constă în faptul că procesul de învățare este limitat la
caracteristicile care sunt vizibile în fiecare patch și rețeaua are mai puține șanse să învețe caracteristici
globale, cu cât este mai mică dimensiunea patch-ului.

Iterative fully convolutional neural networks for automatic vertebra

segmentation and identification, Nikolas Lessmanna , Bram van Ginnekenb ,
Pim A. de Jongc,d, Ivana Išguma, 2019
Segmentarea și identificarea vertebrelor este adesea o condiție prealabilă pentru analiza
automată a coloanei vertebrale, cum ar fi detectarea fracturilor vertebrale (Yao și colab., 2012) si
evaluarea deformarilor coloanei vertebrale (Forsberg și colab., 2013).
În acea lucrare, se propune o un algoritm iterativ, instanta cu instanță pentru a segmenta
vertebrele pe baza unei rețele neuronale complet convoluțională(fully-connected). Această rețea
este capabila sa identifice vertebrele anatomice si sa realizeze segmentarea. Metoda propusa: se
aplica o abordare bazata pe patch-uri(bucati) de segmentare vertebra cu vertebra in care imaginea
initiala va fi analizata in forma de o multime de patch-uri suficient de de mari pentru a incadra
cel putin o vertebra. Reteaua segmenteaza o singura vertebra(o incadreaza intr-un patch) iar dupa
aceea, cauta in apropiere, intre vecini, urmatoarea vertebra care se va include in patch-ul
repozitionat. Componenta centrala a algoritmului este reprezentata de reteaua de segmentare in
patch-uri binare a voxelilor(pixel cu volum 3D). Reteaua va fi antrenata sa gaseasca o vertebra
segmentata, dupa care o va segmenta pe cea din apropiere inca neidentificata. Odată ce o
vertebră este complet detectata, memoria de instanță este actualizată, ceea ce declanșează rețeaua
în următoarea iterație să ignore această vertebră și să se concentreze pe următoarea vertebră.
Functionarea algoritmului este ilustrata in Fig.1.
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Fig.1

Vertebra Segmentation for Clinic CT Image using Mask R-CNN - Renjie

Wang, Jennifer Hui Yi Voon, Da Ma, Setareh Dabiri, Karteek Popuri and Mirza
Faisal Beg, 2020

Metoda propusa consta in 3 etape ilustrate in Fig.2. Ca prima etapa: preprocesarea, punctul in care se
obtine o imagine mai clara avertebrelor si convertirea fotografiei intr-o imagine proiectata de maxima
intensitate (MPI). Coloana vertebrala in imaginea proiectata MIP este idntificata si evidentiata manual.
Pasii urmatori: antrenarea algoritmului si validarea, reteaua neuronala „Mask R-CNN” antreneaza
algoritmul sa identifice si sa localizeze coloana vertebrala din imaginea MIP. In final, cu ajutorul „Mask
R-CNN” obtinem masti ale imaginilor, unde observam fiecare vertebra intr-o caseta de delimitare.
Preprocesarea. Toate imaginile sunt redimensionate la 1x1x1(mm); intensitatea din afara osului,
intensitatea corespunzatoare altor tesuturi este setata la 0. Canalul vertebral este cautat desenand cercuri
pe imagini (raza fiind informatie anatomica cunoscuta).
Mask R-CNN. Aceasta retea genereaza patch-uri si masti pentru orice obiect identificat in imagine
folosind Pyramid Network si ResNet. Astfel se genereaza caseta de delimitare pentru detectia vertebrei si
clasificatorul de masca binar care genereaza o masca pentru fiecare vertebra
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

BAZA DE DATE

 200 imagini obtinute prin RMN

 200 masti pentru fiecare imagine
UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

- Cazul 1(imag 1)

-Cazul 2(imag 2)
UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

-mask1(cazul 1)

-mask(cazul 2)
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

PRINCIPIUL METODEI

 Codul va fi implementat in Python.

 Baza de date contine un set de 200 masti, cate una pentru fiecare imagine. Ne vom folosi de
aceste masti pentru a identifica vertebrele. Imaginile si mastile sunt de tip grayscale, fiecare
vertebra din masca avand un nivel diferit de gri.

X, Y=pozitia pixelului
[28]= intensitatea nivelului de gri
( 0=negru
255=alb )
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Fig. Nivelele unice de gri regasite in imaginea masca

Sectionarea coloanei si calculul histogramelor de probabilitati

 Dupa identificarea vertebrelor, am obtinut cate o figura pentru fiecare vertebra, fundalul fiind de
culoare neagra, iar vertebra – nivelul de gri corespunzator. Fiecare figura cu cate o vertebra a fost
inmultita cu imaginea originala de RMN pt a obtine toate valorile de gri posibile din sectiunea de
vertebra respectiva. Cu ajutorul acestor figuri, am calculat histogramele de probabilitate pentru
fiecare vertebra in parte din imaginea initiala.

Fig. Vertebrele 1 si 6
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

Fig. Lista cu histogramele de probabilitati pentru fiecare vertebra in parte

CONTINUARE
 In continuare, voi analiza histogramele obtinute cu o baza de date ce contine imagini RMN ale
coloanei, imagini despre care se cunoaste ce afectiune prezinta. Aceasta baza de date apartine
unui medic specialist.
 Identificarea imaginilor se va realiza cu ajutorul unor clasificatori, precum KNN(K-nearest
neighbors algorithm).

CONCLUZII

 In concluzie, acest proiect doreste obtinerea unui algoritm capabil sa identifice diferite afectiuni
la nivelul coloanei vertebrale.
 Prin acest proiect, se doreste obtinerea unui diagnostic mai rapid si mai precis pentru persoanele
care sufera de diferite afectiuni ale coloanei. In acest mod, se usureaza munca medicilor, se
micsoareaza timpul de diagnoza si se ofera un diagnostic mai precis.
 In viitor, aceasta metoda se poate extinde, astfel incat sa se poate realiza digitalizarea tuturor
diagnozelor obtinute in urma examinarilor imaginilor RMN.
 UNIVERSITATEA POLITEHNICĂ DIN BUCUREȘTI
FACULTATEA DE INGINERIE MEDICALĂ

BIBLIOGRAFIE

1. „A Vertebrae Labelling and Segmentation Benchmark for Multi-detector CT Images” - Anjany

Sekuboyina, Malek E. Husseini, Amirhossein Bayat, March, 22, 2021
2. “Iterative fully convolutional neural networks for automatic vertebra segmentation and
identification” - Nikolas Lessmanna , Bram van Ginnekenb , Pim A. de Jong, Ivana Išguma, 11
Feb 2019
3. “Biomedical Imaging Informatics” - Daniel L. Rubin , Hayit Greenspan , and James F. Brinkley
4. “CNN-based Segmentation of Medical Imaging Data” - Barıs¸ Kayalıbay Grady Jensen, Patrick
van der Smagt, 27 Jul 2017