Modelarea și simularea algoritmului K-means Clustering în

Python și Matlab utilizând Raspberry PI 4

Silvia-Stefania CIUREA
Universitatea Politehnica din București
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
Program de Masterat Ingineria Informației și a Sistemelor de Calcul
Tehnici Avansate de Programare în Modelare și Simulare

Rezumat – Algoritmul Mean-Shift Mean Shift reprezintă un instrument

reprezintă un algoritm de clustering
nesupraveghet utilizat în domeniul
procesării imaginilor și în viziunii
computerizata. Acesta este o procedura de
analiza a spațiului caracteristic în care se
dorește localizarea maximelor unei funcții
de densitate oferind date discrete
eșantionate din acea funcție. În acest
proiect, se vă realiza examinarea din punct
de vedere al performantei implementărilor
acestui algoritm în Matlab si în Python,
utilizând diferite librarii specific, dorind să
se analizeze timpul necesare pentru rulare
pe o platforma Rasberry PI 4, pentru fiecare
soluție implementata.
Cuvinte Cheie – K-means, cluster
analysis, Matlab, Python, Raspberry PI
I. Introducere
Algoritmul Mean Shift a fost prezentate
inițial că o metoda de analiza cluster în anul
1975 de către Fukunaga și Hostetler,
ajungând să fie utilizat pe scara larga în
multe aplicații, în principal în probleme de
viziune computerizata [1].
independent de aplicație în analiza datelor
reale, în care nu este necesara specificare în
avans a numărului de clustere, deorece
numărul de clustere este definit de algoritm
în raport cu datele experimentale.
Diferite variante ale acestui algoritm
pot fi găsite în pachetele ce realizează
procesarea de imagini sau învățarea
automata. Dintre acestea putem enumera
implementarea Scikit-learn în care Numpy/
Python folosește arborele cu bile pentru
căutarea eficienta a punctelor învecinate sau
ImageJ prin care se realizează filtrarea
imaginilor folosind filtru de deplasare de
medie [2].
II. Definirea algoritmului
Pentru a putea realiza implementarea
propriu-zisa, este nevoie să se precizeze
mecanismul matematic al acestui algoritm.
Vom consideram un set finit de date
S incorporat în spațiul Euclidian n-
dimensional X și a defini nucleu K, vor
defini norma de x că fiind:
 2
‖x‖ =xT , x ≥0
Astfel, putem spune că o funcție K : X → R
este un nucleu dacă există un profil,
k : [ 0 , ∞ ) → R astfel încât
2 fiecare punct de date către cel mai apropiat
K ( x )=k (‖ x‖ )
Unde k este non-negativ, nu este în creștere
k ( a ) ≥ k ( b ) , daca a< bsi este continuu pe
bucati [3].
Pentru acest algoritm vom defini un nucleu
plat, K, care reprezintă funcția caracteristica
pentru λ-interatii ale lui X, având
următoarea expresie:
K ( x )= 1 ,‖x‖≤ λ
{
0 ,||x||> λ
Iar media ponderata a densității pentru
eșantionului x ∈ X determinata de K este
∑ K ( s− x ) s
m ( x ) = s ∈s
∑ K ( s−x )
sϵs
Diferență dintre m(x)-x a fost
definita că media deplasata, iar mișcarea
repetata a punctelor de date către mijloacele
de eșantionare se numese algoritmul mean-
shift. În cazul fiecare iterație a algoritmului,
se vă realiza simultat s→m(s) pentru toți
s∈S. Pentru a putea estima funcția densității,
se vor netezi datele prin convoluirea
acestora cu un nucleu fix de lățime h,
2
‖ x−x i‖
f ( x )=∑ K ( x −xi ) =∑ k
i i
( h2
Unde xi sunt probele de intrare și k(x) este
funcția kernel, iar parametru h se numește
lățime de banda. După ce a fost calculate
f(x) cu ajutorul ecuației prezentare, se pot
găsi maximele sale locale folosind
ascensiunea în gradient sau prin alta tehnica
de optimizare [4].
Deci, plecând de la un set de puncte
de date, acest algoritm vă atribui iterativ
centru de cluster, iar direcția către cel mai
apropiat centru de cluster vă fi determinata
de locul în care se vor afla majoritatea
punctelor din apropiere. Fiecare iterație a
fiecărui punct de date se vă apropia de locul
în care se afla cele mai multe puncte, care
este sau care vă duce la centru clusterului.
Atunci când algoritmul se vă opri, fiecare
punct de date vă fi atribuit unui cluster [2].
Acest algoritm poate fi utilizat
deoarece deplasarea medie este destul de
buna la grupare, datorita faptului că nu este
nevoie să se specifice numărul de clustere K,
singura intrare a algoritmului fiind latimaea
de banda, h. Deoarece mean shift
efectureaza o mulțime de pasi, poate fi
considerat și costisitor în ceea ce privește
calculul, având o complexitate temporala de
O(n^2 ), unde n este numărul de date. De
asemenea, este importanta selecția lățimii de
banda, deoarece în cazul în care se alege
prea mica, poate să nu se ajungă niciodată la
convergenta pentru că vor lipsi suficiente
puncte de date, iar daca se vă alege prea
mare, poate fi omise complet câteva clustere
) [5].
III. Limbajele de programare
utilizate
Python – Python este un limbaj de
programare interpretat, de nivel înalt, care a
fost inventat la sfârșitul anilor 1980, dar a
fost lansat pentru prima data că succesor al
limbajului de programare ABC, în 1991 de
către Guido van Rossum [6].
Datorita structurilor sale de date incorporate
la nivel înalt, combinate cu tastarea
dinamica și legătură dinamica, Python este
util în dezvoltarea rapida a aplicațiilor, dar
poate fi considerat și că limbaj de scriptare
pentru a conecta componentele existente
împreună. Acest limbaj accepta mai multe
paradigme de programare, precum
programarea structurata, orietanta pe obiect
și cea funcțională.
Acesta este utilizat de către organizații
majore precum Google, Pinterest, DropBox,
Nasa pentru programarea aplicațiilor web,
dar este prezent și în aplicații științifice [7].
Matlab – Matlab este de asemenea
un limbaj de programare mulți-paradigma,
dar și un mediu de calcul numeric dezvoltat
de MathWorks. Acesta permite manipularea
matricelor, graficarea funcțiilor și a datelor,
dar poate fi utilizat și pentru implementarea
de algoritmi, sau pentru crearea de interfețe
pentru utilizator, dar și interfețe cu programe
scrise în alte limbaje de programare, precum
C, C++, Java, Python [8].
Acest limbaj a fost dezvoltat de către Cleve
Molder la sfârșitul anilor 1970. De atunci,
Matlab a continuat să evolueze pentru a
satisface nevoile în schimbare ale inginerilor
și oamenilor de știință, ajungând să fie
utilizat în multe domenii precum cel medical
sau automative [9].
IV. Descrierea platformei
hardware utilizata
Pentru experimentul descrie în aceasta
lucrare se vă utiliza platforma hardware
Rasberry PI 4. Aceasta fiind cea mai recenta
platfoma dezvoltate de Rasberry PI, având o
putere de procesare superioară față de
modelele anterioare, prezentând și o
mulțime de noi caracteristici. Iar
caracteristicile de interes pentru realizarea
acestor teste au fost memoria și sistemul de
operare, dar și informațiile referitoare la
procesor [10].
 Sistem de operare: Raspbian
 Memorie RAM: 2 GB LPDDR4-2400
SDRAM
 Procesor: Broadcom BCM2711, quad-
core Cortex-A72 (ARM v8) pe 64 de biți
SoC @ 1.5GHz
Oferă o creștere a vitezei procesorului, a
performanței multimedia, a memoriei și a
conectivității, comparativ cu generația
anterioară Raspberry Pi 3 Model B +,
păstrând în același timp compatibilitatea și
consumul similar de energie [10].
V. Implementarea si rezultatele
experimentale
Prima implementare a acestui algoritm
a fost realizata cu limbajul de programare
Python. Am dorit să urmăresc experiemental
implementare atât prin utilizarea bibliotecii
prezente în Python, scikit-learn, dar și
realizarea unei implementări directe, fară puncte, implementarea algoritmului fară a
biblioteci [11], pentru a putea realiza o utiliza biblioteci specifice rulează într-un
examinare mai amănunțită a perfomatelor de timp destul de scurt, nu foarte mare fata de
implementare si simulare ale algoritmului timpul de rulare în cazul utilizării bibliotecii
Mean Shift. scikit-learn. Însă, atunci când avem un set de
date cu N = 30 000 de puncte, timpul de
Scikit-learn este cea mai utiliza
rulare este destul de mare ajungând până la
biblioteca din Python care ajuta la învățarea
aproximativ 31s, dar acest lucru se poate
automata. Aceasta conține o mulțime de
datora faptului că în implementarea directa
instrumente eficiente pentru mașini de
au fost utilizate bucle. Pentru a avea o
învățare și de modelare statistica, inclusiv
implementare de înalta în Python trebuie să
clasificare, regresie, dar și în clustering, ceea
evita utilizarea buclelor pentru că acestea
este folosit în aceasta lucrare.
încetinesc parcurgerea codului scris.
Pentru a putea face o comparație a
timpului de rulare se vor considera un set de
date cu N = 300, respectiv N = 30 000 de
puncte, iar în tabelul de mai jos se vă trece
timpul mediu dintre mai multe rulări
succesive.
N = 300 N = 30 000
Python 1.076s 30.154s
Python 0.423s 1.226s
(scikit-learn)
Tabel 1 Timpul de rulare pentru implementarile Figura 1. Rezultatul după rularea
algoritmului in Python algoritmului în Python utilizând scikit-learn (N
= 30 000)

Putem observa că cel mai mic timp

Figura 1. Rezultatul după rularea
algoritmului în Python utilizând scikit-learn (N
= 300)
Făcând o analiza asupra rezultatelor, putem
oberva că pentru un set cu N = 300 de
de rulare îl avem pentru codul realizat în
Python utilizând biblioteca scikit-learn,
chiar și pentru un set mare de puncte. Acest
timp scăzut de rulare se datorează faptului
că biblioteca scikit-learn profita de faptul că
fiecre proces al algoritmului poate fi calculat
independent.
În următoarea parte, se vă realiza o
comparație a implementării algoritmului în
Matlab [12], pentru ambele valori ale setului
de date, ținând cont de cele doua tipuri de
implementări prezentate mai sus.
În tabelul 2 sunt prezentate
rezultatele timpului de execuție pentru
fiecare metoda.
N = 300 N = 30 000
Python 1.076s 30.154s
Python 0.423s 1.226s
(scikit-learn)
Matlab 8.85s 63.086s
Tabel 2 Timpul de rulare pentru
fiecare implementare
Figura 1. Rezultatul după rularea
algoritmului în Matlab (N = 30 000)
În urma rezultatelor obținute, putem
vedea un timp foarte mare de rulare în cazul
implementării algoritmului în Matlab, chiar
și pentru un set de date N = 100 puncte.
Acestul lucru a fost obținut datorita faptului
că în aceasta implementare nu s-au folosit
metode predefinit din Matlab ce țin de
clustering, ci s-a creat un algoritm direct
utilizând atât blucle while, cât și for care la
fiecare iterație vor încetini parcurgera
codului. O abordare mai buna ar fi fost
utilizarea diferitelor modalități puse la
dispoziție de către Matlab, deoarece acesta
accepta numeroși algoritmi de analiza a
algorimilor de tip cluster.
VI. Concluzii
În acest articol s-a dorit implementarea
unui algoritmul mean-shift clustering în
doua limbaje de programare diferite, Matlab
și Python, pentru a putea face o comparație a
timpului de execuție pentru fiecare caz.
După cum s-a mai menționat, în aceasta
lucrare nu s-a urmărit complexitatea
algoritmului, ci s-a pus accentul pe a găsi
cea mai optima metoda de implementare a
acestui algoritm. Iar pentru a avea o imagine
clara asupra timpului de exectie, s-au
considerat doua seturi de date, pentru a
vedea și cum lucrează la un număr extrem
de mare de puncte acel limbaj.
După interpretarea rezultatelor, am
putut vedea că cele mai bune rezultate le-am
obținut pentru implementare în Python
utilizând bibilioteca scikit-learn, deoarece
aceasta este o biblioteca open source care
conține o mulțime de instrumente eficiente
pentru mașini de învățare și modelare
clustering.
Pe de alta parte, Matlab este limbajul ce
a avut performanta cea mai scăzută pentru
ambele seturi de date, deoarece codul ce a
fost implementat nu a avut cea mai eficienta
scriere, utilizandu-se bucle, în defavoarea
utilizării unor biblioteci sau metode
predefinite în Matlab.
Astfel putem concluziona că dintre cele
trei metode de implementare realizate, cea
mai optima că timp de execuție a fost cea
creata în Python utilizând biblioteca scikit-
learn.
Bibliografie
[1] – Miquel A. Carreira-Perpinan, „A
review of mean-shift algorithms for
clustering” Electrical Engineering and
Computer Science, University of California,
Merced, March 2, 2015
[2] – https://iq.opengenus.org/mean-shift-
clustering-algorithm/ - accesat la data de
07/01/2021
[3] – Yizong Cheng, „Mean Shift, Mode
Seeking and Clustering”, IEEE transactions
on pattern analysis and machine intelligence,
vol. 17, no. 8, August 1995
[4] – Dorin Comaniciu si Peter Meer, „Mean
Shift analysis and applications”, Department
of Electrical and Computer Engineering
Rutgers University, Piscataway, USA
[5] – https://towardsdatascience.com/the-5-
clustering-algorithms-data-scientists-need-
to-know-a36d136ef68 - accesat la data de
07/01/2021
[6] –
https://www.python.org/doc/essays/blurb/#:
~:text=Python%20is%20an%20interpreted
%2C%20object,programming%20language
%20with%20dynamic
%20semantics.&text=Python's%20simple
%2C%20easy%20to%20learn,program
%20modularity%20and%20code%20reuse. -
accesat la data de 07/01/2021
[7] –
https://www.computerscience.org/resources/
computer-programming-languages/#python
- accesat la data de 07/01/2021
[8] –
https://cimss.ssec.wisc.edu/wxwise/class/aos
340/spr00/whatismatlab.htm#:~:text=The
%20name%20MATLAB%20stands
%20for,in%20software%20for%20matrix
%20computation. - accesat la data de
07/01/2021
[9]– https://enlyft.com/tech/products/matlab-
accesat la data de 08/01/2021
[10] – https://cleste.ro/raspberry-pi-4-model-
b-2gb.html - accesat la data de 08/01/2021
[11] –
https://pythonprogramming.net/mean-shift-
from-scratch-python-machine-learning-
tutorial/ - accesat la data de 08/01/2021
[12] – Dimitris Varsamis, Christos
Talagkizis, „ A implementation of Mean
Shift in MATLAB”, World Academy of
Science, Engineering and Technology
International Journal of Computer and
Information Engineering, vol:11, no:10,
2017