Platforme Informatice pentru Productie si Servicii

Data-mining process

1
 Data-mining process
I. INTRODUCERE
Data-mining, adică extragerea de
cunoștințe din date este un proces de analiză a
unei mulțimi mari de date si extragerea
informațiilor relevante din acestea prin diferite
metode, în vederea descoperirii de pattern-uri
folositoare.
Sarcina reală de extragere a datelor este
analiza automată a unor cantități mari de date
pentru a extrage tipare necunoscute anterior.
Aceste tipare pot fi văzute ca un rezulat al datelor
de intrare și pot fi utilizate mai apoi în analize
suplimentare. De exemplu, etapa de extragere a
datelor poate identifica mai multe grupuri din
date care pot fi utilizate pentru a obține rezultate
mai exacte de către un sistem de asistență
decizională.
Diferența dintre analiza datelor și
extragerea datelor este că, analiza datelor este
utilizată pentru testarea modelelor din cantitatea
de date (exemplu: analiza eficienței unei
campanii de marketing, indiferent de cantitatea
de date), iar extragerea datelor folosește învățarea
automată și modele statistice pentru a descoperi
anumite tipare într-un volum mai mare de date.
Ce înțelegem prin data mining ?
Exemplificare
La ora actuală se colectează un volum
foarte mare de date de diferite tipuri și provenind
din diferite surse, de exemplu: tranzacții
comerciale (hipermarket-uri), tranzacții
financiare (bancomate), interacțiuni sociale
(rețele sociale), date medicale, documente
electronice, etc. Toate aceste date încorporează o
mulțime de conoștințe care ar trebui extrase în
diferite scopuri:
- pentru a genera recomandări (ex: în
activitatea de marketing, pentru a sugera
produse clienților)
- detectarea comportamentului anormal
(acces fraudulos la un bancomat)
2
- asistarea deciziei medicale (recomandarea
unui tratament privind un anumit
diagnostic).
Pentru extragerea acestor informații utile,
se parcurge următorul proces:
● Colectare: există date din diferite surse
(senzori, documente scrise, servere web)
● Curățire: eliminarea datelor eronate și
tratarea valorilor absemte
● Procesare: transformarea datelor într-un
format standardizat
● Analiza: identificarea tiparelor, a
asocierilor sau a relațiilor existente în date
● Extragere cunoștințe: formularea unor
reguli concise și aplicabile (care ar putea fi
folosite de către utilizatori)
Acest proces este numit descoperirea
cunoștințelor, iar termenul data mining se referă
doar la o etapă a acestui proces.
Exemplu: se consideră o bază de date ce
conține date despre clienții unei bănci.
- căutarea clienților ce locuiesc într-un
anumit oraș nu este o prelucrare pentru
data-mining
- determinarea numărului de clienți care au
în cont o anumită sumă, nu este o
prelucrare pentru data-mining
Aceste probeme se rezolvă prin interogări
simple ale bazei de date.
Însă, pe de altă parte:
- identificarea clienților cărora li se poate
acorda un împrumut
 - identificarea operațiilor anormale într-un
cont
Aceste probleme necesită expertiză
umană și instrumente de data mining.
Astfel, data mining încearcă identificarea
de pattern-uri și relații ascunse, care nu sunt
întotdeauna evidente.
II. DOMENII ÎNRUDITE
Procesul de data-mining are trei domenii
generice de la care a împrumutat atât tehnici de
lucru, cât și terminologie, însă cu toate acestea
există o diferență între aceste domenii și data
mining. Aceste domenii sunt:
● Statistica reprezintă cea mai longevivă
rădăcină, fără de care data-mining nu ar exista.
Unele tehnici din data-mining se bazează pe
statistică (exemplu: Analiza exploratorie a
datelor, utilizată pentru a identifica relații
sistematice între variabile atunci când nu există
informații suficiente despre acestea). Statistica
oferă suport teoretic pentru studiul evenimentelor
și metode pentru testarea ipotezelor, însă nu
studiază preprocesarea datelor sau vizualizarea
rezultatelor, ce fac parte din data mining.
● Inteliența artificială este un domeniu ce
ajută la dezvoltarea data mining prin tehnici de
procesare a informației bazate pe modelul
raționamentului uman. Învățarea automată
(machine learning) reprezintă o arie importantă a
inteligenței artificiale în raport cu data-mining,
astfel se realizează extragerea de modele din date
printr-un proces de învățare. Însă, inteligența
artificială se bazează pe îmbunătățirea
performanței agenților de învățare, iar data
mining se concentrează pe întregul proces de
descoperire de cunoștințe, de la organizarea
datelor, eliminarea celor incomplete, învățare și
cunoaștere până la vizualizarea rezultatelor.
● Sisteme de baze de date reprezintă o a treia
rădăcină a data-mining, procurând materialul care
trebuie utilizat, cele mai multe date sunt stocate
în baze de date.
III. CLASIFICAREA TEHNICILOR DE
DATA MINING
3
În contextul de azi, mediul de afaceri
produce mari volume de date care sunt utilizate
în operațiuni curente. În procesul de analiză,
informația care paote fi extrasă din bazele de date
poate fi exploatată pentru construirea unor
modele sau pentru identificarea unor relații între
înregistrările din baza de date. Tehnicile de date
mining permit extragerea informațiilor și
realizarea de previziuni pornind de la date
istorice.
Tehnicile de data mining au fost grupate în
categorii, în funcție de tipul de probleme pe care
le pot modela:
Clasificarea și regresia reprezintă cea mai
largă categorie de aplicații, constând în
construirea de modele în scopul previzionării
apartenenței la un set de clase (clasificare) sau a
unor valori (regresie). Există câteva tehnici
dedicate rezolvării problemelor de clasificare și
regresie, dintre care arborii decizionali, tehnica
Bayes, rețelele neuronale, k-NN.
Tehnicile de învăţare supervizate au drept
scop să genereze mecanisme de inducţie
automată cu mare putere predictivă prin
extragerea informaţiilor conţinute în baza de date
şi transformarea lor într-o baza de cunoştinţe.
Există două mari clase de algoritmi de inducţie :
Algoritmi de clasificare - când variabila în
legatură cu care se realizează predicţia este de tip
calitativ (nominală sau ordinală) sau este
cantitativă cu valori discrete.
Algoritmi de regresie - când variabila în
legătura cu care se realizează predicţia este
cantitativă continuă (ia valori reale).
Clasificarea reprezintă procesul prin care se
caută proprietăţi comune în seturi de obiecte din
clase de date şi se clasifică în clase diferite în
conformitate cu un model de clasificare.
Clasificarea permite crearea modelelor pentru
prezicerea membrilor unei clase. Scopul
clasificării este în primul rând analiza datelor
antrenate şi dezvoltarea pe baza acestor date a
unui model, o descriere exactă pentru fiecare
clasă folosind trăsăturile disponibile ale datelor.
Clasificatorul poate fi folosit pentru a prezice
valorile variabilelor de ieşire folosind valorile de
intrare de îndată ce tiparul a fost învăţat prin
intermediul datelor de antrenament. În aplicaţii
data mining în business clasificarea este întâlnită
des. De exemplu, clasificarea se întâlneşte în
detectarea fraudei, unde clasificarea încearcă să
identifice dacă tranzacţia este legală. Alte
exemple de utilizare a metodei de clasificare sunt
definirea profilului cumpărătorului, analiza
tratamentelor ineficiente, diagnosticarea
medicală, aprobări de credite.
Analiza asocierilor și succesiunilor
(denumită și analiza coșului de cumpărături) este
o tehnică ce generează modele descriptive ce
evidențiază reguli de corelație între atributele
unui set de date.
Analiza de tip cluster (gruparea) este o
tehnică descriptivă utilizată pentru gruparea
entităților similare dintr-o bază de date, formând
astfel grupuri de obiecte comune în datele de
intrare. Tehnicile de grupare în clustere se
bazează pe algoritmi din sfera rețelelor
neuronale, algoritmi demografici, k-NN.
Clusterele sunt adesea folosite pentru
schimbarea și detectarea deviației în cadrul
cărora scopul este identificarea obiectelor care nu
se încadrează în grup. Obiectele din același grup
trebuie să aibă profile similare, iar obiectele din
grupuri diferite trebuie să aibă profile distincte.
Schimbarea și detectarea deviației se aplică într-o
multitudine de domenii, precum este detectarea
tranzacțiilor frauduloase (frauda de telefoane sau
a cardurilor bancare), detectarea tratamentelor
medicamentoase nepotrivite înainte de a fi prea
târziu.
În e-business clustering este folositoare
deoarece poate lucra cu colecţii mari de date şi
foloseste la realizarea diferitelor grupe pe baza
caractericilor comune ale obiectelor. Poate fi
folosită şi inaintea aplicării metodei de
clasificare. De exemplu, dacă folosim metoda
clustering pentru o listă de profile ale
utilizatorilor, un cadru (schelet) al diferitelor
tipuri de clienţi poate fi construit. Această
metodă de clustering are aplicaţii diverse în:
marketing, suport clienţi şi determinarea
fraudelor (daca comportamentul unui utilizator
de telefon celular sare imediat de la un cluster la
altul, aceasta poate indica un jaf de telefon sau o
clonare ).
Etapele procesului de clustering:
● Stabilirea elementelor supuse procesului
de grupare este o etapă principală, care uneori
include și stabilirea numărului de gupe, tipul
4
caracteristicilor disponibile algoritmului de
clustering.
● Selectarea caracteristicilor reprezintă
procesul de identificare a celor mai utile
caracteristici utilizate în procesul de grupare.
Este o modalitate de a efectua una sau mai multe
transformări ale datelor de intrare.
● Definirea unei măsuri de proximitate în
cadrul unei mulțimi. Proximitatea elementelor
este măsurată printr-o funcţie de distanţă definită
pe perechi de elemente. Măsurile de asemanare
pot fi folosite şi pentru a caracteriza similitudinea
conceptuală dintre doua sau mai multe elemente.
● Procesul de clustering poate fi realizat în
mai multe feluri. Datele de ieşire pot fi „hard”
(separarea elementelor în grupe clar determinate)
sau fuzzy (în care fiecare element are un grad
variabil de apartenenţă la fiecare din grupele
rezultate)
● Extragerea rezultatelor reprezintă procesul
de obţinere a rezultatelor într-o formă cât mai
simplă şi reprezentativă. Extragerea rezultatelor
reprezintă o descriere concisă a fiecarei grupe
obţinute, de obicei prezentate sub formă unor
elemente reprezentative. Toţi algoritmii de
clusterizare ar trebui să conducă la obţinerea unor
grupe/clase pentru orice mulţime de date de
intrare. Dacă în urma procesului de clustering
folosind un anumit algoritm nu se obţine
gruparea elementelor, atunci se aplicţ un alt
algoritm care poate furniza rezultate mai bune
decat cel anterior.
● Analiza validitătii grupelor efectuează o
evaluare a rezultatelor procesului de clustering,
de obicei un criteriu de optimizare. Se verifică
dacă rezultatele grupării spaţiale sunt corecte.
Așa cum am amintit și în acest capitol, în
domeniul data mining se utilizează și alte tehnici
avansate, atât în clasificare, cât și în alte domenii
de exploatate automată a datelor, metode pe care
le vom discuta mai jos:
- Clasificatori bayesieni (Tehnica Bayes)
- k-Nearest Neighbor (k-NN)
- rețele neuronale (Neural networks)
- arbori decizionali
TEHNICA BAYES
După cum am menționat și în capitolul
anterior, această tehnică face parte din metodele
folosite în rezolvarea problemelor de clasificare
și își datorează numele ministrului britanic
Thomas Bayes (1702-1761).
Tehnica permite analiza relației dintre
fiecare variabilă independentă și variabila
dependentă, prin calcularea unei probabilități
condiționate pentru fiecare din aceste relații.
Când o noua instanță se dorește a fi clasificată,
predicția se realizează prin combinarea efectelor
variabilelor independente asupra variabilei
dependente. Pentru instanțele care aparțin setului
de date utilizat, la calcularea probabilităților
predicția este 100% corectă, însă pentru
instanțele din afara setului, eficiența algoritmului
este putenic afectată de prezența unor
probabilități condiționate egale sau foarte
aproape de zero.
Avantajele tehnicii
Tinând seama de faptul că pentru calculul
probabilităților nu este nevoie decât de o singură
parcurgere a setului de date, algoritmul prezintă
avantajul important al unei viteze mari de
construire a modelului de clasificare.
Ca avantaj semnificativ, algoritmul
prezintă capacitatea de a realiza predicții din
informații parțiale. Pentru realizarea unei
predicții, algoritmul nu are obligatoriu nevoie de
toate atributele independente, cele identificate a
fi irelevante pot fi eliminate din algoritm.
TEHNICA k-NN
Tehnica k-Nearest Neighbor este, de
asemenea, utilizată în probleme de clasificare.
Principiul tehnicii constă în: o instanță nouă este
clasificată prin analiza proximității sale (gradul
de similitudine) cu alte instanțe dintr-un set de
date cunoscut.
Fie un set de date compus din instanțe
care au următoarea structură:
- n atribute numerice independente {Xi,
i=1,n};
- m atribute booleene sau categorice
independente {Aj, j=1,m};
- un atribut-obiectiv Y, reprezentând
variabila dependentă a cărui valoare va
trebui estimată pentru noile instanțe.
Pentru a previziona valoarea
atributuluiobiectiv al unei instante noi,
algoritmul cauta în setul de date k înregistrari
“apropiate” de acea instanta, pentru care se
5
cunosc valorile lui Y. Predictia este data de
media valorilor lui Y aferente “vecinilor”
identificati în setul de date.
Avantajele tehnicii
Tehnica permite clasificarea în multiple
clase și modelarea relațiilor neliniare dintre date.
Chiar dacă de multe ori pot apărea dificultăți în
stabilirea unei metrici eficiente, algoritmul este
unul dintre puținele care acceptă ca input date de
natură diferită (contină, categorică, booleană
etc.).
REȚELE NEURONALE
În cardul acestei tehnici, ce are la bază
concepte din domeniul inteligenței artificiale,
neuronul artificial reprezintă unitatea de bază
pentru prelucrarea informaței. Rețeaua neuronală
artificială reprezintă un ansamblu de neuroni
artificiali, legați prin conexiuni. Aceste rețele
sunt sisteme dinamice, al căror comportament
poate fi caracterizat prin urmărirea stărilor la
momente diferite de timp. Starea unei retele la un
moment dat este definita de ansamblul nivelurilor
de activare a neuronilor si de intensitatile
conexiunilor dintre neuroni. De asemenea,
rețeaua mai este definită și de parametrii ficși:
configuratia conexiunilor si tipul functiilor de
activare.
Avantajele tehnicii
Această tehnică poate realiza predicții
rapide pentru instanțe noi, deci poate trimite un
răspuns în timp real.
De asemenea, aplicatiile de pâna acum au
demonstrat aplicabilitatea acestei tehnici în
domenii dificil de modelat, precum vederea
electronica sau recunoastere vocala. Spre
deosebire de celelalte tehnici de data mining,
retelele neuronale nu restrictioneaza output-ul la
un singur atribut. Folosind o arhitectura de retea
potrivita se pot obtine predictii simultane pentru
mai multe variabile, ceea ce poate însemna o
eficientizare semnificativa a proceselor de
explorare a datelor.
ARBORI DECIZIONALI
După cum îi spune și denumirea,
rezultatul se prezintă sub forma unui graf de tip
arbore. Output-ul major al unui model bazat pe
arbori decizionali este arborele în sine. Procesul Tabelul 1 – Analiza comparativă a tehnicilor de
de instruire care creeaza arborele este numit data mining
inductie. Inductia presupune, ca si în cazul 1 - Tehnica Bayes
retelelor neuronale, parcurgerea de câteva ori a 2 - k-NN
setului de date de instruire, cu deosebirea ca în 3 - Rețele neuronale
cazul arborilor, timpul de instruire si implicit 4 - Arbori decizionali
numarul de baleieri ale setului de date este mult
mai mic decât la retelele neuronale. Mai precis, Criterul de comparație 1 2 3 4
numarul de parcurgeri ale setului de instruire este Rapiditate în etapa de instruire + - - +
egal cu numarul de niveluri în arbore. Rapiditate în aplicarea modelului + + + +
Avantajele tehnicii Instruire eficientă pe seturi largi de + - - +
Majoritatea algoritmilor care construiesc date
arbori decizionali pot fi aplicati fara restrictii Operare eficientă pe seturi de date cu - - - +
legate de tipul datelor. Algoritmii de construire a nr. mare de atribute
arborilor decizionali necesita un numar redus de Capacitate de generare a unor output- - - + -
parcurgeri a setului de date utilizat în inductie. uri complexe (mai multe atribute
Consecinta directa a acestei caracteristici simultan)
functionale este rapiditatea procesului de inductie Capacitate de generare a unor output- - - - +
si aplicarea eficienta asupra seturilor mari de uri de natură vizuală
date. Forma outputului permite nu numai Output cu potențial descriptiv + - - +
realizarea de previziuni si clasificari, ci si Utilizare în probleme de predicție - + + -
descrierea relatiilor existente între variabilele Utilizare în probleme de clasificare + + + +
independente si variabila dependenta. În plus, Nu comportă restricții legate de tipul - + - +
forma grafica a outputului faciliteaza analiza datelor de input
relatiilor. Exista aplicatii care permit Soluția (modelul) nu depinde de + + - +
reprezentarea arborelui sub forma unui set de experiența utilizatorului
reguli care, pentru arbori de dimensiuni mari,
Transparența modelului față de + - - +
este mai usor de înteles.
utilizator
IV. CONCLUZII
V. BIBLIOGRAFIE
În concluzie, data mining este folosit
pentru a lua un volum mare de date și a le
transorma în cunoștințe folositoare. Data mining 1. Introducere in data mining -
se referă la procesele de selectare a unor relații http://math.ucv.ro/~gorunescu/courses/D
necunoscute anterior cu scopul obținerii unui M/curs1.pdf
rezultat curat și folositor. 2. https://staff.fmi.uvt.ro/~daniela.zaharie/d
Așa cum am prezentat și mai sus, unele m2018/ro/Curs/curs1/dm2018_curs1.pdf
tehnici de data mining sunt mai eficiente decât 3. Tehnici data mining, Valentin
altele, existând situații în care pentru rezolvarea MILITARU-
unei probleme se poate folisi o unica opțiune (de http://revistaie.ase.ro/content/27/militaru.
exemplu, arborii decizionali sunt singura pdf
alternativă pentru analiza seturilor de date cu 4. http://www.utgjiu.ro/revista/ec/pdf/2011-
număr mare de variabile, rețelele neuronale 03/21_CLAUDIA_ELENA_DINUCA.pd
reprezintă unica soluție pentru probleme în care f
output-ul are o formă vectorială). 5. https://ro.wikipedia.org/wiki/Minarea_dat
Astfel, în tabelul de mai jos este descrisă elor_(Data_mining)#cite_note-10
o analiză comparativă între tehnicile descrise
anterior.