Prelucrarea limbajului natural

in tehnologii asistive

CURS: PROF. INGE GAVAT(INGE.GAVAT@UPB.RO)

APLICATII: S.L. ANDREEA GRIPARIS (ANDREEA.
GRIPARIS@UPB.RO)
 Despre curs - 1

 Cursul, structurat in doua parti, urmareste in prima parte etapele de

prelucrare a limbajului natural in vederea realizarii sistemelor de
recunoastere si de sinteza a vorbirii si continua in partea a doua cu
aplicarea acestor sisteme in tehnologiile asistive.
 Limbajul natural, avand vorbirea ca forma orala, sonora si textul ca forma
scrisa este cel mai uzual mijloc de comunicare umana constituind astfel un
bun suport pentru tehnologiile asistive. Aparitia in ultimii ani a bine
cunoscutilor asistenti personali, Alexa, Cortana, Siri, Djingo, dar si a
multora mai putin cunoscuti, a marit interesul pentru aplicatii bazate pe
vorbire. Acesti asistenti recunosc (transforma vorbirea in text) si
sintetizeaza (transforma textul in vorbire) vorbirea asigurand conditii de
comunicare verbala eficienta atat pentru amatorii de tehnologii noi, cat si
pentru persoanele in varsta sau cu dizabilitati. La solicitari vocale acesti
asistenti pot efectua si diferite servicii, ca de exemplu manevrarea
aparaturii din casa, alegerea unui site pe internet sau citirea buletinului
meteo, fapt care le-a crescut mult atractivitatea si implicarea in viata
cotidiana.
 Despre curs -2

.
 Partea a doua a cursului este consacrata aplicarii cunostintelor
acumulate in realizarea de tehnologii asistive: sisteme pentru
eliminarea defectelor de pronuntie in limba nativa (logopedie) sau
in limbile straine; sisteme de protezare auditiva severa prin implant
cochlear, sau mai putin severa cu aparate auditive; scriere dupa
dictare, pentru persoane care vad dar nu aud, pentru protocoale
medicale, sau lucrari de secretariat ; verbalizarea informatiilor
scrise din e-mailuri sau alte documente pentru cei care nu pot citi
sau pentru mediul de afaceri; sisteme asistive de manevrare vocala a
aparaturii casnice pentru locuitori care se pot deplasa cu greutate
sau pentru cei ce isi doresc o casa inteligenta.
 In laborator se vor realiza sisteme de recunoastere si sinteza a
vorbirii, iar pentru grupe de 2-3 studenti se va realiza soft o
aplicatie asistiva inspirata de un articol stiintific dintr-o revista de
specialitate
 Cateva definitii

 Limbaj - un sistem structurat de comunicare

 Limbaj natural – sistemul de comunicare al fiintelor vii, in
speta al omului. Comunicarea se poate realiza oral prin vorbire,
in scris prin text, sau gestual prin semne.
 Prelucrarea limbajului natural (NLP, Natural Language
Processing) inseamna manipularea acestuia in scopul realizarii
unor aplicatii in cele mai variate domenii practice prin
interactiunea dintre om si masina (calculatoare)
 Tehnologie asistiva înseamnă orice produs, instrument,
echipament sau sistem tehnic folosit de o persoană, cel mai ades cu
probleme, produseîn mod special sau general disponibile pentru
prevenirea, compensarea, limitarea sau neutralizarea deficienţei,
dizabilităţii sau handicapului.
 Despre disciplina

 Disciplina se preda in semestrul 1 al anului 1 al masterului

de Electronica si Informatica Medicala (EIM)
 Număr de ore pe săptămână: 2C+1L
 Total ore din planul de învăţământ 28C+14L
 Total ore studiu individual pe semestru: 30
 Total ore afectate disciplinei: 72
 Numarul de credite: 3
 Regimul disciplinei: obligatoriu
 Notarea: 40% final oral, 30% laborator, teste, miniproiecte
30% curs, teste legate de materia predata; bonus de 10%
pentru prezentarea unui articol de specialitate
 Continut curs

 Prezentarea cursului si a cerintelor: 2 ore.

 Comunicarea verbala, tipuri de semnale vocale elementare
(foneme): 2 ore.
 Metode de analiza si compresie a semnalului vocal,
parametrii globali, spectrali, cepstrali, de predictie liniara,
variante perceptive: 4 ore.
 Recunoasterea si intelegerea vorbirii, cu metode de invatare
statistice, fuzzy,conectioniste si hibride; metode de invatare
profunda (Deep Learning); sinteza, vocodere: 4 ore.
 Defecte de vorbire: modificari de viteza, de pauze intre
cuvinte, de pronuntie, de ton, de continut spectral; metode
si programe de reabilitare fonetica si de logopedie: 6 ore
 Defecte auditive si metode de remediere: aparate auditive si
implant cochlear: 4 ore
 Alte tehnici asistive: 2 ore
 Continut laborator

 Fisiere audio: scriere si citire, segmentare,

transcriere fonetica, dictionare fonetice; 2 ore
 Compresia semnalului vocal, parametri spectrali,
cepstrali, de predictie liniara , variante perceptive; 4
ore
 Implementarea unui sistem de recunoastere vocala
(speech to text) ; 2 ore
 Implementarea unui sistem de sinteza vocala; 2 ore
 Recunoasterea unui defect de pronuntie pentru care
exista baza de date (rotacism ); 2 ore
 Colocviu de laborator; 2 ore
 Bibliografie

 Pentru curs:
1. Gavat,I. Popescu,A.A. ”Sisteme de diagnoza si recuperare
fonoauditiva” , Printech 2015, Bucuresti
2. Dumitru, C.O. “Sisteme de recunoastere a vorbirii”,
Printech 2006, Bucuresti
3. Huang, X., Acero, A., Hon, H.W., “Spoken Language
Processing – A Guide to Theory, Algorithm and System
Development”, 2011, Prentice Hall
 Pentru laborator
1. Foile de platforma de pe site-ul disciplinei
2. Bazele de date de pe site
Multumim pentru atentie
Intrebari

????????????????????????
????????????????????????
????????????????????????
?????????????????????????