Natural language generation through deep learning

Autor: Musat Bogdan-Adrian

Coordonator: Conf. dr. Lucian-Mircea Sasu

Universitatea Transilvania din Brasov, Facultatea de Matematica si Informatica

27 Aprilie 2017

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 1 / 15

Descrierea problemei

Asistent conversational (Chatbot) open topic

Model generativ de predictie
Genereaza raspunsuri n mod dinamic
Poate retine contextul discutiei
Subiect activ de cercetare
Abordare a testului Turing

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 2 / 15

Retrieval vs generative

Retrieval:

Folosesc o sursa de date cu raspunsuri predefinite de unde si aleg un

raspuns folosind o metoda de pattern matching
Aceste sisteme nu produc text nou
Nu retin contextul discutiei
Produc propozitii corecte gramatical

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 3 / 15

Retrieval vs generative

Generative:

Nu se bazeaza pe raspunsuri predefinite

Pot retine contextul discutiei
Pot produce erori gramaticale
Subiect activ de cercetare

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 4 / 15

Retele neurale

(a) Exemplu de retea neurala

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 5 / 15

Retele neurale recurente

(b) Exemplu de retea neurala recurenta

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 6 / 15

Sequence to sequence

(c) Arhitectura sequence to sequence1

1
Ilya Sutskever et al. Sequence to Sequence Learning with Neural Networks. 2014.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 7 / 15
Hierarchical recurrent encoder decoder

(d) Arhitectura hierarchical recurrent encoder decoder2

2
Iulian V. Serban et al. Building End-To-End Dialogue Systems Using Generative
Hierarchical Neural Network Models. 2016.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 8 / 15
Word2vec

(e) Dispunerea cuvintelor n spatiul 2D folosind

Word2vec
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 9 / 15
Beam search

(f) Cautare folosind beam search

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 10 / 15

Antrenare

Antrenare folosind date din subtitrari de filme3

Keras framework cu backend de Tensorflow
Antrenare exclusiva pe GPU (Nvidia Geforce GTX 1080Ti) folosind
CUDA
Hardware-ul folosit pentru antrenare a fost achizitionat cu ajutorul
Universitatii Transilvania din Brasov, care a finantat acest proiect

3
R. E. Banchs. Movie-DiC: A movie dialogue corpus for research and development.
2012.
Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 11 / 15
Aplicabilitate

Suport tehnic
Entertainment
Viitorul sistemelor AI ce utilizeaza procesare de limbaj natural

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 12 / 15

 Demo...

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 13 / 15

Posibile dezvoltari

Reinforcement learning
Model de atentie
Antrenare pe date mai calitative

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 14 / 15

 Va multumesc pentru atentie!

Musat Bogdan-Adrian (UNITBV) Chatbot 27 Aprilie 2017 15 / 15