Modelarea dialogului

om – calculator
 Dialog,
structura generală
 Dialog,
structura generală
 Exemplu de dialog
- Nu va suparati, pot sa va intreb cat este
ora? 
- De suparat nu ma supar,
dar nu am de unde sa stiu
daca POTI sa intrebi cat este ora
sau daca POTI altceva,
ca nu te cunosc.
 Dialog,
structura generală

• S: Hello and welcome to Limsi’s Ritel service. Do you want the help
message?
• U: err no thanks I’d like the capital of France please
• S: The capital of France is Paris.
 Dialog,
structura generală
Clasificarea exprimărilor în dialog
DAMSL: Dialog Act Markup in Several Layers
Niveluri de marcare:
• Communicative Status – se verifică dacă a fost pronunțată o frază
completă.
• Information Level – caracterizează conținutul semantic al enunțului
(sensul).
• the Forward Looking Function – cum enunțul curent afectează
acțiunile ce urmează în dialog.
• the Backward Looking Function - cum enunțul curent este legat
cu cele precedente în dialog.

https://www.cs.rochester.edu/research/speech/damsl/RevisedManual/
 Clasificarea exprimărilor în dialog
Forward Looking Functions
• Statement Azi e 7 martie, marți.
• Influencing-addressee-future- Sunt două avioane pe zi la Paris
action Vorbiți mai clar
• Info-request La ce oră doriți să plecați?
• Committing-speaker-future-
Puteți să plecați cu Turkish
action
Airlines
• Conventional Opening
Cu ce vă pot ajuta?
Closing
• Explicit-performative La revedere.

• Exclamation Fraze de politețe (Mulțumesc)

DAMSL: Dialog Act Markup in Several Layers
https://www.cs.rochester.edu/research/speech/damsl/RevisedManual/
 Clasificarea exprimărilor în dialog
Backward Looking
Functions
• Agreement OK
• Understanding Aşa, doriți un bilet la Paris
• Answer Nu puteți zbura vineri.
• Antecedents Răspuns la un enunț distanțat:
- Vreau sa plec la Paris.
- Doriți să zburați?
- Da.
- Direct din Chișinău?
- Da.
- Puteți pleca miercuri la ora 7.
DAMSL: Dialog Act Markup in Several Layers
https://www.cs.rochester.edu/research/speech/damsl/RevisedManual/
Exemplu sistemul emulează profesorul
în procesul studierii limbajului Java

Classifying Student Dialogue Acts with Multimodal Learning Analytics

 Exemplu de dialog
cu tipuri de enunțuri indicate
• Student modifies code.
• Student receives a compile error.
• One-hand-to-face gesture
recognized.
• Student: which do i put first?
[Question]
• Tutor: try it. [Statement]
• Change in head depth detected.
• Student receives a compile error.
• Tutor: what you had was close.
[Statement]
• Tutor: go back to that [Statement]
• Student modfiies code.
• Student compiles code successfully.
• Student: is the order wrong?
[Question]
• Tutor: no, the literal is just
[Statement]
• Tutor: Player's name is [Statement]
• Student modifies code.
• Tutor: dont put your name [Hint]
• Student runs the code successfully.
• Tutor: that is excellent. [Positive
Feedback]
• Tutor: i could tell a lot of learning
was going on
[Statement]
• Change in mid-depth detected.
• Student: it's very interesting to me
[Statement]
• Tutor: good. you are good at it.
[Statement]
• Tutor: try things. make mistakes.
learn. [Statement]
• Tutor: one more screen.
[Statement]
Clasificarea enunțurilor studenților

1443 enunțuri dintr-un corpus de dialoguri cu profesorii în procesul

studierii limbajului Java înregistrate și prelucrate
 Sistemul emulează profesorul
în procesul studierii limbajului Java.
Urmărește poza studentului.

Classifying Student Dialogue Acts with Multimodal Learning Analytics

Clasificarea automată a tipului enunțului studentului.

Classifying Student Dialogue Acts with Multimodal Learning Analytics

 Clasificarea exprimărilor în dialog

Switchboard database of telephone conversations; 205000 enunțuri

Clasificarea exprimărilor în dialog

Switchboard database of telephone conversations; 205000 enunțuri

Legăturile între enunțuri în dialog

DA – Dialogue Act

Switchboard database of telephone conversations; 205000 enunțuri

 Legăturile între enunțuri în dialog
Analiza dialogurilor în Wikipedia

Exemplu (Agreement)

A: There is no official language of the United States. The correct answer to the
question "What is the official language of the United States?" is "none".
B : I agree with A.

Towards Representation of the Discourse Structure Leading to Consensus

 Urmărirea stărilor în dialog
Dialoguri cu turiști despre restaurante

The Dialog State Tracking Challenge. SigDial2013

 Urmărirea stărilor în dialog

The Dialog State Tracking Challenge. SigDial2013

 Urmărirea stărilor în dialog

The Dialog State Tracking Challenge. SigDial2013

 Urmărirea stărilor în dialog

The Dialog State Tracking Challenge. SigDial2013

 Urmărirea stărilor în dialog
Exemple de codificare a întrebării în Json și răspunsuri corespunzătoare

The Dialog State Tracking Challenge. SigDial2013

 Sistem de dialog bazat pe reguli
Ca regulă, este un dialog cu un scop concret, astfel, enunțurile sistemului și a
utilizatorului sunt predefinite.

Gramatica formării dialogului:

• information_dialogue =
beginning
main_part
ending
• beginning =
INTRODUCTION
GREETING
• ending =
THANKING
GOODBYE
• main_part =
(ordering_information
(ordering_information giving_information)*
giving_information)+
Sistem de dialog bazat pe reguli
exemplu:
Sistem de dialog bazat pe reguli
exemple de enunțuri:
 Sistem de dialog bazat pe statistică
are nevoie de DATA:

Este nevoie de multe (>500k) dialoguri

înregistrate
De exemplu, ~1 million tech support
dialogues (Ubuntu IRC channel)
Sau Movie Dialog Dataset, 1 million Reddit
dialogues

Serban, Lowe, Charlin, Pineau. “A Survey of Available Corpora for Building

Data-Driven Dialogue Systems.”
Sistem de dialog bazat pe statistică
are nevoie de DATA:
exemplu
 Sistem de dialog bazat pe statistică
estimează care enunț ete mai probabil în
contextul dat

Most models trained to predict most likely next utterance

given context

But some utterances are likely given any context!

Neural models often generate “I don’t know”,

or “I’m not sure” to most contexts

Problema!
Alice
Siri
Conversational agent
companion