MA SM 04 Constructia Chestionarului

METODOLOGIA
ANCHETEI
Mircea Coma
CURS 4
NTREBRI I RSPUNSURI N ANCHETE
CONSTRUCIA CHESTIONARULUI
Metodologia anchetei - Mircea Coma
Temele discutate
Procese cognitive asociate rspunsului la ntrebri (cognitive

processes in answering questions).
Probleme asociate rspunsului la ntrebri (problems in

answering questions).
Reguli pentru scrierea unor ntrebri bune (guidelines for writing

good questions).
Construirea scalelor.
Sptmna viitoare.
Aspecte generale
Formularea ntrebrilor unui chestionar, evaluarea lor i

realizarea efectiv a chestionarului sunt activiti strns legate
ntre ele (le vom discuta ns separat).
Chestionarul poate fi completat n diferite moduri:
Operatorul pune ntrebrile i completeaz rspunsurile
Subiectul citete ntrebrile i completeaz rspunsurile
n plus, poate fi implicat sau nu tehnologia (PC).
Metod alternativ de culegere a datelor: analiza documentelor
Se analizeaz documentele existente (records).
Uneori, respondenii sunt rugai s pstreze tot felul de documente

necesare pentru obinerea unui rspuns.
Procese cognitive
Care este procesul mental care are loc atunci cnd un

respondent ncearc s rspund la o ntrebare de chestionar?
Comprehension
of the question
Retrieval of
information
Judgment and
estimation
Reporting an
answer
Optimize respondenii ncearc s neleag i s rspund

ct mai corect (conform cu realitatea) la ntrebri.
nelegerea i interpretarea ntrebrii (comprehension).
Reactualizarea informaiei necesare pentru a rspunde (retrieval).
Estimarea i analiza informaiei (estimation and judgment) combinarea

sau sintetizarea informaiilor.
Raportarea rspunsului (reporting) formularea rspunsului i

traducerea lui n formatul solicitat.
Procese cognitive
Comprehension
Atenia cordat ntrebri i instruciunilor primite.
Atribuirea unui sens ntrebrii.
Inferene relativ la informaia urmrit de ntrebare.
Exemplu:
Tem utilizarea ilicit a unor tranchilizante / calmante.
Cuvinte care trebuie nelese n acelai fel ce nseamn tranchilizant?
Solicit ca rspunsul s fie oferit ntr-o anumit form nr. zile (1-365).
V rog s v gndii la ultimele 12 luni. Dorim s aflm n cte zile din

ultimele 12 luni ai folosit orice fel de tranchilizant / calmant care nu a fost
prescris pentru dvs. sau pe care l-ai folosit doar pentru experiena sau
starea pe care o produce.
Formate alternative de rspuns: nr. mediu de zile pe sptmn, nr. mediu

de zile pe lun, nr. de zile din ultimele 12 luni.
Rspunsurile posibile oferite fac parte din ntrebare, ajut la interpretarea

ntrebrii i la producerea unui rspuns.
Procese cognitive
Retrieval
Reactualizare informaiei relevante pentru a rspunde la ntrebare din

memoria de lung durat.
Nu e clar cum este organizat memoria autobiografic, dar exist

informaii relativ la procesul de reactualizare / reamintire:
Rezumat al ntrebrii.
Idei, informaii pariale asociate - sunt utilizate apoi pentru a da un rspuns
sau a duce la alte informaii care s ajute la producerea rspunsului.
Poate fi influenat de:
Gradul n care informaiile dorite sunt diferite fa de alte informaii.

Timpul scurs de la respectiva aciune / lungimea perioadei de referin (time
frame).
Numrul i bogia informaiilor (cues) care iniiaz procesul de reamintire.
Procese cognitive
Estimation and judgment
Procesul de combinare sau suplimentare a informaiilor reamintite.
n general, nu toi respondenii i reamintesc informaiile n aceeai

form. E important s existe variante alternative de formate de rspuns,
pornind de la formatele n care oamenii pot oferi un rspuns.
Strategii alternative:
Reamintirea valorii rspunsului.
Construirea unei valori pentru rspuns pornind de la anumite informaii.
Estimare pe baza unui raport.
Ghicire.
Adoptarea unui strategii depinde de:
Numrul de situaii n cauz.
Perioada de referin.
Uurina cu care poate fi memorat i reamintit infromaia relativ la situaia

n cauz.
Regularitatea situaiilor n cauz.
Procese cognitive
Reporting
Procesul de selectare i comunicare a rspunsului.
Include i potrivirea rspunsului cu variantele primite sau

Modificarea rspunsului pentru a fo consistent cu rspunsurile anterioare,
acceptabilitatea perceput sau alte criterii.
Forme: ntrebri nchise vs. deschise.
Variantele de rspunsuri oferite spre alegere pot influena rspunsurile

oferite:
Concentrarea variantelor ntr-o zon (negativ sau pozitiv, frecvene mici

sau mari)
Ordinea variantelor de rspuns (prima vs. ultima).
Modul de prezentare a variantelor (auditiv, vizual).
Sensibilitatea temei.
Procese cognitive
Care este procesul mental care are loc atunci cnd un

respondent ncearc s rspund la o ntrebare de chestionar?
Alte aspecte care influeneaz obinerea unui rspuns:
Dezirabilitatea social.
Tendina de a rspunde pozitiv.
Satisficing: respondentul nu ncearc s neleag pe deplin ntrebarea,

reactualizeza doar att informaie ct s ofere un rspuns aproximativ.
Satisficing respondentul urmrete s treac repede de la o

ntrebare la urmtoarea. Strategii:
Rspunsul de tip nu tiu (dont know response - DK).
Rspunsul de tip fr opinie.
Ne-diferenierea (nondifferentiation).
Tendina de a rspunde afirmativ (acquiesence).
10
Probleme asociate rspunsului
Dificulti n codarea informaiei urmrite
Interpretarea greit a ntrebrilor
Uitarea i alte probleme relativ la memorie
Procese de judecat sau estimare eronate
Probleme cu formularea unui rspuns
Raportarea greit (motivat)
Erori relativ la instruciuni sau navigare
11
Dificulti n codarea informaiei urmrite
Atenia acordat problemelor variaz.
Putem ntreba doar despre lucrurile crora oamenii le-au acordat atenie.
Studiu raportrile despre alimentele consumate informaiile au fost

culese prin declaraii i au fost comparate cu cele din jurnale; potrivirea a
fost sczut.
Cuvintele i combinaiile acestora pot fi interpretate diferit, pot primi

sensuri diferite, uneori chiar i cele simple, evidente pentru majoritatea
(copil = ? de la ce vrst ?).
Chiar i atunci cnd nu neleg sau chiar nu tiu despre ce este vorba,
uneori oamenii dau un rspuns.
Dac m ntreab despre x, se presupune c ar fi trebui s tiu despre x,

deci voi da un rspuns chiar dac nu tiu despre ce este vorba.
12
Ambiguitatea gramatical formulri care pot fi interpretate diferit.
Complexitatea excesiv impune condiii, ofer i cere informaii

multiple.
Presupuneri false ntrebarea asum ceva care nu este adevrat, prin

urmare nu are sens / nu se aplic n cazul unor respondeni.
Viaa de familie are de suferit adesea datorit faptului c brbaii muncesc

prea mult. (Dac respondentul crede c brbaii sunt lenei?)
Concepte vagi pot fi interpretate diferit (copil + interval de vrst).
Cuantificatori vagi interpretri diferite - ce nseaman foarte des? prin

urmare respondenii folosesc diferit scala.
Termeni nefamiliari tendina de a supra-estima nivelul de cunotine al

subiecilor.
Inferene false presupuneri fcute de respondent care influeneaz

sensul n care aceasta este interpretat.
ntrebare despre nivelul global de fericire dup ntrebare despre fericirea

relativ la familie.
13
Uitarea i alte probleme relativ la memorie
Uneori respondenii pot s nu-i amintesc nimic, alteori doar unele

lucruri, iar alteori i amintesc greit.
Nepotrivirea dintre termenii folosii n ntrebare i cei folosii pentru

codarea iniial a evenimentului (un pahar de vin but la mas nu este
codat drept consum de alcool).
Distorsiunea reprezentrilor pe parcursul timpului unele informaii sunt

adugate pe parcurs celor iniiale, de unde i posibilitatea distorsiunilor.
Imposibilitatea reamintirii probabil s-au folosit termeni diferii pentru

codare comparativ cu cei din chestionar, sau poate amintirile respectiv la
acel eveniment s-au amestecat / pierdut printre alte amintiri similare.
Erori de reconstrucie adesea ne reamintim lucrurile i n funcie de

evenimente ulterioare (reconstruim amintirile n funcie de evenimente
ulterioare evenimentelor de referin); schimbrile amintite sunt mai mari
dect n realitate, evenimentele sunt reconstruite din perspectiva actual,
evenimentele trecute par s fie mai aproape de prezent (telescoping),
etc.
14
Estimri eronate n cazul ntrebrilor factuale /

comportamentale
Recall-and-count: reamintirea unor evenimente specifice + numrarea lor

+ rotunjire n sus pentru a suplini pentru evenimentele uitate.
Erori: omisiuni ca urmare a uitrii + telescoping.
Efect: sub-estimarea numrului de evenimente.
Rate-based-estimation: estimarea frecvenei cu care evenimentele au loc

ntr-o anumit perioad + extrapolare la perioada cerut.
Erori: utilizarea unei rate fixe.
Efect: supra-estimarea numrului de evenimente.
Impression-based-estimation: impresie vag + traducerea ei ntr-o

estimare.
Erori: ancorarea n valorile scalei (mici vs. mari).
Efect: raportri diferite n funcie de scala utilizat.
15
Estimri eronate n cazul ntrebrilor de opinie / atitudinale
Similitudini cu erorile legate de ntrebrile factuale.
Deseori, repondeni nu au ceva clar definit n minte atunci cnd aleg s

rspund ntr-un anumit fel la o ntrebare care msoar o atitudine.
n lipsa unor opinii / atitudini, unii subieci contruiesc unele, de sus n jos
(din alte atitudini mai generale deriv atitudinea relativ la tema
investigat) sau de jos n sus (folosesc aspecte specifice legate de tem
i-i formeaz o opinie).
n aceste condiii formularea ntrebrii, prezena unor cuvinte aparte

(comunism, Ceauescu), contextul (care este referina, termenul de
comparaie atunci cnd declarm o anumit atitudine relativ la un obiect)
pot infuena adoptarea unei opinii / atitudini.
16
Probleme cu formularea unui rspuns
Dup generarea unui rspuns acesta trebuie transpus n una dintre

variantele de rspuns oferite de ntrebare.
Tipuri de itemi mai des ntlnii:
ntrebri deschise care solicit valori.
ntrebri nchise cu variante de rspuns ordonate.
ntrebri nchise cu variante de rspuns categoriale.
Efecte induse de scala utilizat:
Valorile numerice msoar mai bine dar respondenii tind s ofere rspunsuri
care se grupeaz n jurul unor valori rotunde.
Exist tendina de a alege rspunsuri din zona pozitiv. Tendina apare i
mai tare n cazul unor coduri negative, etichetele utilizate fiind identifice (de
la 0 la10 versus de la -5 la +5).
Etichete verbale doar pentru extreme vs. etichete pentru toate categoriile.
Branching divizarea scalei n doi pai: republican, democrat, independent
apoi ct de tare se identific (puternic, foarte puternic).
Alte efecte: primacy and recency.
17
Raportarea greit (motivat)
ntrebri sensibile (senzitive) sau amenintoare (threatening) ntrebri

care sunt vzute ca intruzive sau stnjenitoare.
De ex. ntrebrile relativ la viaa sexual, venit, consum de substane

interzise, etc.
Dat fiind faptul c au accepat s rspund la chestionar dar la aceste

ntrebri nu ar dori s rspund apare un conflict rezulvat prin ...
refuzul oferirii unui rspuns sau

oferirea deliberat a unui rspuns diferit de cel real (sub-raportare sau supraraportare).
Soluii:
ncurajarea recunoaterii unui comportament prin includerea n ntrebare a

unor formule speciale care s fac mai uoar recunoaterea acestuia.
Totui, nu elimin sub-raportarea / supra-raportarea
Eliminarea operatorului de anchet din situaia de anchet (auto-aplicare).
Utilizarea unor modele predictive ale comportamentului n baza experienei
anterioare.
18
Erori relativ la instruciuni sau navigare
Se refer la instruciunile adresate operatorului sau respondentului cu

privire la modul n care se aplic o ntrebare, care este ntrebarea
urmtoare la care trebuie s rspund, cte rspunsuri pot fi alese, etc.
Aceste informaii sunt prezente sub form verbal, scris sau grafic, de
o manier consistent pe parcursul chestionarului.
Apar ndeosebi atunci cnd chestionarul este auto-aplicat.
Minime n cazul aplicrii cu ajutorul unui soft (PC).
Interesant de studiat modul n care formatarea chestionarului

influeneaz calitatea datelor culese n cazul auto-aplicrii.
19
Reguli pentru scrierea unor ntrebri bune

Nonsensitive questions about behavior
Utilizeaz cuvinte care s fie nelese (la fel) de respondeni.
Presupune o cunoatere bun a populaiei studiate.
Este mai simplu s realizezi un chestionar pentru o populaie educat

dect pentru copii sau persoane n vrst.
Utilizeaz ct mai puine cuvinte cu putin.
Oamenii tind s sar uneori peste frazele lungi.
Utilizeaz propoziii complete.
Evit interpretrile greite.
Include toate variante de rspuns rezonabile.
Fiecare ntrebare s fie tehnic corect.
20

Evit folosirea unor cuantificatori vagi atunci cnd pot fi obinute

estimri mai precise. Reciproc, evit specificitatea excesiv
atunci cnd respondenii nu pot oferi uor i corect o astfel de
informaie.
Niciodat, rar, etc. vs. o dat pe lun, o dat pe sptmn, etc.
Atenie la categoriile de rspuns care sunt sub forma unor intervale.
Nu cere respondenilor s realizeze calcule nenecesare.
Categoriile de rspuns trebuie s fie reciproc exclusive.
21

Utilizeaz tehnici de design cognitiv pentru a mbunti

reamintirea.
Recomandri ok, dar dificil de realizat n practic.
Propune perioade de timp de referin adecvate.
ntrebrile relativ la timp sunt dificil de ntrebat.
Pentru aspecte care solicit prea mult memoria respondenilor folosete

jurnale / analiza documentelor / metoda calendarului / bounding (=
operatorul reamintete respondentului declaraii anterioare) / culege
informaia de la persoane apropiate (proxies).
Este posibil ca uneori s nu putem ntreba ceea ce dorim.
Formularea ntrebrilor (cuvintele utilizate) s permit

compararea datelor (n timp, ntre diferite populaii).
22

Sensitive questions about behavior
ndulcete impactul unor ntrebri care ar putea ridica obiecii.
Folosete mai degrab ntrebri deschise dect nchise pentru

a msura frecvena unor comportamente sensibile.
Folosete mai degrab ntrebri lungi dect scurte.
Folosete termeni familairi pentru a descrie comportamente

sensibile.
Load the question intenionat pentru a reduce raportrile false.
everybody-does-it
assume-the-behavior
authorities-recommend-it
reasons-for-doing-it
23

Sensitive questions about behavior
Folosete perioade de referin mai mari (toat viaa) sau

perioade din trecutul ndeprtat.
Nu trebuie pui la nceputul chestionarului.
Trebuie pui n ordinea cresctoare a sensibilitii.
Trebuie pui printre ali itemi mult mai sensibili (care nu ne

intereseaz neaprat).
Folosete auto-aplicarea chestionarului sau aplicarea cu

ajutorul PC-ului.
Analizeaz posibilitatea utilizrii unui jurnal.
Colecteaz date de validare.
24

Attitude questions
Precizeaz clar obiectul atitudinii.
Evit situaiile n care ntrebi despre dou lucruri n aceeai
ntrebare (pare evident, dar uneori dificil de realizat).
Msoar intensitatea atitudinii folosind un item separat (de cel
care msoar direcia).
Evit distorsiunile cauzate de comparaii inegale i prezint
ambele variante ale unei scale de atitudini n ntrebare.
Folosete un numr egal de variante pozitive i negative n
cazul scalelor ordinale (ntrebare echilibrat = balanced).
F o distincie ntre variantele de rspuns indecis i neutru
prin plasarea primeia la sfritul scalei.
Indecis, fr opinie, nu tiu, nu se aplic.
Folosete ntrebri nchise.
25

Attitude questions
ntrebri generale apoi particulare relativ la o tem.
Cnd lista include mai muli itemi, ncepe cu cel mai puin
popular.
Folosete o scal cu 5-7 trepte i ataeaz o etichet fiecreia.
ncepe scala cu captul cel mai puin popular dac vizual.
Folosete similitudinea cu instrumente comune (termometru)
pentru a colecta date mai detaliate.
Folosete metoda ordonrii doar dac respodentul vede toate
variantele, altfel comparaia n perechi.
Evit situaiile n care un rspuns de tip da nseamn nu.
Elimin ntrebrile de tip marcheaz tot ce corespunde
(check-all-that-apply).
Folosete o variant de tipul da / nu pentru fiecare posibilitate.
26

Self-administered questions
Folosete elementele vizuale de o manier constant i

consistent.
Cnd apar schimbri pe parcursul chestionarului trebuie

marcate de elemnte vizuale.
Pune indicaii despre direcii unde e cazul i unde pot fi vzute

uor.
Prima pagin care conine toate informaiile necesare poate fi srit cu

uurin.
Prezint informaiile care trebuie folosite mpreun n acelai

loc.
ntreab o singur ntrebare la un moment dat.
27
Construirea scalelor
Relativ la anumite teme scalele sunt necesare; n alte situaii e

ok s utilizm un singur item.
De ce s utilizm o scal?
Toate datele de anchet conin erori (de exemplu un respondent poate

alege din greeal alt rspuns dect cel real).
Dac n aceste condiii avem un singur item = msura este greit.
S presupunem c folosim mai muli itemi (i combinm folosind

o anumit metod aditiv de ex.)
Erorile aleatoare de msurare se anuleaz reciproc.
La nivel teoretic presupunem c msurm un construct latent folosind

nite msuri imperfecte (itemii).
28
Alege itemi care reflect scopul scalei.
Itemii redundani sunt ok, mai ales n faza de generare a

itemilor dar i pentru c exprim aceeai idee n diferite moduri.
Pot fi nelei diferit de respondeni.
Se pornete de la o lista larg de itemi.
Msoar ceea ce dorim s msoare.
Treptat poate fi redus prin diferite metode.
Ne putem inspira din alte instrumente (scale).
Este chiar indicat!
29
La nivelul anchetei:
Descrie ceea ce doreti s msori.
Identific / construiete o serie de itemi care crezi c msoar

constructul
Regulile sunt similare cu cele de la ntrebrile obinuite.
O diferen: inversarea polaritii unor itemi.
Alege formatul de rspuns:
n general, scala de tip Likert este cea mai bun alegere.
Revizuirea itemilor de ctre experi.
Deseori necesar pretestare (date ce pot fi analizate nainte de

culegerea tuturir datelor).
La nivelul datelor:
Analizeaz matricea de corelaii; acestea trebuie s fie pozitive.
Dac relaiile nu sunt pozitive, verific polaritatea i recodeaz itemii.
30
Calculeaz Cronbachs alpha
SPSS: Analyze, Scale, Reliability analysis; alege Statistics i marcheaz

Scale if item deleted i Inter-item correlations
SAS: Proc Corr, include Alpha option
Renun la unii dintre itemi (nu este necesar s-i folosim pe toi).
Alpha crete pe msur ce ...
Corelaia dintre itemi crete (itemii sunt similari).
Numrul de itemi crete.
Regula recomandat (rule of thumb) - alpha cel puin .70 sau mai mult.
Dac avem mai multe scale e ok s avem una dintre acestea cu alpha mai
mic de .70.
Atenie ns, acest lucru arat c scala nu e chiar ok.
Deseori utilizarea lui alpha este criticat (n calitate de msur a

unidimensionalitii): asumii tari, supra-estimarea fidelitii (erori corelate
ale itemilor) sau sub-estimarea fidelitii (itemi care msoar altceva).
31
Sptmna viitoare
Tema discutat:
Evaluarea ntrebrilor.
Bibliografie obligatorie:
Survey Methodology, Cap. 8: Evaluating survey questions, pp. 241-268.
Presser, S., Rothgeb, J., Couper, M. P., Lessler, J., Martin, E., Martin, J.,
and Singer, E. (eds.). 2004. Methods for Testing and Evaluating Survey
Questionnaires, New York: Wiley.
Exerciii: la alegere, dintre cele din curs (pp. 238-240).
Prezentri: SPSS Dimensions.

MA SM 04 Constructia Chestionarului

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

MA SM 04 Constructia Chestionarului

Încărcat de

Drepturi de autor:

Formate disponibile

METODOLOGIA

Metodologia anchetei - Mircea Coma

Procese cognitive asociate rspunsului la ntrebri (cognitive

Probleme asociate rspunsului la ntrebri (problems in

Reguli pentru scrierea unor ntrebri bune (guidelines for writing

Metodologia anchetei - Mircea Coma

Formularea ntrebrilor unui chestionar, evaluarea lor i

Chestionarul poate fi completat n diferite moduri:

Operatorul pune ntrebrile i completeaz rspunsurile

Subiectul citete ntrebrile i completeaz rspunsurile

n plus, poate fi implicat sau nu tehnologia (PC).

Metod alternativ de culegere a datelor: analiza documentelor

Se analizeaz documentele existente (records).

Uneori, respondenii sunt rugai s pstreze tot felul de documente

Metodologia anchetei - Mircea Coma

Care este procesul mental care are loc atunci cnd un

Optimize respondenii ncearc s neleag i s rspund

nelegerea i interpretarea ntrebrii (comprehension).

Reactualizarea informaiei necesare pentru a rspunde (retrieval).

Estimarea i analiza informaiei (estimation and judgment) combinarea

Raportarea rspunsului (reporting) formularea rspunsului i

Metodologia anchetei - Mircea Coma

Atenia cordat ntrebri i instruciunilor primite.

Atribuirea unui sens ntrebrii.

Inferene relativ la informaia urmrit de ntrebare.

Tem utilizarea ilicit a unor tranchilizante / calmante.

Cuvinte care trebuie nelese n acelai fel ce nseamn tranchilizant?

V rog s v gndii la ultimele 12 luni. Dorim s aflm n cte zile din

Formate alternative de rspuns: nr. mediu de zile pe sptmn, nr. mediu

Rspunsurile posibile oferite fac parte din ntrebare, ajut la interpretarea

Metodologia anchetei - Mircea Coma

Reactualizare informaiei relevante pentru a rspunde la ntrebare din

Nu e clar cum este organizat memoria autobiografic, dar exist

Poate fi influenat de:

Gradul n care informaiile dorite sunt diferite fa de alte informaii.

Metodologia anchetei - Mircea Coma

Estimation and judgment

Procesul de combinare sau suplimentare a informaiilor reamintite.

n general, nu toi respondenii i reamintesc informaiile n aceeai

Reamintirea valorii rspunsului.

Construirea unei valori pentru rspuns pornind de la anumite informaii.

Estimare pe baza unui raport.

Adoptarea unui strategii depinde de:

Numrul de situaii n cauz.

Uurina cu care poate fi memorat i reamintit infromaia relativ la situaia

Metodologia anchetei - Mircea Coma

Procesul de selectare i comunicare a rspunsului.

Include i potrivirea rspunsului cu variantele primite sau

Forme: ntrebri nchise vs. deschise.

Variantele de rspunsuri oferite spre alegere pot influena rspunsurile

Concentrarea variantelor ntr-o zon (negativ sau pozitiv, frecvene mici

Ordinea variantelor de rspuns (prima vs. ultima).

Modul de prezentare a variantelor (auditiv, vizual).

Metodologia anchetei - Mircea Coma

Care este procesul mental care are loc atunci cnd un

Alte aspecte care influeneaz obinerea unui rspuns:

Tendina de a rspunde pozitiv.

Satisficing: respondentul nu ncearc s neleag pe deplin ntrebarea,

Satisficing respondentul urmrete s treac repede de la o

Rspunsul de tip nu tiu (dont know response - DK).

Rspunsul de tip fr opinie.

Tendina de a rspunde afirmativ (acquiesence).

Probleme asociate rspunsului

Dificulti n codarea informaiei urmrite