Uso

de instrumentos
psicomtricos en odontologa
PEDRO ARAVENA DDS, PhD

Dr. Pedro Aravena Torres

CIRUGIA BUCAL 2011
 Objetivos:
1. Definir medicin en salud
2. Definir conceptos de Validez y Confiabilidad
3. Definir cuestionario, entrevista y escala
4. Describir los elementos de una escala validada
5. Describir los pasos para validacin de una escala en salud

Dr. Pedro Aravena Torres

CIRUGIA BUCAL 2011
 !

Amin MM, Laskin DM. Oral Surg Oral Med Oral Pathol. 1983;55(5):448-51 .
Bjrnsson GA, ET AL. J Clin Pharmacol. 2003;55(4):405-12.4 !GA. et al. 2013.
 1. Qu es medicin en salud?

...es simplemente el proceso de asignar valores a ciertos eventos

de la realidad.

Se requiere de:
- asignar correctamente valores
- determinar instrumentos vlidos y confiables

* KERLINGER F, LEE H. Investigacin del comportamiento. Mtodos de investigacin en ciencias sociales.

Mxico: McGraw-Hill, 2002.
Dolor:
OMS: Una experiencia sensorial y emocional desagradable
asociada con una lesin presente o potencial o descrita en
trminos de la misma.

escala
dolor caras medidas
fisiolgicas

observacin
clnica
concepto de dolor
Caries Temprana de la Infancia

Indice COPD
Recuento de
y manchas
UFC
blanca

n de biberon
nocturno Consulta a
dentista
concepto de CTI
 2. Validez y Confiabilidad

Capacidad de medir exactamente

para lo que fue construido y
VALIDEZ discriminar otras unidades.

exactitud
Un instrumento
debe ser:

Capacidad de reproducir el mismo

resultado en distintas condiciones y
FIABILIDAD tiempo.

precisin o consistencia
 Fiabilidad Validez
Grado en que una variable
Grado de valor de variable
definicin representa realmente lo que
medido varias veces
es

Comparacin entre Comparacin con un estandar

mejor modo evaluacin
mediciones repetidas de referencia

Aumentar la potencia para Aumentar la validez de las

Valor a estudiar
detectar defectos conclusiones

Error aleatorio (azar) Error sistemtico (sesgo)

Amenazado por Observador, participante e Observador, participante e
instrumento instrumento

Hulley S. et al. Diseo de investigaciones clnicas. 3ra edicin. Ed. Lippincott Willians & Wilkins. cap 4 pag. 49.
 pregunta

Sobre la validez de un instrumento psicomtrico en

salud quiere decir que:

a. Estar impreso y es fcil de usar

b. Mida exactamente para lo cual fue diseado y descartar otras
variables
c. Puede ser aplicado a distintas poblaciones de inters, siempre
da mismo resultado
d. Solo puede ser usado por un investigador, evitando el sesgo
del investigador
 de dnde extraer los datos?

Tipos de medicin Ejemplo Banco de datos

Historial mdico Medicamentos Ficha clnica
Tabaquismo
Hipertensin

Factores psicosociales Nivel socioeconmico Entrevista

Educacin Cuestionario
Escalas

Imgenes Densidad sea Placas radiogrficas

Ulceras epiteliales Fotografas
Quistes/tumores

Biolgicos Recuento leucocitos Examen de laboratorio

Hemograma Tablas normalidad
Perfil bioqumico
 CUESTIONARIO
3. Cuestionario, entrevista y escalas

Cuestionario y entrevistas
Comunicacin verbal con el entrevistado donde el investigador aporta
informacin adicional.
Ventajas:
Bajo costo
3.1 Cuestionario Mayor numero de sujetos
Sesgo entrevistador
Estandarizacin del material
Desventajas:
Comprensin lectora
Preguntas simples y cerradas
No puede clarificar dudas
No asegura quien responde

Ventajas
Entrevistas personales Alto n de sujetos
Control de tipo de preguntas
Clarifica dudas
3.2 Entrevista
Desventajas
Encuestas telefnicas Mayor costo y tiempo
Sesgo del entrevistador

* Argimn-Palls JM &Jimnez-Vila J.Mtodos de investigacin clnica y epidemiolgica. (3ra ed.) Elsevier. 2004.
 ESCALAS
3. Cuestionario, entrevista y escalas

3.3 Escalas
Forma de autodeclaracin que evaluan conceptos abstractos y
complejos.
Permite clasificar fenmenos mediante suma de puntos.

Directa
1. Forma de variable
Indirecta

Tipo de Escalas
Adjetivas
2. Formato Tipo Likert
Visual Anloga
 ESCALAS
3. Cuestionario, entrevista y escalas

Escalas adjetivas y visuales

* Streiner D. & Norman GR.Health measurement scales. (4th ed.) Oxford Ed. 2008.
 ESCALAS
3. Cuestionario, entrevista y escalas

Escalas tipo Lickert

*American Psychiatric Association. Diagnostic and statistical manual of mental disorders. 4th ed. Washington, D.C.:
American Psychiatric Association, 1994:320-7
 3. Cuestionario,
ANATOMIA entrevista
DE UNAy escalas
ESCALA

Escalas tipo Lickert

Concepto Dominio Item Puntos

Nivel de conciencia
ESCALA DE GLASGOW

Teasdale G, Jennet B. Assesment of coma and impaired consciosness, a pratical scale. Lancet 1974; 7872:81-4
 Pregunta

La diferencia entre una escala visual anloga y una

escala tipo Lickert es que esta ltima:

a. Permite registrar aleatoriamente la opcin del sujeto

b. Es unipolar, por lo que las alternativas son ascendentes sobre
un tema a investigar
c. Contiene numero de aseveraciones declarativas con una escala
detras de cada aseveracin
d. Presenta una lista ordenada de variables que son interpretadas
posteriormente por el investigador
 4. Cmo saber si es vlida y confiable?

review article

The COnsensus-based Standards for the selection of

health Measurement INstruments (COSMIN) and how
to select an outcome measurement instrument
Lidwine B. Mokkink1, Cecilia A. C. Prinsen1, Lex M. Bouter1,
Henrica C. W. de Vet1, Caroline B. Terwee1

ABSTRACT | Background: COSMIN (COnsensus-based Standards for the selection of health Measurement INstruments)
s an initiative of an international multidisciplinary team of researchers who aim to improve the selection of outcome
measurement instruments both in research and in clinical practice by developing tools for selecting the most appropriate
vailable instrument. Method: In this paper these tools are described, i.e. the COSMIN taxonomy and definition of
measurement properties; the COSMIN checklist to evaluate the methodological quality of studies on measurement
roperties; a search filter for finding studies on measurement properties; a protocol for systematic reviews of outcome
measurement instruments; a database of systematic reviews of outcome measurement instruments; and a guideline for
Mokkink LB, instruments
electing outcome measurement Prinsen CAC,for
Bouter
CoreLM, de Vet HCW,
Outcome SetsTerwee CB. Braz
in clinical J Phys
trials. Ther. 2016
Currently, Mar-Apr;
we are 20(2):105-113
updating the
COSMIN checklist, particularly the standards for content validity studies. Also new standards for studies using Item
 FIABILIDAD

Consistencia
interna VALIDEZ
Fiabilidad
Test retest
Inter obs. de Contenido de Criterio
Intra- obs. (fachada) Concurrente
predictiva

de Constructo
Estructural
CAPACIDAD Prueba hiptesis.
trasncultural
RESPUESTA
tiempo,
formato,
forma

Mokkink LB, Prinsen CAC, Bouter LM, de Vet HCW, Terwee CB. Braz J Phys Ther. 2016 Mar-Apr; 20(2):105-113
4. Datos que debe tener una escala validada
Revisin literatura, opinin
DE CONTENIDO expertos y poblacin

VALIDEZ DE CRITERIO Estndar de oro

> 50 % de la varianza de
DE CONSTRUCTO
datos

CONSISTENCIA Alfa de Cronbach 0.7

INTERNA

FIABILIDAD INTRAOBSERVADOR
Correlacin de Pearson 0.7
Correlacin intraclase 0.8
Indice Kappa 0.70
INTEROBSERVADOR
Beattie et al. Systematic Reviews (2015) 4:97
vasta simplemente con aplicar una escala cualquiera para tener
resultados vlidos y confiables?

5. Proceso de validacin de una escala

1. ELECCIN DE LA ESCALA

2. TRADUCCIN

3. ESTUDIO PILOTO

4. ESTUDIO VALIDEZ Y
CONFIABILIDAD

5. FIABILIDAD DE USO

Ricardo Sanchez & Jairo Echeverry Rev. Salud pblica. 6 (3): 302-318, 2004
 Pregunta

La consistencia interna de una escala mide:

a. La concordancia que explica un evento de los tems de una

escala
b. La concordancia de las respuestas entre los examinadores
c. La concordancia de las respuestas entre los sujetos
examinados
d. La correlacin de la escala con otra escala gold Estndar
5.1 Eleccin de una Escala

Clara Misrachi & Iris Espinoza . Revista Dental de Chile 2005; 96 (2): 28-35
5.2 Traduccin de una Escala

Objetivo: determinar equivalencia entre la versin original

y la traducida

Equivalencia conceptual1
Ej: aficcin por el baseball
uso de piercing

Equivalencia semntica1
Ej: cancelar (Chile: Pagar Espaa: Anular)
compadre (Chile: amigo; Mxico: padrinos; Nicaragua: desconocido).
alveolitis (Europa) - osteitis (EE.UU).

1. Streiner & Norman. Health Measurement Scale. 4th edition. 2009. Oxford University Press. Cap. 2 pag 29
5.2 Traduccin de una Escala
1) Traduccin ingls-espaol 1

Traduccin directa

EQUIVALENCIA CONCEPTUAL,
SEMNTICA Y OPERACIONAL.

EQUIVALENCIA MEDICIN:
METODOS ESTADSTICOS
(Analisis factorial y consistencia
interna)

Traduccin inversa

1. Guillemin F et al. Journal of Clinical Epidemiology. 1993. 46; 1417-32

5.3 Estudio piloto

Objetivo: observar el comportamiento del instrumento segn:

1) Componentes del dominio1

Comprensin del rubro
Ambiguedad ha estado deprimido ultimamente?
Frecuencia de respuesta
Amplitud de respuesta

2) Tiempo y ejecucin1
Tiempo y condicin de medicin
Formato
Asignacin de puntaje*

1. Ricardo Sanchez & Jairo Echeverry Rev. Salud pblica. 6 (3): 302-318, 2004
5.3 Estudio Piloto
a cuntas personas aplico el pilotaje?

Se recomienda una muestra de cinco observaciones

por tem1,2
qu obtengo?

1. Componentes del dominio 2. Calculo de Fiabilidad

Comprensin del rubro Frecuencia de respuesta

Ambiguedad Amplitud de respuesta
Frecuencia de respuesta

ANALISIS CUALITATIVO ANALISIS ESTADSTICO

1. HAIR, J. Et al. (1999): Anlisis multivariante. Prentice Hall Internacional, Madrid.

2. MORALES, P. (2004): en http://www.upco.es/personal/peter/investigacion//AnalisisFactorial.pdf.
5.1 Calculo de Validez y confiabilidad

Calculo de Fiabilidad
a. Mide si la respuesta de los sujetos es coherente unas con otras.
b. Permite eliminar los peores tems (sin concordancia alguna).
c. Permite agrupar dominios
d. Orienta al investigador a asignar valores a su escala definitiva

Anlisis Factorial Mtodo que simplifica la informacin de una

una matriz de correlaciones para hacerla facilmente interpretable1

Se basa en la varianza de los datos de una escala aplicada.

Varianza Clculo de diferencia de las respuestas1
1. MORALES, P. (2010): en http://www.upcomillas.es/personal/peter/investigacion/AnalisisFactorial.pdf
 PUNTOS
1 2 3 4 5

Varianza cero

PACIENTE Preg 1 Preg 2 Preg 3 Preg 4

1 3 1 5 1
2 4 1 5 1
3 1 5 3 1
4 2 5 1 1
5 5 5 1 1
6 5 1 3 1
7 3 1 5 1

Clara Misrachi & Iris Espinoza . Revista Dental de Chile 2005; 96 (2): 28-35
 Pregunta Respuesta
1. Limit la clase o cantidad de alimento Siempre / A menudo / a Veces /
debido a problemas con sus dientes o protesis Rara vez / Nunca
dentales?

2. Pudo comer cmodamente? si / no

3. sus dientes o prtesis dentales le Siempre / a Veces / Nunca

impidieron hablar del modo que usted quera?
5.1 Calculo de Validez y confiabilidad

Cargas factoriales >0.5

Alpha Cronbach >0.7

Item 1

Componente 1 Item 2
concepto

Item 3

Item 4

Componente 2 Item 5

Alpha Cronbach >0.7 Item 6

Confiabilidad inter
intraobservador >0.8 31
 Pregunta

Cales son los valores estadsticos idoneos para

definir que una escala es valida y confiable

a. Una correlacion intraclase (ICC) <0.7 y alfa de Cronbach >0.7

b. Una correlacion de Pearson <0.8 y alfa de Cronbach >0.7
c. Alfa de Cronbach >0.7 y cargas factoriales <0.5
d. Alfa de Cronbach >0.7 y correlacin Pearson >0.8
 Ej: Pregunta de Investigacin

Cules son los items y componentes de una escala vlida y confiable

para medir complicaciones postquirrgica en exodoncia de terceros
molares?

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.

 Paso 1 Recolectar los items de la escala

Disear el cuestionario preliminar

Paso 2:
Diseo de escala preliminar Entrevista a expertos

Anlisis factorial exploratorio

Diseo escala preliminar

Uso de escala en pacientes

(controles postiquirrgicos)

Paso 3: anlisis factorial confirmatorio

Validez y confiabilidad de la Diseo final de escala
escala
Anlisis de validez y fiabilidad de la escala
(alfa de cronbach >0.7 / ICC >80%)

Presentacin escala final

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
 IMPORTANCE
ITEM 1: none 2: less 3: median 4: big 5: greatest
Abscess x
Alveolar bleeding x
Alveolitis x
Anesthesia x
Anxiety x
Bleeding x
Complication in socket x
Dehiscence x
Depression x
Discomfort x
Dysfunction facial nerve x
Dysfunction trigeminal nerve x
Dysphagia x
Ecchymosis x
Edema x
Erythema x
Exposure of socket x
Exudation x
Fever x
Halitosis x
Hematoma x
Hemorrhage x
Inflammation x
Jaw bone fracture x
Lymphadenopathy x
Neuropathy x
Orofacial fissure x
Osteitis x
Osteomyelitis x
Pain x
Paresthesia x
Petechiae x
Purulence x
Suppuration x
Temperature increase Aravena PC et al.xInt J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
35
Trismus x
 Elimination item criteria
Load factor factor coefficients with by experts
Item meanSD2
values < 0.2 differences <0.15 consensus
Suppuration 4.40.8
Abscess 4.40.8
Osteomyelitis 4.30.9
Purulence 3.91.1
Fever 3.81.0 *
Dysphagia 3.41.3 *
Pain 3.31.2
Trismus 3.31.0
Orofacial fissure 3.31.3 *
Alveolitis 3.31.2
Osteitis 3.31.1 *
Lymphadenopathy 3.21.2 *
Jaw bone fracture 3.11.6 *
Complication in socket 3.01.2 *
Temperature increase 3.01.0 *
Exudation 3.01.2 *
Inflammation 3.01.2
Exposure of socket 2.91.0 *
Erythema 2.71.1
Halitosis 2.61.1 *
Edema 2.51.1
Dehiscence 2.51.1 *
Neuropathy 2.41.4 *
Alveolar bleeding 2.41.3 *
Hematoma 2.41.1 *
Dysfunction trigeminal nerve 2.41.4 *
Bleeding 2.41.2 *
Dysfunction facial nerve 2.31.4 *
Hemorrhage 2.31.3 *
Paresthesia 2.31.3 *
Anesthesia 2.31.2 *
Petechiae 2.11.1 *
Discomfort 2.11.1 *
Ecchymosis 2.11.0 *
Depression 2.01.2 *
Anxiety Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
1.81.0 * 36
 ANLISIS FACTORIAL Reduccin de tems

CONSISTENCIA INTERNA Alfa de Cronbach

Total Variance Explained

Initial Eigenvalues Rotation Sums of Squared Loadings

Component Total % of Variance Cumulative % Total % of Variance Cumulative %
1 3,016 30,161 30,161 2,778 27,777 27,777
2 2,286 22,864 53,024 2,021 20,213 47,990
3 1,228 12,279 65,304 1,731 17,314 65,304
4 ,817 8,169 73,473
5 ,664 6,645 80,118
6 ,583 5,832 85,950
7 ,478 4,780 90,730
8 ,364 3,636 94,366
9 ,319 3,190 97,557
10 ,244 2,443 100,000
Extraction Method: Principal Component Analysis.

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.

 Escala preliminar

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.

 3ra etapa: validez y confiabilidad de escala

3. ESTUDIO PILOTO Aplicacin instrumento 25 pacientes

Revisin CMF expertos (n=5)

Unir alveolitis y osteitis

supuracin y purulencia
dar ms ponderacion Alveolitis

Nuevo clculo AF y Consistencia Interna

4. ESTUDIO VALIDEZ Y Aplicacin instrumento > 100 pacientes.

CONFIABILIDAD Dos observadores aplican misma escala

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.

Agrupacin de items, cargas factoriales, consistencia interna y
confiabilidad interobservador de escala fiinal

Internal Interobserver Factor

Components Item
consistency1 reliability2 loading3
Inflammation .59
Component 1 .79 84.9% Edema .74
Pain .81
Abscess .78
Component 2 .71 87.9%
Alveolitis .78
1 Cronbach`s alpha >.70 is high internal consistency
2 Considering Intraclass correlation coefficient (ICC) greater than or 80%

3 Factor loading >0.5 by item in each component as ideal value.

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.

 Surgical Complications Assessment Scale in
Third Molar Surgery (SCATM)
Component Item Description Score
None 1
Mild (intraoral and surgical area) 3
Inflammation
Moderate (intraoral and extraoral) 5
Severe (intraoral, extraoral and other regions of the 10
Secondary head)
complication None 1
Edema Intraoral 3
Intraoral and extraoral 5
Pain VAS scale: How much pain does the patient feel? 0 to 10
Absent 1
Abscess
Present 5
Infection
Absent 1
Alveolitis
Present 10
Total 4 to 40
WITHOUT COMPLICATION OR MILD < 13
MODERATE COMPLICATION 13 to 18
SEVERE COMPLICATION > 18
Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
 Ej 2: Pregunta de Investigacin

DISEO DE UNA ESCALA PARA MEDIR MANEJO Y

ACTITUD DE LOS ODONTLOGOS CHILENOS
FRENTE A UN TRAUMATISMO DENTOALVEOLAR

Joselyn Candia
Marcela Paz Leal

Tesina de titulacin, UACh 2013.

Tesina de titulacin, UACh 2013.
Tesina de titulacin, UACh 2013.
 Pregunta

Cmo consider la metodologa de pregunta-respuesta?

a. Excelente

b. Buena

c. Me es indiferente

d. Prefiero prueba escrita

Conclusin:
- El uso de instrumentos psicomtricos requieren de validez y
confiabilidad.
- Una simple traduccin y revisin de pares NO ES VALIDEZ.
- Se requiere valores estadsticos explcitos y en poblacin
blanco a usar.

Dr. Pedro Aravena Torres

CIRUGIA BUCAL 2011