Sunteți pe pagina 1din 97

Claves para el buen uso

de los tests en la
evaluación

Dr. Pablo Santamaría


Dpto. I+D+I, TEA Ediciones
? ¿Por qué claves generales?
Buenas prácticas generales para el uso de los
tests

◉ ¿Cómo seleccionar qué tests utilizar?


◉ ¿Cómo aplicarlos y corregirlos?
◉¿Cómo interpretar sus resultados?
Resumen entre todos
Buenas prácticas para el uso de los tests

◉ ¿Cómo seleccionar qué tests utilizar?


¡Todos los tests son iguales cariño!
¡solo cambian en el nombre!
Todos los tests no son iguales

Pseudotests Tests
Pseudotests

Lo más peligrosos porque


aparentan ser tests pero
no cumplen los criterios
mínimos para ser tests.
¿Cómo desenmascarar
a un pseudotest?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?

2. ¿La muestra del baremo (muestra de


tipificación) es amplia y representativa?

3. V¿Tiene estudios de fiabilidad?

4. V¿Tiene estudios de validez?


Las cuatro patas de un test

¿Tiene
estudios de ¿Tiene normas
fiabilidad? detalladas de
aplicación, corrección
e interpretación?

¿Tiene estudios
de validez? ¿La muestra del baremo
(muestra de tipificación) es
amplia y representativa?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?

2. ¿La muestra del baremo (muestra de


tipificación) es amplia y representativa?

3. V¿Tiene estudios de fiabilidad?

4. V¿Tiene estudios de validez?


Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?
“ Un test es una medida estandarizada… ”
Anastasi, 1982

“ … es una técnica sistemática… ”


Cronbach, 1971

“ … una muestra estandarizada de conductas… ”


Graham y Lilly, 1984

“ … una situación previamente dispuesta y estudiada


a la que la persona ha de responder siguiendo
ciertas instrucciones… ”
Yela, 1980

“”
¿Qué es lo que define a un test?

Un procedimiento sistematizado y estandarizado


(en su aplicación, corrección e interpretación)
¿Qué es lo que define a un test?

Un procedimiento sistematizado y estandarizado


(en su aplicación, corrección e interpretación)
Para que las diferencias en puntuaciones/resultados en el
test reflejen diferencias en las personas evaluadas y

NO diferencias en que se haya aplicado, corregido o


interpretado de forma diferente.
Ejm. Línea de entrenamiento, instrucciones previas…
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?
Aplicación: ¿Se indica explícitamente qué instrucciones hay
que dar y cuáles no?
¿Hay una página de instrucciones para que las lea la persona
evaluada? ¿Hay ítems de entrenamiento? ¿Se especifica qué
se puede decir y qué no?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?
Aplicación: ¿Se indica explícitamente qué instrucciones hay
que dar y cuáles no?
¿Hay una página de instrucciones para que las lea la persona
evaluada? ¿Hay ítems de entrenamiento? ¿Se especifica qué
se puede decir y qué no?
Corrección: ¿se indica paso a paso el procedimiento de
corrección sin lugar a dudas o ambigüedades?
¿se incluyen ejemplos de corrección (casos ilustrativos)?
¿cuántas respuestas en blanco se permiten? ¿qué se hace con
dichas respuestas?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?
Aplicación: ¿Se indica explícitamente qué instrucciones hay
que dar y cuáles no?
¿Hay una página de instrucciones para que las lea la persona
evaluada? ¿Hay ítems de entrenamiento? ¿Se especifica qué
se puede decir y qué no?
Corrección: ¿se indica paso a paso el procedimiento de
corrección sin lugar a dudas o ambigüedades? ¿se incluyen
ejemplos de corrección (casos ilustrativos)? ¿cuántas
respuestas en blanco se permiten? ¿qué se hace con dichas
respuestas?
Interpretación: ¿se indica qué se considera alto, medio o bajo?
¿se indican las implicaciones interpretativas de cada nivel de
puntuación?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?
Aplicación: ¿Se indica explícitamente qué instrucciones hay
que dar y cuáles no?
¿Hay una página de instrucciones para que las lea la persona
evaluada? ¿Hay ítems de entrenamiento? ¿Se especifica qué
se puede decir y qué no?
Corrección: ¿se indica paso a paso el procedimiento de
corrección sin lugar a dudas o ambigüedades? ¿se incluyen
ejemplos de corrección (casos ilustrativos)? ¿cuántas
respuestas en blanco se permiten? ¿qué se hace con dichas
respuestas?

Interpretación: ¿se indica qué se considera alto, medio o bajo?


¿se indican las implicaciones interpretativas de cada nivel
de puntuación?
Cuatro preguntas para desenmascarar pseudotests

1. ¿Tiene normas explícitas y detalladas de


aplicación, corrección e interpretación?

2. ¿La muestra del baremo (muestra de


tipificación) es amplia y representativa?
¿Qué es lo que define a un test?

Un procedimiento sistematizado y estandarizado


(en su aplicación, corrección e interpretación)
que recoge muestras de conductas representativas
del constructo que se quiere medir
No mide directamente el constructo emitiendo una verdad
irrefutable e inmutable.

Sino que recoge conductas actuales y variadas que reflejan en


ese momento preciso en qué medida están presentes una
serie de conductas que nosotros asociamos con un supuesto
rasgos subyacente.
¿Qué es lo que define a un test?

Un procedimiento sistematizado y estandarizado


(en su aplicación, corrección e interpretación)
que recoge muestras de conductas
representativas del constructo que se quiere
medir
y las compara con un baremo para determinar la
frecuencia o infrecuencia de lo obtenido
¿Qué percentil ha obtenido la persona en…? ¿Qué CI…?
¿Qué puntuación típica (PT)?...
Evaluación de
elegancia en el vestir

Comparación con un
baremo
Anoten percentiles en
elegancia en el vestir según
grupo de referencia.
2. ¿La muestra del baremo (muestra de
tipificación) es amplia y representativa?
Efectos de:
o Obsoleta en el tiempo

o Poblaciones especiales (universitarios…)

o Baremos de otros países y culturas


2. ¿La muestra del baremo (muestra de
tipificación) es amplia y representativa?

Necesidad de disponer de disponer de una


muestra amplia, actual y representativa de
nuestra población.
Ojo con:
- Baremos obsoletos en el tiempo
- De muestras sesgadas y no representativas
(muestras universitarias…).

- Sin baremación española (baremos americanos,


puntos de corte americanos…).
Las cuatro patas de un test

¿Tiene
estudios de ¿Tiene normas
fiabilidad? detalladas de
aplicación, corrección
e interpretación?

¿Tiene estudios
de validez? ¿La muestra del baremo
(muestra de tipificación) es
amplia y representativa?
Las cuatro patas de un test

¿Tiene
estudios de ¿Tiene normas
fiabilidad? detalladas de
aplicación, corrección
e interpretación?

¿Tiene estudios
de validez? ¿La muestra del baremo
(muestra de tipificación) es
amplia y representativa?
Fiabilidad y validez de un test

Imaginemos que tenemos una diana y


queremos evaluar la fiabilidad y validez
de varios tiradores, para ver cuál es el
mejor.
Queremos ver en qué medida acierta cada
tirador.
Tirador 1 Tirador 2 Tirador 3

Alta fiabilidad Alta fiabilidad Baja fiabilidad


Baja validez Alta validez Baja validez
¿Tiene estudios de fiabilidad?
¿Tiene estudios de validez?

Estamos hablando de en qué medida acierta el


test.
¿Tiene estudios de fiabilidad?
¿En qué medida es consistente la medida? ¿Es
una “escopeta de feria” o consistentemente
indica lo mismo de forma estable?
- Consistencia interna (Alfa de Cronbach > 0,70)
- Consistencia temporal (Correlación test-retest> 0,65)
¿Tiene estudios de validez?
¿En qué medida acierta en el centro, “mide lo
que dice medir”?
Grado en que hay evidencias que respaldan las
interpretaciones que se realizan del test.
Un juicio al test, el “abogado” debe presentar
pruebas.
¿Tiene estudios de validez?
¿En qué medida acierta en el centro, “mide lo
que dice medir”?
Grado en que hay evidencias que respaldan las
interpretaciones que se realizan del test.
Un juicio al test, el “abogado” debe presentar
pruebas.
- Evidencias de validez basadas en el contenido
(expertos…).
- Evidencias de validez basadas en
relaciones con otras variables (grupos
clínicos, otros tests, diagnósticos…)
-…
“Estoy buscando mis llaves que se me han caído al
tratar de abrir el coche”
¿Test o pseudotest?
Casos reportados :
- Adolescente de 16 años acusado de abuso
sexual por parte de su hermanastra de 14
años.
- Evaluado con MMPI-2 y con elevaciones
marcadas en escalas 4, 8 y 9 (Conducta
antisocial, Esquizofrenia, Hipomania).
- Empleando baremo de adultos…
Casos reportados :
- Adolescente de 16 años acusado de abuso
sexual por parte de su hermanastra de 14
años.
- Evaluado con MMPI-2 y con elevaciones
marcadas en escalas 4, 8 y 9 (Conducta
antisocial, Esquizofrenia, Hipomania).
- Cuando se le comparó con baremo de
adolescentes desaparecieron esas elevaciones.
Todos los tests NO son iguales

Elijamos aquellos con mejores propiedades y


cualidades para la práctica profesional.

Síntesis en un solo consejo:


Que tenga un manual con:
- Normas de aplicación, corrección e
interpretación claras.
- Fundamentación psicométrica (muestra,
fiabilidad, validez).
- Fundamentación teórica.
Susana Urbina
Claves para la
evaluación con tests
psicológicos
Entonces…
hay tests mejores
y tests peores
Y…
¿todos los usuarios
de tests son
iguales?
Buen
uso

Buen
test
¿Cómo pueden
utilizarse mal los
tests?
Buenas prácticas en el uso de los tests

◉ Antes
◉ Durante
◉ Después
Buenas prácticas en el uso de los tests

◉ Antes
1. Evaluar ≠ Aplicar tests
Evaluar supone plantear hipótesis y comprobarlas
por la fuente de información óptima, entre ella los
tests. El test como uno de los elementos.

El que diagnostica siempre es el profesional.

Saber por qué se está aplicando determinado test y


qué se busca.
Mala práctica: Evaluación = Aplicar tests
Aplicación baterías extensas de tests buscando
que nos den la clave.
Dos extremos de los que debemos huir

◉ El “Testólogo”
Confiar solamente en los tests
No sé qué le pasa, le voy a hacer unos tests a ver qué
sale…
Interpretación psicométrica → Interpretación clínica
Los tests no diagnostican lo hacen los profesionales

◉ El “Ojólogo” que solo se fía de su ojo clínico


No necesito tests para saber lo que le pasa
Juicio clínico
Ojo clínico
A ojo
¿Cuántos sesgos podemos cometer?

◉Lilienfeld et al., (2014) sesgos cognitivos de terapeutas.

◉¿Cuántos sesgos extrajo?

◉26 sesgos cognitivos

Lilienfeld, S. O., Ritschel, L. A., Lynn, S. J., Cautin, R. L., & Latzman, R. D. (2014). Why ineffective
psychotherapies appear to work a taxonomy of causes of spurious therapeutic
effectiveness. Perspectives on Psychological Science, 9(4), 355-387.
2. Ser competente en el uso del test antes de
usarlo
Leer detenidamente manual y la información
que haya disponible (webinar…).
Hacer prácticas previas (si es posible supervisadas).
Mala práctica: Aplicar a ciegas, sin dominar el
test previamente y sin práctica previa.
Casos expertos RIST / K-BIT
3. Preparación, preparación, preparación
- Preparar toda la secuencia de aplicación y
los materiales (haberse trabajado el manual y
haber practicado).
- Preparar el lugar de evaluación (sin
distracciones, cartel en la puerta…).
- Preparar la relación con la persona
evaluada.
4. Elegir el test más adecuado al objetivo.
Mantenerse actualizado y fuera de la zona de
confort. Ajustar el test al objetivo de evaluación.
Apuntarse a webinars y newsletter de tests,
recibir catálogos…
Mala práctica: Elegir el que conozco o el que
aprendí a usar, con el que más cómodo me siento.

Aplicar siempre el mismo test


independientemente del objetivo o el contexto de
la evaluación.

Ejemplo. Forense siempre aplicaba el mismo test.


Buenas prácticas en el uso de los tests

◉ Durante
1. No ayudar ni sugerir respuestas.
2. No aplicar con terceros delante.
3. Anotar desviaciones del estándar.
Mala práctica: Omitir cualquier posible incidencia que ha
podido alterar o influir en los resultados: lectura en voz
alta…

4. Revisar que no hay respuestas en blanco: control de


calidad de la evaluación.
Mala práctica: Recoger la prueba sin verificar si hay respuestas
mal anotadas (doble contestaciones, contestaciones dudosas,
respuesta en blanco…).
Buenas prácticas en el uso de los tests

◉ Después
Corrección

1. Realizar con precisión la corrección:


doble verificación de corrección ya sea
manual u ordenador.
Mala práctica: No revisar errores en la
corrección. Cometer errores no detectables.
Caso LSB-50
Styck, K. M., & Walsh, S. M. (2016). Evaluating the prevalence
and impact of examiner errors on the Wechsler scales of
intelligence: A meta-analysis. Psychological Assessment, 28(1),
3-17.

N= 2.086 protocolos. Porcentaje de protocolos cuyo error


afectaba a la puntuación total de CI:

73,1%
Interpretación

2. Leer detenidamente el manual.


No dejarse guiar por los nombres de las
escalas, ver definición y si es posible ítems que
la componen. Son muestreos de conducta.
Mala práctica: Interpretar los resultados en una
escala por su nombre: Sociabilidad.
3. Entender que un test es una muestra de
comportamiento de la persona en el momento
actual.
Muestreo: No revela directamente ningún rasgo o
aptitud del sujeto, y como tal está sujeto a
las limitaciones propias de un muestreo,
no refleja ninguna verdad objetiva e
irrefutable.

Actual: No pueden interpretarse como un estado


inalterable o inmodificable de la persona.
4. Los resultados del test sólo pueden ser
interpretados de un modo significativo y
coherente cuando son integrados dentro del
contexto completo de información disponible
sobre la persona.
El mismo perfil puede interpretarse de dos
maneras absolutamente diferentes según el
contexto, el objetivo de evaluación y el resto de
fuentes de información. Caso simulación.
Integrados dentro del proceso completo de
evaluación y de la teoría existente.
5. No tomar al pie de la letra informes
automáticos de resultados.
Mala práctica: Copiar informes automáticos en nuestros
informes o asumir como reales y ciertas todas sus
afirmaciones.
6. No caer en el mito de la precisión laser de los
puntos de corte. Conocer el error típico de
medida del test.
Mala práctica: Dejarse llevar por la aparente precisión
numérica.
Escala F del MMPI-2-RF.
Puntuación 78: Intervalo 72 y 84
Puntuación 82: Intervalo 76 y 88
7. Saber interpretar adecuadamente las
puntuaciones típicas ágilmente y con
significado.
Mala práctica: utilizar las pautas de interpretación del
manual sin entenderlas o saber qué significan. ¿Qué
significa una puntuación T de 60? ¿Y una de 70?
Hemos evaluado a 4 personas con un test
de inteligencia
¿Cuál de las cuatro personas ha obtenido
una puntuación más alta?

Persona A: Eneatipo 6
Persona B: Percentil 73
Persona C: Puntuación T 56
Persona D: Puntuación CI 109
Puntuaciones típicas

Escalas:

- Percentiles
- CI
- Puntuaciones T
- Puntuaciones S
- Eneatipos
- Decatipos
Puntuaciones típicas
Puntuaciones típicas
Práctica
¿Cómo consideraríais estas puntuaciones T?
Media 50, Dt 10

Persona A: Puntuación T 60
Persona B: Puntuación T 70
Persona C: Puntuación T 30
Persona D: Puntuación T 40
Puntuación T Media = 50 Desviación típica = 10
La mayoría de la
Muestra de población generalmuestra de referencia
Distribución
68%

ProbablementeClaramente
más que la más que la
referencia referencia

16% 4%

Lo “normal”, lo
Más de Mucho
“lo normal”
más de “lo
“habitual”
normal”
Práctica
¿Cómo consideraríais estas puntuaciones CI?
Media 100, Dt 15

Persona A: Puntuación CI 115


Persona B: Puntuación CI 130
Persona C: Puntuación CI 85
Persona D: Puntuación CI 70
Práctica con un perfil de puntuaciones
Errores graves
Detección de de interpretación
siemlación

No evaluar previamente la
consistencia de respuestas.
No evaluarde
Detección inconsistencia
simulación
Previamente ha de valorarse:

- Si ha respondido a la mayoría de los ítems


- Si lo ha hecho de forma consistente y
coherente.

Si no se cumple ninguna de las premisas


anteriores, no podemos analizar simulación o
disimulación.
Pasos para la interpretación de los tests

1º Número de omisiones

2º Escalas de Inconsistencias

3º Escalas de Manejo de impresiones

4º Escalas de dimensiones globales o


factores de segundo orden

5º Escalas clínicas, primarias…


Práctica con un perfil de puntuaciones
Perfil 1 J.F.M.
Perfil 2 Fernández Montoro
He hecho un poco de trampa…
Baremo población general
Baremo clínico
Pasos en relación con baremo:
1. Saber qué baremos estamos utilizando, cuáles son las
características de la muestra de tipificación:
¿Actualizadas o anticuadas?

¿Estudiantes universitarios o población general?

¿Población general o muestras clínicas?


Pasos en relación con baremo:
2. Elegir preferentemente el baremo de población general

baremo similar al contexto de evaluación


“ Una evaluación precisa es el
primer paso necesario para una
clara y convincente práctica
basada en la evidencia ”
Youngstrom et al., 2015

“”
¡Gracias por su atención!

¿Preguntas? ¿Comentarios?
pablo.santamaria@teaediciones.com

@PSantamariaFdez

S-ar putea să vă placă și