Documente Academic
Documente Profesional
Documente Cultură
LIEVENS, FILIP
¿Cómo citar? Número completo Más información del artículo Página de la revista
www.redalyc.org
Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto
Revista de Psicología del Trabajo y de las Organizaciones - 2007
Volumen 23, n.º 1 - Págs. 93-110. ISSN: 1576-5962
Artículo
Tests de Juicio Situacional: introducción y revisión de la
investigación
RESUMEN
Este artículo tiene dos objetivos principales. El primer objetivo es exponer los detalles
prácticos de los tests de juicio situacional (TJS), describiendo qué son los TJS, cuál es su
historia, cuáles son las características principales y cómo se desarrollan. El segundo objeti-
vo es debatir la creciente evidencia empírica que apoya el uso de los TJS, señalando cuáles
son las fortalezas y debilidades empíricas de los TJS. El artículo termina presentando algu-
nos de los caminos claves para la investigación futura.
ABSTRACT
This paper has a twofold aim. Firstly, it will provide an outline of situational judgement
tests (SJT), including SJT development and main features. Secondly, empirical evidence
supporting the use of the JST will be discussed, showing what their empirical strengths and
weakenesses are. Finally, some suggestions are given for future research.
PALABRAS CLAVE
KEY WORDS
1
Ghent University, Bélgica.
los TJS de papel y lápiz o escritos y los real. Esta característica diferencia los TJS
de tipo vídeo o multimedia por otro lado. con respecto a los estímulos de alta fideli-
Teniendo en cuenta lo anterior, un TJS se dad, tales como los centros de evaluación
califica como un test escrito cuando el (assessment centers) o las muestras de tra-
guión está presentado en formato escrito bajo, que dan a los candidatos la posibili-
y a los candidatos se les pide elegir e dad de responder de la manera que refleja-
indicar una alternativa de respuesta apro- ría su comportamiento laboral verdadero,
piada en el cuadernillo adjunto al test. observado y evaluado por unos asesores
Por lo tanto, los TJS de papel y lápiz o entrenados.
escritos tienen una baja fidelidad del estí-
mulo. En cambio, un típico test en vídeo Otras modalidades de respuesta a los
consiste en un número de escenas de TJS también merecen atención. En algu-
video, cada una de ellas seguida por una nos casos, la respuesta del candidato a una
pregunta cerrada. Cada escena representa situación dada determina la siguiente
una manera individual de solucionar una situación a presentar. Así, los candidatos
situación típica para un puesto concreto. se enfrentan con las consecuencias de sus
En el crítico “momento de la verdad”, la elecciones. Esto significa que todos candi-
escena se acaba y al candidato se le pide datos no responden a los mismos ítems.
que elija entre varias maneras de actuar. Estos TJS se llaman “ramificados” o “ani-
Las preguntas y las opciones de respues- dados” o “interactivos”. Una posibilidad
tas se presentan de manera visual y se tecnológica de desarrollar un TJS interac-
acompañan de una narración. Los TJS tivo es inherente a los TJS multimedia que
multimedia son básicamente iguales que presentan a un candidato varios fragmen-
los TJS basados en vídeo. La única tos de vídeo en función de las respuestas
excepción es que el VCR ya no sirve más del mismo a un fragmento del vídeo ante-
como medio de comunicación. En su rior. Esto permite a los TJS estimular la
lugar, mediante los CDs o DVDs, se utili- dinámica de interacción, manteniendo a la
zan fragmentos informatizados de pelícu- vez un cierto grado de estandarización.
las como video-clips cortos. Claramente, Además de la ramificación, otra modali-
los TJS basados en vídeo y multimedia dad de respuesta es que las instrucciones
permiten que el contexto del ítem sea sobre las contestaciones alternativas pue-
descrito detalladamente, aumentado de den tener formato con tendencia conduc-
este modo la fidelidad del estímulo. tual (“¿Qué es lo que probablemente harí-
as?”) o formato de conocimiento (“¿Cuál
Tercero, los TJS tienen frecuentemente es la mejor respuesta?”).
un formato de ítems de respuesta múltiple.
Esto significa que los candidatos tienen Una característica final de los TJS es
que elegir una alternativa entre un listado que la matriz de soluciones (respuestas
de diferentes opciones de respuesta. De correctas) se desarrolla a priori. Esto sig-
nuevo, estas alternativas de respuesta pue- nifica que no hay asesores o jueces para
den ser presentadas bien de forma escrita evalúar a los candidatos. Por el contrario,
(baja fidelidad de respuesta) o en vídeo los TJS se puntúan de acuerdo con la opi-
(fiabilidad de respuesta media). En cual- nión de los especialistas o sobre una base
quiera de los casos, no se pide a los candi- empírica. Se discutirá esta cuestión a lo
datos que demuestren su comportamiento largo del apartado siguiente.
los expertos y el empírico. Los TJS son a TJS en vídeo, que forma parte del Examen
menudo desarrollados racionalmente (p. ej. de Admisión Flamenco para “Estudios
derivados de las opiniones de los expertos) Médicos y Dentales” en Bélgica en 2000
utilizando el grupo de los EMC o de los (Lievens y Coetsier, 2002; Lievens,
empleados excelentes. Estos expertos juz- Buyse, y Sackett, 2005). El objetivo del
gan la efectividad de varias respuestas o TJS original en vídeo era medir otras apti-
identifican las mejores y las peores opcio- tudes diferentes de la capacidad cognitiva,
nes. Las opciones identificadas como “las como las habilidades interpersonales y de
mejores” se puntúan como correctas y las comunicación. Por eso, el TJS consistía en
opciones identificadas como “los peores” viñetas cortas grabadas en cinta de vídeo
se puntúan como incorrectas. sobre las situaciones interpersonales cla-
ves con las que se encuentran los médicos
Una posibilidad alternativa de puntuar tratando a los pacientes. En el primer paso
es emplear una matriz de soluciones de- del proceso de desarrollo, se recogió una
sarrollada empíricamente. Con este fin, se muestra representativa de los incidentes
aplica el TJS a una gran muestra piloto. A críticos de médicos expertos y de profeso-
continuación se seleccionan los ítems (o res de medicina general. Luego, se exami-
las respuestas alternativas) y/o se ponde- nó la literatura relevante y a otro grupo de
ran según el grado de evidencia de que expertos (médicos experimentados y pro-
estos ítems (o las respuestas alternativas) fesores de medicina general) se le solicitó
diferencien entre las personas que puntua- aportar ejemplos de comportamientos
ron a diferentes niveles en la variable cri- laborales eficaces e ineficaces en las situa-
terio (pe. desempeño en el puesto de tra- ciones correspondientes. A continuación,
bajo). Las opciones de respuestas que fue- se escribieron los guiones, que representa-
ron seleccionadas con relativa frecuencia ban palabra por palabra el diálogo de las
por los individuos que demuestran un alto partes involucradas. Se examinó el realis-
rendimiento en el criterio serán puntuadas mo de las escenas y, cuando hizo falta, se
como correctas. Las opciones selecciona- reescribieron los guiones. Se contrataron
das con relativa frecuencia por los indivi- actores semiprofesionales y se grabó en
duos de bajo rendimiento serán puntuadas vídeo su interpretación de los guiones en
como incorrectas. un estudio de grabación. Para garantizar el
realismo, un médico experto ayudó en el
El uso de los EMC en todas las etapas plató. Después, se extrajeron las preguntas
del proceso de desarrollo de un TJS tiene (los ítems situacionales) y las respuestas a
dos ventajas principales. Primero, el rea- partir de las actuaciones grabadas en vídeo
lismo de la parte central de cada ítem y de y de los comportamientos críticos. Y final-
las alternativas de respuesta es más alto mente, se pidió a otro panel de expertos
cuando en el desarrollo participan los que desarrollase las normas de puntua-
EMC además de los creadores del test. Y ción. Su tarea era leer los guiones, obser-
segundo, un grupo numeroso de los EMC var las actuaciones grabadas en vídeo e
puede generar un amplio campo de res- indicar de manera independiente la mejor
puestas para cada situación dada. respuesta para cada una de las preguntas.
Los expertos llegaron a un acuerdo satis-
Para ilustrar el desarrollo de los TJS, se factorio y se resolvieron todas las discre-
describirá el proceso de desarrollo de un pancias mediante una discusión (p. ej.
100 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1
F. Lievens
Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 101
Tests de juicio situacional: introducción y revisión de la investigación
pósito de un TJS es medir algo diferente puestas a los TJS con opciones múltiples
de la inteligencia académica (capacidad son resultado de una combinación de
cognitiva). Sugirieron que los TJS miden capacidad, experiencia y personalidad. Por
“conocimiento tácito” o “inteligencia lo tanto, un TJS se puede conceptuar
práctica” (es decir, el conocimiento prácti- mejor como un método de medición con el
co que habitualmente no está expresado o que se puede evaluar una variedad de
declarado abiertamente y que tiene que ser conocimientos, habilidades y capacidades
adquirido en ausencia de la instrucción laborales (CHCO) (McDaniel et al., 2001;
directa). Otras investigaciones no apoyan Weekley y Jones, 1999), que como un
esta posición y revelan que los TJS están método que evalúa cualquier constructo de
relacionados con la capacidad cognitiva. diferencias particulares individuales. La
En el meta-análisis de McDaniel y colabo- naturaleza multidimensional de los TJS
radores (2001) se encontró que los TJS también se evidencia por el análisis facto-
muestran una correlación significativa rial de los ítems que éstos contienen. Tal
moderada (r=.46) con la capacidad cogni- investigación de los TJS basada en el aná-
tiva, aunque detrás de esta estimación lisis factorial revela habitualmente una
existe una variabilidad considerable. Por plétora de factores difíciles de interpretar
ejemplo los TJS basados en vídeo tuvieron (Schmitt y Chan, 2006). Por consiguiente,
la correlaciones con la capacidad cogniti- la mayoría de los TJS tienen bajos coefi-
va más bajas que los TJS escritos (Wee- cientes de consistencia interna.
kley y Jones, 1997). Otro ejemplo es que
los TJS basados en el análisis de puesto
están habitualmente más relacionados con UTILIDAD
la capacidad cognitiva general que los que
no están basados en el análisis de puesto Una de las críticas a los TJS está rela-
(.50 frente a .38). Aun así, otros investiga- cionada con sus altos costes. Evidente-
dores proponen que los TJS son medidas mente, los costes del desarrollo de los
alternativas de conocimiento de puesto, de TJS son considerables. Una fuente de
la experiencia laboral o de las variables costes de desarrollo de los TJS proviene
interpersonales. Por ejemplo, McDaniel y de la relación de los mismos con un pues-
Ngyuen (2001) encontraron correlaciones to concreto; lo que requiere la repetición
de pequeñas a moderadas entre los TJS y del procedimiento de desarrollo para cada
la experiencia laboral y algunos de los uno de los TJS específicos, lo que consu-
Cinco Grades Factores de personalidad: me mucho tiempo y es costoso. Además,
Concienciación, Estabilidad Emocional y los TJS basados en vídeo y multimedia
Amigabilidad (Weekley y Jones, 1999). implican la creación de los guiones, la
contratación de los actores (semi-)profe-
Resumiendo, el grado con el que los sionales, el rodaje y la edición de estos
TJS cubren diferentes constructos parece cortometrajes.
variar mucho. Esto no es una sorpresa, ya
que los ítems de los TJS pueden referirse a Al contrario que los costes de desarro-
un amplio abanico de situaciones e incluir llo, los costos de administración de los
diferentes tipos de contenido a los que los TJS escritos son bajos. Para los TJS basa-
candidatos tienen que estar atentos cuando dos en vídeo y multimedia los costes
toman las decisiones. Además, las res- administrativos son más altos, ya que se
102 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1
F. Lievens
tienen que hacer las inversiones tecnológi- de desviación estándar a favor de los can-
cas (VCR, los PC) para administrarlos. didatos blancos. La correlación de los TJS
con la capacidad cognitiva explicó casi
A pesar de estos costes de desarrollo y toda la varianza de las diferencias entre las
administración, se debería tener en cuenta medias de los grupos raciales a través de
que los TJS (escritos o basados en vídeo) los estudios. De este modo, las diferencias
pueden utilizarse para evaluar grandes de los subgrupos, entre las personas de
grupos de candidatos al mismo tiempo. raza blanca y negra, parecen reducirse con-
Esta es una ventaja muy importante res- siderablemente por la evaluación a través
pecto a las entrevistas y los centros de de los TJS de un amplio rango tanto de
evaluación (assessment centers). No obs- capacidades cognitivas como no cogniti-
tante, no se tiene consciencia de ninguna vas, tal como las habilidades interpersona-
investigación empírica que haya examina- les. Además, los TJS basados en vídeo
do la utilidad del uso de los TJS. parecen tener un menor impacto adverso
que los TJS escritos, ya que los TJS basa-
dos en vídeo tienen una menor carga cog-
IMPACTO ADVERSO nitiva (Chan y Schmitt, 1997).
Este problema trata la cuestión de si Con respecto al sexo, las mujeres pare-
los TJS son instrumentos imparciales o si cen puntuar levemente mejor en los TJS
grupos concretos (p. ej. las personas de que los hombres. En su meta-análisis,
raza blanca, hombres, y los candidatos Nguyen y los colaboradores (2005) encon-
jóvenes) obtienen de manera sistemática traron una diferencia en los resultados
resultados más altos. Algunos estudios promedios entre mujeres y hombres de .10
examinaron los efectos de la raza y del de la desviación típica a favor de las muje-
sexo en el rendimiento durante la aplica- res. Esta sutil tendencia de género puede
ción de los TJS. deberse a las diferencias en los rasgos de
personalidad entre los sexos, desencadena-
Con respecto a la raza, las diferencias das por las situaciones presentadas en los
en las puntuaciones promedio de los TJS TJS, que a menudo tienen una naturaleza
entre los subgrupos raciales son normal- interpersonal. En general, las mujeres tien-
mente menores que las encontradas para den a puntuar más alto en los rasgos tales
los tests de capacidad, incluyendo los de como Conciencia y Amigabilidad.
capacidad cognitiva. Aunque las personas
de raza blanca obtienen consistentemente
puntuaciones más altas en los TJS, las PERCEPCIONES
diferencias entre las personas de raza blan- DE LOS CANDIDATOS
ca y negra son sustancialmente menores
que la diferencia habitual de una desvia- En general, los candidatos prefieren las
ción típica completa, encontrada en el caso herramientas de selección que perciben
de los tests de capacidad cognitiva. En rea- como relacionadas con el trabajo. Esta es
lidad, en el meta-análisis de Nguyen, una de razones por las que las muestras de
McDaniel, y Whetzel (2005) se encontró trabajo normalmente reciben valoraciones
una diferencia de puntuación media entre favorables (Hausknecht, Day, y Thomas,
las personas de raza blanca y negra de .38 2004). En este sentido, no es sorprendente
Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 103
Tests de juicio situacional: introducción y revisión de la investigación
104 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1
F. Lievens
puede asumir que los candidatos participa- ítems que incluían. La aproximación basa-
rán en cursos de entretenimiento comer- da en una pequeña similitud entre formas
ciales y adoptarán estrategias con el fin de alternativas de los TJS (p. ej. asignación al
mejorar sus resultados, incrementando de azar de los ítems entre las varias formas
este modo sus oportunidades de ser selec- alternativas de los TJS), tuvo menor efecto
cionado. Este último asunto suscita la en la repetición de la prueba.
cuestión clave: ¿Los resultados de los TJS
pueden mejorarse a través del entrena-
miento? SUGERENCIAS PARA FUTURAS
INVESTIGACIONES
Hasta ahora solamente un estudio ha
abordado este problema. Cullen, Sackett, Aunque los TJS han demostrado ser
y Lievens (2006) examinaron la suscepti- predictores válidos en los dominios labo-
bilidad al entrenamiento de los TJS des- rales y educativos, estamos comenzando a
arrollados para su consideración como ins- entenderlos mejor. Por eso, un hueco
trumentos selectivos durante los exámenes importante en la investigación existente es
de alto impacto (en este caso, los del pro- cómo las diferentes características de los
ceso de admisión a la Universidad). Se TJS influyen en su eficacia. Ya se han
crearon las estrategias para aumentar la emprendido los primeros pasos en este
puntuación en cada test y, mediante un camino. Tal y como ha sido descrito con
programa de entrenamiento basado en anterioridad, las investigaciones previas
vídeo, los estudiantes universitarios fueron (Chan y Schmitt, 1997; Lievens y Sackett,
entrenados en el uso de dichas estrategias. 2006; Nguyen et al., 2005) ya han identifi-
Los resultados indicaron que algunos de cado el nivel de fidelidad del estímulo (el
los TJS fueron susceptibles al entrena- formato escrito frente al basado en video)
miento. Estos resultados demuestran que y el tipo de las instrucciones sobre las res-
se debería ser cauteloso con respecto al puestas (basadas en el conocimiento frente
uso de los TJS en el contexto de exámenes a las basadas en la tendencia conductual)
de alto impacto. como factores clave a la hora de determi-
nar la carga cognitiva de los TJS. No obs-
Una cuestión semejante es si los candi- tante, esta investigación solo roza la
datos pueden mejorar sus puntuaciones superficie. Por lo tanto, se necesitan más
cuando vuelvan a realizar los TJS. Otra estudios que investiguen la influencia de
vez, la investigación al respecto es escasa. otras características de los TJS sobre
Lievens, Buyse, y Sackett (2005b) demos- variables relevantes, tales como el impac-
traron que los efectos de volver a realizar to adverso y la validez. Algunos ejemplos
los TJS no fueron mayores que los de las de tales características serían: el uso de los
pruebas tradicionales, tales como los tests ítems ramificados en contraposición a no
de capacidad cognitiva. Junto a ello, un ramificados, el tipo de EMC (compañeros,
moderador importante es la opción de des- supervisores, clientes) utilizados para
arrollar formas alternativas de los TJS. generar los incidentes críticos, el nivel de
Lievens y Sackett (en prensa) compararon especificidad de los ítems, el nivel de
varias aproximaciones al desarrollo de for- interdependencia entre las situaciones pre-
mas alternativas de los TJS que se diferen- sentadas por las preguntas, o la extensión
ciaban en términos de similitud de los de las últimas.
Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 105
Tests de juicio situacional: introducción y revisión de la investigación
Segundo, se necesita aumentar nuestro que originalmente fue pensado. Esto con-
conocimiento de por qué los TJS predicen duce a dos implicaciones. Primero, la
la conducta laboral. Tal y como ha sido interpretación de la respuesta conductual
descrito anteriormente, las investigaciones correcta o apropiada a una situación espe-
anteriores ante todo examinaron la capaci- cífica presentada en un TJS podría variar
dad cognitiva, la experiencia y la persona- en función de los valores culturales. En
lidad como antecedentes del rendimiento otras palabras, la matriz de soluciones
durante la realización de los TJS. De podría variar de una cultura a otra. Segun-
nuevo, esto es sólo el principio. Reciente- do, los TJS podrían tener una validez
mente, el conocimiento procedimental y diferencial entre las distintas culturas si
las políticas de rasgos implícitos han sido los resultados de los TJS no se ajustan a
propugnados como dos plausibles explica- los datos del criterio recogidos en otra
ciones alternativas de por qué los TJS pre- cultura. En las aplicaciones interculturales
dicen el comportamiento laboral (Motowi- de los TJS, la adaptación de la matriz de
dlo, Hooper, y Jackson, 2006). Esto puede soluciones a una cultura ajena podría ser
abrir un abanico de posibilidades para una una manera de ajustar los predictores y
mayor investigación teórica con respecto a los criterios. Es necesaria más investiga-
los TJS. ción para verificar este supuesto. Hasta
ahora, ningún estudio ha explorado las
Si se quiere que los TJS realmente diferencias culturales en términos de los
hagan avances en las prácticas de selec- enlaces entre las situaciones, opciones de
ción internacionales, una tercera y crucial las respuestas, o el tipo de constructo de
área de investigación es su capacidad de las opciones de respuesta de los TJS.
ser transportable entre las diferentes cul-
turas (Lievens, 2006). Es decir, ¿pueden
los TJS desarrollados en una cultura ser CONCLUSIONES
transportados y utilizados como un pre-
dictor válido en otra? Aunque esta pre- El objetivo de este artículo era presen-
gunta puede ser respondida afirmativa- tar los TJS, incluyendo sus características
mente en el caso de los tests de capacidad principales, junto con sus puntos fuertes y
cognitiva (Salgado, Anderson, Moscoso, sus puntos débiles. Puesto que se pretende
Bertua, y De Fruyt, 2003; Salgado, fomentar el uso de los TJS en la práctica
Anderson, Bertua, De Fruyt, y Rolland, de selección, se finaliza este trabajo resu-
2003), se duda de que este sea el caso de miendo la evidencia empírica de la efecti-
los TJS. Por ejemplo, Such y Schmidt vidad de los TJS con respecto a otras
(2004) examinaron la validez del mismo herramientas de selección de reconocido
TJS en varios países. Dicho TJS fue váli- prestigio. También se recapitula en la
do en la mitad de los países, en concreto Tabla 1 la evidencia empírica existente.
en el Reino Unido y Australia. En cam-
bio, no fue predictivo en México. La posi- Probablemente el punto más fuerte de
bilidad de generalizar los TJS a otros con- los TJS es que tienen unos niveles de vali-
textos puede resultar peligrosa si los TJS dez predictiva significativos, relativamen-
fueron utilizados en contextos diferentes te comparables a los de las medidas de
(p. ej. laborales, organizacionales, cultu- selección ampliamente usadas, tales como
rales) y para un criterio diferente para el los centros de evaluación (assessment cen-
106 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1
F. Lievens
Tabla 1.
Revisión de la Investigación sobre los TJS
Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 107
Tests de juicio situacional: introducción y revisión de la investigación
108 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1
F. Lievens
Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 109
Tests de juicio situacional: introducción y revisión de la investigación
110 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1