PROCESO DE CONSTRUCCIÓN DEL MÓDULO SABER-PRO

Análisis de problemáticas psicológicas 2012

Contrato ASCOFAPSI-ICFES 186-2012

INFORME GENERAL DE ACTIVIDADES

Guillermo Augusto García Méndez

El presente documento detalla los procedimientos y resultados del proceso de elaboración del
módulo SABER-PRO Análisis de problemáticas psicológicas, diseñado y construido por ASCOFAPSI,
en marco del contrato 186-2012 celebrado con el ICFES, cuyo objeto principal fue “prestar los
servicios profesionales para elaborar la propuesta de marco de referencia y especificaciones de un
(1) módulo para el examen SABER PRO que evalúe las competencias relacionadas con Psicología,
empleando para su elaboración el Modelo Basado en Evidencias (MBE), así como para construir,
revisar y validar 85 preguntas para el módulo desarrollado”.
El documento presenta los detalles de cada una de las fases involucradas en el proceso:
elaboración del documento marco que da soporte a la prueba, elaboración y validación de las
especificaciones de prueba, construcción y validación de preguntas, y armada de formas de
prueba y ejemplos para guías de orientación.

Antecedentes
Desde el año 2000 el ICFES ha venido aplicando una serie de pruebas de competencias a los
estudiantes de último año de distintos programas de educación superior del país. Es así como en
2003 se hace la primera aplicación de los exámenes para la evaluación de la calidad de la
educación superior (ECAES) para los programas de psicología. Los ECAES, que se aplicaron hasta
2010, evaluaban tres competencias (interpretación, argumentación y proposición) en una serie de
contenidos temáticos disciplinares (historia de la psicología, procesos psicológicos básicos, bases
socioculturales y biológicas del comportamiento, entre otras); en este modelo, cada estudiante de
último año era evaluado en nueve componentes disciplinares comunes y un componente
profesional electivo (psicología clínica, organizacional, legal, educativa o social); desde 2004 se
incluyó además un componente de comprensión lectora, y desde 2005 un componente adicional

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 1

de comprensión lectora en inglés, que compartían todos los evaluados, sin distinción del programa
que cursaban.
La Ley 1324 de 2009 propicia cambios importantes en la evaluación de estudiantes de
educación superior, y por tanto, la aparición de las pruebas SABER-PRO como remplazo de los
ECAES. Las SABER-PRO están configuradas por una serie de módulos, cada uno de los cuales evalúa
un conjunto de competencias particulares; los módulos pueden ser de competencias genéricas o
de competencias específicas. Los primeros evalúan competencias que se espera hayan
desarrollado los estudiantes al cursar cualquier programa de educación superior del país, por
tanto, estos módulos son presentados por la totalidad de evaluados. Por su parte, los módulos
específicos evalúan competencias para contextos particulares que requieren de determinado tipo
de formación; los quehaceres complejos evaluados por estos módulos están definidos con base en
las competencias fundamentales de formación de grupos de programas o áreas de conocimiento
con características similares. Dada la inexistencia de un módulo específico que evaluara las
competencias básicas de los egresados de programas de psicología, surgió la necesidad de diseñar
y construir un módulo que pudiese ofertarse a esta población; en este contexto, se firma el
contrato 186-2012 entre ASCOFAPSI y el ICFES, cuyo objeto principal es la construcción de un
módulo que evalúe las competencias relacionadas con el ejercicio del psicólogo, para ser ofrecido
a los programas de psicología desde 2012. A continuación se detallan los procedimientos
involucrados para el diseño y construcción del módulo SABER-PRO Análisis de problemáticas
psicológicas.

Elaboración del documento marco

El documento marco es un documento técnico que da sustento conceptual y empírico al módulo;
el ICFES establece unos criterios estándar que debe cumplir cualquier documento de este tipo que
se elabore para cualquier prueba, entre los que se encuentran, entre otros, una revisión de
referentes internacionales y nacionales de los aspectos que se pretenden evaluar, definiciones
puntuales de los contenidos que abarca la prueba (objeto de evaluación), y las especificaciones de
la prueba.
Teniendo en cuenta que se definió como objeto del módulo el examen de “las
competencias para evaluar problemáticas psicológicas y planear intervenciones, en coherencia con
los principios éticos de la profesión, teniendo en cuenta factores biológicos y socioculturales
involucrados”(García, 2012, p. 36), se tomó como punto de partida una serie de documentos
elaborados previamente por ASCOFAPSI, cuyo objetivo había sido la contextualización de la
formación y evaluación de competencias de los psicólogos en Colombia (Mora, Sánchez & Tejada,
2007; Ballesteros de Valderrama, González & Peña, 2010; ICFES & ASCOFAPSI, 2010; ICFES &
ASCOFAPSI, 2011).

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 2

 A partir de estos documentos se elaboró la propuesta de marco del módulo (anexo 1 ), en
la que se incluyeron los referentes internacionales en cuanto la delimitación de competencias de
los psicólogos en Europa, Estados Unidos, Canadá, Australia, México y Argentina. Así mismo, se
incluyeron los referentes nacionales frente al tema, se desarrolló la propuesta de ASCOFAPSI sobre
competencias genéricas del psicólogo en Colombia, se describieron las características de la
evaluación ECAES de psicología y se mostró la transición de éstos hacia las pruebas SABER-PRO. El
documento final incluyó además las especificaciones de prueba para el módulo, siguiendo el
formato del Modelo Basado en Evidencias (MBE), como se detallará más adelante.

Elaboración de especificaciones de prueba

Las especificaciones o estructura de prueba siguen los lineamientos del Modelo Basado en
Evidencias, que es la metodología empleada actualmente por el ICFES para delimitar las
competencias a evaluar en cualquiera de sus pruebas o módulos. Este es un modelo que pretende
hacer un desglose exhaustivo de los aspectos que se incluyen en la evaluación; el modelo
contempla la operacionalización del objeto de evaluación en tres niveles o categorías jerárquicas:
afirmaciones, evidencias y tareas. De esta manera se encuentran “líneas de evidencia”, en las que
una tarea corresponde a una evidencia que refiere a una afirmación que da cuenta de una
competencia. Específicamente, los componentes de esta línea de evidencia se definen así:

- Afirmaciones: Enunciados generales y englobantes que se hacen acerca de lo que pueden

hacer los estudiantes en las categorías de evaluación definidas, atendiendo a la pregunta:
¿qué se quiere decir sobre los estudiantes a partir de sus respuestas en una evaluación?
Generalmente están enunciadas a través de verbos no observables, por ejemplo:
comprende, conoce, analiza, argumenta.
- Evidencias: Enunciados que representan conductas o productos observables con los cuales
es posible verificar los desempeños a los que se refieren las afirmaciones. Responden a la
pregunta: ¿qué tiene que hacer el evaluado que permita inferir lo que sabe o sabe – hacer?
Cada afirmación debe tener el número de evidencias suficiente para poder sustentarla, y
deben ser adecuadas a las características o restricciones de la prueba.
- Tareas: Enunciados que representan acciones o productos que el estudiante deberá
realizar durante la evaluación para demostrar que cumple lo señalado por la evidencia. De
una misma tarea debe ser posible producir una familia de preguntas. Las tareas son
específicas y las hay de diverso grado de complejidad. Las pruebas requieren tareas de
distinto nivel de dificultad.

La utilización de este modelo da como resultado una Matriz Basada en Evidencias, que reúne
todas las líneas de evidencias organizadas en una matriz de doble entrada, en la que en las

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 3

columnas se ubican los tres niveles (afirmación, evidencia, tarea) y en las filas aparecen las
competencias desglosadas en dichos niveles. La elaboración de esta matriz se sustentó en el
análisis de la información recopilada en el documento marco. Las especificaciones del módulo
fueron elaboradas por un grupo de tres psicólogos, expertos en las áreas de la medición y la
evaluación en psicología; este proceso se adelantó durante nueve sesiones de trabajo en el mes de
junio de 2012.
Una vez culminada la propuesta de especificaciones para el módulo (anexo 2), ésta fue
sometida a validación. Este proceso se llevó a cabo en dos fases; en una primera instancia, se hizo
la validación de la matriz de evidencias con un grupo de diez expertos de programas asociados a
ASCOFAPSI, entre quienes se encontraban decanos, coordinadores académicos y directores de
comités de currículo de dichos programas. La validación por parte de este panel se desarrolló en
dos sesiones de trabajo el 26 de junio de 2012; para el efecto se diseñó una serie de formatos y
protocolos para recopilar las observaciones y sugerencias que pudieran darse. Se hizo un trabajo
individual y posteriormente una plenaria de discusión en la que se llegaron a acuerdos sobre la
pertinencia y la relevancia de los contenidos de las especificaciones, así como sobre posibles
cambios y ajustes, de los cuales la mayoría se hizo inmediatamente, de forma que la versión
validada de la matriz de especificaciones fue conocida y avalada por el panel al final de la jornada.
Para la segunda fase del proceso de validación el equipo de elaboración de las especificaciones
del módulo trabajó sobre las observaciones y ajustes hechos por el panel de expertos,
implementando algunos cambios adicionales a la matriz. Esta matriz consolidada fue enviada vía
correo electrónico, junto con formatos de observaciones, a todos los programas asociados a
ASCOFAPSI, para que se hicieran las observaciones que se consideraran. Después de una semana,
se obtuvo respuesta de 22 programas; las principales observaciones ya habían sido contempladas
en el proceso de validación con el panel de expertos, por lo que la matriz no sufrió mayores
modificaciones tras esta validación “vía web”.
Vale la pena mencionar que durante los procesos de elaboración y validación de la matriz de
especificaciones del módulo hubo un acompañamiento cercano por parte de la profesional
encargada del ICFES, lo que propició que hubiera un ajuste permanente de las especificaciones
siguiendo los parámetros establecidos por el ICFES, facilitando a su vez estos procesos.

Construcción de preguntas
A partir de la matriz de especificaciones validada, se programó la fase de construcción de
preguntas. Para esta tarea se conformó un equipo de ocho psicólogos, expertos en distintas áreas
básicas y aplicadas; además, la totalidad de estos expertos tenía experiencia también en
construcción de preguntas en procesos previos, coordinados por ASCOFAPSI o el ICFES. El proceso
inició con un taller de elaboración de preguntas, impartido por el ICFES, en el que se brindaron los
lineamientos generales para la construcción de ítems con los parámetros exigidos por el ICFES. Se

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 4

programaron sesiones de construcción en equipos de cuatro o cinco constructores; se diseñó una
plataforma de captura en formato Microsoft Access para el registro de los ítems construidos y
validados y se creó una red doméstica en instalaciones de ASCOFAPSI; de esta manera, mientras
cada constructor almacenaba la información relativa a sus ítems, esta información quedaba
centralizada en una base de datos única, a la cual solo tenía acceso el coordinador académico del
proceso.
Se realizaron 12 sesiones, en cada cual cada constructor ingresaba toda la información de sus
ítems en el aplicativo de captura; posteriormente se hacía una plenaria, en la que se leía cada ítem
de cada constructor y el resto del equipo hacía observaciones y sugerencias de cambio, de tal
forma que se aseguraba la pertinencia, la relevancia y la adecuación del ítem para ser incluido en
la prueba. Así, cada constructor ponía a consideración sus ítems, éstos eran validados por el
equipo y podrían ser aprobados, rechazados o devueltos a modificación. En total se construyeron
96 ítems, de los cuales 85 fueron aprobados.

Armada de prueba
Con los 85 ítems aprobados en la validación de constructores se procedió a armar dos formas de
prueba, cada una de 40 ítems, y un paquete de ítems de ejemplo a incluir en la guía de
orientación. La entrega de la primera forma de prueba incluyó un archivo con los ítems
organizados como aparecerían durante la aplicación, otro archivo con las especificaciones de los
ítems de la forma, y un paquete de archivos, uno para cada ítem, con las fichas técnicas de cada
una de las preguntas de la forma. Los ítems fueron sometidos a corrección de estilo por parte del
ICFES; este procedimiento corrige aspectos formales de gramática y sintaxis de los ítems, sin
afectar su contenido original. Posteriormente, los ítems corregidos fueron revisados por un grupo
de cuatro expertos, quienes observaban y sugerían cambios en los ítems, esta vez respecto a su
contenido. En términos generales, solo algunas de las preguntas requirieron ajustes de fondo; una
vez hechos estos ajustes se dio por aprobada la forma 1 del módulo, que posteriormente se
aplicaría en el mes de noviembre de 2012.
Para la entrega de la forma 2 se siguió el mismo procedimiento; se entregó el consecutivo de
preguntas, un archivo con sus especificaciones y las respectivas fichas técnicas. Esta forma ya fue
sometida a corrección de estilo y a validación por parte de expertos. Las preguntas de la forma 2
se utilizarán en próximas aplicaciones del módulo. Por su parte, las preguntas ejemplo fueron
validadas por el ICFES y fueron incluidas en la guía de orientación para el módulo, que se publicó
con anterioridad a la aplicación de las pruebas.

Otros procedimientos
Adicional a lo ya descrito, durante el proceso de adelantaron otras tareas relacionadas en distintas
etapas. Una de tales tareas fue la participación en un video-chat programado por el ICFES (24 de

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 5

octubre de 2012), cuyo fin fue socializar las características centrales del módulo, y en el que se
presentaron los aspectos más importantes de su diseño y construcción de preguntas; así mismo,
se detallaron las competencias que se evalúan y se mostraron las afirmaciones y las evidencias
como especificaciones del módulo. Con base en este video se elaboró una presentación que aún
se encuentra disponible en la página web del ICFES y sirve como complemento a las guías de
orientación diseñadas para toda la evaluación SABER-PRO
http://www.icfes.gov.co/examenes/index.php?option=com_docman&task=cat_view&gid=98&Ite
mid= (Anexo 3)
Otra tarea adicional fue la elaboración de una encuesta para aplicarla a los estudiantes
que hubiesen abordado el módulo dentro de la evaluación SABER-PRO. Esta encuesta, conformada
por nueve ítems de elección y una serie de preguntas de caracterización, pretende lograr un
acercamiento a la percepción de los evaluados sobre la pertinencia, importancia y claridad de las
preguntas incluidas en el módulo, así como de su estructura general. Se pretende que esta
encuesta sea contestada vía web por los estudiantes a quienes se haya aplicado el módulo, por lo
que se ha diseñado un aplicativo en la página www.encuestafacil.com, que permite su
diligenciamiento online y resume información estadística básica sobre los sujetos que ingresen a la
encuesta. El acceso a la encuesta aún no está abierto, pero se espera que los programas hagan
llegar el enlace a sus estudiantes al comienzo del primer semestre de 2013.
Otra de las tareas adicionales programadas se relaciona con la gestión de datos
provenientes de la aplicación del módulo. Ya se ha descargado la guía para el manejo de bases de
datos publicada por el ICFES y ya se tramitó la solicitud de contraseña para el acceso a tales bases.
Específicamente, lo que se encontrará en las bases es:
- Archivos por año con las bases de datos separadas por semestre desde el año 2004 hasta el
año 2008 para cada uno de los exámenes específicos.
- Archivos por año con las bases de datos separadas por semestre de los años 2009 y 2010,
tanto los exámenes específicos de este periodo, como los exámenes genéricos.
- Diccionario de datos de la Prueba Saber Pro o ECAES desde 2004 hasta 2010: una
descripción de las preguntas que se incluyeron en cada prueba.
- Información de componentes de la prueba SABER PRO años 2007 a 2009: puntaje de
componentes para cada uno de los programas que han presentado la prueba SABER PRO
desde el 2007

Con la información a la que se pueda acceder se planea hacer análisis estadísticos e inferenciales
que nutran el trabajo que viene adelantando el Observatorio de la Calidad de la Educación
Superior en Psicología en Colombia de ASCOFAPSI.

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 6

REFERENCIAS

Ballesteros de Valderrama, B., González, D. A. & Peña, T. E. (2010). Competencias disciplinares y

profesionales del psicólogo en Colombia. (Documento preliminar- propuesta para
discusión). Bogotá: ICFES.
García, G. (2012). Marco de referencia y especificaciones de prueba. Módulo: análisis de
problemáticas psicológicas. Bogotá: ICFES.
ICFES & ASCOFAPSI. (2010). II Seminario – Taller de identificación de competencias comunes a
programas. Bogotá, diciembre 15 de 2010.
ICFES & ASCOFAPSI. (2011). III Seminario – Taller de identificación de competencias comunes a
programas. Bogotá, enero 31 de 2011.
Mora, A., Sánchez, N. R. & Tejada, A. (2007). Informe ejecutivo de la propuesta de evaluación de
competencias profesionales del psicólogo en Colombia. Bogotá: ASCOFAPSI.

Informe Final del Contrato ASCOFAPSI-ICFES 186-2012 Página 7