www.cibereduca.

com

V Congreso Internacional Virtual de Educacin 7-27 de Febrero de 2005

LA EVALUACIN DEL DISEO DE PROGRAMAS MEDIANTE EL JUICIO DE EXPERTOS: PROPUESTA TCNICA DE UN INSTRUMENTO
Javier J. Maquiln Snchez

Departamento de Mtodos de Investigacin y Diagnstico en Educacin Facultad de Educacin Universidad de Murcia

CIVE 2005 Congreso Internacional Virtual de Educacin 1

La evaluacin del diseo de un programa supone la evaluacin del programa en s, es decir, analizar y tomar decisiones sobre el programa como programa. Es considerada la actividad evaluativa ms importante, ya que es la primera y supone la base de las dems evaluaciones. Una evaluacin adecuada en esta fase puede producir mejoras sustanciales en el programa, estas mejoras incrementan su valor ya que, el programa es mejorado antes de ser implementado, es lo que Prez Juste denomina funcin preventiva de la evaluacin. La Finalidad de este momento de la evaluacin es delimitar la calidad tcnica del programa, su viabilidad prctica y su evaluabilidad, adems de optimizar el programa antes de ser aplicado. La Funcin primordial es permitir una toma de decisiones respecto a la mejora del programa, de un modo formativo, aunque en determinadas situaciones puede tener carcter sumativo. La Metodologa al evaluar el programa como tal, se centra en el anlisis de contenido del programa, en estudios prospectivos, etc., aunque el juicio emitido por expertos de diversas reas (metodlogos, cientficos, tcnicos, pedagogos, etc.) tambin es considerado como un pilar dentro del proceso de evaluacin en este momento. La Informacin que se recoge est referida al programa, a saber: su fundamentacin, su formulacin y su relacin con las necesidades, carencias, demandas y expectativas de los destinatarios. Los Criterios considerados en este primer momento de la evaluacin, son los ms exhaustivos de todos los que integran la propuesta, ya que, como anticipbamos, una adecuada evaluacin y toma de decisiones, en este momento, puede incrementar la calidad del programa de un modo notable.

CIVE 2005 Congreso Internacional Virtual de Educacin 2

Estos criterios se refieren a (Tabla 1): la calidad, pertinencia y realismo de objetivos y metas, y adecuacin a los destinatarios y al contexto. Existencia de medios y recursos suficientes para el desarrollo del programa, y la consecucin de los objetivos propuestos. Adems de los aspectos relacionados con la formacin, implicacin y compromiso de los agentes responsables del programa. Otro de los criterios es la calidad tcnica de los planteamientos de evaluacin y del programa. Seguida de la viabilidad del programa. El ltimo de los criterios hace referencia a la evaluabilidad del programa, entendida, tal y como describe Prez Juste, como: relevancia, suficiencia, claridad y accesibilidad de la informacin disponible sobre el programa, en su implementacin y a la hora de realizar su evaluacin. Finalmente, la toma de decisiones se encamina a la mejora previa (aspectos formativos), aunque en situaciones complicadas puede conllevar la retirada del programa (aspectos sumativos).

Momento del programa

! ! ! ! ! ! ! ! ! !

Criterios de evaluacin Calidad, pertinencia y realismo Adecuacin a destinatarios y contexto Suficiencia de recursos Formacin e implicacin de agentes Calidad tcnica en evaluacin Coherencia con las bases tericas Coherencia con las necesidades Congruencia interna Viabilidad del programa Evaluabilidad

Evaluacin del Diseo

Tabla 1. Criterios de evaluacin

1.- DIMENSIONES Y CRITERIOS DE EVALUACIN

CIVE 2005 Congreso Internacional Virtual de Educacin 3

Son tres las dimensiones que aglutinan los ocho criterios o estndares de calidad establecidos para evaluar el diseo del P.D.H.E., a saber: Dimensin endgena, dimensin exgena y dimensin integral. La dimensin endgena hace referencia a los aspectos internos del programa que deben ser tenidos en cuenta para, una vez valorados, poder emitir un juicio sobre la calidad o idoneidad del programa educativo y social. Hemos considerado, como criterios internos, el que el programa est contextualizado , sea consistente y congruente. La dimensin exgena se vincula a los aspectos externos del programa, que se han de considerar para analizar la calidad del programa respecto a, su factibilidad y generabilidad. Estos criterios estn directamente vinculados con la institucin, o con el contexto educativo en el que se implementar el programa. Una valoracin positiva de estos dos criterios, podra incidir en la institucionalizacin del programa. Entre estos cinco criterios de evaluacin, correspondientes a la dimensin endgena y exgena, incluimos los criterios de flexibilidad y conveniencia , que se encuentran vinculados al continuo endgeno-exgeno, ya que algunos indicadores de estos dos criterios se referirn a aspectos internos del programa, y otros a aspectos externos del mismo, e incluso aspectos internos con una proyeccin externa. La dimensin integral es la tercera dimensin a la que aludamos inicialmente, sta hace referencia al criterio que valora en qu medida el programa presentado es evaluable . La definimos como dimensin integral, por estar presente en todos los elementos y momentos del programa, as como en la misma evaluacin (metaevaluacin). La tabla siguiente (Tabla 2) sintetiza nuestra propuesta de criterios de evaluacin del diseo del programa PDHE.

DIMENSIN

CRITERIO

DESCRIPCIN

CIVE 2005 Congreso Internacional Virtual de Educacin 4

Adecuado a las caractersticas y Contextualizado necesidades del contexto ecolgico para el que ha sido diseado. Potente como programa en s, con Endgena Consistente la suficiente calidad tcnica y los elementos, que deben configurar un programa. Basado en un modelo terico de Congruente contrastada validez, adems de coherente a nivel pedaggico y en su desarrollo. Adaptable, dinmico, elstico, que Flexible Endgena-Exgena Conveniente puede adecuarse a situaciones diversas. til para dar respuesta a las necesidades detectadas, eficaz en el logro de los objetivos. Aceptable desde el punto de vista de la institucin responsable y, Factible Exgena ejecutable si existe la disponibilidad de espacios, y recursos materiales y humanos. Aplicable a situaciones diversas Generalizable dentro del mismo contexto, y en otros contextos de caractersticas similares. Permite realizar juicios de valor y toma de decisiones sobre el propio Integral Evaluable programa y, todos los aspectos relacionados a su aplicacin, resultados y la propia evaluacin. Tabla 2.- Propuesta de dimensiones y criterios CIVE 2005 Congreso Internacional Virtual de Educacin 5

de evaluacin del diseo 2.- INSTRUMENTO DE EVALUACIN DEL DISEO DE UN PROGRAMA Este instrumento, organizado a modo de lista de control autoaplicada, integra los indicadores de calidad establecidos para los ocho criterios que cubre dicho instrumento (Contextualizado, Consistente, Congruente, Flexible, Conveniente, Factible, Generalizable y Evaluable). La escala sumativa o tipo Likert que acompaa a cada indicador, con valores comprendidos entre uno y cinco, permite describir la presencia o ausencia de un rasgo dentro del diseo y la intensidad o grado en que ste est presente. Respecto a la organizacin estructural del instrumento de evaluacin, consta de ocho fichas que integran los indicadores correspondientes a cada uno de los ocho criterios ya sealados. Estas fichas de evaluacin, constituyen el ncleo del instrumento de evaluacin del diseo del programa, incluyendo en su conjunto 71 tems. Estos 71 tems, como anticipbamos, se acompaan de una escala de valoracin tipo Likert, cuyos valores continuos oscilan desde el uno hasta el cinco. La escala numrica se acompaa de otra verbal o cualitativa, en la que el uno es el nivel ms bajo y el cinco el nivel ms alto. Todos los criterios tienen el mismo valor o peso, as como los indicadores, independientemente del nmero de stos que se haya consignado para cada criterio. Tal y como se observa en la siguiente grfico, el valor (1) indica que el aspecto a evaluar no aparece, el (2) que est presente algunas veces, el (3) a menudo, el (4) frecuentemente y el (5) que aquello que se est evaluando aparece siempre. Es necesario aclarar que en determinados tems sera ms aconsejable responder indicando SI o NO, entonces debe tenerse en cuenta que el valor (1) de la escala significa NO y el valor (5) est asociado al SI.

CIVE 2005 Congreso Internacional Virtual de Educacin 6

1- NUNCA - NO 2- A VECES 3- A MENUDO 4- FRECUENTEMENTE 5- SIEMPRE - SI

Hemos llevado a cabo un estudio piloto de este instrumento, contando con la colaboracin de tres profesores de la Universidad de Murcia. Este estudio ha servido para corregir, depurar y elaborar el instrumento definitivo de evaluacin, incluido a continuacin. Este instrumento incluye un tem abierto en el que los expertos pueden proponer modificaciones sobre dicho instrumento de cara a la mejora del mismo.

DIMENSIN: ENDGENA CRITERIO 1: Contextualizado

FICHA DE EVALUACIN -1-

Adecuado a las caractersticas y necesidades del contexto ecolgico para el que ha sido diseado. INDICADORES DE EVALUACIN 1. El programa parte de un anlisis de necesidades. 2. Las necesidades han sido priorizadas atendiendo a las demandas de los destinatarios. 3. El programa surge para cubrir una serie de carencias en la institucin. 4. Las carencias han sido denunciadas por los destinatarios. 5. El contexto de aplicacin se ha tenido en cuenta para el diseo del programa de intervencin.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

CIVE 2005 Congreso Internacional Virtual de Educacin 7

DIMENSIN: ENDGENA CRITERIO 2: Consistente

FICHA DE EVALUACIN -2-

Potente como programa en s, con la suficiente calidad tcnica y los elementos que deben configurar un programa. INDICADORES DE EVALUACIN 6. El programa se ha diseado siguiendo un modelo terico que lo sustente. 7. La justificacin del programa pone de manifiesto el carcter tcnico del mismo. 8. Las metas se han especificado en el programa. 9. Las metas estn relacionadas con las necesidades detectadas en el contexto. 10. Los objetivos, tanto generales como especficos, estn recogidos en el programa. 11. El programa presenta la secuencia de contenidos y actividades. 12. El programa recoge la metodologa general y especfica del programa. 13. Los recursos materiales y humanos necesarios para la implementacin del programa han sido previstos. Se ha realizado una planificacin temporal del programa y de cada bloque de contenidos o unidades didcticas. Los destinatarios del programa han sido descritos. Se han contemplado las caractersticas que debe cumplir el responsable o responsables de la implementacin del programa. El programa tiene prevista su evaluacin, integrando todos los aspectos evaluables.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

14.

15. 16.

17.

CIVE 2005 Congreso Internacional Virtual de Educacin 8

DIMENSIN: ENDGENA CRITERIO 3: Congruente

FICHA DE EVALUACIN -3-

Basado en un modelo terico de contrastada validez, adems de coherente a nivel pedaggico y en su desarrollo. INDICADORES DE EVALUACIN 18. El modelo terico que sustenta el programa de intervencin es adecuado. 19. Las necesidades que dan lugar al diseo del programa son significativas. 20. El programa es un documento escrito con una elevada calidad tcnica. 21. El programa ha sido redactado atendiendo a los criterios de claridad expositiva, correccin ortogrfica, organizacin interna, vocabulario accesible, presentacin vistosa, etc. 22. Los objetivos del programa, tanto generales como especficos, aparecen diferenciados en conceptuales, procedimentales y actitudinales, y aparecen formulados correctamente. 23. Los objetivos del programa se plantean de un modo secuencial, cubriendo las necesidades reales del contexto. 24. Los contenidos estn relacionados con los objetivos planteados en el programa. 25. Existe una organizacin lgica en la secuenciacin de los contenidos y actividades. 26. Se ha contemplado en el programa y se prev indicar a los destinatarios que los beneficios del programa se obtendrn a corto, medio y largo plazo. 27. La metodologa propuesta en el programa, es adecuada para cubrir objetivos, contenidos y para los destinatarios. Los recursos materiales y humanos, necesarios para la implementacin del programa, con las suficientes garantas de xito, son razonables.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

28.

CIVE 2005 Congreso Internacional Virtual de Educacin 9

29.

El tiempo necesario para la correcta aplicacin del programa es suficiente y no supone una utopa.

30.

El programa, en su diseo, tiene en cuenta las caractersticas de los destinatarios como grupos homogneos y, eventualmente, heterogneos. 31. El responsable del programa posee la adecuada formacin, conocimientos y capacidades para implementar y evaluar el programa de un modo adecuado. 32. El programa es evaluado antes, durante y despus de la implementacin con la intencin de incrementar su calidad. 33. Los procedimientos de evaluacin son congruentes con los objetivos, contenidos y metodologa del programa. DIMENSIN: ENDGENA EXGENA CRITERIO 4: Flexible FICHA DE EVALUACIN -4Adaptable, dinmico, elstico, que puede adecuarse a situaciones diversas. INDICADORES DE EVALUACIN 34. La consecucin de un objetivo puede facilitar la consecucin de los siguientes, pero sin condicionarla. 35. Cada bloque de contenidos o unidades didcticas, tiene entidad propia y puede ser abordado sin tener vinculacin con el resto de bloques. 36. Pueden eliminarse bloques de contenido o partes de un bloque, sin anular el programa en su totalidad. 37. El programa es funcional y adaptable, a la hora de facilitar la seleccin de los contenidos, en relacin a las necesidades de los destinatarios. 38. La metodologa empleada, permite integrar contenidos de distintos bloques, intercalando aspectos.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

CIVE 2005 Congreso Internacional Virtual de Educacin 10

39.

El programa permite adaptar el tiempo destinado a cada bloque, en funcin de las necesidades especficas de un grupo de destinatarios. El programa presenta un carcter dinmico, dando al responsable del mismo, la posibilidad de adecuar la implementacin del programa a las diversas situaciones que pudieran presentarse.

40.

DIMENSIN: ENDGENA EXGENA CRITERIO 5: Conveniente

FICHA DE EVALUACIN -5-

til para dar respuesta a las necesidades detectadas, eficaz en el logro de los objetivos. INDICADORES DE EVALUACIN 41. La correcta implementacin del programa puede dar respuesta a las necesidades detectadas en el contexto de referencia. 42. El programa, teniendo en cuenta la situacin de partida, puede ser eficaz en la consecucin de los objetivos de mejora. 43. La consecucin de objetivos parciales, por parte de los destinatarios, podra incrementar su motivacin e inters en la consecucin del resto de objetivos. 44. Los contenidos del programa cubren exhaustivamente las necesidades de los destinatarios. 45. La metodologa empleada en el desarrollo de los contenidos del programa, puede fomentar la participacin de los destinatarios en la construccin de sus propios aprendizajes.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

CIVE 2005 Congreso Internacional Virtual de Educacin 11

46.

El programa es adecuado y vlido para los destinatarios del programa. 47. El programa es til para los destinatarios y para el contexto ecolgico del que stos forman parte.

DIMENSIN: EXGENA CRITERIO 6: Factible

FICHA DE EVALUACIN -6-

Aceptable desde el punto de vista de la institucin responsable y, ejecutable si existe la disponibilidad de espacios, y recursos materiales y humanos. INDICADORES DE EVALUACIN 48. El programa tiene relacin con el plan de accin de la Institucin en la que se desarrollar dicho programa. 49. La institucin acepta el programa como instrumento para mejorar la calidad de los servicios que presta a sus clientes. 50. En la institucin existe un servicio o centro que se encarga de las tareas administrativas, de dar a conocer el programa y de contactar con los posibles destinatarios del mismo. 51. En la institucin existe una o ms personas que puedan ser responsables del programa; y en caso de no existir, la institucin est dispuesta a localizarlos en otros contextos. 52. La institucin financia la ejecucin del programa. 53. La institucin facilita un espacio adecuado para llevar a cabo la implementacin del programa. 54. La institucin subvenciona las necesidades materiales que puedan surgir durante la implementacin del programa. 55. La institucin facilita al ponente del programa las fechas para la aplicacin del mismo, con la finalidad de no interferir en otras actividades.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

CIVE 2005 Congreso Internacional Virtual de Educacin 12

DIMENSIN: EXGENA CRITERIO 7: Generalizable

FICHA DE EVALUACIN -7-

Aplicable a situaciones diversas dentro del mismo contexto, y en otros contextos de caractersticas similares. INDICADORES DE EVALUACIN 56. El programa puede cubrir las necesidades de distintos grupos, independientemente de que sean homogneos o heterogneos, dentro de un contexto ecolgico. 57. Si los destinatarios tienen caractersticas similares, y forman un grupo, el programa puede adaptarse y aplicarse especficamente a dicho grupo. 58. Dependiendo de las caractersticas de los destinatarios y del momento de aplicacin, el programa tendr carcter preventivo, de desarrollo o teraputico. 59. El programa puede implementarse en otros contextos con caractersticas y necesidades anlogas, obteniendo resultados similares.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

DIMENSIN: INTEGRAL CRITERIO 8: Evaluable

FICHA DE EVALUACIN -8-

Permite realizar juicios de valor y toma de decisiones sobre el propio programa y, todos los aspectos relacionados a su aplicacin, resultados, y la propia evaluacin. INDICADORES DE EVALUACIN 60. Los objetivos conceptuales, procedimentales y actitudinales, tanto generales como especficos, pueden ser evaluados.
VALORACIN (15) 1 Nunca / 5- Siempre 1- NO / 5- SI

CIVE 2005 Congreso Internacional Virtual de Educacin 13

61.

El resto de elementos formales del programa (contenidos, metodologa, recursos, temporalizacin, destinatarios y responsables), pueden ser evaluados. Los instrumentos de recogida de informacin, de cara a la evaluacin del programa (antes, durante y al concluir la aplicacin), son vlidos y fiables. Los instrumentos de evaluacin permiten una adecuada toma de decisiones, sobre el programa en todo momento. En el programa se contempla la persona o personas encargadas de llevar a cabo la evaluacin del mismo, as como la toma de decisiones. La persona responsable del programa, la institucin y los destinatarios del programa, participan en la evaluacin del mismo. Los costes de la evaluacin (materiales y humanos) y la disponibilidad de tiempos para la misma, estn previstos en el programa. El proceso de evaluacin culmina con una evaluacin de la evaluacin (metaevaluacin).

62.

63.

64.

65.

66.

67.

68.

El diseo de evaluacin del programa posee una adecuada calidad tcnica. 69. El diseo de evaluacin es til, para llevar a cabo la evaluacin del programa en todos sus aspectos evaluables. 70. El diseo de evaluacin del programa es honesto, es decir, se tienen en cuenta los aspectos ticos de la evaluacin. 71. El diseo de evaluacin es viable, es decir, que resulta factible el llevarlo a cabo.

CIVE 2005 Congreso Internacional Virtual de Educacin 14

Si lo considera necesario, puede indicarnos cmo mejorara la calidad tcnica de este instrumento. Qu modificara? Qu eliminara o aadira?

!CiberEduca.com 2005 La reproduccin total o parcial de este documento est prohibida sin el consentimiento expreso de/los autor/autores. CiberEduca.com tiene el derecho de publicar en CD-ROM y en la WEB de CiberEduca el contenido de esta ponencia. " CiberEduca.com es una marca registrada. !# CiberEduca.com es un nombre comercial registrado

CIVE 2005 Congreso Internacional Virtual de Educacin 15