CRITERIOS E INDICADORES DE EVALUACIN.

1.-INTRODUCCIN. El uso de indicadores en los contextos de evaluacin universitaria ha ido ganando terreno, hasta el extremo que es imposible pensar en la construccin de cualquier sistema de evaluacin, sin contar con el desarrollo previo de un modelo contrastado de indicadores de calidad. Un indicador es una estimador de una caracterstica relevante del mbito que pretendemos diseccionar, analizar y contrastar. Se trata de un dato que condensa una importante cantidad de informacin y constituye un testigo situado en un lugar estratgicamente bien dispuesto, que nos permite al analizarlo o al observar sus oscilaciones y por referencia a la estructura general, interpretar el mbito concreto de la realidad universitaria a evaluar (en este caso la titulacin) y tambin sus tendencias. Desde la dcada de los noventa , la tradicin universitaria europea ha ido incorporando sistemas de evaluacin institucional, actualmente en revisin como consecuencia de la creacin del nuevo espacio europeo de educacin superior. En el fondo son sistemas que se sirven de la evaluacin como instrumento de revisin y generacin de la calidad. Consecuentemente todas las agencias europeas han ido desarrollando guas e instrumentos para proceder de forma regulada a la evaluacin institucional. En ellas se hace acopio del conjunto de elementos bsicos que se precisan para proceder a la evaluacin: Se definen los mbitos de evaluacin. Se establecen los criterios de relevancia. Se marcan los indicadores ms importantes. Se aconseja sobre el tipo de evidencia a considerar y analizar. Se establecen los procesos. Se orienta respecto de la naturaleza de los juicios valorativos.

Evidentemente nuestra aportacin no puede (ni debe) abarcar todos los aspectos sealados. Se trata simplemente de sealar, en un marco de racionalidad, los indicadores que consideramos ms bsicos para proceder a evaluar las titulaciones que proponemos. En este sentido, nuestro planteamiento evaluativo parte inicialmente de la racionalidad derivada de tres referentes claves (2003): - El del IMHE de la OCDE, que seala la necesidad de contemplar cinco grandes perspectivas: - El contexto de referencia. - El potencial del sistema - Las variables de entrada.

- El proceso. - El producto. Un segundo referente es el de la evaluacin de los resultados (profesionales, sociales y personales), que es uno de los estndares adoptados por las agencias de acreditacin de las universidades norteamericanas en las que hay que poder demostrar y poner a disposicin pblica las evidencias que avalan la certificacin del perfil de formacin del graduado de una universidad. Finalmente el tercer referente ha sido la propuesta de la Association of Dutch Polytechnics and Colleges que planeta cinco enfoques: el disciplinar, el econmico, el del consumidor, el del mercado laboral y el de la innovacin organizativa.

Fruto de estos referentes, fue el diseo de un modelo, presentado por un grupo de expertos en el seminario de Sitges del ao 2000, dedicado a la evaluacin en la educacin superior y al que acudieron representantes del Consejo de Universidades y de las Agencias en vigor en aquel momento. Posteriormente e inspirados directa o indirectamente en aquella propuesta, se desarrollan dos guas para la evaluacin, la de la AQSUC (2002) coordinada por el profesor Sebastin Rodriguez y la del Ministerio (2003) por el profesor Mario de Miguel. A partir de este recorrido y en el momento de plantear nuestros indicadores, nos hemos basado en los anteriores trabajos, limitndonos a realizar una sntesis comprensiva de los que consideramos ms fundamentales. Proponemos en l, las perspectivas bsicas, los criterios que las substantivan y los indicadores de carcter cuantitativo y cualitativo que consideramos que conjugan su relevancia con la posibilidad de recogerlos de forma sistemtica en un planteamiento evaluativo bien armado, pero posibilista. No incluimos las evidencias a seleccionar para cada caso, los procedimientos a desarrollar y el sistema de juicios de valor a establecer, porque consideramos que estn fuera del alcance de este trabajo.

2.- PERSPECTIVAS, CRITERIOS E INDICADORES Perspectiva: El contexto de referencia: Criterio evaluativo: Posicin estratgica de la titulacin: Pregunta clave: Es favorable la posicin estratgica de la titulacin en relacin al contexto interno y externo. Indicadores: Preinscritos en primera opcin respecto de la oferta de plazas.

Alumnos de nuevo ingreso en primera opcin respecto del nmero total de alumnos matriculados de nuevo ingreso. Porcentaje de estudiantes que entran en primera opcin con una nota de acceso entre 7 y 10. Porcentaje de alumnos de nuevo acceso procedentes de otra comunidad. Porcentaje de alumnos de nuevo acceso procedentes de otros pases.

Otros indicadores de carcter cualitativo: Valoracin de la pertenencia del profesorado a redes de reconocido prestigio. Valoracin de la percepcin de la titulacin respecto a titulaciones idnticas de otras universidades del estado o extranjeras. Valoracin de los convenios de cooperacin o de transferencia tecnolgica realizados.

Perspectiva: Potencialidad del sistema. Criterio A: Cantidad y calidad de los recursos humanos. Pregunta clave: El volumen y la situacin del profesorado y del PAS son adecuados respecto de las caractersticas y necesidades de la titulacin?. Indicadores de base: Ratio entre el nmero total del PDI. Y el nmero total de alumnos. Ratio entre el nmero total de PDI a tiempo completo y el nmero total de PDI. Ratio entre el nmero total de PDI doctores y el nmero total de PDI. Ratio entre el nmero total de PDI estable y el total de PDI. Rato entre el nmero total de PAS y el nmero total de PDI.

Otros indicadores de carcter ms cualitativo. Perfil acadmico del profesorado (formacin acadmica, experiencia docente e investigadora). Perfil de experiencia profesional (tanto del permanente como del asociado), Perfil de genero y edad. Valoracin de los resultados de la evaluacin docente e investigadora del profesorado. Valoracin del nivel de formacin e innovacin docente del profesorado.

Criterio B: Recursos econmicos. Pregunta clave: Son suficientes los recursos econmicos para cubrir las necesidades docentes, investigadores y de servicios de la titulacin?. Indicadores: Ratio entre ingresos totales de la Universidad y el nmero total de PDI de la titulacin.

Ratio entre los ingresos totales de la Facultad respecto del nmero total de PDI de la misma. Ratio entre los ingresos totales de los Departamentos con enseanza en la titulacin respecto del nmero total de PDI de los mismos. Ratio entre los ingresos generados por prestacin de servicios en al Facultad, respecto del total de ingresos de la misma. Ratio entre los ingresos generados por la actividad investigadora sobre el total de ingresos del departamento.

Criterio C: Infraestructuras. Pregunta clave: Son adecuadas las infraestructuras disponibles para el buen desarrollo de los objetivos y metas de la titulacin?. Indicadores: Ratio entre el nmero de alumnos matriculados en la Facultad donde esta insertada la titulacin y el nmero de puestos de aula que disponen. Ratio entre el nmero de alumnos matriculados en la Facultad que precisan el uso de laboratorios (talleres, espacios de prcticas, etc) y el nmero de plazas de los mismos disponibles. Ratio entre el nmero de alumnos matriculados en la Facultad y el nmero total de puestos en la Biblioteca. Ratio del nmero de volmenes que dispone la Biblioteca respecto del nmero de titulaciones a las que atiende. Nmero total de suscripciones a revistas especializadas propias de la titulacin.

Otros indicadores de carcter ms cualitativo: Acondicionamiento de las aulas (soporte multimedia, informtico, insonorizacin, iluminacin, etc). Grado de seguridad y conservacin de las instalaciones. Existencia y calidad de otros servicios de carcter general (restauracin, copistera, librera, etc).

Perspectiva: Los procesos. Criterio A: Planificacin de la titulacin y de la gestin de la calidad. Pregunta clave: Tiene establecidos la titulacin de forma clara y explcita las metas y objetivos y los instrumentos para determinar su cumplimiento? Indicadores: (en el caso de los procesos, por la propia naturaleza de los mismos, los indicadores sern bsicamente de carcter cualitativo): Existencia y adecuacin de una plan estratgico de desarrollo de la titulacin. Existencia de documento pblico con constatacin de metas y objetivos.

Existencia y adecuacin de un plan de calidad de la titulacin. Existencia de documento pblico con explicitacin de las polticas y mecanismos de evaluacin de la titulacin. Explicitacin de los procedimientos a utilizar para conocer la consecucin de los objetivos planificados. Existencia y adecuacin de un plan de desarrollo profesional del profesorado. Existencia de documento pblico con explicitacin de las polticas y mecanismos de evaluacin e incentivacin del profesorado. Existencia de procedimientos para conocer la satisfaccin de los agentes. Existencia de instrumentos contrastados para la recogida de la informacin. Existencia y adecuacin de planes especficos de futuro para la titulacin. Existencia de estudios prospectivos.

Criterio B: Diseo del plan de formacin. Pregunta clave: Es adecuado el plan establecido respecto del perfil de formacin? Indicadores: Existencia clara y definida y grado de adecuacin del perfil de formacin. Nivel de especificacin en trminos de competencias (acadmicas, profesionales, transversales y personales) del perfil. Grado de participacin de los diferentes agentes externos e internos en la definicin del perfil. Grado de ajuste con los modelos de formacin europeos. Adecuacin del programa de estudios en relacin al perfil de formacin. Grado de adecuacin de los contenidos y objetivos del programa al perfil de formacin de la titulacin. Grado de adecuacin de la estructura del programa al perfile formacin Grado de adecuacin de las metodologas de aprendizaje y los procesos de evaluacin a la naturaleza formativa del perfil Grado de funcionalidad del programa de formacin. Nivel de ajuste de la estructura del programa al modelo europeo de grados. Grado de adecuacin del programa al modelo de crditos europeos. Valoracin de la secuenciacin de los conocimientos a los largo del plan de estudios.

Criterio C: Desarrollo de la titulacin. Pregunta clave: Es adecuada y pertinente la organizacin de la titulacin en relacin a la tipologa de los estudiantes y a las caractersticas acadmicas de los estudios? Indicadores:

C1.- Organizacin de la titulacin: Grado de adecuacin del calendario y del horario al desarrollo de la docencia. Nivel de ajuste entre el tamao del grupo-clase y las caractersticas de las titulaciones. Grado de adecuacin de la organizacin y supervisin del prcticum.

C2.- Metodologa docente: Grado de adecuacin de las metodologas docentes explicitadas en los programas y las caractersticas de las mismas y de la titulacin. Nivel de introduccin de las nuevas tecnologas en los procesos de enseanza-aprendizaje. Grado de apoyo institucional a la innovacin docente.

C3.- Accin tutorial y orientacin. Grado de planificacin de los servicios de orientacin y tutora. Grado de adecuacin de la organizacin de la tutora a las necesidades y caractersticas de los estudiantes. Nivel de acciones planificadas para facilitar la insercin profesional de los estudiantes.

C4.- Actividades curriculares complementarias. Grado de planificacin de las actividades curriculares complementarias. Grado de adecuacin de las actividades curriculares complementarias al diseo curricular de la titulacin. Grado de orientacin de las actividades curriculares complementarias respecto del desarrollo de las habilidades acadmicas, profesionales o personales.

Perspectiva: Los resultados. Criterio : Calidad de los resultados acadmicos, profesionales y personales. Pregunta clave: Son satisfactorios los resultados acadmicos, profesionales y personales conseguidos por los alumnos? Indicadores: Tasa de rendimiento: Ratio entre el nmero total de crditos superados por los alumnos en un estudio y el nmero total de crditos en los que se han matriculado. Tasa de xito: Ratio entre el nmero total de crditos superados por los alumnos en un estudio y el nmero total de crditos presentados a examen.

Tasa de abandono: Ratio entre el nmero total de alumnos que continan los estudios frente al nmero total de alumnos matriculados, Tasa de graduacin: Ratio entre el total de alumnos que finalizan la titulacin en el tiempo de duracin oficial frente al nmero total de alumnos de nuevo ingreso. Duracin media de los estudios: Duracin media (en aos) que los alumnos matriculados en una titulacin tardan en obtener la acreditacin correspondiente a su graduacin. Tasa de progreso normalizado: Ratio entre el nmero total de crditos que ha superado un graduado y el nmero total de crditos de los que se ha matriculado a lo largo de sus estudios (incluyendo las veces que ha repetido). Grado de satisfaccin con los estudios: Grado de satisfaccin que muestran los alumnos respecto de los estudios recibidos, valorado en el momento de graduarse. Grado de satisfaccin de los egresados: Grado de satisfaccin que muestran los egresados, con la formacin recibida durante la titulacin, a los dos y a los cinco aos de graduarse. Grado y calidad de la insercin laboral. Porcentaje de egresados que se insertan laboralmente a los dos y a los cinco aos de finalizar sus estudios. Valoracin de la calidad de la insercin. Porcentaje de alumnos graduados que continan estudios en el extranjero.

Otros indicadores de carcter ms cualitativo: Opinin del profesorado sobre los resultados acadmicos del alumnado. Opinin de los graduados respecto de su desarrollo personal a partir de la formacin recibida en la titulacin. Opinin de los agentes contratadores de los alumnos en prcticas. Grado de participacin de los agentes externos en la valoracin de los logros profesionales de los graduados. Opinin de las empresas que contratan graduados respecto de su calidad. Valoracin de los resultados de los graduados en evaluaciones externas (acceso a la funcin pblica, consecucin de distinciones, etc.)