Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6 CLASE 6: DEL 25 DE Abril Del 2006

ELABORACIN DE INDICADORES PARA EVALUACIN DE UN PROYECTO

INDICE : ELABORACIN DE INDICADORES PARA EVALUACIN DE UN PROYECTO...................1 Introduccin..................................................................................2 Los medios de verificacin y los indicadores.............................................2 VALIDEZ Y CONFIABILIDAD DE LA PRUEBAS...............................................3 Factores que afectan la confiabilidad y validez .....................................3 Relacin entre confiabilidad y validez.................................................4 Validez y confiabilidad en los indicadores de un proyecto...........................5 Conclusiones.................................................................................6 Bibliografa...................................................................................6

Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6

Introduccin
En los objetivos especficos de un proyecto, en la tarea de diseo de sus productos y actividades que sern comprometidas con la institucin financista, se ha de tener en cuenta los medios de verificacin y los indicadores de logro. Ellos no son innocuos, inciden en los procedimientos, tiempos de ejecucin, costos de operacin y los medios de validacin de los productos ofrecidos a la contraparte. Los organismos financistas por lo general establecen en sus bases de licitacin, algunos medios de verificacin e indicadores a ser comprometidos en la propuesta y por otra parte los oferentes hacen lo mismo con productos o actividades adicionales a las puntuadas en bases. Las formas de medir la realidad social esta intervenida por la disponibilidad, tanto en cantidad como en calidad, de: una visin ideolgica, tiempo, tecnologa y los recursos humanos. Los mismos indicadores de evaluacin son utilizados en diferentes etapas del ciclo de vida de un proyecto
En la etapa de diseo, para evaluar la conveniencia financiera y operativa de realizar determinado proyecto. Si la evaluacin solicitada de los productos comprometidos supera las capacidades del oferente, este no debiera participar en la licitacin. En la etapa de evaluacin ex-ante, antes de la aplicacin prctica de las propuestas, la institucin demandante procura comprar las propuestas mas rigurosas y precisas en el registro y evaluacin de sus productos, que faciliten el control y evaluacin de resultados y posibilite mediciones ex post. Durante la ejecucin del proyecto los medios de verificacin sern controlados por los supervisores de la institucin financista. En el informe final de la ejecucin del proyecto los principales referentes al nivel de logros del proyecto se basa en los indicadores ofertados en el diseo del proyecto. La evaluacin ex-post abarca la totalidad del perodo de intervencin, normalmente prestando especial atencin a los resultados finales de la intervencin, con el fin de obtener informacin para emprender futuras intervenciones.

Los medios de verificacin y los indicadores

MEDIOS DE VERIFICACION: Corresponden a las fuentes de informacin que se utilizarn para obtener los valores de los indicadores. Deben ser fuentes de informacin de los indicadores posibles de auditar, por ejemplo libros con registros; muestras de productos; tablas con resultados de encuestas; lbumes fotogrficos y registros audiovisuales diversos, documentos diversos que acrediten el producto. Los archivos computacionales son vlidos en la medida que estn protegidos de modificaciones arbitrarias.

Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6

VALIDEZ Y CONFIABILIDAD DE LA PRUEBAS

Los indicadores de medicin en un proyecto deben, al menos en teora y por razones prcticas, respetar condiciones tcnicas de Validez y Confiabilidad, semejantes a las de los procesos de investigacin acadmicos. En los proyectos aplicados dirigidos a brindar productos y, o servicios, existen factores polticos, econmicos y contractuales que restan importancia al rigor de las mediciones. Sin embargo, en la actualidad, presionan por mayor exactitud el aumento de escrpulos; la profesionalizacin de la accin social, la necesidad de aprender de las experiencias; y el aumento de los estndares de calidad. La confiabilidad de un instrumento de medicin se refiere al grado en que su aplicacin repetida al mismo sujeto u objeto produce resultados iguales. Por ejemplo, instrumentos de medicin de ingreso familiares que dan resultados diferentes en una misma semana, no es un instrumento confiable. Los instrumentos de medicin est sometidos a factores de error difciles de medir, pero a considerar por todo buen proyectista, por ejemplo:
mala aplicacin del instrumento: inexactitud en los registros; falta de rapport en el caso de las encuestas, a condiciones particulares del entrevistado: habilidad para entender instrucciones, condiciones de salud, motivacin, etc.

La Validez se refiere al grado en que un instrumento o verificador para el caso de los proyectos, realmente mide la variable que pretende medir. Por ejemplo, un instrumento para medir comprensin de lectura valido debe medir comprensin y no memoria. Una prueba del efecto de un subsidio productivo sobre los ingresos de la familia debe medir rentabilidad del subsidio y no ingresos lquidos. Medicin de canastas bsicas de consumo vlidas contienen nmina de productos y servicios consumidos en una comunidad (problema permanente de la canasta del IPC)

Factores que afectan la confiabilidad y validez

Improvisacin: por el poco o nulo conocimiento del proceso de elaboracin de un instrumento. Instrumentos utilizados en el extranjero, que no han sido validados en nuestro contexto. Instrumento no adecuado para las personas a las que se les aplica. Condiciones en las que se aplica el instrumento.

Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6

Relacin entre confiabilidad y validez

La relacin entre confiabilidad y validez es directa y fcil de entender : una prueba puede ser confiable, pero no vlida, pero una prueba no puede ser vlida si no es confiable. En otra palabras, la confiabilidad es una condicin necesaria, pero no suficiente, para la validez Ejemplo 1, Absurdo: Podemos mantener una alta correlacin entre la capacidad para resolver problemas entre nios de 1 a 5 aos y tener una prueba muy confiable pero en absoluto vlida midiendo el tamao de sus pies. Y concluir que hay una alta correlacin entre el tamao de los pies y la capacidad de resolver problemas, en vez de atribuirlo correctamente a la variable edad. Ejemplo 2: si bien el ejemplo anterior es claramente absurdo, en la realidad se han dado situaciones parecidas, desde el siglo 19 con el desarrollo de la frenologa, aparece la estimacin del tamao del crneo correlacionado a la inteligencia y la medicin de tipo ordinal, a mayor capacidad craneal, mayor inteligencia. Conclusin inmediata fue discriminar a las mujeres que al poseer un tamao corporal menor al hombre tiene tambin una menor tamao craneal promedio y se asuma menor inteligencia.1 Ejemplo 3: En el sector pblico es comn observar indicadores de producto utilizados para explicar impacto por, aumento de $/alumno para referirse a mejoramiento en la educacin, el concepto de educacin es multivariado pero ninguna de sus variables es el $ (dinero).

El mayor cerebro que existe lo posee el cachalote y pesa de siete a nueve kilogramos.

Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6

Validez y confiabilidad en los indicadores de un proyecto

En el caso de las aplicaciones a la realidad de un proyecto de intervencin social, sin condiciones de laboratorio. La confiabilidad, en muchos casos se mide sobre medios de verificacin toscos, macizos, referidos a los objetivos del proyecto y a los productos comprometidos Ejemplo 1: SENCE programa FONCAP ao 2005 Objetivo operativo: Insertar laboralmente Producto Capacitacin en un oficio con prctica laboral comprometido:
Jerarqua de Categora objetivos del de Marco Lgico resultado s a medir Propsitos Impacto Resultados (o componentes) Actividad Productos Proceso Verificador indicador Validez indicador del

Contrato de trabajo luego de 3 meses de seguimiento Certificado de calificacin tcnica Libro de asistencia a clases

Trabaja formalmente o no Aprob curso o no % de asistencia

No asla variables externas a la mera capacitacin No evala capacidad No evala aprendizaje

Ejemplo 2: FOSIS programa Microempresa, ao 2005. Objetivo operativo: Aumentar ingresos de una microempresa Productos Subsidio para inversin productiva y asistencia tcnica comprometido:
Jerarqua de Categora objetivos del de Marco Lgico resultado s a medir Propsitos Impacto Verificador indicador Validez indicador del

Aumento de ingresos lquidos de la empresa luego de descontar gastos Factura de bienes adquiridos y libro de firma de asistencias recibidas Diseo de un proyecto de inversin productiva para la micro empresa

Resultados (o componentes)

Productos

Actividad

Proceso

% de aumento respecto de lnea base, luego de tres meses de implementacin Se usaron los recursos asignados y y Cumplimiento de hrs de asistencia comprometida. Existe o no proyecto de inversin

No asla variables externas de mercado. No asla el subsidio de la inversin real. No evala capacidad

No evala aprendizaje

Curso de Diseo y Evaluacin de proyectos / Docente: Ivn Pinochet B/ Clase 6

Conclusiones
1. Los indicadores de medicin usados en los proyectos usualmente radican en los productos esperados por el financista y las mediciones de impacto son pobres. Esto genera un mbito interesante en el cual un proyecto bien diseado puede agregar valor, ofreciendo adecuadas formas de medicin vlidas y confiables asegurando (siempre con un margen de error) el logro de los objetivos especficos planteados por el financista. 2. Las variables de capacitacin pueden ser medidas en cuanto a: Aprendizaje verificables por pruebas escritas y medido por escalas porcentuales comparables con lnea base Incrementos de hbitos positivos, como higiene, puntualidad, seguridad en el trabajo, normas de convivencia, elaboracin de vitae de empleo. Verificables por libros de registro, entrevistas personales, medios audiovisuales. 3. Los productos referidos a subsidios monetarios han de ser medidos idealmente, en:
Rendimiento del capital de inversin. Rentabiliad futura de la inversin

Bibliografa
Metodologa de la Investigacin Roberto Hernndez S. Et. Al., Ed. Mc Graw Hill, Mxico 2003. Captulo 9, pginas 346 a la 356.