CUADERNO DE ESTUDIO SEMIPRESENCIAL

Fuente plaza central San Andrs Itzapa, Chimaltenango

TALLER 5: PROYECTOS SOCIALES II

Lic. Otto Edvin Arenales Callejas oearenales@yahoo.com

INTRODUCCIN
Actualmente es creciente la preocupacin existente en el sector pblico, privado y de la Cooperacin Internacional en relacin a conocer la eficiencia y eficacia de los resultados u objetivos obtenidos en los proyectos sociales; situacin que a partir de la dcada de los aos noventa ha llevado a todos a orientar y centrar esfuerzos ya no slo en la formulacin de los programa y proyectos sociales sino, tambin, en los aspectos de evaluacin formativa y sumativa de los mismos. Desde sta perspectiva, muchos organismos internacionales han dedicado esfuerzos en generar concepciones, metodologas para la implementacin de estos procesos. La evaluacin esta dirigida a contribuir en la toma de decisiones en la gestin de proyectos, para mejorar las intervenciones, superar las limitaciones y aprender de las lecciones y experiencias que nos dejan. Su importancia radica en ello y no debe confundirse con los procesos de informacin, rendicin de cuentas y auditoria. Son cosas muy distintas, aunque la mayor parte de las veces, complementarias. La evaluacin tambin es una forma de brindar componentes esenciales para un buen desarrollo de las actividades comunitarias que se llevan a cabo a travs de proyectos que buscan el mejoramiento de la calidad de vida de un gran nmero de personas, Se presenta a continuacin un cuaderno de estudio semi presencial sobre la evaluacin de programas de gestin social, de manera prctica, para que el lector y estudioso del tema, pueda navegar con orientacin dentro del mar de informacin disponible en relacin con el tema. Se trata de proporcionar elementos para hacer una evaluacin no solo cuantitativa, sino cualitativa, adems de los logros obtenidos y el impacto causado por cualquier tipo de proyecto social. El presente cuaderno se construye de una forma sencilla y gil para que todas aquellas personas que trabajan o estudian la forma de realizar una evaluacin de proyectos, cuenten con herramientas que les faciliten su labor y aprendizajes. Este cuaderno fue preparado, pensando en las personas que desean aprender ms sobre el control y la evaluacin de su trabajo. Est fundamentado en un trabajo de recopilacin bibliogrfica, as como en aos de experiencia facilitando procesos de evaluacin de proyectos sociales. Muchos y muchas utilizan ya mtodos de seguimiento como parte de su trabajo en el rea de desarrollo. Otros muchos utilizan mtodos de evaluacin y realizan levantamientos, principalmente antes de iniciar un nuevo proyecto o programa, o de ampliar o mejorar uno que ya se encuentra en marcha. Por otro lado, muchas personas tienen poca preparacin o poca experiencia en lo que a control y evaluacin se refiere. Lo que todas estas personas tienen en comn es que estn involucradas en los ms diversos programas de desarrollo rural y urbano; trabajan, por ejemplo, en el campo de la salud, del desarrollo comunitario, de la educacin de adultos o de agricultura. Participan en esos programas personas con diferentes niveles de educacin y experiencia. Se pueden encontrar personas con poco o ningn nivel de escolaridad. Se pueden encontrar personas altamente calificadas. Sin embargo, tienen algo en comn: trabajan juntas en un mismo programa y necesitan brindar seguimiento y evaluar un trabajo conjunto. Muchos, principalmente los que trabajan directamente en contacto con una comunidad, manifiestan la urgente necesidad de un apoyo como la presente herramienta gerencial. Creen que gran parte de las tcnicas de seguimiento y evaluacin existentes complejas, caras e inadecuadas a las condiciones reales en las que viven y trabaja, por lo que ac se presentan una serie de tcnicas participativas que se espera faciliten esa labor de seguimiento y evaluacin.

Otto Edvin Arenales C.

CRDITOS BIBLIOGRFICOS
Es importante indicar que la compilacin de las lecturas del presente cuaderno de trabajo, han sido tomadas de los documentos y pginas Web, descritas a continuacin:

Referencias bibliogrficas
1. Aguilar Idez, M. J. y E. Ander Egg. 1,985. Diagnstico Social. Argentina: Lumen. 2. Berum Milburn, Jaqueline. Monitoreo y evaluacin de proyectos. Cuadernos de cooperacin para el desarrollo. Escuela Latinoamericanda de cooperacin y desarrollo. Colombia 2,010-.Cohen Ernesto, Martnez Rodrigo. Formulacin, monitoreo y evaluacin de proyectos sociales. CEPAL. 3. INDES. Banco Mundial. Material curso monitoreo y evaluacin. 2,008. 4. Stockmann Reinhard. Evaluacin y desarrollo de la calidad. Costa Rica. 2,006. 5. Vsquez, Enrique Arambur, Carlos E. Figueroa, Carlos. Gerencia Social. Diseo, Monitoreo y Evaluacin de Proyectos Sociales. Lima, Per. 2006.

Webgrafa
http://www.unfpa.org/monitoring/toolkit.htm http://www.siempro.gov.ar/ http://www.paho.org/spanish/hpp/hpf/adol/monitoreo.htm http://www.observacoop.org.mx/docs/Dec2009/Dec2009-0027.pdf http://www.impactalliance.org/ http://www.comminit.com/es/node/309740 http://www.stepstoolkit.org/

PRIMERA SEMANA UNIDAD I: Fundamentos conceptuales TEMA 1 Un marco conceptual para la evaluacin de programas y proyectos sociales Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes. Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluacin de polticas, programas y proyectos sociales.

LECTURA
Tomada de: http://escuelahistoria.fcs.ucr.ac.cr/contenidos/ http://bibliotecavirtual.clacso.org.ar/ar/libros/secret/capital/08cap6.pdf

Conceptos bsicos para el xito o fracaso de proyectos de desarrollo.

El xito o el fracaso de los proyectos de desarrollo, rara vez puede ser explicado por una sola causa. Las condiciones estructurales de un proyecto y los factores que pueden ser influenciados por las decisiones y actuaciones de los grupos involucrados en su ejecucin, juegan un papel de gran importancia. Entre los instrumentos ms importantes en materia de planificacin y ejecucin de proyectos, se encuentra el M&E, que es un instrumento de gestin de proyectos que proporciona los elementos indispensables para llevar a cabo la conduccin del mismo, basndose en la planificacin del proyecto.

Gestin.
El concepto de Gestin sera el de dirigir personas en un sistema dinmico de anlisis, decisin y comunicacin de manera que se logren objetivos por la actuacin planificada, organizada y controlada (Definicin del Comit Europeo para la Capacitacin en gestin). El sistema de gestin equivale al trmino en ingls: "Management". Otro trmino relacionado conceptualmente, pero con otras connotaciones es la "Gerencia". Cuando se habla del "sistema de gestin", se refiere a un conjunto de elementos que constituyen funciones institucionales y se inter-relacionan entre s de manera dinmica. Los "sub-sistemas" de un sistema de gestin son: definicin de objetivos, planificacin, organizacin, direccinejecucin y monitoreo (seguimiento) y evaluacin, adems de los procesos de comunicacin-anlisisdecisin. (Ver grfico No.1) Algunos conceptos que se enuncian a continuacin den ser de apoyo para la comprensin del sistema gestin y como partes del sub-sistema de M&E: a) Seguimiento: Es el examen continuo de la cin de las actividades para asegurar que progresen acuerdo con la planificacin trazada, analizando, aplicacin de insumos; los cronogramas trabajo y logro de los productos esperados conforme a los cadores establecidos y otras acciones necesarias permitan medir los efectos. puede cude la el indique

b) Control de Actividades: Del ingls: "Controlling" - trmino utilizado en la administracin de empresas, que implica: "la comparacin permanente entre la norma, por ej. de una planificacin (pauta de la planificacin) y de su realizacin/ejecucin prctica; el anlisis de divergencias y la introduccin de medidas de correccin". c) Monitoreo: En instituciones de fomento al desarrollo, el monitoreo corresponde al "controlling" de la administracin. Es la observacin continua, tanto del funcionamiento de las actividades de la institucin en el contexto del calendario de implementacin, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Dentro de las funciones de la gestin institucional, es tarea interna de la instancia superior normativa, definida internamente como la responsable para la ejecucin. (si es externo: "Supervisin"). Esta informacin es recogida peridicamente y se dirige a los responsables superiores de la ejecucin del proyecto con dos finalidades: suministrar informacin procesada o retroalimentada a la direccin o gerencia para perfeccionar los planes operativos y adoptar correctivos en la ejecucin; as como para establecer las referencias para la evaluacin. En el Monitoreo se califica lo siguiente: Comparacin de las actividades y productos reales en relacin a lo pretendido. Oportunidad de las operaciones. Relacin entre actividades, insumos y productos. Efectos e impacto. Todo esto se logra, siempre y cuando: La planificacin sea correcta y vlida. Los indicadores son precisos en la planificacin La ejecucin de las actividades se trabaja en equipo y con sinergias. Se puede observar, sistematizar, documentar la relacin entre actividades, insumos y productos. Monitoreo financiero Los programas o proyectos implican el uso de insumos y recursos humanos con costos establecidos. En la fase de planeacin se determina el presupuesto base del programa que incluye rubros como personal, equipos y materiales, espacios e instalaciones, viajes, entre otros. Para el control presupuestal existen herramientas financieras como los flujos de caja, ingresos y egresos mensuales. El monitoreo financiero, al igual que otros sistemas de monitoreo puede ser analizado segn su capacidad de respuesta o adaptacin, por cuatro criterios centrales: Existencia de datos: En esta rea abunda la informacin ya que es la ms controlada y sometida a sanciones administrativas e incluso legales. Periodicidad: El control se expresa en ingresos y egresos con base en cuentas anuales, mensuales e incluso diarias. Tipos de datos: Es una informacin de carcter secundario, registrada con fines administrativos, centrada en el control de caja, tem usual de todo seguimiento de presupuesto. Influencia en la toma de decisiones: El monitoreo financiero es muy sensible a la toma de decisiones, por la dependencia central que tiene un programa o proyecto de la disponibilidad oportuna de recursos. Monitoreo administrativo. Es importante evaluar el contexto institucional y las regulaciones o trmites de la organizacin que acoge el programa. La evaluacin conlleva el cumplimiento de los criterios administrativos racionales (pasos internos) de ajuste de desempeo a la descripcin del cargo, niveles de productividad aceptables o mnimos, sujecin a estatutos administrativos o de contrato. El monitoreo administrativo permite detectar las posibles necesidades de cambio organizacional. Existencia de datos: Los datos del monitoreo administrativo son los que generalmente registra la oficina de personal de las instituciones: descripcin de cargos, cumplimiento de funciones, asistencia, tareas realizadas y evaluacin de cargos.

Periodicidad: Es continua en el control de deberes y discontinua en mediciones de autoevaluacin de cargos. Tipos de datos: Son de carcter secundario (control de asistencia, de tareas entre otros). d) Evaluacin. Es el proceso encaminado a determinar y valorar sistemticamente, objetivamente y peridicamente la relevancia, funcionamiento, eficiencia, eficacia e impacto de todas las acciones en el contexto de los objetivos establecidos. Normalmente incluye comparaciones, que requieren de informacin del contexto/del mbito externo del proyecto, en tiempo, reas, poblacin, etc. La evaluacin se ocupa de quin o qu grupo se ha beneficiado ( ha sido adversamente afectado), en qu cuanta (en comparacin con la situacin imperante antes de la actividad de que se trate), de qu manera (directa indirectamente) y por qu (estableciendo en la medida de las posibles relaciones causales entre las actividades y los resultados). Dentro de la gestin institucional, la evaluacin es el cuestionamiento, la revisin y la adecuacin de la planificacin y de las realizaciones. Se realiza interna y externamente, antes de la ejecucin, examinando la planificacin: "Evaluacin ex-ante"; durante la ejecucin, para analizar si las hiptesis y supuestos de la evaluacin ex-ante siguen vlidos, a fin de introducir ajustes: "Evaluacin continua" (Interna y/o externa); y al concluir la ejecucin, para valorar el logro de los efectos y el impacto: "Evaluacin fin de proyecto". Tambin se realiza aos despus de terminar las actividades, para obtener enseanzas para las futuras planificaciones: "Evaluacin ex-post". Esta informacin se dirige a las instancias encargadas de la direccin y de polticas institucionales para tener una orientacin ptima hacia la situacin/problemas para la nueva planificacin re-adecuacin del sistema de gestin/ejecucin. Con la evaluacin se califica: Quin, en qu, de qu manera y por qu se ha beneficiado. Se debe considerar como supuesto que: la validez de la planificacin es cuestionada y que se genere la informacin necesaria para realizar la comparacin. e) Inspeccin y Auditora: La inspeccin y la Auditora son tambin formas de examen organizativo; pero las llevan a cabo personal "externo" u rganos independientes. Inspeccin y Auditoria significan: control y comprobacin, por parte de niveles ms altos en qu medida se ajustan los procesos ejecutados a los procedimientos y normas predeterminadas e informar sobre el grado de conformidad o la existencia de cualquier irregularidad en la ejecucin de proyectos, programas o planes. La inspeccin se refiere ms a la ejecucin correcta de las actividades, la auditora a las formas de utilizacin de los recursos/insumos. f) Desarrollo organizacional: Como parte del desarrollo organizacional, el sistema de M&E debe tener una planificacin detallada, al margen de cualquier mtodo de planificacin que se utilice. Existe un alto grado de dependencia entre la calidad de la planificacin y el sistema de M&E, pues obviamente no es posible disear un buen sistema de M&E si la planificacin de base no es precisa; pero tambin no es posible modificar o ajustar la planificacin sin un monitoreo y una subsiguiente evaluacin de las actividades, resultados y objetivos.

Esta funcin en proyectos implica dos tareas bsicas: Monitorear y evaluar el desempeo del proyecto y las condiciones externas que son importantes para su ejecucin exitosa. Definir las acciones correctivas, para restaurar la consistencia con la planificacin del proyecto, cuando sea necesario. Entre los atributos de la gestin tenemos dos la eficacia y la eficiencia:

EFICACIA: Comparacin de los objetivos con los resultados; apreciacin de las diferencias entre lo que se realiz y lo que estaba previsto. EFICIENCIA: Comparacin de los resultados objetivos con los medios empleados; anlisis de los "costos" con lo "realizado".

g) Generalidades e influencia en la toma de decisiones Los programas o proyectos son una organizacin formal que activa procesos interactivos que tienen una dinmica especfica, no siempre bien prevista en la etapa de diseo. Hay que evaluar: Las relaciones entre quienes toman las decisiones y grupos tcnicos y entre estos y el personal de apoyo. Estas relaciones se pueden analizar a travs de los procesos de liderazgo, motivacin y comunicacin. Existencia de datos: Se deben hacer evaluaciones de los problemas presentados entre los grupos, especificando la frecuencia de los mismos, ya que estos retrasan la ejecucin del proyecto. Periodicidad: No hay datos sistemticos, aunque se debe recurrir a evaluaciones mensuales o anuales. Tipos de datos: La informacin es de tipo primario y se recoge mediante cuestionarios semiestructurados, entrevistas dirigidas o grupales. La sensibilidad en la toma de decisiones est dada por la relacin a nivel local y la autogestin del programa. Organizacionalmente se deben compatibilizar tres instancias que implican diferentes alternativas de roles: Tomador de decisiones: Toma de decisiones, segn la lgica administrativa, poltica o profesional. Grupo tcnico: Conflicto de roles, estereotipos profesionales, estilos burocrticos Vrs. democrticos En los tomadores de decisiones pueden darse distintos tipos de liderazgo: por eleccin, por tradicin, por imposicin autoritaria. La comunicacin es, tambin, de distintos tipos: Formal, expedita, difcil y abierta. En el grupo tcnico son frecuentes los conflictos ideolgicos, como tambin los celos profesionales. El grupo tcnico y su destreza profesional influyen mucho en el desarrollo y en la estrategia de intervencin del proyecto.

Actividades de la primera semana Individuales

1. Ingrese al portal docente utilizando su password proporcionado por la universidad, descargue el programa del curso, luego revselo y analcelo para definir sus expectativas sobre el mismo. Registre este producto en su diario de aprendizaje. 2. Realice la lectura de la semana. 3. Inicie su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren un cuadro comparativo entre los distintos conceptos de la lectura, identificando sus similitudes y diferencias. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada?

2. Qu sentimientos concretos han llegado a su mente? 3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta primera semana? Enumrelos en orden de importancia y justifique su respuesta.

SEGUNDA SEMANA Definiciones bsicas de monitoreo y evaluacin Objetivos de la semana

Al finalizar el estudio de la segunda semana las y los estudiantes. Definen lo que es monitoreo y evaluacin.

LECTURA
SISTEMA DE MONITOREO Y EVALUACION
El Sistema de Monitoreo y Evaluacin es un conjunto de procesos, actividades y recursos orientados a la identificacin de datos, variables o informacin que permitan caracterizar la situacin pasada, actual y prospectiva de un programa o proyecto de desarrollo. A continuacin definiremos lo que se entiende por Monitoreo y Evaluacin: Importancia y funcin del monitoreo y la evaluacin Es bien sabido que la implementacin de un programa o proyecto social o de desarrollo, de atencin humanitaria, de fortalecimiento de capacidades o de incidencia no garantiza por s mismo la consecucin de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de; por s solos no garantizan resultados positivos. Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseo y una planeacin cuidadosos, MyE apropiados. Si bien la planeacin adecuada inalterable: si nuestro proyecto no est funcionando o si las circunstancias han cambiado, los planes deben cambiar tambin. El MyE permite darnos cuenta si los planes estn fallando o si hay oportunidad de analizar y tomar decisiones sobre El monitoreo y la evaluacin, generan informacin para mejorar la accin, reorientarla o hacer una planeacin futura mucho ms asertiva y efectiva. Sin un monitoreo y una evaluacin efectivos, no encaminando en la direccin correcta, si el progreso o los cambios logrados se deben a nuestra accin especfica, o si es necesario hacer cambios en la planeacin a futuro. El monitoreo y la evaluacin sirven para: -Mejorar el desempeo: permiten la deteccin de problemas de un proyecto en etapas iniciales de la implementacin, y de esta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopcin oportuna de medidas correctivas. - Fortalecer la toma de decisiones y la planeacin: permiten aprender de los logros y las de decisiones y al diseo de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables. - Contribuir al aprendizaje: permiten a la organizacin y a los involucrados en el proceso aprender de la experiencia, con lo cual no slo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social. - Avanzar hacia el empoderamiento: el monitoreo y la evaluacin permiten fortalecer las capacidades de la poblacin involucrada, de los socios locales, del equipo encargado de la ejecucin y de la misma organizacin, ya que favorece el conocimiento de la problemtica, de los procesos y de las estrategias. - Mejorar la rendicin de cuentas: permiten a las organizaciones responsables informar a de los recursos y el impacto de los proyectos. Esto puede tambin fomentar el apoyo pblico y poltico de las iniciativas.

- Contribuir al conocimiento general: el anlisis de la evaluacin permite compartir con otros, difundir los aprendizajes y las mejores prcticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organizacin como a otras organizaciones o instituciones gubernamentales y acadmicas.

Definiciones bsicas de monitoreo y evaluacin

El monitoreo es un proceso continuo y sistemtico para obtener y analizar informacin sobre el avance hacia la consecucin de las metas y objetivos de un proyecto y de su primer impacto a travs del proceso de recoleccin de datos y de sus anlisis, informe y uso de la informacin (Gosparini et al., 2004). El monitoreo es un proceso continuo durante toda la vida de un proyecto y proporciona a las personas involucradas los insumos necesarios para identificar a tiempo, logros oportunidades y amenazas, de manera que se faciliten los ajustes al proyecto y se direccionen. El monitoreo nos sirve, entre otras cosas, para conocer: 3. Si los recursos materiales y financieros son suficientes; 4. Si el personal encargado de la ejecucin tiene la calificacin y las capacidades necesarias; 5. Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada; 6. Si las actividades realizadas son coherentes con los planes de trabajo; 7. Si estamos progresando para avanzar hacia los resultados u objetivos propuestos; 8. Si la respuesta de la poblacin involucrada en las actividades del proyecto es positiva; 9. Si hay participacin y aceptacin de las actividades y los procesos, y 10. Si existen circunstancias o eventos inesperados. La evaluacin se define como una apreciacin, lo ms sistemtica y objetiva posible, de un proyecto en curso o ya realizado, sobre su planificacin ejecucin o resultados. Su propsito es determinar la pertinencia y el cumplimiento de los objetivos, y la sostenibilidad (Organisation for Economic Development /Development Assistance Commitee [OECD/DAC], 2002). La evaluacin, adems de determinar la medida en que se ha logrado el cumplimiento de los objetivos de un proyecto ya finalizado, permite conocer el impacto (deseado y no deseado) del proyecto; as como verificar si la accin se ha implementado de manera eficiente, eficaz y sostenible. La evaluacin es un instrumento fundamental para la toma de decisiones, pues permite reflexionar sobra la calidad y estrategias del propio trabajo, proporcionando valiosos insumos para la planeacin futura. Los criterios bsicos para la evaluacin de un proyecto tienen que ver con la pertinencia (de los problemas y necesidades identificadas en relacin a la formulacin de las posibles soluciones) la eficiencia (de los procesos de conversin de insumos en resultados), la eficacia (en qu el proyecto puede producir los resultados), el impacto (cmo contribuye a la introduccin de cambios a largo plazo) y sostenibilidad (permanencia o durabilidad de los cambios introducidos). Como se puede ver, el monitoreo y la evaluacin estn interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecucin del proyecto, la evaluacin se realiza en periodos establecidos, entre lapsos ms largos. El monitoreo es un proceso continuo de anlisis, observacin y sugerencias de ajustes para asegurar que el proyecto est encaminado a alcanzar su objetivo. La evaluacin, por su parte, permite la formulacin de conclusiones acerca de lo que se observa a una escala mayor, del diseo del proyecto y sus impactos (Ortegn, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluacin son complementarios: la evaluacin depende en gran medida de la informacin reportada y recolectada de forma peridica a travs de los sistemas de monitoreo. Sin embargo,

cada proceso tiene funciones especficas y existen algunas diferencias fundamentales, como puede apreciarse en la grfica siguiente:

Otros instrumentos
Existen otras actividades de revisin de proyectos, qu tienen una funcin especfica y un enfoque particular, y por lo tanto no deben confundirse con el monitoreo y la evaluacin. Estas son: Auditora: valoracin de los procesos y procedimientos administrativos para asegurar el respeto a las polticas, normas y criterios previamente establecidos. El objetivo de la auditora se limita a examinar la conformidad con las obligaciones contractuales. La pregunta gua de la auditora es: Estamos siguiendo los procedimientos adecuados? Estudio de factibilidad: es una valoracin crtica de una propuesta de proyecto con el fin de tomar una decisin sobre su eventual financiamiento e implementacin. La valoracin est encaminada a determinar la pertinencia, la viabilidad tcnica, financiera, institucional y socioeconmica, as como la sostenibilidad prevista de la propuesta. Revisin: es una valoracin peridica de todo el diseo metodolgico del proyecto para retroalimentar la planeacin y la gestin y hacer recomendaciones de acciones correctivas. Una revisin puede devenir en una evaluacin sobre la marcha, si se llega a un nivel suficiente de profundidad y de anlisis. Investigacin: una bsqueda y un anlisis profundo y sistemtico para desarrollar un tema especfico o contribuir a su conocimiento. Generalmente la investigacin documental sirve de insumo para la evaluacin, pero por s sola, no es suficiente para la toma de decisiones.

10

Monitoreo y evaluacin en el ciclo del proyecto El proceso de diseo y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre s y acomodados por el orden en que se desarrollan; la identificacin del problema, la planeacin del proyecto, su ejecucin y seguimiento, y la evaluacin que normalmente alimenta el anlisis y la identificacin de futuros proyectos. En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseo y formulacin, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La etapa de planeacin y diseo es crucial para todo el desarrollo del proyecto, pues es este momento cuando se define el sistema de MyE, estableciendo claramente la informacin disponible antes de la intervencin (lnea base) y determinando las necesidades de informacin (a travs de la formulacin de indicadores) que permitan ir midiendo avances, efectividad e impacto. Antes de la ejecucin del proyecto, se define el plan de MyE, proponiendo de manera especfica, cmo se debern organizar las actividades, responsabilidades y recursos, para realizar el monitoreo, durante el desarrollo del proyecto. Este monitoreo se realizar peridica y sistemticamente durante todo el tiempo de implementacin del proyecto. Esto implica el seguimiento de las actividades y revisin de los objetivos, as como la recoleccin, sistematizacin y anlisis de datos. Posteriormente se lleva a cabo el proceso de evaluacin, como una etapa misma del ciclo del proyecto. La evaluacin producir informacin que es fundamental para la rendicin de cuentas, la implementacin de recomendaciones y mejorar el desempeo. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulacin del mismo proyecto o para ser considerados en la formulacin de otros proyectos.

El Monitoreo y la Evaluacin en la etapa de formulacin del proyecto

Los primeros pasos de MyE se toman desde la etapa de formulacin del proyecto. En esta etapa, las personas que formulan el proyecto tienen la responsabilidad de asegurar que su diseo lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseado, con una cadena de efectos clara, ser fcilmente monitoreado y evaluado. Un proyecto que no cumpla con esta caracterstica muy probablemente fallar en la consecucin de sus objetivos (o en la demostracin de los mismos).

11

Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulacin de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseo: 11. Que la lgica de intervencin sea coherente y clara, que el diseo de los resultados, los objetivos, las actividades y las estrategias est definido adecuadamente. 12. Que el marco de MyE sea factible y significativo con relacin a los resultados y objetivos del proyecto y que existan los medios para verificar el avance y el resultado de la accin. 13. Que los planes del proyecto prevean actividades de monitoreo y evaluacin adecuadas, y que exista un plan de monitoreo y evaluacin con mtodos, procedimientos y personas responsables claramente definidos. 14. Que las lecciones y las buenas prcticas aprendidas de los proyectos anteriores se incluyan en el proyecto actual.

La planeacin a travs del Marco Lgico

Existen distintos enfoques para la planeacin de proyectos o programas de desarrollo, siendo algunos de los ms comunes el Enfoque de Marco Lgico (EML). La planificacin por Objetivos (ZOPP, por su sigla en alemn) y la Gestin Basada en Resultados (GBR)3. La Metodologa de Marco Lgico es un enfoque de anlisis, diseo, planeacin, ejecucin y evaluacin de proyectos que busca, a travs de una matriz, resumir de manera global la lgica de funcionamiento de todo un proyecto o programa. Esta metodologa est basada en la planeacin por objetivos y orientada a facilitar la participacin de los grupos beneficiarios. La matriz empleada es una herramienta til para hacer un diseo adecuado, pues permite definir y organizar los parmetros de desempeo del proyecto, puntos de referencia e indicadores. Al determinar los indicadores y sus correspondientes medio de verificacin, se establecen las condiciones para futuras evaluaciones y ajustes al proyecto. Esto ayuda a formular, desde un inicio, el plan de MyE del proyecto que incluye el proceso de evaluacin (Ortegn et al., 2005).

Esta metodologa provee herramientas tiles para la etapa de identificacin y formulacin. La etapa de identificacin del problema se basa comnmente en cuatro tipos de anlisis: el de involucrados, el de problemas, el de objetivos y el de estrategias. Cada uno de estos anlisis se puede desarrollar a travs de talleres y ejercicios participativos con la poblacin involucrada4. En la etapa de planeacin, estos anlisis se retoman para disear el proyecto y el plan operativo para su ejecucin. Todo este trabajo de diseo se resume en la matriz de marco lgico (ver Tabla 2), que sintetiza lo que el proyecto pretende hacer (Resultados, Objetivo especfico y objetivo general), cmo lo va a hacer (Actividades), cules son los supuestos claves (Hiptesis) y cmo sern monitoreados y los insumos y productos del proyecto.

La lgica de intervencin
La lgica de intervencin indica la estructura de todo el proyecto y permite analizar las relaciones de causalidad de forma vertical:

12

Objetivo general Resultados Actividades

Las actividades que se llevarn a cabo para producir los resultados; los resultados que se producen a partir del proyecto permitirn la realizacin del objetivo especfico una vez finalizado el proyecto y si se logra el objetivo especfico, se podr contribuir al objetivo general. En la ltima columna, los supuestos o hiptesis especifican aquellas circunstancias ajenas al proyecto que deben existir para que puedan implementarse las actividades y puedan producirse los resultados y objetivos especfico y general. A continuacin se describen de forma breve los componentes de esta lgica vertical. Objetivo general: es la descripcin de la contribucin del proyecto a un problema ms amplio (sectorial, regional o nacional). El objetivo general, tambin llamado fin, ayuda a tener presente el contexto y la problemtica general en la cual el proyecto se introduce, y describe el impacto que se espera tener en el largo plazo. Se espera que el proyecto contribuya de manera significativa a este fin, pero no implica que el proyecto, en s mismo, ser suficiente para lograrlo (diversos proyectos o medidas, desde distintos actores, pueden contribuir a la solucin del problema identificado) Objetivo especfico: responde al problema central identificado y describe el efecto o cambio directo que se quiere lograr al final del proyecto. Este se define en trminos de beneficios sostenibles para la poblacin meta. El objetivo especfico est dirigido a reducir las causas que generan el problema central que el proyecto busca resolver. Resultados: son los componentes que deber producir el proyecto una vez finalizado su ciclo de vida. Si se producen los resultados, se podr alcanzar el objetivo especfico del proyecto. En una formulacin correcta, todos los resultados son los necesarios y los suficientes para el logro del objetivo especfico y no falta ninguno para conseguirlo. Si un resultado planteado depende ms de factores externos, que del propio proyecto, no es un resultado adecuado. Los responsables del proyecto deben responder por la consecucin de cada uno de los resultados. Un objetivo o resultado correctamente planteado, debe ser: Especfico (describe una condicin futura particular deseada) Medible. Realista en el contexto y con los recursos disponibles. Pertinente (responde a los problemas presentes identificados y hacer una contribucin significativa) Ubicado en un tiempo definido, con una fecha lmite de cumplimiento.

Actividades: son todas las acciones que se debern llevar a cabo para producir los resultados e implican el empleo de recursos materiales y humanos. Las actividades dependern. Las actividades dependern de las estrategias seleccionadas en el diseo del proyecto. Deben ser realistas en tiempo y recursos y considerar el contexto local, as como las condiciones previas necesarias. Los trminos empleados por distintos donantes para cada nivel de la lgica de intervencin pueden variar. La lgica horizontal de la matriz permite evaluar o medir los alcances del proyecto y es, por lo tanto, la parte central del monitoreo y de la evaluacin. Est formada por: Indicadores: son descripciones operativas de los objetivos y resultados del proyecto en trminos de cantidad, calidad, grupos metas, tiempo y localizacin. Los indicadores sirven para medir y dar seguimiento a lo que queremos lograr con el proyecto, presentando informacin necesaria para determinar el progreso hacia el logro de las metas establecidas. Los indicadores de actividades se representan con los recursos y medios empleados para llevar a cabo las actividades.

13

Fuentes de verificacin: establecen en dnde y cmo se pueden obtener los datos y comprobar la informacin para el clculo de los indicadores. Supuestos o hiptesis: a partir de un anlisis de los riesgos sociales y polticos que pueden limitar o hacer que fracase el proyecto, se desarrollan los supuestos, expresados como hiptesis positivas que deben cumplirse para poder avanzar en las actividades, resultados y objetivos. Los supuestos son externos: no dependen ni pueden ser controlados por el proyecto. El MyE debe prestar especial atencin al cumplimiento de las hiptesis pertinentes y darles seguimiento a lo largo del proyecto, y en la evaluacin revisar si han cambiado las hiptesis planteadas en un principio. El tener en cuenta las hiptesis ayuda a revisar y prever lo necesario para una mayor viabilidad del proyecto y sostenibilidad de sus resultados e impacto. Como ya se mencion, un diseo de calidad de la Matriz de Marco Lgico es fundamental para poder llevar a cabo un monitoreo y una evaluacin adecuados y pertinentes. Si el diseo de la lgica de intervencin no es claro y los indicadores estn mal formulados, el proceso de MyE ser sumamente complejo y ser muy difcil para el equipo y el responsable del proyecto analizar el progreso del proyecto e identificar las necesidades de cambios en la accin.

Por qu monitorear y evaluar?

La meta tanto de monitoreo como de evaluacin es identificar debilidades en el programa o proyecto para que se pueda implementar accin reparadora, por ejemplo para contestar la pregunta Hasta dnde hemos llegado? y Cmo podemos hacerlo mejor? En cualquier proyecto o programa podemos identificar por lo menos tres niveles de partes interesadas: beneficiarios, administradores del proyecto y personal del proyecto (de una agencia o del gobierno local), y donantes. Todos requieren informacin especfica de cmo se est desempeando el proyecto. La informacin puede tambin ser requerida en un formato diferente por diferentes partes interesadas. La siguiente lista detalla algunas de las perspectivas de las diferentes partes interesadas con relacin a una evaluacin: Beneficiarios: que necesitan saber si lo que estn haciendo est funcionando y cmo puede hacerse para que funcione mejor. Administradores del Proyecto y Personal: que desean tener informacin para la tomar decisiones sobre cmo mejorar el proyecto. Donantes/Agencias de la Cooperacin Internacional Externas: que desean saber si los fondos que han contribuido han sido bien empleados. La comunidad ms amplia en torno al rea del proyecto: que podran haber sido afectados por un influjo de refugiados o por la forma en que el proyecto est designado. Otros proyectos de agua, saneamiento e higiene: que necesitan informacin para informar a sus propios proyectos. Gobierno y los encargados de establecer polticas. A menudo los donantes prefieren evaluaciones que estn basadas en mtodos formales de recoleccin de datos porque se asume que estas son ms vlidas y confiables. No siempre es el caso; investigaciones continuas estn tratando de averiguar la validez de los mtodos participativos. En el pasado, las necesidades de informacin de los beneficiarios a menudo han sido ignoradas y los donantes aparecen como los que instigan el monitoreo y la evaluacin para hacer que el proyecto resulte contable para ellos nicamente. Este tipo de evaluacin no-participativa cialmente cuando se lleva a cabo por personas fuera del proyecto) es probable que sea visto con

14

desconfianza por el personal del proyecto y por los beneficiarios en lugar de verlo como una herramienta constructiva para proveer retroalimentacin y qu es lo que est funcionando y qu es lo que no funciona. Cuando el personal del proyecto y los beneficiarios estn involucrados en una evaluacin participativa, la informacin se hace disponible a todas las partes interesadas, pero especialmente aquellos que ms la necesitan (los beneficiarios). Se les da entonces el poder de tomar decisiones por s mismos sobre el futuro del proyecto.

Midiendo cambios
El cambio raramente sucede en una forma lineal y ordenada como lo presuponen muchos modelos de planificacin. Podr por tanto ser difcil definir claramente si un proyecto ha tenido xito o no. Un proyecto puede haber tenido un resultado muy positivo en trminos de aumentar la autoestima de la gente, por ejemplo, pero puede que esto no sea medido por la evaluacin. El resultado de la evaluacin va entonces depender de qu es medido en realidad y de la seleccin de indicadores. El monitoreo y la evaluacin tratan de medir el progreso contra los datos de lnea de base obtenidos al inicio del proyecto al igual que identificar fallas en el diseo del proyecto y objetivos innecesarios o irreales. Una evaluacin de resumen realizada una vez solamente usualmente compara la informacin obtenida en la lnea de base con la informacin de las actividades del monitoreo y la nueva lnea de base obtenida despus de que el proyecto ha estado operando durante algn tiempo. Por ejemplo, si el proyecto est destinado a durar dos aos, podr decidirse que una evaluacin de medio tiempo llevada a cabo despus de un ao y una evaluacin final al final del proyecto sera til. En la etapa aguda de una emergencia, un monitoreo continuo y una evaluacin formativa limitada puede que sea todo lo que es posible, y una evaluacin de resumen tendr que esperar hasta que la situacin se estabilice. Los grupos de la comunidad pueden decidir por s mismos cuando evaluar o evaluar sus actividades. Se podr sugerir que a finales de un perodo de dos semanas ya ciertas acciones habrn sucedido. Entonces esto puede ser evaluado en la siguiente reunin. Algunos proyectos tratan de evaluar los productos o el impacto cada tres a seis meses.

El monitoreo y evaluacin como herramientas de aprendizaje

Durante mucho tiempo se ha pensado que los donantes fueran lentos en aprender de sus errores, y la responsabilidad de rendir cuentas ha sido una preocupacin central para las unidades de M&E de las principales organizaciones de ayuda. Los conceptos de gestin del conocimiento y de organizacin capaz de aprender provenientes del sector empresarial, empezaron a ser utilizados a finales de los aos 90. Hoy en da, la mayora de las agencias de desarrollo identifica el rea del aprendizaje organizativo como aquella que ofrece ms oportunidades y desafos. La nocin de aprendizaje organizativo se refiere al proceso con el cual las organizaciones obtienen y utilizan

15

el conocimiento para adaptar las viejas polticas, programas y estrategias, o, ms en general, para innovar. El Banco Mundial, una de las organizaciones lder en la aplicacin de los conceptos de gestin del conocimiento, identifica tres tipos de aprendizaje: aprender haciendo, aprender de la investigacin y aprender de la evaluacin. El aprendizaje organizativo est por lo tanto relacionado con dos temas conectados: a) Si la organizacin absorbe los conocimientos y las intuiciones de las personas que la integran; si este proceso genera cambios en las acciones de la organizacin; y cmo se dan estos cambios. b) Si los nuevos conocimientos adquiridos se traducen en realidad operativa y de qu manera. Es til observar como estos conceptos se pueden aplicar al M&E, especialmente para las organizaciones, que tienden a poner un mayor nfasis en el M&E como herramienta de aprendizaje. La pregunta es cmo las organizaciones pueden recoger los beneficios del M&E desde el punto de vista del aprendizaje organizativo, y cmo pueden resultar ms efectivas como organizaciones capaces de aprender. La utilidad del M&E con respecto al conocimiento puede ser incrementada por: Fortalecimiento de los donantes y de las organizaciones con la capacidad de aprender. Darle ms atencin a la gestin del M&E y a la retroalimentacin que ste genera. Mejorar los flujos de informacin internos y externos en el sector del M&E, al igual que la coordinacin entre las organizaciones de desarrollo y donantes. Experimentar nuevas herramientas de M&E, especialmente aquellas relacionadas con formas de comunicacin basadas en Internet.

Fortalecimiento de las capacidades de M&E: a) Desarrollar las capacidades de M&E de los partners locales, involucrndolos todava ms en los procesos de evaluacin, empezando por la fase de formulacin. b) Utilizar las lecciones aprendidas de las experiencias de M&E para formular los nuevos proyectos y para mejorar las actividades en curso. c) Difundir las conclusiones y recomendaciones obtenidas de las actividades M&E a un pblico ms amplio, incluyendo todas las partes interesadas ms pertinentes.

Monitoreo y evaluacin y la construccin de capacidades

En este marco, los desafos que las organizaciones enfrentarn en el futuro, se pueden resumir de la siguiente manera: Reduccin de la brecha entre el inters terico para el M&E y el uso prctico de sus herramientas, a travs de la sistemtica promocin y utilizacin de las tcnicas participativas y de una verdadera cultura de la evaluacin. Incorporacin del trabajo de evaluacin en un marco ms amplio, viendo la evaluacin como un proceso que comprende el monitoreo y la estrategia global de planificacin, y utiliza las lecciones aprendidas para la planificacin futura. Fortalecimiento de las capacidades de planificacin, y en particular la identificacin de indicadores apropiados para detectar las diferentes dimensiones de impacto y afinar el anlisis de los datos cualitativos. Investigacin y experimentacin de nuevos mtodos y herramientas, tales como el fortalecimiento de la capacidad interna para llevar a cabo actividades de M&E.

16

Transferencia del conocimiento sobre M&E a los partners locales.

Seguimiento
La conceptualizacin de lo que es e implica el seguimiento siempre depender del contexto del proyecto. Analicemos algunos aportes: Quintero (1995, 76) refiere al seguimiento de la siguiente manera: Se entiende por seguimiento la observacin, registro y sistematizacin de la ejecucin de las actividades y tareas de un proyecto social en trminos de los recursos utilizados, las metas intermedias cumplidas, as como los tiempos y presupuestos previstos, las tcticas y la estrategia. El seguimiento consiste en tener diferentes momentos de medicin de la situacin del programa o proyecto para evaluar el proceso en marcha. Una vez obtenida la Lnea de Base, se comienza con la implementacin de las estrategias acordadas. En este proceso se podrn definir los nuevos momentos de medicin del avance de la estrategia, que son la base de este sistema de seguimiento. Se debe informar el grado de avance de la estrategia de desarrollo comunitario para poder ver cmo est avanzando y qu ajustes se deben realizar. El Banco Mundial relaciona los trminos de seguimiento y evaluacin continua, al expresar (Weaving y Thumm, 1998, 2): Se entiende por seguimiento la evaluacin continua de la ejecucin de los proyectos en relacin con un programa acordado, y de la utilizacin de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento proporciona informacin constante a los administradores y otros interesados, retroalimentando la ejecucin del proyecto. Permite identificar, con la mayor prontitud posible, xitos y dificultades reales o potenciales, para facilitar la oportuna modificacin de la operacin del proyecto. Urza D. (2004, 19-) plantea: El seguimiento es una accin permanente a lo largo del proceso de los proyectos, permite una revisin peridica del trabajo, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proceso del proyecto, acordada con los responsables de la gestin, para que no suceda como una mera supervisin. Recordemos que la funcin del sistema consiste en aportar aprendizaje institucional y no en emitir dictmenes. Los propsitos del seguimiento son: Fomentar la cultura de la evaluacin, la gestin del desempeo y la rendicin de cuentas en funcin de los resultados esperados. Alinear la evaluacin con el ciclo de los proyectos, como un elemento sustantivo de la planificacin estratgica. Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad.

17

Promover el uso de la evidencia proporcionada por el seguimiento. Elegir los resultados pertinentes y demostrar cmo y por qu producen los resultados previstos o cmo mejoran lo esperado.

El mismo autor indica como claves del seguimiento: Es indispensable realizar un seguimiento efectivo que sirva de base para una evaluacin de calidad, por esto es necesario: Integrar un DIAGNSTICO o LNEA DE BASE que sirva para identificar las expectativas, hiptesis, supuestos y resultados esperados. La lnea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas. Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que ser reflejado en una medida estadstica para cada caso. Es importante que en la definicin de los indicadores participen los encargados de la gestin del proyecto y los aliados estratgicos involucrados formalmente. Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestin de cada proyecto. Compartir en equipo el anlisis de la informacin resultante, con la participacin de los encargados de la gestin y los aliados estratgicos. Destinar recursos especficos a las actividades programadas para el seguimiento. Definir los plazos y los medios para la difusin de la informacin, as como las audiencias principales que debern conocerla.

Chassagnes (s.f., 15) plantea respecto al seguimiento: El seguimiento es acompaar, verificar y actualizar lo que estamos haciendo en nuestro proyecto. Es el modo que tenemos de rectificar y mejorar las acciones si las cosas estn saliendo mal. Permite adems controlar la utilizacin de los recursos y el logro de los resultados previstos. Los resultados del seguimiento contribuyen a consolidar la informacin necesaria para la toma de decisiones durante la etapa de ejecucin, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluacin. Este proceso ha de ser gil, orientado y concertado, debe combinar elementos cuantitativos y cualitativos.

Actividades de la segunda semana Individuales

1. Realice la lectura de la semana. 2. Responda a la pregunta Cul es la relacin entre el monitoreo y la evaluacin con el diseo de un proyecto?. 3. Resuelva Para qu sirve el monitoreo? 4. Cul es la diferencia entre monitoreo y seguimiento? 5. Actualice su diario de aprendizaje

Grupales
1. En grupos, identifiquen las principales razones para llevar a cabo el monitoreo, justificndolas.

Autoevaluacin
1. Qu conocimientos previos tena usted acerca de lo que es el monitoreo? 2. Qu aplicaciones encuentra para el concepto de monitoreo en el mbito del trabajo social?

18

3. encuentra similitud, cules entre el concepto descrito por la lectura para el monitoreo y lo que usted conoca? 4. Despus de leer, apunte las ideas nuevas, que usted ha encontrado en la lectura y escriba en sus propias palabras qu quieren decir. 5. Luego, regrese al texto con la meta de encontrar todos los conceptos que eran nuevos para usted y que no record, o que record pero cuyo significado no entendi bien. Relea y apunte todos los que vaya encontrando, aadindolos a la lista generada en el numeral 4.

19

TERCERA SEMANA El monitoreo Objetivos de la semana

Al finalizar el estudio de la tercera semana las y los estudiantes. Expresarn conceptualmente lo que significa el monitoreo de programas y proyectos sociales.

LECTURA
En esta semana se revisa el monitoreo desde una perspectiva general, y se enfoca sobre todo en sus caractersticas y procesos operativos. El diseo del sistema de MyE se basa en la seleccin de la informacin que ser requerida durante todo el proceso posterior de seguimiento y evaluacin del proyecto, as como en la recoleccin de los datos, su sistematizacin y su anlisis. El monitoreo es una continua comprobacin de la ejecucin del proyecto de acuerdo a lo planeado y de su impacto inicial a travs del proceso de recoleccin y anlisis de los datos, de elaboracin de los informes y del uso de la informacin. Es un proceso continuo y estructurado de obtencin y anlisis de datos e informacin que involucra proyecto. El monitoreo debe ser visto como un proceso integral de la ejecucin del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales son revisadas y actualizadas constante y sistemticamente durante toda la vida del proyecto. El monitoreo est entonces tan ligado a las mismas actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementacin y no como un proceso independiente y adicional.

Planeacin del monitoreo

Para realizar un seguimiento adecuado del proyecto, se recomienda contar con un plan de monitoreo que debe ser acordado entre los involucrados (responsables y beneficiarios) y debe hacerse desde la etapa de diseo del proyecto, pensando estratgicamente tanto en los procesos de monitoreo como en los de evaluacin. Esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operacin del monitoreo desde el inicio de las actividades. Este marco debe facilitar el monitoreo sistemtico y debe responder a las siguientes preguntas: Qu polticas y procesos deben guiar el monitoreo? En primer lugar, ser recomienda definir y acordar los detalles acerca del procedimiento de monitoreo. Algunas definiciones generales tienen que ver con la priorizacin que tendr el MyE en el proyecto, las polticas de organizacin sobre MyE, la definicin de tiempos y responsables. Otras definiciones ms especficas, tienen que ver con las tcnicas que sern utilizadas, quin lo prepara y quin lo lleva a cabo. Asimismo, se recomienda definir qu aspectos del MyE se delegarn a los propios beneficiarios o a otros involucrados en el proyecto. Qu tipo de informacin ser necesaria? Qu se va a monitorear? Es fundamental discutir con los responsables y beneficiarios del proyecto que informacin se requiere y determinar las preguntas y los indicadores relevantes para obtenerla. Si bien la seleccin de los indicadores es importante desde la planeacin, no siempre se podrn determinar todos los indicadores desde el inicio del proyecto, y ser necesario irlos adaptando conforme ste se desarrolle. La informacin que se determine para el monitoreo ser esencial para la evaluacin y la toma de decisiones y se puede clasificar en tres categoras que corresponden a diferentes modalidades del monitoreo: - Informacin sobre la ejecucin de las actividades planeadas y nivel de participacin de los beneficiarios, reunida para apoyar la gestin cotidiana de los proyectos, sobre el terreno. Estos datos se obtienen sobre el terreno. Estos datos se obtienen con un monitoreo sistemtico sobre la marcha que permite identificar y subrayar los problemas cuando surgen.

20

- Informacin sobre los resultados obtenidos y la respuesta de los beneficiarios, para comprobar los avances y revisar los planes de trabajo. Esta informacin se puede obtener a travs de un monitoreo peridico, que permita analizar los problemas y obstculos principales y sugerir medidas correctivas. - Informacin sobre la consecucin del objetivo especfico e impactos, para revisar la lgica de intervencin y el avance hacia la transformacin de problemas. Para este tipo de informacin se realiza el monitoreo en momentos especficos de la vida del proyecto (o en su caso, a travs de evaluaciones intermedias), de manera que pueda sugerir ajustes en el diseo o la intervencin. Quines sern los responsables de levantar la informacin? Desde la etapa de diseo, es necesario que las funciones y procedimientos del monitoreo sean consideradas en algn lugar de la estructura organizacional del proyecto. Dependiendo del tipo de informacin que se vaya a recolectar, las fuentes y los mtodos, habr distintas personas responsables de reunirla. La asignacin de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Es necesario determinar si las actividades de monitoreo y evaluacin sern realizadas por personal en terreno, por personal externo al proyecto (de la misma organizacin) o por personas externas Esto depender de la confianza administrativa, la credibilidad, la objetividad, el conocimiento del proyecto y el potencial para utilizar los resultados. No debe olvidarse que un proceso de monitoreo requiere recursos humanos capacitados, lo cual significa que el propio proyecto debe asignar recursos para la capacidad del personal. Qu presupuesto se requiere para las actividades de monitoreo? Es necesario incluir recursos financieros del proyecto para el monitoreo y la evaluacin y asignar un presupuesto especfico para estas actividades. Se recomienda considerar los costos del personal e instalaciones, talleres y reuniones de capacitacin y costos de la recoleccin de datos (dependiendo de la tcnica que se emplee, se debern contemplar los recursos humanos y materiales necesarios). Cmo se recolectar la informacin? Qu mtodos se emplearn para llevar a cabo las actividades de monitoreo? Existen mltiples mtodos y herramientas para la recoleccin de informacin, la seleccin de las ms adecuadas depender de la naturaleza del proyecto, as como de la capacidad del personal y de los involucrados, entre otros factores. Al decidir sobre la tcnica para obtener informacin, es bueno tener en cuenta que dicha herramienta ser empleada de forma sistemtica y peridica, dado que el monitoreo es un proceso continuo. Tener esto en mente ayudar tambin a considerar la disponibilidad de recursos humanos y materiales.5 Cundo se planea la realizacin de las actividades de monitoreo? Si bien el monitoreo es un proceso continuo y sistemtico durante toda la vida del proyecto, la recoleccin de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o para los beneficiarios. Como regla general, se recomienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener informacin acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobar los cambios, de forma demasiado frecuente dificulta ver la diferencia de un momento a otro. En la mayor parte de los casos, la informacin slo es relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recoleccin de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003). Quines se encargarn de organizar y analizar la informacin? En la mayor parte de los casos, el personal a cargo de la ejecucin del proyecto es el responsable de organizar y analizar la informacin obtenida del monitoreo. Sin embargo, dependiendo de la organizacin, diferentes personas tendrn un rol distinto en el anlisis de los datos. De tal forma que el personal sobre terreno podr tener la funcin de organizar la totalidad de la informacin y hacer un primer nivel de anlisis, mientras que el personal de la organizacin en la oficina central (en un pas o regin) se encargar de hacer un anlisis de la informacin seleccionada y previamente analizada (Bakewell et al., 2003).

21

Cmo se emplearn los resultados del monitoreo? La difusin de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecucin como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusin de resultados, de lecciones aprendidas y de mejores prcticas (Bakewell et al., 2003). Asimismo, al disear el plan de monitoreo se recomienda considerar e incluir los riesgos posibles que pueden presentarse durante el proceso.

Participacin de las partes involucradas en el proceso de monitoreo

El monitoreo debe contar con la participacin de las partes implicadas en el proyecto de tal forma que estn involucradas en su diseo y ejecucin desde el comienzo y comprendan claramente sus responsabilidades. Se recomienda identificar desde un inicio quin puede y quiere estar involucrado; as como aclarar las expectativas de los participantes en los procesos. Un buen monitoreo slo se podr efectuar si los involucrados lo consideran importante y valioso. Por esto, es recomendable que se tomen en cuenta los intereses de los beneficiarios y se les sensibilice sobre su importancia desde la etapa de diseo y preparacin.

Formatos para el monitoreo

Como ya se mencion, el proceso de monitoreo involucra a distintos actores; sin embargo, el personal responsable de la ejecucin sobre el terreno es el que debe llevar el registro de las actividades y los resultados. Esta labor puede facilitarse si se tienen herramientas para registrar la informacin, tales como: Formatos del Plan de Monitoreo Formatos de reporte estandarizados (para informacin narrativa y financiera) Reportes y minutas de reuniones Reportes de visita Reportes de las actividades de recoleccin de datos Diarios del equipo, en donde se registra informacin adicional a las actividades especficas de monitoreo Registro del proyecto por medios diversos como fotografas o notas en medios de comunicacin (prensa, entrevistas, video) Como vemos, existen diversos formatos que pueden ayudar a organizar las actividades del monitoreo, as como los tiempos, recursos y objetivos de las mismas. Estos formatos pueden ser elaborados con la periodicidad que se estime necesaria (mensual, semestral, tc.). Es importante desarrollar instrumentos y prcticas de monitoreo que respondan a las estructuras y estrategias de intervencin de cada organizacin, adaptando los formatos de acuerdo a las necesidades del propio proyecto u organizacin. A continuacin se muestran dos ejemplos de formatos que pueden ser tiles, el primero para el diseo de un plan de monitoreo y el segundo para un registro o informe de monitoreo, los cuales pueden ser adaptados, segn las necesidades de cada organizacin.

22

Tambin puede ser til resumir el monitoreo en un formato de informe de monitoreo, que pude ser adaptado, segn las necesidades de cada organizacin:

El registro de los resultados del monitoreo se puede organizar de acuerdo a la lgica de intervencin del proyecto, ordenando los indicadores para cada nivel y reportando sobre los avances y resultados de cada uno. En los comentarios y observaciones se pueden incluir explicaciones de la diferencia entre lo planeado y lo logrado, as como recomendaciones de cambios en el sistema de MyE (ya sea en los indicadores, la tcnica de recoleccin de datos o la revisin de la fuente). A partir de la informacin reflejada en el formato se puede hacer un anlisis esquemtico del progreso logrado en el periodo, los puntos que se deben cuidar, las condiciones externas que estaran influyendo en el proyecto, la pertinencia de los indicadores y la utilidad de los mtodos de recoleccin de datos. Con este resumen se pueden identificar las cuestiones que se deben cuidar y hacer recomendaciones para cambios en la implementacin y en el sistema de monitoreo. De esta forma, el monitoreo puede servir no solo para alimentar la evaluacin, sino tambin para la toma de decisiones en el da a da.

Desarrollo del monitoreo por niveles de la organizacin

Por lo general, el monitoreo de una organizacin se realiza en tres niveles diferentes: Equipo del proyecto sobre terreno Coordinadores nacionales o regionales Responsables de la sede principal (por sector o rea geogrfica) Distintos niveles de gestin son responsables de distintos tipos y actividades de monitoreo, de acuerdo a las necesidades de informacin de la organizacin. Cada rea determinar qu actores deben estar involu-

23

crados y las tcnicas de recoleccin de datos ms adecuadas. Generalmente, conforme los reportes del monitoreo son enviados a niveles ms altos de la organizacin la informacin tiende a ser ms resumida y simplificada. En cada rea se analiza la informacin recibida y se incluye un nuevo anlisis.

Nivel del equipo del proyecto sobre terreno

El primer nivel del monitoreo es responsabilidad del director y de los administradores del proyecto, que mantienen actualizados los documentos de registro y los archivos administrativos y de gestin. La informacin obtenida se resume en un formato de informe de monitoreo, aproximadamente cada mes o cada tres meses. El propsito principal del monitoreo en este nivel es el de apoyar la gestin cotidiana a travs de la reunin de datos sobre las actividades diarias, para tener la informacin requerida en anlisis posteriores (ya sea en este nivel o en el de los coordinadores regionales o nacionales).

Nivel de coordinadores nacionales o regionales

El segundo nivel de monitoreo es del de la oficina de coordinacin (del pas o regin), que se basa en los informes y reportes entregados por los responsables del proyecto y otros materiales relacionados con la planeacin. En esta etapa se hace una primera apreciacin de la estrategia de ejecucin, se revisan avances y limitantes y se sugieren posibles medidas correctivas para el seguimiento. A partir de este anlisis, los coordinadores deciden si es necesario llevar a cabo misiones de monitoreo para visitar los proyectos que presentan problemas. Este tipo de monitoreo pretende valorar la efectividad de las actividades, los avances hacia la sostenibilidad del proyecto, el sentido de apropiacin de los beneficiarios, las capacidades de manejo institucional y de gestin operativa, y la coherencia y complementariedad con otras acciones realizadas en la misma regin o pas. Permite adems generar conclusiones generales sobre la ejecucin de la accin, identificar problemas y limitantes y hacer recomendaciones para el siguiente periodo de ejecucin. Toda esta informacin se rene en un breve informe para los directores del proyecto y para la sede principal. Este informe revisa los cronogramas y el empleo de recursos, e identifica si es necesaria una extensin del plazo del proyecto o una reasignacin del presupuesto.

Nivel de sede principal

La oficina de coordinacin revisa y analiza los informes que llegan del proyecto y los transmite a la sede principal. Comnmente, la sede principal organiza misiones al lugar del proyecto con el objetivo de revisar la lgica global de intervencin e identificar las estrategias para enfrentar los problemas que se hayan presentado. Estas misiones tambin pueden ser tiles para revisar la eficacia del sistema de monitoreo adoptado. La definicin de hacer o no, una misin sobre terreno depender de la duracin, el presupuesto del proyecto, la importancia estratgica de la iniciativa o la dimensin de los problemas identificados. La siguiente tabla ayuda a tener una idea sobre cmo se pueden distribuir las actividades del monitoreo, bajo la responsabilidad de distintos actores comprometidos en la gestin del proyecto, desde el terreno hasta la sede principal.

24

Fases bsicas para iniciar actividades de monitoreo

Las fases bsicas que se sugieren para iniciar las actividades de monitoreo de un proyecto son: Fase 1. Anlisis del Diseo del Proyecto En esta fase se revisan los indicadores anuales de monitoreo, observando la clara jerarqua de Insumos>Actividades->Resultados->Efecto->Impacto. Fase 2: Diseo del Plan de Monitoreo Para elaborar el plan de monitoreo el equipo retoma los indicadores anuales de monitoreo o de desempeo, de los resultados y decide sobre los datos necesarios para medirlos, la fuente y el mtodo de los datos, la frecuencia de recoleccin, el anlisis de los datos, la diseminacin y utilizacin de la informacin. Preguntas que se responden con el Monitoreo Aumenta el acceso de la poblacin objetiva a los servicios del programa? Mejora la participacin comunitaria en el programa? Mejora la calidad de atencin a los clientes? Proporciona el volumen de servicios esperados? Logra una proporcin aceptable de costo por unidad de producto?

Fase 3: Elaboracin de Instrumentos de Monitoreo Una vez realizado el plan de monitoreo, en donde se determinan los datos necesarios para la construccin de indicadores de productos/resultados seleccionados, el equipo elabora los instrumentos. En esta fase se definen las tcnicas ms adecuadas de medicin de indicadores de monitoreo o de desempeo, de acuerdo a las caractersticas o naturaleza del indicador.

25

Caractersticas de los indicadores de desempeo

Algunas caractersticas de los indicadores anuales de monitoreo: Son reportados anualmente a la organizacin, donantes. Medidos por rutina de registros de los implementadores o por las encuestas escritas. Dan algunas indicaciones de la calidad y efectividad de las intervenciones y de los problemas en el progreso hasta el final de los objetivos. El universo medido generalmente esta restringido a la poblacin beneficiaria del programa.

Ejemplo sencillo de la elaboracin de un instrumento para el monitoreo de indicadores anuales de desempeo:

26

Actividades de la tercera semana Individuales

1. 2. 3. 4. Realice la lectura de la semana. Defina con sus propias palabra el monitoreo. Describa los aspectos a considerar en un proceso de monitoreo. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con los integrantes de su grupo su definicin conceptual del monitoreo, luego realicen una construccin grupal, describiendo los aspectos o elementos fundamentales a considerar en un proceso de monitoreo.

Autoevaluacin
1. De las definiciones de monitoreo, encontradas en la lectura de la semanas, cules cree usted que son las ms importantes y por qu? 2. Qu recomendaciones hara usted a otra estudiante, para disear un proceso de monitoreo? 3. Considera usted que a veces se fracasa en el monitoreo, por no seguir ciertos criterios como los enumerados en la lectura? 4. En una escala de 1 a 5, en dnde 1 es no estoy listo o lista para usar estas ideas y 5 es estoy listo o lista para usar estas ideas, cun preparado est usted, para utilizar en un proceso de monitoreo, las presentadas en la lectura? 5. Cmo se considera usted para iniciar el diseo de un proceso de monitoreo, considerando lo anterior en una escala de 1 a 5, dnde 1 es No estoy preparado y 5 es Si estoy preparado?

27

CUARTA SEMANA La evaluacin Objetivos de la semana

Al finalizar el estudio de la cuarta semana las y los estudiantes. Comprendern en qu consiste el la evaluacin de un programa o proyecto social. Reconocen la diferencia entre monitoreo y evaluacin.

LECTURA
La evaluacin es una apreciacin, lo ms sistemtica y objetiva posible, de un proyecto en curso o ya realizado, de su planeacin, ejecucin y resultados. Su propsito es determinar la pertinencia, el cumplimiento de los objetivos, la eficiencia en la realizacin del proyecto, la eficacia, el impacto y la sostenibilidad (OECD/DAC, 2002). La evaluacin se construye a partir del monitoreo peridico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso aos despus de completada la accin (en el caso de evaluaciones de impacto o sustentabilidad)(Ortegon et al., 2005). Una buena evaluacin se caracteriza por: Ser imparcial y transparente Tener credibilidad: ofrece informacin confiable y de calidad y existe una clara relacin entre resultados, conclusiones y recomendaciones. Ser til: contribuye oportunamente al proceso de decisin de aprendizaje organizativo y de los involucrados. Tener elementos participativos: refleja intereses, necesidades y percepciones de las partes involucradas. Ser eficiente: relacin equilibrada entre el costo y el beneficio. Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a travs del anlisis de la informacin y la difusin de los resultados.

Criterios bsicos de la evaluacin

La evaluacin sirve para revisar si un proyecto est funcionando y si se estn logrando los objetivos planteados. Esta valoracin del avance y la calidad del proyecto se fundamenta en cinco criterios bsicos (OECD/DAC 2002): Pertinencia: est relacionada con la formulacin del proyecto, esto es, qu tanto el diseo de la intervencin responde a las necesidades de los beneficiarios y con la medida en la cual, busca avanzar hacia la solucin de los problemas identificados. Puede evaluarse con relacin a la consistencia de diseo, de acuerdo a la situacin local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la accin son: Identificacin y seleccin de grupos meta o beneficiarios Participacin de las partes interesadas locales en la fase de formulacin y en el ciclo del proyecto en general. Calidad del Marco Lgico, incluyendo las hiptesis y los riesgos identificados. Realismo en la seleccin de los objetivos y de los servicios que se pretende ofrecer. -Grado de flexibilidad en el proyecto.

28

Apreciacin de las capacidades locales de absorcin y de ejecucin. Coherencia con otras iniciativas de desarrollo en el mismo pas, regin o sector.

Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y estos permiten lograr el objetivo especfico del proyecto. Se valoran: Los factores que influyen en la consecucin del objetivo especfico, incluyendo los factores externos. La capacidad de gestin para asegurar que los resultados conseguidos, permitan lograr el objetivo especfico. La reaccin y apropiacin de los beneficiarios. Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos, podr ser, por ejemplo, temas de gnero, medio ambiente, fortalecimiento de capacidades, etc.)

Eficiencia: se refiere a la medida en la cual se brindan y gestionan los servicios y se realizan las actividades previstas del modo ms apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados esperados. El anlisis de la eficiencia se concentra en la calidad de la gestin del proyecto y en el uso de la alternativa econmicamente ms efectiva para conseguir los mismos resultados. Este anlisis se puede hacer a partir de: Gestin del presupuesto. Oportuna prestacin de los servicios segn el cronograma establecido. Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. Calidad de los procedimientos y las prcticas. Anlisis comparativo del costo beneficio en relacin con otros proyectos similares. Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos) sobre los grupos meta o beneficiarios, as como sus efectos globales sobre un mayor nmero de personas, en un sector o un rea geogrfica determinada. El impacto es un cambio durable y significativo, puede se tcnico, econmico, sociocultural e institucional El impacto est vinculado a la relacin entre el objetivo especfico y el objetivo general o global del proyecto. Es importante tener en cuenta que en este nivel el proyecto es slo una de muchas variables que contribuyen a un resultado ms amplio. As el impacto se evala, considerando el contexto general en el que se inscribe el proyecto, es decir tomando en cuenta el papel de otros actores y variables sociales, econmicas, polticas y medioambientales, nacionales o globales. El anlisis de impacto, normalmente se concentra en: La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecucin. Los factores externos que han influido sobre el impacto global. El impacto no planeado del proyecto. Los posibles efectos a largo plazo del proyecto y su sostenibilidad. El impacto del proyecto sobre temas transversales. Sostenibilidad: se refiere a la medida en la cual, los impactos de la intervencin tienen la posibilidad de continuar despus del cierre del proyecto. Del mismo modo, evala si los grupos meta, o beneficiarios quieren y pueden dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun despus de la salida del personal del proyecto. Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relacin con el contexto local. Los anlisis de sostenibilidad pueden centrarse en: Sentido de apropiacin de los objetivos por parte de las personas involucradas depender en parte de su participacin en el diseo y la ejecucin del proyecto). Sostenibilidad institucional la medida en la cual el proyecto respeta e influye en las caractersticas de las organizaciones o instituciones locales y en la capacidad de stas de desempear su papel despus del cierre del proyecto. Sostenibilidad financiera, si los servicios pueden seguir funcionando cuando se agoten los fondos externos, y si se genera una capacidad local para sostener los gastos de operaciones despus del cierre del proyecto.

29

Sostenibilidad sociocultural si el proyecto, tiene en cuenta el contexto social y cultural, as como la percepcin local de las necesidades. Tambin valora si los beneficiarios y las otras partes interesadas han aceptado y adoptado los cambios producidos por el proyecto. Sostenibilidad tcnica, si la tecnologa y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos brindados se concilian con las tradiciones, capacidades, conocimientos y herramientas existentes y si los beneficiarios pueden mantener la tecnologa adquirida sin asistencia externa.

Tipos de evaluacin
En el marco de un proyecto, programa, sector o pas se pueden hacer diversos tipos de evaluaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son evaluaciones intermedias y peridicas sobre el desempeo del proyecto, se consideran formativas porque su objetivo bsico es mejorar el desempeo del proyecto. La evaluacin sumativa o postproyecto examina el impacto del proyecto, una vez que este ha finalizado. Se examina el diseo original, con las modificaciones introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto. Tambin existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes:

Por etapas en el ciclo del proyecto

Evaluacin Ex ante: es un anlisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la factibilidad o mejorar el diseo del proyecto que se pretende implementar. Evaluacin sobre la marcha: se realiza durante la ejecucin del proyecto para evaluar las actividades del proceso mientras estas se desarrollan, e identificar los aciertos, errores y dificultades, para brindar recomendaciones, para la introduccin de ajustes. Evaluacin al cierre: se realiza al final del proyecto con el fin de analizar y registrar los resultados y efectos tempranos de la intervencin. Tambin puede dar recomendaciones para intervenciones futuras. Evaluacin ex post: se realiza despus (desde meses hasta varios aos despus) de concluido el proyecto, evaluando los resultados con la intencin de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

Por agente
Autoevaluacin: la realizan personas involucradas directamente en la ejecucin del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluacin asistida, en la que un externo apoya las acciones de evaluacin, pero sta es realizada por los actores locales, fomentando su empoderamiento. Evaluacin interna: la realizan personas que forman parte del equipo de la organizacin, pero que son externas al proyecto. Evaluacin externa: La realizan personas externas al proyecto y a la organizacin (sin ningn inters o relacin en los resultados). Las evaluaciones que efectan personas externas, a menudo se consideran ms objetivas y se llevan a cabo con fines de trasparencia y responsabilidad.

30

Desarrollo de la evaluacin Criterios de seleccin de los proyectos para evaluar

Por lo general, es difcil contar con recursos para evaluar todos los proyectos de un programa de una organizacin. Por otro lado, puede que no sea necesario evaluar todos los proyectos y bastar con algunas evaluaciones especficas de slo algunos. Los siguientes son posibles criterios de seleccin de los proyectos a evaluar: Cuando un proyecto tiene un presupuesto muy alto. Cuando se est proponiendo una segunda fase o una ampliacin del proyecto. Cuando un proyecto es considerado nuevo o estratgico, y se quiere ampliar el conocimiento para mejorar otras acciones futuras. Cuando un proyecto est teniendo muchas limitaciones, atrasos o no ha logrado avanzar hacia la consecucin de los objetivos planteados. Cuando un proyecto tiene una larga duracin. Cuando un proyecto se lleva a cabo bajo modalidades operativas particulares (por ejemplo, si es cofinanciado por diferentes donantes).

Al determinar qu proyecto se va a evaluar, es necesario preguntarse: Qu nos interesa evaluar en particular? Se quiere evaluar todo un proyecto o slo un componente? Se quieren evaluar todos los temas del proyecto o slo una estrategia o tema transversal del mismo?

Planeacin de la evaluacin
Es fundamental que el mbito de la evaluacin sea claro desde un inicio, para asegurar resultados y recomendaciones precisas y realmente tiles. Si bien las evaluaciones pueden enfocarse en distintos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones de una organizacin. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables tambin para otros mbitos. Tambin se debe tener claro cul ser el propsito de la evaluacin, ya sea que est en funcin de las necesidades de la agencia implementadora, de la organizacin matriz o del donante. Las finalidades de la evaluacin pueden estar relacionadas con la gestin del proyecto, para introducir medidas correctivas; con el aprendizaje,

31

para fortalecer el conocimiento de las organizaciones y mejorar el desempeo, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto y los beneficiarios. La evaluacin requiere asignacin de tiempo y recursos para un trabajo especial, que puede involucrar la participacin de profesionales especializados no asignados al proyecto. En este caso, la organizacin que solicite una evaluacin debe tener claro los objetivos y metodologas, lo cual se puede facilitar mediante la elaboracin de trminos de referencia y la seleccin adecuada del evaluador.

Trminos de referencia
Los trminos de referencia (TdR) son elaborados por la organizacin que est solicitando la evaluacin, sea sta interna o externa. Sirven para guiar toda la evaluacin al determinar su enfoque y propsito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinacin cercana con los beneficiarios del proyecto. Describen el objetivo ( por qu se realiza la evaluacin; el alcance (qu se debe evaluar), y los parmetros generales para llevarla a cabo (actividades y metodologa). Los trminos de referencia de una evaluacin por lo general incluyen: informacin bsica sobre el proyecto (datos, antecedentes, alcance, caractersticas, e informacin bsica de la organizacin que lo implementa); propsito y enfoque de la evaluacin (objetivo general y objetivo especfico); metodologa (parmetros generales para realizar la evaluacin: qu metodologas se necesita emplear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participacin de beneficiarios, formatos de informe de evaluacin, e c.) y condiciones del contrato de evaluacin (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos).

Seleccin del evaluador

Una vez que se tengan los trminos de referencia, se puede seleccionar al evaluador o al equipo de evaluacin. Tanto en una evaluacin interna como en una externa, es recomendable que el equipo de evaluacin est formado por personas externas y personas involucradas directamente en la ejecucin del proyecto. En la seleccin del evaluador es importante considerar la combinacin de cualidades, habilidades (de evaluacin o de conocimiento tcnico especfico) y experiencia necesaria. Las capacidades requeridas pueden variar, segn las caractersticas del proyecto, el objetivo de la evaluacin y los mtodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluacin, experiencia tcnico sectorial y conocimiento del contexto local.

Plan de trabajo
El primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluacin, que representa su propuesta para realizar el trabajo, teniendo en cuenta los trminos de referencia. Es importante que dicho plan de trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiacin del proceso de evaluacin. El plan de trabajo es fundamental, ya que ser un punto de referencia para todo el desarrollo de la evaluacin. Se recomienda incluir: Visin general del proyecto y del contexto: comprensin del evaluador del contexto y los antecedentes, del proyecto y de la organizacin. Esto se desarrolla a travs de la revisin de los documentos y de la consulta con el equipo del proyecto. Diseo metodolgico indicativo: el enfoque de la evaluacin, los objetivos (general y especfico) de acuerdo a las demandas de la organizacin contratante y a la propuesta del evaluador, y las preguntas de evaluacin o hiptesis.

32

Matriz de evaluacin: reformulacin de las preguntas especficas vinculadas a los criterios de evaluacin, los indicadores, las fuentes de datos y los mtodos para su recoleccin Metodologa: es la estrategia para conseguir los objetivos de la evaluacin, teniendo en cuenta la informacin disponible, los tiempos y los recursos. Aqu se incluyen los mtodos de recoleccin de datos, actividades y explicacin de los pasos previstos para la evaluacin. Si hay sistemas de MyE ya diseados y adecuados a las necesidades de evaluacin, se recomienda que el evaluador los emplee para aprovechar la informacin existente. Cronograma de actividades: tareas y fechas lmite de las fases de evaluacin (fase de preparacin, visitas sobre terreno, elaboracin del informe, presentacin de los resultados al equipo y a los beneficiarios, etc.) Composicin del equipo de evaluacin: composicin (evaluadores, coordinador sobre terreno, asistente de evaluacin, etc.) y responsabilidades de cada uno. Perfil del informe: ndice indicativo de los contenidos del informe de evaluacin y la estructura de la presentacin. En este apartado se incluyen tambin la extensin, el tiempo de la evaluacin y las entregas especficas de reportes.

Implementacin de la evaluacin
Una vez que la organizacin gestora de la evaluacin haya aceptado el plan de trabajo y se haya seleccionado y conformado el equipo de evaluacin, se puede comenzar la evaluacin. Como acciones previas, se recomienda: Reunir y revisar la informacin disponible sobre el contexto y sobre el proyecto (propuesta inicial, reportes intermedios y finales, informacin de lnea base, estadsticas oficiales, investigaciones y documentos sobre la problemtica o el contexto, etc.).

Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar informacin que no est disponible, y para asegurar una contextualizacin adecuada si el evaluador es externo. En esta visita puede haber una reunin con las personas que estarn involucradas en la evaluacin (responsables de la ejecucin del proyecto, y quienes darn la informacin). Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluacin. Considerar aspectos logsticos y organizativos antes de la salida, y planear agendas alternas a partir de un anlisis de riesgos. Seleccionar y revisar las tcnicas para la recoleccin de datos y los distintos mtodos de evaluacin, de acuerdo a los resultados de las visitas y reuniones preliminares.

33

Durante el desarrollo de la evaluacin se recomienda la participacin activa de diversos actores: beneficiarios, socios, autoridades, equipo del proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluacin deber decidir sobre el nivel de inclusin de los beneficiarios o, en su caso, si es pertinente y existen las condiciones necesarias para realizar una evaluacin participativa. Para guiar el trabajo de la evaluacin se puede partir de los criterios bsicos (pertinencia, eficiencia, eficacia, sostenibilidad e impacto), aplicando cada uno a los objetivos y estrategias generales y especficas del proyecto. Otra posibilidad es el enfoque de la evaluacin se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluacin (por ejemplo, en la eficiencia del proyecto). Al desarrollar la evaluacin, es posible que el evaluador se enfoque en: Aspectos tcnicos y de proceso del proyecto (relacionados con las actividades y la eficiencia en el uso de los recursos). Nivel de cumplimiento con la lgica de intervencin del proyecto, analizando la eficacia y la eficiencia, al producir los resultados, objetivo especfico y objetivo general. Los resultados o impactos que se generaron en relacin con las intenciones del proyecto.

Tambin es posible que el evaluador establezca puntos de anlisis ms pertinentes o alternativos a diseados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una problemtica especfica (como una evaluacin de vel de cumplimiento con parmetros de equidad de gnero, o una evaluacin para medir el impacto ambiental). Durante el desarrollo de la evaluacin quiz sea necesario incluir nuevos parmetros de medicin, si se identifican problemas importantes considerados anteriormente y no incluidos en el seo del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluacin e indicadores que respondan a las necesidades de informacin que considere ms importantes.

los

ni-

no di-

Una vez identificado claramente el enfoque que tendr la evaluacin, se pueden seleccionar y desarrollar los instrumentos necesarios para la recoleccin de datos que permitan reunir la informacin necesaria. Esta etapa del proceso de evaluacin es la que requiere ms tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Despus de la recoleccin de datos, es necesario hacer una recopilacin y anlisis de los datos obtenidos y evaluarlos en relacin con los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclusiones y lecciones aprendidas.

Informe final de evaluacin

El resultado de todo el proceso de evaluacin se refleja en el informe de evaluacin. Este debe ser coherente con los requisitos de contenido de los trminos de referencia y la propuesta del Plan de Evaluacin. Si bien los informes son extensos, basados en informacin diversa a partir de las mltiples fuentes de datos e informacin, el texto del informe debe ser lo ms claro y conciso posible, e incluir solo la informacin ms relevante de la evaluacin y las recomendaciones a futuro. Esta claridad es importante para que la evaluacin pueda ser realmente una herramienta de aprendizaje para las organizaciones y los beneficiarios. Algunos elementos esenciales que debe considerar un informe de evaluacin son:

34

Resumen ejecutivo: en esta seccin se responden brevemente las preguntas definidas en los trminos de referencia y en la matriz de evaluacin, y se exponen las principales conclusiones y recomendaciones de la evaluacin. Metodologa: descripcin de la metodologa usada durante la fase preparatoria de la evaluacin y de la misin sobre el terreno, los mtodos de recoleccin de datos y de anlisis de la informacin. Resultados de la evaluacin: es el texto principal del informe. Esta seccin debe responder los objetivos y las preguntas concretas e hiptesis definidas en los trminos de referencia y en la matriz de evaluacin. Aqu se desarrollan al detalle los resultados de la evaluacin y las recomendaciones, incluyendo evidencia concreta de la informacin y las conclusiones. Conclusiones y recomendaciones: puede ser til separar las conclusiones de acuerdo a los criterios de evaluacin y las recomendaciones en trminos del objetivo general del proyecto, objetivo especfico, resultados y las estrategias, o cualquier tema en particular que haya surgido como importante en los hallazgos de la evaluacin. Anexos: Trminos de Referencia (TdR), currculum del evaluador, figuras y tablas. Referencias bibliogrficas

La evaluacin participativa
Es una dimensin participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los beneficiaros del programa o proyecto en el anlisis colectivo y la evaluacin del mismo. Est centrada en las personas: las partes interesadas y los beneficiarios del proyecto son actores clave del proceso de evaluacin, y no solamente un objeto de esto (PNUD, 1997). La experiencia ha demostrado que los proyectos sociales tienen ms posibilidades de xito cuando la poblacin local se apropia del proyecto y se involucra en los procesos de diseo, implementacin, monitoreo y evaluacin. Ya se ha mencionado la importancia de que los proyectos sean diseados e implementados en respuesta a una necesidad expresada por los propios implicados. Si las iniciativas responden a una necesidad planteada por la poblacin local, necesariamente las mismas personas debern determinar tambin, qu es lo que significa un avance o mejora sustancial en cuanto a dicha problemtica. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parmetros del monitoreo y la evaluacin. As, la participacin debe ser una parte fundamental y natural del proceso de evaluacin, tanto en los procesos de diseo, como en las actividades de recoleccin de datos, el anlisis y la evaluacin de los resultados y la formulacin e implementacin de recomendaciones. Algunas de las ventajas de un proceso de evaluacin participativo son: Promueve la definicin de parmetros compartidos de resultado y desempeo. Fomenta la corresponsabilidad. Facilita la confianza entre las partes Crea compromiso entre los involucrados. Fomenta el aprendizaje, la gestin y otras capacidades locales de los beneficiarios. Al incluir a las partes involucradas en el anlisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiacin. Esto genera mayor apertura a las recomendaciones de la evaluacin y facilita la introduccin de cambios.

35

Principios bsicos de la evaluacin participativa

Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios bsicos que los distinguen de los enfoques de evaluacin convencionales: Intervencin: el mismo diseo del proyecto lo abre a la participacin e intervencin de las personas directamente afectadas por un problema y beneficiarias de la intervencin. La poblacin debe estar involucrada en todas las etapas de la implementacin del proyecto, incluso en el seguimiento de las actividades y en la evaluacin. Negociacin: se negocia y acuerda con los beneficiarios, qu ser monitoreado y evaluado, as como los mtodos y las herramientas de recoleccin de datos. Por otro lado, las estrategias y los procedimientos para el anlisis de informacin y la difusin de los resultados tambin deben retomar los aportes de la poblacin local. Aprendizaje: se acuerda con las personas involucradas cmo se retomarn las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener claramente definido cmo se difundirn las buenas prcticas y su promocin, de manera que el aprendizaje permanezca y sea apropiado por los beneficiarios. Flexibilidad: los proyectos de desarrollo se afectarn por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de ser flexibles y adaptarse a cambios inesperados.

La evaluacin participativa se distingue de las evaluaciones convencionales en diferentes aspectos.

Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opcin ms adecuada con relacin al proyecto, a las necesidades de evaluacin y al contexto. As, puede ser que en ciertas circunstancias sea mucho ms til una evaluacin convencional y en otros participativa. Al no haber ningn enfoque definitivo para la evaluacin participativa, esta puede ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales. La evaluacin participativa tiene la desventaja de que suele requerir ms tiempo y recursos para llevarse a cabo, y por lo general exige mayor capacitacin y preparacin por parte del facilitador de la evaluacin. Existen lmites a la viabilidad de la evaluacin participativa. A veces es demasiado ambicioso esperar involucrar a los beneficiarios en una evaluacin, ya sea por el contexto, su disponibilidad o una limitada apropiacin del proyecto (al no haber estado involucrados en todas las etapas de diseo, implementacin y

36

seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participacin en los procesos de MyE del proyecto (UNESCO, 2009): No todos los beneficiarios del proyecto querrn involucrarse en el proceso de MyE. Esta participacin requiere tiempo y energa que no todas las personas estarn preparadas o dispuestas a dar. Es necesario adaptarse al contexto y a las necesidades de la poblacin. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes tcnicas y herramientas participativas de obtencin de datos y de evaluacin. La participacin de la poblacin en la recoleccin de datos puede, por s misma, empoderar a los involucrados al asignarles una responsabilidad en el proyecto y fortalecer su formacin en las tcnicas y habilidades necesarias (investigacin, entrevistas, etc.). Las evaluaciones participativas pueden contribuir a la construccin social de aprendizaje. El proceso de anlisis colectivo sobre un tema en particular puede resultar en una comprensin y un aprendizaje mucho ms profundos, a travs de cuestionamientos, dilogos y generacin de ideas.

Actividades de la cuarta semana Individuales

1. Realice la lectura de la semana. 2. Elabore un mapa conceptual sobre la planificacin y su relacin con el monitoreo. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, su mapa conceptual elaborado en casa, luego construyan uno en grupo para compartir con el resto de la clase.

Autoevaluacin
1. 2. 3. 4. 5. Qu esperaba encontrar en la lectura acerca de la evaluacin? Qu ideas tena usted acerca de la evaluacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca de la evaluacin? Para usted, cul de las fases o etapas de una evaluacin, es la ms importante y por qu? A qu le motiva la lectura anterior?

37

QUINTA SEMANA Quines necesitan la informacin del monitoreo y la evaluacin? Objetivos de la semana
Al finalizar el estudio de la quinta semana las y los estudiantes. Identificarn a los usuarios de la informacin del monitoreo y la evaluacin.

LECTURA Usuarios de la informacin

Uno de los primeros pasos ms importantes al desarrollar un sistema de informacin consiste en identificar quines son los usuarios de la informacin relacionada con el proyecto. Una vez identificados los usuarios, es entonces cuando se puede y se tiene que determinar qu tipo de informacin se necesita y para qu fines, qu preguntas o preocupaciones tienen los usuarios respecto a la informacin y qu es lo que constituye una informacin de calidad. Un gran nmero de personas y organizaciones estn interesadas en cada uno de los proyectos. Todas estas personas pueden denominarse "usuarios de la informacin". Algunos estarn interesados en los resultados obtenidos y las lecciones aprendidas en un proyecto dado, por ejemplo, otras organizaciones no gubernamentales que trabajan con poblaciones objetivos similares en otra regin o departamento. Otros podran desear la informacin para poder participar en varias decisiones relacionadas con el proyecto. A este ltimo grupo se los suele llamar frecuentemente "partes interesadas" o presuntos "propietarios" del proyecto. Las partes interesadas del proyecto son todas las personas o grupos que tienen capacidad para tomar o influir decisiones que tienen un impacto en el diseo o la ejecucin del proyecto. Por ltimo, todas las partes interesadas pueden participar en la fase de ejecucin de un proyecto y, por lo tanto, debern ser consultadas e informadas regularmente sobre la planificacin de proyectos y sus progresos. El hacer participar a los presuntos usuarios (sobre todo, los administradores y el personal de los proyectos y la poblacin beneficiaria) en el diseo del monitoreo y la evaluacin no slo contribuir a aclarar los requisitos de informacin, sino tambin a asegurar su apoyo para el sistema de monitoreo y evaluacin y la utilizacin de sus resultados. Preocupaciones sobre el contenido Entre las numerosas personas diferentes que estn interesadas y participan activamente en el monitoreo y la evaluacin de proyectos figuran la poblacin beneficiaria de los proyectos, el personal encargado de la recopilacin y gestin rutinarias de datos (por ejemplo, sobre finanzas y productos), los equipos de evaluacin internos y externos encargados de las evaluaciones peridicas (como, por ejemplo, de los resultados y el progreso de los proyectos). Las diferencias que existen entre estos grupos consistirn en: Sus percepciones del fin del Monitoreo y la Evaluacin Sus razones para la recogida de los datos. Sus intereses en la informacin obtenida como resultado del Monitoreo y la Evaluacin

Otro grupo de personas que influye en el sistema de monitoreo y evaluacin de proyectos son los especialistas que participan en el proyecto, tales como economistas, eclogos, agrnomos, socilogos, trabajadores de salud, etc. Muchas de sus necesidades de informacin (y el tipo de informacin que creen que necesita el proyecto) sern determinadas en gran medida por su formacin profesional (por ejemplo, los economistas que tienen tendencia a buscar informacin relacionada con el ingreso). Como consecuencia, aun cuando su experiencia y

38

formacin pueden aportar unos puntos de vista valiosos al sistema de monitoreo y evaluacin, estos grupos pueden introducir tambin un elemento de "sesgo" profesional. Deber, por lo tanto, tenerse cierta cautela para asegurar que los puntos de vista de los profesionales no influyen desmedidamente el diseo del sistema de monitoreo y evaluacin. Preocupaciones sobre la calidad Los usuarios de la informacin tienen muchas preocupaciones sobre la calidad de la informacin que estn buscando. Consideracin de las cuestiones de la calidad Exactitud Cmo podemos asegurar que la informacin es exacta y confiable?

Planear por adelantado; ser especfico respecto a la informacin requerida y los procesos para obtenerla. Simplificar las necesidades y los sistemas de informacin para su recogida y anlisis. Ser selectivo en cuanto a la informacin recogida, las muestras, los mtodos, etc. Elaborar lineamientos y normalizar el proceso de cmo recoger y analizar la informacin. Triangular las fuentes de informacin y los mtodos de recogida siempre que sea posible (por ejemplo, utilizar ms de un mtodo o fuente para los mismos elementos de datos). Promover el compromiso a la recogida de informacin exacta o precisa. Cuando sea procedente, adquirir y utilizar un equipo moderno, por ejemplo, computadoras (pero recuerde que todo lo que se entre y no valga, fuera). Cmo podemos asegurar que la informacin es pertinente para las necesidades del usuario?

Relevancia

La "relevancia" vara en funcin de los distintos usuarios de la informacin. Obtener el punto de vista de las poblaciones objetivo del proyecto, hacindolas participar en la recogida y el anlisis de la informacin. Evitar una orientacin hacia el donante, satisfaciendo al mismo tiempo los requisitos de ste. Ser selectivo y establecer un orden de prioridades respecto a las necesidades de informacin. Averiguar de antemano quin necesita qu informacin y cmo se va a utilizar. Asegurar que el proyecto pueda analizar la informacin y presentar los resultados de una forma accesible para los diversos usuarios o pblicos (por ejemplo, no utilizar un informe escrito con miembros de la comunidad analfabetos o un informe de 200 pginas con un funcionario de la organizacin donante que est muy ocupado).

Oportunidad Cmo podemos asegurarnos de que la informacin est disponible a tiempo? Utilizar instrumentos o medios sencillos para la recogida y el anlisis. Planear de antemano: consultar con los que proporcionan la informacin. Tratar de conseguir el compromiso de las organizaciones aliadas de contraparte y comunidades. Preparar un calendario con plazos establecidos. Delegar y compartir las responsabilidades relacionadas con la recogida, el anlisis y la presentacin de la informacin; sensibilizar a los participantes sobre la necesidad de la oportunidad.

Credibilidad Cmo podemos promover la credibilidad de la informacin? Disear los mtodos de recogida de informacin con cuidado. Ser congruente (utilizando mtodos repetibles que puedan indicar tendencias). Ser objetivo al recoger, analizar e interpretar la informacin.

39

Ser transparente sobre los procesos empleados. Explicar los mtodos utilizados para obtener datos y sacar conclusiones (incluidos supuestos, enlaces estadsticos entre las fuentes, mtodos de recogida, anlisis y resultados). Tratar y debatir las cuestiones de la atribucin (si los resultados pueden ser reclamados por el proyecto). Mantener la reputacin personal y de la organizacin. Por qu se necesita la informacin? Para qu fines? Qu decisiones o acciones van a verse afectadas?

Fines de la informacin Las dos aplicaciones principales de la informacin producida por los proyectos y sobre los mismos son: a) Informar a quienes tengan que tomar decisiones (sea dentro o fuera del proyecto), y b) ofrecer una descripcin a aqullos que desean aprender del proyecto (incluidos resultados obtenidos, limitaciones y fracasos). Entre ejemplos corrientes de esos dos fines se pueden citar los siguientes: Seguir el progreso fsico y financiero, con el fin de que puedan tomarse (o revisarse) decisiones sobre los gastos y la asignacin de recursos que mantengan el proyecto funcionando y dentro de sus lmites presupuestario. Seguir la distribucin de los beneficios del proyecto. Por ejemplo, algunas personas podran beneficiarse ms que otras. Esta informacin es de gran utilidad para los grupos que desean vigilar la equidad y el rendimiento de cuentas del proyecto. Examinar las respuestas de la poblacin beneficiaria, a los servicios e insumos que est proporcionando el proyecto. Tal informacin podra ayudar a asegurar la aceptabilidad y utilidad de las actividades del proyecto. Estudiar problemas especficos de ejecucin que afronta un proyecto, para que puedan identificarse la causa o causas y recomendarse soluciones prcticas. Determinar cul es el impacto sobre la poblacin beneficiaria, sobre todo, en la calidad de vida y los niveles de vida (ingreso, salud, adquisicin de poder, relacin con el medio ambiente, etc.) como un resultado directo del proyecto, o sea, evaluar el impacto atribuible del proyecto. Cuando los beneficios del proyecto son identificables, la informacin sobre su impacto puede ser de gran utilidad para el cometido de la defensa o promocin de los intereses de ciertos grupos. Cumplimiento y rendimiento de cuentas, o sea, cumplir con los requisitos de los donantes.

40

Actividades de la quinta semana Individuales

1. Realice la lectura de la semana. 2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la informacin en su sistema de monitoreo y evaluacin. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego elabore una propuesta comn para compartirla con el resto de la clase.

Autoevaluacin
1. 2. 3. 4. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos? Qu ideas tena usted acerca del uso que puede hacerse de la informacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin? A qu le motiva la lectura anterior?

41

SEXTA SEMANA TEMA Uso de la evaluacin como herramienta gerencial Objetivos de la semana
Al finalizar el estudio de la sexta semana las y los estudiantes. Comprender cul es el uso gerencial que puede hacerse de los resultados de una evaluacin Comprender el rol de la evaluacin para una buena gestin gerencial
Las organizaciones bien administradas y los programas efectivos son aquellos que pueden demostrar que han logrado resultados. Los resultados provienen de una buena gestin gerencial. Una buena gestin gerencial se basa en la toma de decisiones adecuadas. Este proceso de toma de decisiones depende de una buena informacin. La buena informacin requiere que se recopilen buenos datos y que stos sean analizados cuidadosamente. Todos estos constituyen elementos crticos dentro del proceso de evaluacin. La evaluacin es un proceso peridico de recopilacin y anlisis de datos o el ordenamiento de los mismos de manera que la informacin resultante pueda ser utilizada para determinar si su organizacin o programa est llevando a cabo en forma efectiva las actividades programadas, y la medida en la que se estn logrando los objetivos y resultados anticipados. Los administradores pueden y deberan efectuar evaluaciones internas para obtener informacin acerca de sus programas con el objeto de estar en condiciones de tomar decisiones adecuadas con respecto a la implementacin de sus programas. Las evaluaciones internas deberan realizarse en forma constante y los administradores deberan aplicarlas concienzudamente en todos los niveles de una organizacin y en todas las reas del programa. Adicionalmente, todos los participantes del programa (administradores, personal y beneficiarios) deberan tomar parte en el proceso de evaluacin en una forma apropiada a la funcin de cada uno. Esto ayuda a asegurar que la evaluacin sea plenamente participativa y logre un mayor compromiso y dedicacin de parte de todos los participantes en lo que se refiere al uso de los resultados para lograr mejoras crticas a nivel del programa. A pesar de que la mayor parte de las evaluaciones se llevan a cabo a nivel interno y son realizadas por los administradores y el personal del programa, todava es necesario que individuos ajenos al programa u organizacin realicen peridicamente evaluaciones externas. La evaluacin es una de las herramientas ms importantes a disposicin de los administradores. El proceso de evaluacin ayuda a los administradores a tomar decisiones crticas acerca de la forma de mejorar la implementacin de sus programas y/o la administracin de su organizacin. La evaluacin ayuda a los administradores a: Determinar si estn logrando los resultados anticipados y qu modificaciones deberan efectuarse para mejorar la eficiencia y/o la efectividad de las actividades de su programa; Determinar si las estrategias actuales del programa son apropiadas y efectivas; Determinar qu tipo de personal se necesita; Decidir a qu cargos se debera asignar al personal; Supervisar y guiar al personal en la realizacin de su trabajo; Efectuar un seguimiento de los insumos (dinero, recursos humanos, tiempo) y los resultados (productos, servicios, gente capacitada, clientes); Determinar dnde ubicar los servicios; Decidir cundo es necesario adquirir equipo nuevo y qu tipo(s) de equipo se debe comprar; Verificar si los clientes tienen otras necesidades que no estn siendo cubiertas o si existen clientes potenciales que no han sido alcanzados por el programa.

42

Como administrador, usted es responsable de tomar este tipo de decisiones. La evaluacin, cuando se emplea regularmente, constituye una herramienta gerencial poderosa que le puede reportar buena informacin para ayudarle a tomar las decisiones correctas en cuanto a la mejor forma de administrar su programa de modo que pueda continuar prestando servicios de calidad y cubrir las necesidades de sus clientes. A travs del proceso de recopilacin, anlisis e interpretacin de datos que usted ha llevado a cabo, la informacin que usted obtiene de una evaluacin le permite escoger entre varias opciones y cursos de accin alternativos as como comprender y considerar las consecuencias de cada una de las acciones propuestas. Por ejemplo, al evaluar su programa o parte del mismo usted debera ser capaz de reconocer qu cambios deberan realizarse y cmo se est administrando el programa, qu nuevos servicios o actividades deberan llevarse a cabo para mejorar la calidad del programa o de los servicios, o si se debera implementar una nueva campaa de mercadeo o de recaudacin de fondos.

Vincular la evaluacin con el ciclo de planificacin e implementacin del programa

Los pasos que sigue una organizacin o programa para implementar sus actividades pueden ser presentados como un ciclo continuo de acciones administrativas que van desde la evaluacin de las necesidades, a la planificacin e implementacin de actividades y la medicin de los resultados finales del programa, los cuales son retroalimentados a la etapa de planificacin con el objeto de volver a empezar el ciclo. Ya sea que la evaluacin sea llevada a cabo internamente por el personal del programa o por un consultor externo, hay tres elementos principales en cualquier evaluacin: la planificacin de la evaluacin; la conduccin de la evaluacin; la utilizacin de los resultados.

Como se muestra en el diagrama a continuacin, estos elementos de evaluacin estn directamente vinculados a los pasos que debe seguir para llevar a cabo la planificacin e implementacin de su programa o proyecto. La evaluacin es parte de y se relaciona con cada etapa del ciclo, y como se hizo notar anteriormente, todos los participantes del programaadministradores, personal y la poblacin objetivo (beneficiarios) deberan participar a lo largo de todo el proceso. De esta manera, los participantes involucrados en diferentes aspectos del programa comprendern la necesidad que existe de implementar cualquier cambio necesario indicado por la evaluacin y estarn motivados para trabajar juntos con el objeto de lograr los resultados deseados.

43

44

Planificacin de la evaluacin
A pesar de que las presiones para obtener informacin pueden provenir de muchas fuentesel Ministerio de Salud o Poblacin, la oficina central de la organizacin, el gobierno local, las organizaciones patrocinadoras, los donantes, los entes reguladores o responsables del otorgamiento de certificaciones, o los clienteses importante recordar que la razn primordial para evaluar su programa debera ser el mejoramiento del mismo. Es as que los resultados de la evaluacin deberan centrarse ms en las soluciones o acciones necesarias para revisar y mejorar los programa y no solamente en responder o solucionar los problemas identificados. Es responsabilidad suya, en su capacidad de administrador, lograr que los resultados de la evaluacin sean bien utilizados. Como se explica en la siguiente tabla, la evaluacin puede centrarse en varios aspectos diferentes de un programa dependiendo de cul(es) sea(n) la(s) razn(es) primordiales para realizar dicha evaluacin.

45

Los administradores a diferentes niveles de un programa u organizacin necesitan diferentes tipos de informacin para tomar decisiones que ataen a sus responsabilidades especficas. Estas decisiones se relacionan con las diversas etapas del ciclo de planificacin e implementacin. Los tipos de decisiones tomadas por los administradores y la forma en la que dichas decisiones encajan dentro del proceso de planificacin e implementacin se ilustran en la siguiente figura y se explican con mayor detalle a continuacin.

46

Los administradores de nivel superior necesitan informacin que les ayude a responder a las preguntas concernientes al enfoque y a las estrategias utilizadas en todo el programa. Ellos necesitan recopilar y analizar los datos referente a cmo el programa u organizacin se estn desenvolviendo en lo que respecta a su misin (o mandato legal) y su visin. Tambin necesitan tener a su disposicin informacin acerca de lo que est pasando en el medio dentro del cual operan (tal como el gobierno nacional o local o el medio social, religioso y econmico) con el fin de determinar el impacto potencial que el medio externo podra tener en el cumplimiento de la misin de la organizacin. Los administradores de nivel medio necesitan informacin que los ayude a determinar la medida en la que su unidad, programa, o departamento est contribuyendo a la consecucin de los metas y objetivos ms importantes que la organizacin se ha fijado, as como los de su propia unidad o departamento. Los administradores de nivel medio deben tambin comprender y tener a su disposicin informacin acerca de las tendencias dentro del contexto de la organizacin, tal como la misin de la organizacin y los objetivos y metas de la organizacin a corto y largo plazo. Al contar con esta informacin podrn asegurarse de que su trabajo y el del personal a su cargo sern consistentes con las metas y la direccin de la organizacin. Los administradores de base necesitan informacin confiable que los ayude a implementar y supervisar las actividades y tareas especficas del personal bajo su supervisin directa. Al contar con esta informacin ellos pueden asegurarse de que las responsabilidades, tareas y objetivos de la unidad de base se estn logrando. Para poder desempear su trabajo en forma efectiva, los administradores de base tambin necesitan informacin con respecto a la orientacin futura del programa o departamento, tales como nuevos servicios que sern provistos por su unidad, o nuevos requisitos de rendicin de informes.

Realizacin de la evaluacin
Una vez que se haya determinado el propsito de la evaluacin, seleccionado los indicadores y estndares y hecho planes para la recopilacin de datos, estar listo para llevar a cabo la evaluacin recopilando y analizando los datos. Recopilacin de Datos. Los datos que usted recopile pueden ser cuantitativos o cualitativos. Estos dos trminos se emplean para hacer referencia a diferentes enfoques para la recopilacin de datos. Al emplear un enfoque cuantitativo esto significa que usted estar recopilando y utilizando datos bajo la forma de nmeros y estar convirtiendo estos datos en porcentajes, medias, medianas y otras figuras para ayudarlo a realizar el anlisis de los mismos y encontrar un significado a los nmeros. Los enfoques cualitativos (como la realizacin de entrevistas focales a los clientes) proporcionan una mayor profundidad y detalle y sirven para enriquecer y explicar los hallazgos cuantitativos. Al planificar para una evaluacin, es importante recordar que ambos enfoques son valiosos y, si los recursos lo permiten, es mejor emplear ambos enfoques y varias fuentes de informacin. Emplear ambos enfoques le ayudar a confirmar y respaldar sus hallazgos. Podra emplear una diversidad de mtodos de recopilacin de datos en cualquier evaluacin. Por ejemplo, cuando usted realiza una evaluacin de las necesidades podra emplear varios mtodos de recopilacin de datos. Podra comenzar dicha evaluacin tomando en cuenta los datos cuantitativos disponibles de los censos, encuestas nacionales, y datos sobre los clientes/la clnica para determinar la situacin general de un aspecto en particular como los niveles de fertilidad o el uso de servicios de planificacin familiar. Los hallazgos a partir de estos datos cuantitativos podran llevarlo a la elaboracin de un estudio ms detallado de la situacin utilizando metodologas cualitativas como la observacin clnica, encuestas de los clientes o grupos focales utilizando preguntas abiertas, con el objeto de determinar con mayor precisin cmo disear un programa en particular. Sin importar qu mtodos se usan para recopilar informacin, la utilidad que stos tienen para usted, el administrador, depende de que los datos sean vlidos (deben medir lo que usted desea medir), confiables (deben ser consistentes a travs del tiempo) y oportunos (deben estar disponibles cuando se los necesite). La siguiente tabla proporciona un resumen de las diferentes herramientas y mtodos para recopilar datos cuantitativos y cualitativos y las caractersticas de los dos ltimos enfoques.

47

Anlisis de los datos

Analizar los datos que usted ha recopilado es a menudo uno de los aspectos ms difciles de la evaluacin y requiere de una cuidadosa planificacin. Al analizar los datos, usted necesita desarrollar habilidades para encontrar ciertos patrones en los datos y tener la habilidad de aislar la informacin y los hechos crticos de otra informacin que no es tan importante. Como se puede ver en la tabla anterior, la manera en la que se analizan los datos depende mucho de la forma en que dichos datos fueron recopilados. En algunas evaluaciones, su mayor inters podra consistir en medir el progreso logrado en el corto plazo al comparar los nmeros y la informacin de los diferentes centros de servicios de su programa u organizacin. En otras evaluaciones, es posible que usted desee medir el xito de su programa mediante una comparacin de los logros de su programa en contraposicin con una lnea de base establecida por el mismo.

48

Utilizacin de la informacin proveniente de la evaluacin

Todo el tiempo y la energa que se invierten en la evaluacin seran intiles si los resultados no se usan para planificar, apoyar, cambiar, corregir y/o mejorar su programa. Por consiguiente, para beneficiarse de una evaluacin usted debe formular las siguientes preguntas referentes a la manera en que se utilizar la informacin. Qu lecciones se aprendieron de la evaluacin? Qu se debera hacer en forma diferente a raz de los hallazgos de la evaluacin?

Cmo vencer la resistencia a la evaluacin

A menudo los administradores y encargados de formular polticas ven la evaluacin como una amenaza en lugar de una herramienta til. Al realizar cualquier tipo de evaluacin, se debera pensar con anticipacin acerca de las reas de resistencia potencial y tratar de solucionarlas antes de comenzar la evaluacin. Generalmente se pueden encontrar soluciones relativamente fciles para estos problemas potenciales. La siguiente tabla proporciona algunas sugerencias con respecto a la manera de evitar cualquier resistencia potencial a la evaluacin.

49

Cmo decidir si se debe realizar una evaluacin interna o externa

La presente edicin ha tomado como punto central la importancia de realizar evaluaciones internas, participativas por usted en su calidad de administrador as como por el personal a su cargo. Sin embargo, existen oportunidades en las que es til e importante realizar una evaluacin externa, como cuando usted desea aprender acerca del impacto de su programa en el largo plazo, en relacin con la poltica y el programa nacional ms amplio. A continuacin se resumen algunas de las ventajas y desventajas de realizar evaluaciones internas y externas.

50

Introduccin de la evaluacin a su programa

Para asegurarse de que la evaluacin se convierta en una actividad regular y aceptada en su organizacin y sea un instrumento participativo y til para su personal y organizacin, es importante seguir unos cuantos pasos simples. Primero, la planificacin de las evaluaciones debera convertirse en un elemento regular del proceso de planificacin e implementacin de programas a nivel de su organizacin. La evaluacin debera considerarse como parte esencial de este proceso, de modo que al igual que se elaboran planes para implementar sus programas, tambin se elaboran planes para evaluar el proceso y el impacto de las actividades del programa. Segundo, cuando usted planifica y realiza una evaluacin, debera emplear todos los datos disponibles primero, antes de siquiera considerar llevar a cabo cualquier esfuerzo especial de recopilacin de datosa menudo caro y que requiere de mucho tiempo, como ser la realizacin de cualquier tipo de encuestas especiales. Finalmente, al llevar a cabo evaluaciones internas es importante recordar que se deben enfocar las soluciones y acciones que mejorarn sus servicios y la administracin del programa, en lugar de solamente centrar su atencin en revelar y responder a los problemas inmediatos identificados en la evaluacin. Es su responsabilidad asegurarse de lograr que los hallazgos de una evaluacin sean bien utilizados, para mejorar tanto las actividades especficas de su programa como los aspectos administrativos en general, as como la efectividad y eficiencia de su organizacin y sus programas.

51

Actividades de la Sexta semana Individuales

1. Realice la lectura de la semana. 2. Visite una institucin gubernamental o no gubernamental, identifique quines podran ser los usuarios de la informacin en su sistema de monitoreo y evaluacin. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institucin, luego elabore una propuesta comn para compartirla con el resto de la clase.

52

Autoevaluacin
1. 2. 3. 4. Qu esperaba encontrar en la lectura acerca de la informacin y sus usos? Qu ideas tena usted acerca del uso que puede hacerse de la informacin? Despus de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la informacin? A qu le motiva la lectura anterior?

53

SPTIMA SEMANA Los pasos de una evaluacin Objetivos de la semana

Al finalizar el estudio de la sptima semana las y los estudiantes. Identificarn los principales pasos para realizar una evaluacin.

LECTURA
Paso 1: Identificar y empoderar al gerente de evaluacin
El Rol del Gerente de Evaluacin
El primer paso para llevar a cabo una evaluacin bien planificada consiste en designar una persona como gerente de la evaluacin. Esta persona suele ser el gerente del proyecto o el responsable de monitoreo y evaluacin (M&E), pero podra ser cualquier otra persona con un claro compromiso hacia el proyecto. El gerente de evaluacin es responsable de garantizar que se cumplan de manera oportuna las tareas especficas previas a la evaluacin. En proyectos ms grandes, con equipos mltiples y varios cronogramas, las responsabilidades de un gerente de evaluacin se pueden distribuir entre varias personas. Sin embargo, cuando esto sucede, es necesario definir claramente la nueva distribucin de funciones, y es fundamental que exista una buena comunicacin entre las personas involucradas.

Ubicacin del Gerente de Evaluacin

Algunas organizaciones desean que el gerente de evaluacin est ubicado en la oficina sede, otros en la oficina regional, o en la oficina principal del programa de pas donde se implementa el proyecto. Pero mientras la comunicacin sea confiable (Internet, telfono, etc.), la ubicacin no es tan importante como la capacidad de la persona para organizar, coordinar y cumplir el trabajo. Sin embargo, si el gerente de evaluacin no se encuentra en el mismo pas en el que se llevar a cabo la evaluacin, es necesario entonces que un miembro del personal local respalde el proceso, a fin de garantizar una adecuada representacin desde el terreno y una ptima coordinacin de campo durante toda la evaluacin. Esto ayudar a facilitar la comunicacin entre el equipo de evaluacin y el personal del proyecto.

Paso 2: Clarificar los lineamientos y expectativas

Determinar los Requerimientos
Generalmente los donantes tienen estndares para las evaluaciones. Las organizaciones implementadoras tambin tienen estndares que a menudo son ms rigurosos. Antes de redactar los trminos de referencia, investigue cules son los requerimientos para la evaluacin. Esto proporcionar la informacin necesaria para el proceso de evaluacin, incluyendo el calendario de actividades y las destrezas requeridas para el equipo de evaluacin. Existen dos documentos donde se pueden encontrar los estndares de evaluacin: la gua original de la propuesta del donante y el plan de M&E aprobado para el proyecto. Existen adems otros recursos que pueden brindar informacin sobre aquellos indicadores que los evaluadores necesitarn medir directamente, y aquellos que requerirn la recoleccin complementaria de datos (tales como encuestas). El personal del proyecto puede brindar insumos sobre quin puede responsabilizarse de los diferentes elementos (por Objetivo Estratgico, por ejemplo).

54

Necesidades de Comunicacin
El siguiente paso es convocar a una reunin entre el gerente de evaluacin, el gerente del proyecto y los gerentes senior para analizar los requerimientos para la evaluacin. Esta reunin brindar informacin anticipada a los gerentes senior sobre la asignacin de recursos y una resea de antecedentes, antes de invitarles a revisar los trminos de referencia de la evaluacin (TdR). Tambin los prepara para otras tareas organizacionales ms importantes del proyecto.

Paso 3: Elaborar el Borrador de los Trminos de Referencia y el Plan de Trabajo para la Evaluacin
Desarrolle un Calendario
Establezca el calendario para la preevaluacin, retrospectivamente desde la fecha de inicio de la evaluacin. Para los proyectos, el gerente de evaluacin debe reservar 15 das de trabajo, mientras algunos miembros del personal del proyecto debern planificar 19 das. El gerente a nivel de la oficina de pas y de campo probablemente requerirn alrededor de 4 das en cada caso. Esto puede implicar una inversin total de 42 das por parte del personal, antes de la evaluacin, repartidos generalmente de manera no consecutiva entre los diferentes miembros del personal (vea la seccin 2 del mdulo completo para ms sugerencias sobre el calendario). El nmero de das podra ser mayor o menor dependiendo de la complejidad del proyecto y la organizacin de los materiales existentes.

Elabore el Borrador de la Propuesta de Trminos de Referencia y el Plan de Trabajo de la Evaluacin

Cul es la diferencia entre los Trminos de Referencia y un plan de trabajo para una evaluacin? Los TdR proporcionan detalles sobre lo que se har y el por qu es necesaria la evaluacin, mientras que el plan de trabajo describe quin har qu, cundo y cmo. Ambos son necesarios para organizar una evaluacin de forma eficaz. El borrador de los TdR proporciona al equipo del proyecto la oportunidad de enfocarse en las preguntas ms importantes a realizar durante la evaluacin y en los mtodos a utilizarse. El gerente de evaluacin puede modificar un TdR ya existente para adaptarlo a las necesidades de la evaluacin. El gerente necesita asegurar que el personal de campo y los actores involucrados cuenten con tiempo suficiente para revisar el borrador del TdR, formular observaciones, y analizar los requerimientos de la evaluacin. El plan de trabajo ayuda a organizar la evaluacin paso a paso, incluyendo la logstica; y ayuda al personal de campo a administrar su tiempo en preparacin para la evaluacin.

Factores a Considerar
Existen muchos factores a considerar cuando se prepara los TdR y el plan de trabajo. Si se requiere mucho tiempo en el campo, quin organizar este proceso? Existen permisos especficos por parte de las autoridades locales que deberan obtenerse con anticipacin? Existen preguntas de evaluacin especficas que respondan a los criterios de diseo, tales como fortalecimiento de la capacidad del socio o la gestin del proyecto, que deberan incluirse dentro de un formato plantilla existente? Obtenga la mayor cantidad de respuestas posibles antes de avanzar al paso 4. En este momento una comunicacin y organizacin adecuadas significan una correcta coordinacin ms adelante.

Un Evaluador Interno o Externo?

Un desafo adicional es determinar si quienes conduzcan la evaluacin sern evaluadores internos o externos. Hay ventajas y desventajas en cada opcinel mdulo completo analiza este tema en ms detalle pero la decisin final bsicamente depende de tres factores: la curva de aprendizaje, el nivel de objetividad y la facilidad de acceso. Los evaluadores internos tienden a tener curvas de aprendizaje ms cortas y un mejor acceso. Los evaluadores externos tienden a ser ms objetivos, ya que ven los eventos sin el contexto institucional y aportan una perspectiva nueva. Establecer un equipo que combine las ventajas y minimice las desventajas de cada opcin puede ser lo ms eficaz.

55

Paso 4: Identificar al Equipo de Evaluacin y Finalizar los Trminos de Referencia

Seleccione Alguien Experimentado para Liderar el Equipo
Un buen lder para un equipo de evaluacin debe haber demostrado experiencia en la evaluacin de este tipo de proyectos o tener experiencia con proyectos similares. Este antecedente es importante para garantizar que la evaluacin cumpla con las expectativas del donante. Los lderes de equipo tambin deben tener una capacidad demostrada para manejar y sintetizar los insumos y la participacin de los principales miembros del equipo de evaluacin, y equipos de trabajo del donante. Cada una de estas personas o grupos tienen una meta o agenda diferente. El trabajo del lder del equipo es involucrar a las diferentes personas y grupos para que cada miembro clave del equipo pueda encontrar respuestas a algunas de sus preguntas especficas de evaluacin, mientras continua aportando a la meta comn de una evaluacin constructiva. Es esencial una alta capacidad de comunicacin verbal y escrita. Tome en cuenta que la comunicacin no significa slo hablar, sino que tambin implica escuchar de manera activa. Esta es una habilidad clave que no se puede evaluar mediante ensayos escritos. Obtener referencias es importante!

Elegir al equipo de evaluacin

El primer paso para contratar a un equipo de evaluacin especialmente al lder del equipo es identificar un adecuado grupo de candidatos. Las organizaciones a menudo tienen una lista de personas con quienes han trabajado anteriormente y a quienes desean contratar nuevamente. Inicie con esa lista institucional, luego solicite recomendaciones a otras organizaciones aquellas ubicadas en el mismo sector y pas. Inicie con un nmero moderado de candidatos, no ms de cinco. Una vez que se han identificado los candidatos, enve a todos el borrador de los Trminos de Referencia y solicite a los candidatos que manifiesten su inters y presenten sus ensayos escritos. A continuacin, elija un lder de equipo de entre los candidatos. Esta persona debe estar disponible para toda la evaluacin, incluyendo tiempo adicional antes y despus de la misma. El tiempo extra es necesario para que el lder del equipo discuta con el gerente de evaluacin respecto a la metodologa de evaluacin y respecto a los otros miembros del equipo y la logstica, a fin de garantizar que la evaluacin est debidamente organizada y asegurar que el informe de evaluacin se presente a tiempo. El aporte del lder del equipo de evaluacin es clave para finalizar los trminos de referencia con el gerente de evaluacin. Pueden existir metodologas de recoleccin de datos especficas que son preferibles en funcin de la estacionalidad u otros temas locales (por ejemplo, si es temporada de lluvias y muchas de sus comunidades estn inaccesibles, el muestreo aleatorio en visitas de campo ser inferior al de un muestreo aleatorio completo). El lder del equipo debe incluir estas variables en los TdR finales.

Un Equilibrio de Experiencias
Asegrese que el equipo de evaluacin aporte un equilibrio de experiencias, en especial, experiencia a nivel del pas, experiencia sectorial y otra experiencia especfica de orden tcnico. Una vez que se ha seleccionado al equipo, finalice los TdR con los aportes de este equipo, coloque la versin final en el manual informativo, y enve una copia al donante y a la gerencia senior. Ahora que la decisin es an reciente, el gerente o lder del equipo de evaluacin tambin podra tener inters de adjuntar un memo sobre el razonamiento que fundamenta algunas de las opciones metodolgicas seleccionadas. El donante y la organizacin implementadora pueden preferir determinados mtodos de evaluacin y, en algunos casos, requieren enfoques particulares. El lder del equipo de evaluacin podr recomendar alternativas, pero es importante respetar los requerimientos. En ltima instancia, el lder del equipo es responsable de la seleccin de los mtodos de evaluacin.

Paso 5: Organizar la Documentacin del Proyecto

Definicin de la Documentacin del Proyecto
La documentacin del proyecto se refiere al archivo existente de los documentos del proyecto, empezando con las evaluaciones iniciales. En el paso 5 se producirn dos productos: una bibliografa y un manual informativo del proyecto.

56

La Bibliografa y el Manual Informativo

La bibliografa del proyecto es el listado de los principales documentos del proyecto clasificados por categora. El manual informativo del proyecto incluye slo los documentos ms importantes. Agregue una bibliografa del proyecto actualizada dentro del manual informativo. Organice todos los archivos del proyecto. Elimine los archivos que ya no se utilizan. Muchos documentos tambin estarn disponibles electrnicamente indique cules son esos archivos en la bibliografa del proyecto. Grabe un CD (o coloque los archivos en una unidad extrable) con los documentos ms importantes del proyecto. El gerente de evaluacin debe asegurar que el personal de campo organice sus archivos para el equipo de evaluacin, antes de la llegada del equipo. Organizar todos los documentos del proyecto clasificados es algo que nadie quiere hacer despus de 20 horas de vuelo, y no es algo por lo que el proyecto deba pagar a un consultor! He aqu una oportunidad de oro para que todos organicen y limpien sus estantes y archivos electrnicos. Si se conoce con anticipacin la ejecucin de una evaluacin, esto significa que esta tarea se puede programar poco a poco, en lugar de hacerlo de prisa antes de que el lder del equipo de evaluacin llegue. Con el gerente de evaluacin supervisando y coordinando, todos en la oficina pueden asumir la responsabilidad de organizar los documentos ms importantes, por lo general en revisteros o en alguna especie de cajas de cartn pequeas que puedan guardarse en los estantes. Mantenga un suministro de etiquetas a la mano para organizar los documentos por caja.

Paso 6: Organizar la Informacin del Proyecto

La informacin del proyecto no es lo mismo que la documentacin del proyecto. La informacin comprende las piezas clave del proyecto, figurativamente hablaramos de las tuercas y tornillos, y requiere esfuerzo adicional organizarlo. La mayor parte de la informacin puede encontrarse en los informes anuales, pero por lo general no se la ha trasladado a cuadros sinpticos. En el recuadro de texto a la derecha, sobre Informacin Clave del Proyecto, se describen los principales elementos de la informacin de un proyecto. A continuacin algunos elementos ilustrativos:

Cronologa y Patrones para Dotacin de Personal

Conocer la cronologa de los acontecimientos del proyecto y los patrones para contratacin de personal es muy til al evaluar los resultados del proyecto. Por ejemplo, si tres gerentes de proyecto fueron contratados durante los dos primeros aos del proyecto y esta informacin es revisada de la mano de algunos otros eventos en la historia del proyecto, tales como un disturbio civil, (vea la Tabla #2) se puede crear una imagen de los eventos externos que afectaron la permanencia del personal. Se requiere una visin global, o las conclusiones podran ser errneas. Que el personal contribuya a establecer este recuento histrico o cronolgico es un ejercicio de grupo til; este proceso puede incluir al personal de apoyo administrativo y financiero. Sus contribuciones al xito del proyecto, con frecuencia son componentes ignorados en una evaluacin, an cuando esos funcionarios tienen por lo general la mejor memoria institucional, y no tienen un sesgo tcnico. El equipo de salud puede hacer su propia cronologa sectorial y el equipo de agricultura lo propio se deben incluir factores relativos a la gestin general y factores externos, para no perder conexiones e interacciones clave.

Tabla de Seguimiento de los Indicadores de Desempeo

La mayora de los evaluadores notarn que la tabla de seguimiento de los indicadores de desempeo (IPTT) es una herramienta muy til para obtener una perspectiva general del proyecto. Sin embargo, muchos proyectos

57

no mantienen esta tabla actualizada, y con frecuencia cada ao se genera un arduo y alocado trabajo para obtener las cifras actualizadas antes de la fecha de vencimiento de presentacin del informe anual, pese a ser un requerimiento de un proyecto Ttulo II. Esto no es un buen proceso ni para una evaluacin de medio trmino ni durante la evaluacin final. Y lo que es peor, los proyectos con frecuencia esperan que el evaluador llene, no slo las cifras ms actuales, sino todos los datos faltantes. Recolectar muchos de los indicadores que se requieren para la IPTT a mediados de la implementacin es por s mismo un desafo. El personal puede haber rotado y nadie ms podra saber cmo volver a recolectar esa informacin. O el proyecto pudo cambiar de enfoque y un conjunto de actividades particulares pudieron suspenderse. Todas estas pueden ser buenas excusas para posponer la oportuna actualizacin de la IPTT.

Paso 7: Planificar la Logstica de la Evaluacin

Una buena planificacin logstica es clave para el xito de una evaluacin. Al igual que el ejrcito avanza sobre sus coordenadas, tambin lo hacen los equipos de evaluacin. Si la logstica est mal planificada y financiada, incluso el mejor diseo de evaluacin fracasar. El resultado del sptimo, y ltimo, paso de la evaluacin debe ser un plan de logstica bien detallado y claramente coordinado. Los Principales Elementos de una Pre-planificacin incluyen: Disponer de una persona clave que reporte al gerente de evaluacin responsable de la logstica. Negociar las fechas preliminares y objetivos de las visitas de campo con las PVOs, organizaciones, funcionarios de gobierno y lderes comunitarios; y finalizar el calendario y horarios de visitas in situ, una a dos semanas antes de que el equipo de evaluacin llegue al lugar del proyecto. Identificar las fechas en que los funcionarios del distrito sern notificados por los evaluadores sobre el cronograma de visitas a comunidades especficas. Elaborar un anuncio de una pgina, que deber ser firmado por un representante de la pastoral anfitriona del proyecto, informando a las comunidades sobre la prxima visita. El anuncio debe incluir una breve descripcin del propsito de la visita, las fechas previstas para las visitas de campo y los nombres de los miembros del equipo de evaluacin (en el idioma local). Organizar temas logsticos como alimentacin, transporte, espacio fsico, facilidades de acceso a computadoras e impresin y alojamiento para el equipo.

Actividades de la sptima semana

Individuales 1. Realice la lectura de la semana. 2. Elabore un mapa conceptual para los pasos de una evaluacin. 3. Actualizar su diario de aprendizaje. Grupales 1. En grupo los y las estudiantes proceden a identificar una poltica, programa o proyecto social, para realizar un proceso de evaluacin. Autoevaluacin 1. Qu saba o conoca usted acerca de los pasos de una evaluacin, antes de realizar la lectura? 2. Qu nuevas ideas aprendi? 3. Explquese a usted mismo o misma, cul es la lgica que siguen los pasos de una evaluacin.

58

OCTAVA SEMANA TEMA

Preparando el monitoreo y la evaluacin

Objetivos de la semana
Al finalizar el estudio de la octava semana las y los estudiantes. Reconocen la importancia de preparar el monitoreo y la evaluacin.

LECTURA
Tarea 1: Por qu quiere realizar una evaluacin?
Es importante saber por qu quiere comenzar el proceso de MyE ahora porque le ayudar a definir por dnde comenzar y cmo enfocar el proceso. Por ejemplo, si quiere usar el proceso de MyE para entender por qu un programa no funciona como se esperaba, lo primero que se puede hacer es hablar con el personal que implementa el programa y revisar algunos datos bsicos de monitoreo. Si, en cambio, un financiador ha preguntado qu impacto tuvo un programa recin terminado, entonces se debe clarificar primero con el financiador cules son sus preguntas y necesidades respecto a la evaluacin. Algunas razones comunes de querer realizar una evaluacin: 1. Un programa existente tiene problemas y se quiere averiguar cules son los problemas y cmo resolverlos. 2. Se quiere entender qu es lo que un programa existente ha logrado o est logrando. 3. Se est desarrollando un programa y se quiere que el plan de MyE sea parte del plan del programa desde un principio. 4. Una persona u organizacin externa, probablemente un financiador, quiere saber el impacto del programa.

Tarea 2: Revisar objetivos, actividades e implementacin del programa - Es ahora el momento de invertir en el proceso de MyE?
Sin importar sus razones por empezar un proceso de MyE, es un buen momento para revisar la lgica detrs de sus objetivos y actividades de programa. Esto es, esencialmente, una mini-revisin de su trabajo para determinar si su programa est preparado para un proceso completo de MyE. Es muy importante tener claridad sobre lo que se quiere lograr con su programa para disear una evaluacin efectiva. Por ejemplo, si se revisa la razn por cada actividad y se descubre que algunas actividades no estn bien conectadas a un objetivo, quizs quiera considerar cambiar esa actividad. O quizs si revisa su curriculum de capacitacin, descubre que algunos mensajes ya no se relacionan a su actual forma de pensar. Entonces, a lo mejor querr hacer los cambios a su curriculum antes de seguir con el proceso de MyE. Hay que saber si el programa generalmente se est implementado como se haba planeado antes de completar el proceso de MyE. Por ejemplo, si se descubre que las mujeres y los hombres a los que ms se quiere llegar no asisten sus talleres, entonces quizs se debe enfocar en esfuerzos de reclutamiento para los talleres antes de empezar la evaluacin. Si no es as, entonces ya se habr logrado algo con su proceso de evaluacin.

Tarea 3: Evaluar su programa: Manejar el riesgo

Realizar una evaluacin de programa puede ser especialmente difcil para las personas que han desarrollado y estn implementando el programa. Es importante abordar desde el principio lo que puede pasar con los hallazgos, particularmente qu pasar si los hallazgos no son los que se esperaban. Si se descubre que el programa no logr sus objetivos, qu pasar? Se usarn estos hallazgos para modificar el programa? Se afectar el financiamiento del programa? Se pondr en riesgo algn empleo?

59

Paso 2: Formar un equipo de Monitoreo y Evaluacin

Fundamento Se necesita un grupo principal de personas que son responsables para crear e implementar el monitoreo y evaluacin (MyE) de su programa. Un equipo con experiencia y perspectivas diversas le ayudar a entender y medir mejor el impacto de su trabajo. Debe haber 3 o 4 personas en el equipo de MyE y debe haber otros actores interesados claves que participan cuando sea posible y necesario.

Tarea 1: Elegir un lder del equipo de MyE

Alguien tiene que dirigir el proceso de monitoreo y evaluacin. Lo ideal es que esa persona tenga las siguientes caractersticas: una visin de lo que el MyE puede hacer para la vida de un programa; un entendimiento profundo del programa; autoridad para realizar de verdad el MyE; una buena relacin de trabajo con el personal del programa.

Tarea 2: Identificar a los actores interesados que quiere invitar a participar y en qu momento quiere que participen
Los actores interesados o implicados (tambin conocidos como stakeholders en ingls) tienen un inters o compromiso fuerte en su programa y/o el problema al que quiere impactar. Por ejemplo, el personal del programa, financiadores/donantes, clientes y lderes comunitarios son actores interesados. Hay que tener participacin de los actores interesados en su proceso de MyE; algunas deben formar parte del equipo de MyE y otras deben participar solo en ciertos momentos del proceso de MyE. Sin embargo, probablemente no ser posible que todos los actores interesados participen en el proceso de MyE.

Los actores interesados deben tener por lo menos una de las siguientes caractersticas:
un conocimiento profundo del problema que el programa aborda un entendimiento completo del impacto deseado del programa un conocimiento profundo de la implementacin real del programa Alguien que pueda y est dispuesto/a a manejar el proceso de MyE de principio a fin Personal que est involucrado en implementar el programa Personas que tengan un conocimiento profundo de los objetivos y actividades del programa y cmo se implementa en realidad. Incluya a personal que realice el programa adems de personas que participen en el programa. Algunas personas, como personal clave del programa y participantes siempre deben ser una parte principal del equipo de MyE, mientras otros deben incluirse solamente cuando se necesiten y cuando sea factible. Lo ideal es que los tomadores de decisin de su organizacin, cuya participacin puede legitimar el proceso de MyE y proporcionar recursos adicionales, se incluyan en alguna capacidad. Si es posible, el/la director/a de la organizacin debe participar en cierto nivel. Quizs no pueda participar en todas las reuniones del equipo de MyE, pero debe considerarse un miembro del equipo y estar presente en reuniones importantes si es posible. Alguien que entienda las implicaciones de una perspectiva de justicia social basada en derechos para la implementacin y evaluacin de programas. Alguien que tiene por lo menos un poco de conocimiento de monitoreo y evaluacin y/o investigacin. Si nadie de las categoras previas tiene esa especialidad o conocimiento. Pero si no puede encontrar a nadie, no se preocupe! Este juego de herramientas ser su acompaante en cada paso del proceso de MyE y recomendar referencias de las cuales puede aprender ms cuando es necesario.

Para su equipo de MyE, considere a personas que tengan las siguientes caractersticas:

60

Cundo y cmo involucrar a los actores interesados que no forman parte del equipo de MyE?
Decida cules personas de inters quiere tener como participantes ocasionales y en qu punto del proceso quiere incluirlos. Explique el proceso de MyE que se est realizando y cmo la participacin de ellas cabe dentro de ese proceso. Sea claro sobre los detalles de su participacin, por ejemplo: cuntas reuniones, cmo tendrn que participar ellos, las opiniones y recomendaciones que se les pedir, la importancia de mantener la confidencialidad, etc. Establezca si van a recibir alguna remuneracin por su tiempo, gastos de viaje u otros, particularmente si viajan desde lejos y/o tienen que pasar la noche. Establezca la autoridad final de tomar decisiones. Si el equipo de MyE tiene esa autoridad, deje entender que es as, pero tambin que sus consejos se considerarn y se los agradecer.

La participacin de actores interesados que no son personal de su organizacin puede:

Ayudar a mantener una relacin importante con la comunidad y las personas con las que se quiere trabajar Contribuir a hacer el programa y la evaluacin responsables a las personas que se quiere servir Dar a los involucrados una voz y un rol en el proceso de realizar el programa Asegurar que se entienden y se toman en cuenta perspectivas diversas sobre el programa y sus objetivos Aumentar el involucramiento de la comunidad Ayudar a comprender cmo hablar sobre temas muy ntimos con clientes Asegurar que se tomen en cuenta normas locales, culturales, y de clase y gnero para facilitar un plan de accin sensata Ayudar a apalancar recursos adicionales y crear coaliciones Crear destrezas entre los actores interesados que les permite a influir la evolucin del programa Crear un lenguaje comn para hablar y pensar en los objetivos y actividades del programa

Las realidades:
Hay que ser sensible a los que se invita a participar y los que no. Las personas no incluidas pueden sentirse ofendidas o las que se invitan pueden sentir que es una obligacin que no pueden cumplir pero no quieren decir que no. Algunas personas tomarn una invitacin a participar como un acuerdo implcito de que se respondern y se incorporarn sus sugerencias en el proceso de planificar, monitorear y evaluar el programa. Incluir a las personas y escucharlas de verdad requiere una inversin. Si se incluyen las personas y no se toman sus perspectivas en cuenta, el resultado puede ser peor que si no se hubieran incluido. Adems, no siempre es factible, ni tiene sentido, invitar a todos los actores interesados en el proceso de MyE para cada reunin. Use su tiempo, y el tiempo de Ud., sabiamente; enfoque su participacin en momentos claves del proceso. Las organizaciones que tienen una misin parecida pueden ser participantes interesados de mucho valor. Sin embargo, invitarlos a participar puede ser difcil porque, de alguna forma, a lo mejor son sus competidores (compiten para la misma financiacin y apoyo).

61

Hoja de trabajo: Herramienta para seleccionar a actores interesados

Categoras de actores interesados para considerar

Nombres de posibles candidatos y sus afiliaciones*

Especialidad, caractersticas que contribuiran al proceso de MyE Caractersticas para considerar:

Personal del programa

Participantes del programa

Otro personal

Lderes comunitarios

Donantes/Financiadores

Otras organizaciones

1. Familiarizado/a con los temas relacionados a los objetivos del programa. 2. Familiarizado/a con las problemticas que sern medidas. 3. Disponible durante el tiempo planeado para el proceso de evaluacin. 4. Cuyos gastos caben dentro de los recursos que tienes disponibles. 5. Conocen a la comunidad y tienen el poder de fomentar apoyo para la comunidad. 6. Grupos que han sido marginados e ignorados histricamente por los lderes de la comunidad, tienen alto riesgo para el problema que se est abordando y tienen acceso limitado a los servicios y programas.

Otros

62

Tarea 3: Nombrar a los miembros de su equipo de MyE

Puede utilizar la hoja de trabajo para generar su equipo de MyE. Hoja de trabajo: La hoja de trabajo para el equipo de MyE puede ayudar a decidir a quin va a incluir.

Nombre

Posicin/Departamento de la Organizacin o Tipo de Persona Interesada

Especialidad (por ejemplo: conoce a la comunidad, tiene experiencia en anlisis, etc.) Escoja de 3 a 4 personas. Incluya a alguien con experiencia en MyE. Incluya a alguien familiarizado con la perspectiva de justicia social basada en los derechos. Si es posible, incluya a un representante de su organizacin que tiene autoridad para tomar decisiones. Asegure la representacin de todas las partes relevantes de su organizacin o el programa. Nombre a una persona responsable para coordinar el equipo.

63

Tarea 4: Crear una perspectiva de aprendizaje en su equipo de MyE Asegrese de que el/la director(a) enfatiza a todo el personal que considera el proceso de MyE una activi
dad de alta importancia para la organizacin. Si los lderes apoyan el proceso de MyE ser ms fcil que los participantes inviertan el tiempo necesario y sean honestos respecto a buscar las verdaderas respuestas. Ayude a los miembros del equipo de MyE a expresar sus preocupaciones sobre el proceso de MyE. El proceso de MyE requiere la disponibilidad de examinar de verdad el impacto que el programa ha tenido; por eso tensiones y hasta luchas de poder pueden surgir. Ayude a los miembros del equipo a expresar sus preocupaciones. Aborde sus preocupaciones como grupo y busque llegar a un acuerdo sobre cmo manejarn los aspectos del proceso que tienen potencial a ser incmodos. Clarifique que los hallazgos no sern usados en contra de nadie. Cree un ambiente seguro y asegure que los hallazgos no sern usados para medir desempeo o penalizar al personal de ninguna manera. Enfatice que los hallazgos del proceso de MyE sern usados para mejorar el programa y podrn atraer financiacin adicional. Hablen de lo que puede pasar si se encuentra que el programa no ha tenido el impacto esperado.

Actividades de la octava semana Individuales

1. Realice la lectura de la semana. 2. Elabore un diagrama de flujo para los pasos de una evaluacin. 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, inicien la elaboracin de la matriz de la evaluacin. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos concretos han llegado a su mente? 3. Puede sealar al menos tres valores que estn implicados en el trabajo de esta semana? Enumrelos en orden de importancia y justifique su respuesta.

64

NOVENA SEMANA TEMA Identificacin del pblico y las preguntas de la evaluacin Objetivos de la semana
Al finalizar el estudio de la novena semana las y los estudiantes. Reconocen la importancia de la identificacin del pblico y las preguntas de la evaluacin.

LECTURA
Paso 3: identificar al pblico y las preguntas para la evaluacin
Las opciones para disear su evaluacin sern formadas por los interesados en sus hallazgos (el pblico) y tambin las preguntas principales que hay que contestar. Uno de nuestros principios gua (los valores que nos motivan) del proceso de MyE es que el personal del programa debe ser una parte principal del pblico de la evaluacin; debern realizar el proceso por y para su personal mismo para aprender de los hallazgos y mejorar su trabajo. Sin embargo, reconocemos que son los financiadores en particular, adems de otros pblicos, que querrn ver, o quizs exigirn ver los hallazgos de la evaluacin.

Determinar los diferente pblicos principales de la evaluacin Determinar qu preguntas quieren que se contesten Averiguar qu tipos de informacin ser ms til para ellos

Renanse con su equipo de MyE y hagan las Tareas 1 y 2. (Incluya a actores interesados claves que no son parte del equipo si es factible y apropiado)

Tarea 1: Determinar el pblico y comprender sus necesidades

Piense en los diferentes miembros de su pblico las personas que querrn ver los hallazgos de su evaluacin. Cules son las preguntas que ms quieren contestar? Algunos miembros de su pblico (como los oficiales de gobierno o directores de programas pblicos, asesores econmicos y algunos financiadores) quizs tengan ms inters en preguntas enfocadas en la magnitud del cambio, antes y despus del programa y sern ms convencidos por los nmeros o datos cuantitativos. Otros (como periodistas y organizaciones colegas) buscarn preguntas enfocadas en cmo ocurri el cambio y qu significa para los participantes y sern ms convencidos por los datos cualitativos como las historias personales y las palabras de las personas involucradas. Su equipo de MyE y su organizacin probablemente querrn ambos tipos de informacin. Debe tratar de recibir aporte de algunos actores interesados, especialmente su personal y financiadores del programa, para pensar en los miembros de su pblico para el proceso de MyE y sus necesidades. Quizs quiera utilizar la hoja de trabajo Necesidades de informacin de su pblico para categorizar a los miembros de su pblico y su inters en la evaluacin.

65

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) del pblico

potencial(es)

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios

1. Identifique quin necesita enterarse

de sus hallazgos.

Lderes comunitarios

2. Cun importantes son? El nmero 1 3. 4.

corresponde al pblico principal de los hallazgos de su evaluacin. Sea claro sobre qu quiere Ud. que se haga con los hallazgos. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qu tipo de informacin sera ms til y convincente para ellos.

Polticos

Otros de la comunidad o de otras instituciones

5. 6.

Financiador(es)

Periodistas y lderes de opinin

Miembros directiva

de

su

junta

66

Personal de la organizacin fuera del programa evaluado

Otros

Tarea 2: Definir las interrogantes de la evaluacin: Monitoreo y Evaluacin

Hay que contestar preguntas que tienen que ver con monitoreo y tambin evaluacin: Las preguntas de monitoreo se enfocan en el proceso cmo su programa se realiza/fue realizado. Las interrogantes de la evaluacin se enfocan en el impacto el cambio que el programa ayud a crear o el que produjo en la poblacin objetivo.

Cuando se escriben las interrogantes de la evaluacin, tenga en mente: El problema de enfoque Los objetivos y actividades del programa Los diferentes miembros de su pblico

67

Algunas preguntas comunes para una evaluacin:

Monitoreo (Proceso): o Cules estrategias fueron implementadas en realidad? o Fueron implementadas las actividades cmo se pretenda? o Hubo factores que cambiaron o hicieron ms difcil la realizacin del programa? o Quin particip? Los participantes que queran? Otros? Evaluacin (Cambio): o Qu impacto tuvo el programa? Tuvo el impacto deseado? Hubo algn impacto no esperado? Hubo algn impacto negativo? Cul fue la diferencia cuando se hace una comparacin antes y despus de la participacin en el programa? Hubo alguna diferencia entre los que recibieron la intervencin y los que no? o A qu nivel tuvo impacto el programa? Individuo Pareja Familia Comunidad Institucional (por ejemplo, fomentar capacidades o cambiar polticas) o Cules aspectos del programa tuvieron el impacto deseado? Cules actividades produjeron el cambio deseado? o Cul fue la experiencia de los participantes del programa? Desde su perspectiva, cul fue el aspecto ms importante del programa? Si los participantes experimentaron un cambio, lo atribuyen al programa? Si as es, cul fue el cambio ms importante para ellos? o Fueron ms beneficiados ciertos participantes en comparacin con otros? Cules factores formaron el impacto del programa respecto a los participantes? Hubo alguna diferencia de impacto entre mujeres y hombres? adultos y jvenes? personas de diferente estatus socioeconmico? Personas de diferentes grupos tnicos? Hubo alguna diferencia en la experiencia o impacto del programa para los que son marginalizados de alguna forma y los que no?

Tarea 3: Identificar un enfoque para su evaluacin

Ahora hay que determinar cules de las necesidades del pblico y cules interrogantes de la evaluacin deben y pueden ser contestadas. o Cules son las preguntas que ms quieren contestar el personal del programa y los actores interesados? o Cmo puede el equipo de MyE priorizar las diferentes necesidades para informacin dados el tiempo, los fondos y los recursos humanos disponibles en este momento? Haga la lista de preguntas que se contestarn y comprtala con los miembros principales de su pblico para aporte y retroalimentacin. Podr encontrar que este esfuerzo ayude a recaudar ms fondos para el proceso de MyE, particularmente si el financiador es su pblico principal.

Actividades de la novena semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Preparen el paso 3 del plan de evaluacin. 2. Actualicen su matriz de evaluacin. 3. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu nuevo ha aprendido durante esta semana? 3. Qu cree que debe investigar ms, para una mejor comprensin del tema?.

69

DCIMA SEMANA TEMA Seleccin de informacin para el sistema de monitoreo y evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima semana las y los estudiantes. Seleccionan la informacin a considerar en una evaluacin.

LECTURA
El monitoreo y la evaluacin no han sido pensados para espiar tu trabajo, sino para reflejar las marcas de tu desarrollo - Mr. Casius Chuma Durante esta semana, veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluacin. El diseo del sistema de MyE se realiza desde el inicio del proyecto (con posibles modificaciones sobre la marcha) y consiste en la identificacin y la seleccin del tipo de informacin que ser necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos: 1. 2. 3. 4. 5. 6. Identificacin de las preguntas de desempeo. Identificacin de las necesidades de informacin e indicadores. Conocer la informacin base que se requiere. Seleccionar los mtodos de recoleccin de datos Identificar el apoyo prctico necesario para la recoleccin de datos. Organizar el anlisis, la retroalimentacin y el cambio.

Las necesidades especficas de informacin se pueden identificar reflexionando sobre las preguntas que se quieren responder (preguntas de desempeo clave) con el MyE; la identificacin de los cambios que se espera observar (indicadores); la comparacin de la situacin inicial (lnea base) con la situacin intermedia y final (metas) y los medios para verificar los logros (medios de verificacin).

Preguntas de desempeo
Comnmente, cuando comenzamos a disear el sistema de MyE, se pasa directamente de elaborar los objetivos de la intervencin a la formulacin de los indicadores. Esto puede ser problemtico, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseo, y no nos detenemos a pensar por qu los indicadores que proponemos son de utilidad y de qu forma podran apoyar el proceso de adopcin de decisiones. Formular preguntas de desempeo claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboracin de indicadores, puede ayudar de manera significativa a guiar el MyE de tal forma que realmente sirva a nuestras necesidades y permita mejorar el desempeo del proyecto. (Guijt y Woodhill, 2002).

70

En la siguiente tabla, se presentan ejemplos de preguntas de desempeo (generales y especficas) para cada nivel de intervencin y los indicadores que se desprenden de ellas.

Una vez formuladas las preguntas, el siguiente paso consiste en identificar la informacin necesaria para responderlas. Con este fin, se definen indicadores para cada nivel de intervencin.

Indicadores objetivamente verificables

Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicacin) de los objetivos de un proyecto (Comisin Europea, 2002). Los indicadores permiten especificar la forma en que se verificar el grado de cumplimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lgica de intervencin. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios. De manera general, los indicadores sirven para: Clarificar la lgica entre las actividades, los resultados y los objetivos del proyecto. Focalizar de forma ms especfica la intencin del proyecto, al indicar qu se quiere lograr, con qu caractersticas, en dnde, en qu tiempo, para qu poblacin, etc.

71

Medir el avance y los logros permiten saber si efectivamente se est realizando lo planeado y conocer el impacto de nuestra accin. Informar la toma de decisiones para hacer cambios en el curso de la accin. Revisar el desempeo del proyecto y del equipo encargado de su ejecucin, as como los tiempos y recursos disponibles.

Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulacin correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como mapa para guiar las actividades, al definir claramente las necesidades y el enfoque para la recoleccin de datos.

Formulacin de indicadores
En la formulacin de los indicadores, se debe tomar en cuenta que: Se pueden emplear varios indicadores para cada resultado y objetivo, pero es recomendable usar los menos posibles para simplificar y evitar hacer un sistema de MyE complejo, caro y poco gestionable. En cualquier proyecto, el nmero de indicadores se reduce a medida que se sube en la lgica de intervencin, con ms indicadores para resultados y menos para el objetivo especfico y general. Usar diferentes tipos de indicadores (cuantitativos y cualitativos) ayuda a medir de mejor forma el avance y el impacto. Los cuantitativos permiten un anlisis ms simple y objetivo, mientras que los cualitativos son ms difciles de verificar pero miden mejor el cambio profundo que se est dando (PNUD, 2009). La definicin de los indicadores debe ser un proceso participativo, para asegurar tanto la apropiacin del proyecto y de los procesos de MyE, como la efectividad de los mismos. Los principales involucrados en el proyecto tendrn una idea ms clara sobre los cambios que esperan ver, cmo identificarlos y en dnde encontrar la informacin para medirlos. La formulacin debe ser flexible, lo que permite que los indicadores sean revisados ante cambios en el contexto y a partir de la experiencia de la implementacin del proyecto. Los indicadores deben poder emplearse en diferentes momentos del proyecto, no slo al final. En este caso se pueden formular metas intermedias que permitan conocer el avance que tenemos para la consecucin de un indicador final. Para formular indicadores, segn la tabla siguiente, es necesario considerar los siguientes aspectos para cada resultado intermedio, para el objetivo especfico y en caso de que sea necesario, para el objetivo general: Los beneficiarios: quin? La cantidad: cunto? La calidad: qu? cmo? El periodo: a partir de cundo? por cunto tiempo? El lugar: en dnde? El punto de referencia: en comparacin con qu o cunto?

72

Si bien distintos tipos de proyectos requieren indicadores muy diferentes, cualquier indicador de calidad o inteligente debe cumplir ciertas caractersticas.

Si bien la seleccin de los indicadores es una parte importante de la planeacin del sistema de MyE, desarrollado desde la fase inicial del proyecto, no siempre se pueden determinar todos los indicadores desde un principio. Por esto es necesario dejar abierta la posibilidad de que los indicadores formulados se adapten a nuevas circunstancias o necesidades y tener la flexibilidad de agregar nuevos indicadores cuando ya el proyecto y el proceso de MyE estn en marcha. Puede ser que los efectos no planeados de un proyecto hagan necesarios nuevos indicadores para medir el impacto. He aqu algunas de las razones por las que un indicador puede dejar de ser til al proyecto (Bakewell et al., 2003): La informacin que se requiere para medir el indicador es demasiado difcil de obtener o es poco confiable. Factores externos al proyecto generan ms impacto y cambios en los indicadores que el mismo proyecto. No hay un cambio significativo en la informacin del indicador conforme pasa el tiempo, lo cual puede significar que el proyecto no est teniendo un impacto notable o que no hay una relacin directa entre las actividades del proyecto y el indicador.

Categoras de indicadores
Por sus caractersticas Cuantitativos: son medidas estadsticas que miden los logros en: Nmero Porcentaje Frecuencia Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000) Proporcin (por ejemplo, proporcin de mujeres del total de la poblacin) Cualitativos: Reflejan un comportamiento, una situacin o una descripcin de cmo se hacen o perciben las cosas. Pueden ser opiniones, actitudes, prcticas y comportamientos de la poblacin hacia una situacin o en relacin con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensin, conocimiento, sensibilizacin o empoderamiento. Miden los avances en trminos de: Cumplimiento con. Calidad de. Las caractersticas Grado en el que

73

Nivel de. Percepcin acerca de. Indicadores sustitutos o Proxy: para aquellos casos en los que no hay datos disponibles para los indicadores ideales, o que es muy difcil o costoso obtener estos datos, se pueden emplear indicadores sustitutos o proxy para medir el objetivo. No es una medida directa de la situacin sino una forma paralela de obtener la informacin con base en una relacin conocida entre ambas variables. Por ejemplo, ante la falta de datos sobre la corrupcin en algunos pases, muchas agencias de cooperacin emplean informacin de encuestas sobre la percepcin del nivel de corrupcin en el pas como un indicador alternativo. De forma similar, la medicin del ndice de Desarrollo Humano por agencias de la ONU emplea el indicador de expectativa de vida al nacer como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlacin entre el nmero de aos que vive la gente y las condiciones de vida y de servicios de salud en un pas) (PNUD, 2009).

Por el nivel de intervencin

Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarqua de intervencin. As, en el enfoque de marco lgico, se pueden identificar tres tipos de indicadores: Indicadores de Proceso para las Actividades Indicadores de Efecto (o impacto) para los Resultados Indicadores de Impacto para el Objetivo general y el objetivo especfico. Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarqua de intervencin, la informacin del MyE tiende a perder concrecin. En el nivel de las actividades y los resultados es mucho ms fcil de medir y mostrar avances en los indicadores al ser informacin sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general ms difcil de determinar y ms complicado de medir (Guijt y Woodhill, 2002).

Indicadores de Proceso
Son indicadores sobre la realizacin de las actividades, enfocados en medir eventos importantes que puedan reflejar el resultado de la ejecucin de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que conducen a los resultados, por s mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos bsicos del proceso de MyE. Las fallas o el mal desempeo de resultados u objetivos muchas veces dependen de fallas en la implementacin de las actividades, y estos indicadores permiten identificarlas. Los indicadores de proceso permiten adems precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la participacin de la poblacin involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso. La matriz de marco lgico no prev la inclusin de indicadores de proceso (en la seccin de actividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el monitoreo de los avances. Ejemplos de indicadores de proceso: Nmero de participantes en un taller.

74

Nmero de talleres de capacitacin impartidos Nmero de beneficiarios de la entrega de ayuda alimentaria

Indicadores de Efecto
Son indicadores para medir el progreso y los cambios generados a nivel de resultados y objetivo especfico. Para el caso de la medicin de los resultados, los indicadores de efecto emplean descripciones especficas (de cantidad, calidad y tiempo) de los productos generados. Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos indicadores reflejen la calidad del efecto que se produce, se recomienda considerar: Descripcin de la calidad: no basta con que algo se produzca, se modifique o se cambie. Es necesario que este cambio o logro tenga las cualidades que consideramos adecuadas. As, los indicadores cuantitativos deben ir acompaados de especificaciones cualitativas que describan el cambio ideal y la utilidad para los beneficiarios. Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun despus del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptacin cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad econmica y financiera; capacidades y conocimientos adquiridos; variables organizativas y participacin de la poblacin involucrada en el diseo y la ejecucin del proyecto. Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central el fortalecimiento de capacidades locales, es importante considerarlo y reflejarlo en la medicin, pues est directamente vinculado con el empoderamiento de la poblacin local y la sostenibilidad de los resultados. Participacin: en la medida en que los grupos meta y beneficiarios del proyecto participen en su diseo y en su implementacin, el proyecto tendr ms pertinencia con relacin a las necesidades de la poblacin local y tendr ms posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indicadores sobre el nivel de participacin que se ha logrado a raz de la intervencin.

Ejemplo de indicador de efecto: Resultado - Servicio mejorado: al final del cuarto ao de ejecucin del proyecto, 23 pueblos rurales de Sacatepquez, cada uno con una poblacin de 2.500, estn servidos con 115/litros/persona por da de servicio continuo de agua potable.

Indicadores de Impacto
Son indicadores que miden el cambio logrado en el mediano o largo plazo, al final del proyecto o incluso despus de su cierre. Estn directamente relacionados con la medicin de nuestro objetivo general (en algunos casos con el objetivo especfico) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, econmico, poltico, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto ms amplios, de contribucin a un objetivo general a nivel regional o nacional, su medicin puede ser ms complicada, debido a que involucra datos y estadsticas macro sobre niveles de bienestar social y econmico que en algunos pases o en ciertos momentos no estn disponibles. Adems porque al ser problemticas ms amplias, es muy complejo determinar el impacto de nuestra accin especfica en una situacin sobre la cual pueden influir mltiples factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos.

75

Ejemplo de indicador de impacto: Objetivo especfico. Salud mejorada: Al final del cuarto ao de ejecucin del proyecto, el X% de diarrea infantil (nios de 5 aos o menos) en los pueblos rurales de Sacatepquez atendidos por el proyecto, ha declinado en un 15% con relacin al ao base.

El proceso de MyE se basa primordialmente en la comparacin. Los indicadores que definamos nos permitirn obtener informacin sobre la situacin generada por la intervencin del proyecto. Para conocer el nivel de impacto de nuestra accin esta informacin debe ser comparada, y esta comparacin puede hacerse de tres formas (Guijt y Woodhill, 2002): 1. Comparar la situacin inicial o anterior a la del proyecto con la situacin despus de la intervencin. 2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares. 3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia). Para hacer una comparacin de los indicadores y medir nuestro impacto, es recomendable emplear informacin de lnea base, ya sea que haya sido recopilada antes de la intervencin, en la primera medicin de avances, o a travs de fuentes secundarias (documentacin existente: encuestas nacionales o estudios e investigaciones).Tambin se debe definir las metas por alcanzar, estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009).

Lneas base y metas

La lnea base es el estndar bsico contra el cual se medirn todas las metas futuras. Es la base para medir el cambio. La lnea base es importante porque establece el punto de comparacin desde el cual se medir el cambio; permite verificar el avance, el logro o el impacto contra una situacin que prevaleca antes de nuestra intervencin. Sin la informacin de lnea base es muy difcil valorar el cambio generado y hacer el

76

MyE adecuadamente. En ocasiones, ser necesario adaptar la informacin de indicadores a los datos disponibles en lneas base que ya existen, tales como encuestas o estadsticas nacionales. Idealmente, esta informacin se rene en conjunto con los beneficiarios del proyecto en la etapa de diseo. Se puede reunir a partir de la informacin recogida en los estudios de factibilidad y otros documentos relacionados con la preparacin del proyecto. Sin embargo, para algunos resultados programados o para ciertas actividades, es posible que esta informacin no haya estado disponible desde la formulacin del proyecto, por lo que ser necesario obtenerla durante la ejecucin. Ya sobre la marcha, la lnea base puede obtenerse de (Guijt y Woodhill, 2002): Primeras mediciones como punto de partida. Levantamiento de lneas base durante la implementacin, conforme se inician los procesos de cambio (por ejemplo, levantamiento de lnea base al formarse el grupo de microcrdito, al iniciar las capacitaciones sobre manejo de residuos, etc.). Utilizacin de la documentacin existente.

Recomendaciones para el desarrollo de la Lnea Base

La mayora de los proyectos tienen grandes dificultades con las lneas de base y pocos cuentan con una que sea til para juzgar el cambio. Algunos de los problemas ms comunes que plantean los estudios de base son que se hacen tarde o nunca, son excesivamente detallados o demasiado generales e irrelevantes, parten de una muestra demasiado grande que sobrepasa la capacidad analtica del proyecto o de los coejecutores, no prevn un grupo de referencia [] (Guijt y Woodhill, 2002). Para evitar estos problemas, se recomienda realizar la lnea base una vez que se haya elaborado y revisado la matriz de marco lgico del proyecto, para asegurar que la informacin que se rena, sea acorde con los resultados, objetivos e indicadores. Se recomienda asimismo tener en cuenta lo siguiente (Guijt y Woodhill, 2002): 1. Recoja solamente la informacin que va a utilizar. Como regla general, se debe recopilar informacin de lnea base que est relacionada directamente con las preguntas e indicadores que se hayan identificado. 2. Planee la obtencin de informacin de lnea base al igual que en los dems procesos de recoleccin y anlisis de datos. 3. Asegure que sea un proceso viable y realista. Tenga en cuenta que una lnea base siempre ser una aproximacin y nunca podr ser exacta. 4. Adopte mtodos creativos de recoleccin de la informacin. 5. Incluya informacin relativa al gnero.

Metas
Una vez que tengamos la lnea base, existen elementos suficientes para establecer la meta de cambio del proyecto. Las metas se pueden fijar para el trmino del proyecto o para avances cada ao, semestre o trimestre. La meta depender del periodo de intervencin del proyecto, del programa en el que se inserta y de las actividades. Tambin depender del tipo de intervencin que sea, pues ciertos cambios toman ms tiempo que otros (por ejemplo: cambios en prcticas agrcolas sustentables sern de ms largo plazo, mientras que la atencin inmediata en

77

situaciones de emergencia ser una meta de corto plazo). Es importante tener en cuenta que aunque el desarrollo social sea un proceso de largo plazo, la inclusin de metas especficas en los indicadores del proyecto permite a los involucrados ir identificando seales del cambio o de un impacto ms amplio. Es fundamental que la lnea base y las metas sean coherentes y estn alineadas con los indicadores, usando las mismas unidades de medicin. Las metas que se fijen, dependern tambin del nivel de intervencin y el tipo de indicador que se est formulando (si es de proceso, de efecto o de impacto). Para el nivel de indicadores de efecto, las metas pueden ser mucho ms realistas y en periodos de tiempo ms cortos. Si no es posible fijar metas para periodos de corto o mediano plazo, es posible que el indicador que se haya formulado sea demasiado ambicioso y sea necesario reformularlo.

Medios de verificacin
Para que un indicador sea medible, la informacin debe estar disponible fcilmente y a un costo razonable. Al definir los resultados, objetivos y los indicadores correspondientes, es importante considerar cmo y en dnde se obtendrn los datos durante el proceso de monitoreo y evaluacin. Tener medios de verificacin claramente identificados, facilita el establecimiento de sistemas de monitoreo y contribuye de forma significativa a asegurar que los proyectos sean evaluables. La columna de medios de verificacin de la matriz de marco lgico, permite al responsable del proyecto, identificar fuentes existentes de informacin y hacer la planeacin necesaria para reunir los datos. Esta identificacin, ayuda mucho a aterrizar el proyecto, pues si los planes o indicadores son demasiado ambiciosos, puede ser muy difcil o muy costoso obtener evidencia acerca del avance y el impacto de la iniciativa. As, los medios de verificacin, son una buena forma de asegurar que los indicadores son medibles y que la iniciativa es realista y alcanzable (PNUD, 2009). Es muy importante revisar que los medios de verificacin sean los necesarios y suficientes para obtener los datos requeridos. La identificacin de los medios de verificacin, se debe hacer en coordinacin con los actores clave involucrados en el proyecto, pues sern en gran parte los responsables de ofrecer la evidencia sobre los cambios y avances.

Actividades de la dcima semana Individuales

1. Realice la lectura de la semana. 2. Elabore un flujograma para describir el proceso a seguir en la seleccin de la informacin. 3. Actualice su diario de aprendizaje.

Grupales
1. Comparta con sus compaeros y compaeras de grupo, en la clase su flujograma, luego construyan uno de manera grupal.

78

Autoevaluacin
1. Qu sentimientos concretos han llegado a su mente al realizar la lectura anterior? 2. Est usted de acuerdo con los criterios enumerados por la lectura para la seleccin de la informacin? 3. Con cules criterios no est de acuerdo y por qu? 4. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cules? 5. Cun bien cree usted que ha comprendido esta parte? En una escala del 1 al 10, en la que 1 es "no la he comprendido" y 10 es "he comprendido todo muy bien", dnde se ubicara usted? Explique sus razones.

79

DCIMA PRIMERA SEMANA TEMA Importancia de los indicadores Objetivos de la semana

Al finalizar el estudio de la dcima primera semana las y los estudiantes. Reconocen la importancia de los indicadores para un proceso de monitoreo y evaluacin.

LECTURA
Para que un proyecto sea evaluable, sus objetivos deben tener especificidad con respecto a las medidas de intervencin, deben ser realistas en relacin con el marco cronolgico de ejecucin y deben ser mensurables. Todas estas caractersticas conducen a una conclusin: la importancia de los indicadores dentro del sistema de monitoreo y evaluacin. Los indicadores permiten establecer los aspectos cuantitativos de un conjunto de objetivos. Se trata de enunciados sobre la situacin que existir cuando se alcance un objetivo. La capacidad de definir un indicador en consulta con los interesados y convenir en el valor y la oportunidad de lograr un objetivo demuestra que los objetivos del proyecto han sido enunciados claramente, son comprendidos y cuentan con respaldo social. Para disponer de informacin sobre el progreso logrado ya desde las primeras etapas de ejecucin y a lo largo de todo el ciclo del proyecto es necesario estructurar un conjunto de indicadores. El enfoque del marco lgico permite una estructura eficiente al postular una jerarqua de objetivos para los cuales se requieren indicadores. Es necesario conocer su terminologa en el contexto del sector al que se aplican, pero en el cuadro siguiente se ilustran los trminos ms comnmente usados.

Qu son los indicadores?

Los indicadores son seales. Son instrumentos destinados a simplificar, medir y comunicar acontecimientos complejos o tendencias. Hay dos clases de gente en el mundo: los expertos en indicadores y la gente normal. Esta ltima constituye la gran mayora. Todava es posible para alguien escribir sobre monitoreo y evaluacin de proyectos, sin mencionar las palabras "indicadores", "seguimiento" o "evaluacin". Repentinamente se ha producido, sin embargo, una explosin de artculos, libros, manuales, conferencias, talleres y videos sobre el tema de los indicadores. Por lo tanto, se est haciendo muy difcil evitar esta palabra. Existen innumerables definiciones de indicador. La ms fcil es que los indicadores son instrumentos destinados a simplificar, medir y comunicar eventos complejos o tendencias. La palabra "indicador" viene del latn "indicare", que significa sealar, dar aviso o estimar. Pero los indicadores han estado presentes por muchsimo tiempo; decididamente desde antes de los romanos. He aqu algunos indicadores que casi toda la gente usa: Horas y minutos como indicadores de tiempo; temperatura del cuerpo como indicador de salud; resultados de exmenes como indicadores de progreso en los estudios

Los indicadores no siempre han sido nmeros. Por ejemplo: el Banco Mundial tiene una de las bases de datos ms grandes del mundo sobre indicadores socioeconmicos; sin embargo, James Wolfensohn, el Presidente del Banco, dice: He aprendido que el desarrollo puede medirse no slo por procesos de aprobacin burocrtica, sino por la sonrisa que ilumina la cara de un nio cuando un proyecto tiene xito.

80

Tngase en cuenta que un indicador por s mismo, nunca nos presentar un cuadro completo. Usamos termmetros que nos dicen cul es la temperatura y con base en eso pronosticamos el tiempo. Pero la determinacin de cunto fro o calor sentimos depende de cunto viento haya, de lo que llevamos puesto, si estamos al sol o en la sombra, de lo que estamos haciendo y si realmente estamos "sintiendo fro" o no? Cul es la diferencia entre datos, estadsticas, indicadores e ndices? Todos ellos son tipos de informacin. Como en el caso de los alimentos, puede ser que la informacin no est procesada o puede ser que est muy refinada. Los datos son como el trigo. Un ndice es el equivalente al azcar. Se usan muchos trminos para definir "informacin". Podemos pensar en una pirmide de la informacin. En la base estn los datos crudos, que se convierten en estadsticas una vez que se analizan y procesan. Las estadsticas se convierten en indicadores cuando se simplifican para efectos de comunicacin. Un ndice es un tipo de indicador que ha sido altamente refinado. Los alimentos no existen por defecto. La gente tiene que decidir qu sembrar, cmo cultivarlos y cmo cocinarlos. De manera similar, a pesar de lo "objetivo" que puede ser un determinado elemento de informacin, la pirmide entera est construida sobre las opiniones que tiene la gente en cuanto a las actividades y acontecimientos que estn siendo medidos.

Por qu necesitamos indicadores?

Muchas de las personas que estn trabajando en proyectos de desarrollo, habrn escuchado la palabra "indicadores" en el contexto del seguimiento y la evaluacin. Ya hemos dado una definicin de lo que es un indicador. El seguimiento es un proceso continuo de verificacin que permite saber cmo est desarrollndose un proyecto. La evaluacin es una revisin peridica que permite ver cun adecuadamente ha funcionado una propuesta, una vez que sta se ha llevado a cabo. En algunas ocasiones la gente conoce el conjunto de estas dos actividades por las iniciales S&E. Los indicadores son los instrumentos que se usan en el S&E. El personal de un proyecto normalmente siente "una corazonada" si su proyecto est funcionando y si una actividad ha tenido xito. O el personal del proyecto y las comunidades con las que trabajan pueden estar totalmente claros acerca de lo que piensan. Adems puede pensar que los indicadores: son un desperdicio de tiempo, implican ms papeleo innecesario y que su proyecto es tan complejo y particular, que no podra "reducirse a cifras".

Aun as, hay dos razones por las cuales los indicadores son tiles: Las "corazonadas" de la gente pueden a veces ser errneas! Ser preciso convencer a otras personas de que el proyecto est funcionando. stas no van a creer en las "corazonadas" de otros. An cuando las aceptaran, las "corazonadas" son difciles de comunicar y no pueden ser fotocopiadas.

Por estas dos razones, los indicadores se estn convirtiendo en una parte inevitable de los proyectos. Este documento pretende mostrar que los indicadores no son despreciables y que tampoco son algo a lo que tengamos que temer. Los indicadores son tiles y hasta pueden resultar (aunque parezca increble) divertidos. Veamos un ejemplo de indicador til y divertido! Los ingleses aman sus parques, pero un parque local en la ciudad de Reading estaba deteriorndose en razn de la cantidad de excremento de perro que en l se acumulaba. El vecindario organiz una campaa de publicidad para concientizar a la gente acerca de la magnitud del problema. La gente entonces recorri el parque colocando una estaca con una banderita junto a cada deposicin que encontr y luego tom fotografas del sitio. Haba muchos mirones, incluyendo algunos de los acompaantes de perros, cuyos animales estaban (presuntamente) contribuyendo al problema! Se

81

contaron ms de novecientas banderas. Dos semanas ms tarde repitieron el ejercicio. Esta vez slo hubo doscientas cincuenta banderas. La principal razn por la cual deben usarse los indicadores es porque proporcionan un mejor fundamento para entender situaciones y tomar decisiones. Algunos expertos tienen muy buen entendimiento de situaciones complicadas con base en las cuales toman buenas decisiones. Pero el estado tan lamentable en el que se encuentran el medio ambiente natural y las sociedades humanas se debe a que las personas no tienen el entendimiento suficiente que les haga tener el deseo de entrar en accin.

Indicadores de insumos
La informacin referente a los indicadores de insumos proviene en gran medida de registros contables y administrativos. Los indicadores de insumos suelen dejarse al margen de los anlisis de seguimiento de los proyectos, aunque forman parte del sistema de informacin gerencial. Se requiere un adecuado sistema contable para mantener informacin sobre el gasto y suministrar datos de costos para el anlisis de los resultados en materia de productos. Los indicadores de insumos son utilizados principalmente por los administradores que mantienen una relacin ms prxima con las tareas de ejecucin, y se consultan frecuentemente: a veces a diario, o semanalmente. Ejemplos: costos de operacin de vehculos para el servicio de extensin de cultivos, niveles de aportes financieros del Estado o de fuentes de cofinanciamiento, designacin de funcionarios, suministro de edificios, estado de la legislacin habilitante.

Indicadores de procesos
Los indicadores de proceso miden lo que sucede durante la ejecucin. Con frecuencia se tabulan como conjunto de obras contratadas terminadas, o hitos extrados de un plan de actividades. Ejemplos: fecha en que debe realizarse el despeje del lugar de construccin de un edificio, fecha de vencimiento del plazo de entrega de fertilizantes a almacenes de establecimientos agropecuarios, nmero de dispensarios de salud que declaran actividades de planeamiento familiar, nmero de mujeres que reciben asesoramiento en anticonceptivos, estado de la adquisicin de libros de texto escolares.

Indicadores de productos
Los indicadores de productos muestran los productos fsicos y financieros inmediatos del proyecto: cantidades, fortalecimiento institucional, flujos iniciales de servicios. Comprenden medidas de desempeo basadas en el costo de los coeficientes operativos. Ejemplos: kilmetros de carreteras para todo tiempo construidos al finalizar el mes de septiembre, porcentaje de productores rurales que asisten a un lugar de demostracin de cultivos antes de que se ponga la capa superior de fertilizantes, nmero de docentes capacitados en utilizacin de libros de texto, costo por kilmetro de construccin de caminos, rendimiento por hectrea de los cultivos, relacin entre el nmero de libros de texto y el de alumnos, tiempo que se requiere para tramitar una solicitud de crditos, nmero de demostraciones realizadas por trabajador de extensin, etapas del proceso de establecimiento de asociaciones de usuarios de agua.

Indicadores de impacto
El impacto se refiere a la variacin a mediano o largo plazo en materia de desarrollo. (Algunos autores hacen referencia tambin a una categora adicional de indicadores de resultados, relacionados ms especficamente con las actividades del proyecto que los indicadores de impacto, que pueden consistir en estadsticas sectoriales y mantener una relacin ms estrecha con el efecto directo de los resultados de los proyectos para los beneficiarios). Para medir el cambio frecuentemente se requieren complicadas estadsticas sobre el bienestar econmico o social, cuya elaboracin depende de datos recopilados por los beneficiarios. Pueden obtenerse indicadores tempranos de impacto mediante encuestas de percepciones de los beneficiarios con respecto a los servicios del proyecto. Este tipo de indicador de orientacin tiene dos tipos de beneficios: el hecho de que se consulte a los interesados y de que puedan detectarse tempranamente los problemas que

82

puedan suscitarse. Ejemplos de impactos: (en salud) incidencia del bajo peso al nacer; porcentaje de mujeres que padecen anemias moderadas o graves; (en educacin) tasas de continuacin de educacin primaria a secundaria, por sexos, proporcin de nias que completan la educacin secundaria; (en silvicultura) porcentaje de disminucin del rea de la cosecha; porcentaje de aumento de los ingresos de los hogares a travs de la venta de productos de madera y de otro tipo. Ejemplos de percepciones de los beneficiarios: proporcin de los productores rurales que hayan probado una nueva variedad de semillas y se propongan volver a utilizarlas; porcentaje de mujeres satisfechas con la asistencia sanitaria por maternidad que reciben.

Carcter de los indicadores

La clasificacin de los objetivos del proyecto por niveles destaca el hecho de que la administracin deber elaborar sistemas que proporcionen informacin a todos los niveles: desde contabilidad bsica hasta estadstica con respecto a los objetivos del proyecto. El recuadro siguiente muestra el contenido y la localizacin de la responsabilidad por los indicadores en cada nivel en el marco lgico. El control de las actividades y sus resultados o productos directos estn a cargo de la administracin del proyecto, y en gran medida puede realizarse mediante tareas internas de mantenimiento de registros y anlisis. La mayor parte de los indicadores de insumos, procesos y resultados se generan en el marco de la administracin del proyecto. En contraposicin, el logro de los objetivos del proyecto depende normalmente de la reaccin de los beneficiarios con respecto a los bienes o servicios suministrados por el proyecto. Para obtener elementos de juicio sobre su reaccin y sobre los beneficios que obtienen deben realizarse consultas y actividades de recopilacin de datos que la administracin puede no estar en condiciones de realizar. Es importante determinar la reaccin previsible de los beneficiarios frente a los servicios del proyecto, porque los administradores necesitaran pruebas de esa reaccin para modificar sus actividades y estrategias. Los indicios de que los beneficiarios tienen acceso a los servicios del proyecto, los utilizan y estn satisfechos con ellos constituyen un indicio temprano de que el proyecto brinda servicios tiles y de que es probable que se alcancen los objetivos directos. Esos elementos de juicio obtenidos a travs de investigaciones de mercado- pueden estar disponibles antes y con mayor facilidad que las estadsticas de impacto, como la modificacin de la situacin sanitaria o el aumento de los ingresos. La informacin de las investigaciones de mercado es un ejemplo de indicador de orientacin sobre las percepciones de los beneficiarios que pueden revelar tambin repercusiones sustanciales ulteriores. Es posible identificar otros indicadores de orientacin como alerta temprana con respecto a supuestos clave que afecten al impacto del proyecto. Los ejemplos comprenderan niveles de precios utilizados para el anlisis econmico, factores de carga de pasajeros en proyectos de transporte y adopcin de prcticas de asistencia sanitaria. Al planificar las necesidades de informacin de un proyecto debe distinguirse entre el detalle necesario para la administracin cotidiana a cargo del organismo ejecutor o, ms tarde, para la evaluacin del impacto, y el limitado nmero de indicadores clave necesarios para resumir el proceso global en los informes dirigidos a

83

los niveles gerenciales superiores. Por ejemplo, durante la construccin de pozos entubados de aldeas, los administradores de proyectos tendrn que mantener registros sobre los materiales adquiridos y consumidos, la mano de obra empleada y los detalles de su contratacin, el tipo de cedazo y bomba instalados, la profundidad en que se encuentra agua, y el coeficiente de flujo. Los indicadores clave, en cambio, podran consistir simplemente en el nmero de pozos exitosamente realizados y sus promedios de costos y tasas de flujos.

Indicadores del entorno

Los llamados indicadores exgenos se refieren a factores que escapan al control del proyecto (usualmente consignados en la columna de supuestos del marco lgico), pero que pueden influir decisivamente sobre sus resultados. Por lo general, estos indicadores se refieren a los riesgos que afronta el proyecto: parmetros o factores identificados en el curso del anlisis econmico, social o tcnico que pueden comprometer los beneficios del proyecto. Tambin se incluyen los datos referidos a la evolucin del sector en el que opera el proyecto. Ahora bien, como es preciso realizar el monitoreo tanto del proyecto como de su entorno ms amplio, debe contarse con capacidad de recopilar datos fuera del proyecto, lo que representa una funcin adicional del sistema de monitoreo y evaluacin.

Es probable que la importancia relativa de los indicadores vare durante la ejecucin de un proyecto, hacindose mayor hincapi inicialmente en los indicadores de insumos y procesos y ms tarde en los productos y el impacto. Se trata de una distincin entre los indicadores de progreso en la ejecucin y los indicadores de resultados en materia de desarrollo.

84

Hoja de Trabajo: Su Turno Desarrollar Indicadores de MyE

Elementos del indicador Objetivo: Qu exactamente ser medido Inmediato/Intermedio: A qu nivel de objetivo corresponde el indicador? Evaluacin Resultado inmediato _______________________________________ Evaluacin- Resultado intermedio _______________________________________ Indicador de monitoreo (directamente vinculado a actividades)

Su respuesta

Lista de control para escoger indicadores: Vinculados al efecto del programa: De todos los posibles indicadores bajo consideracin para medir un objetivo particular, escoja el/los indicador(es) que ms exactamente y sin ambigedad reflejan el objetivo correspondiente del programa. Asegrese de que los cambios en el indicador reflejen el xito del programa sin ser influenciado por otros factores.

Poblacin: La poblacin exacta entre quienes sern recolectados los datos

Factibles: Hay muchas maneras de recolectar datos de cada indicador. Considere obstculos y destrezas que pueden involucrarse en recoleccin exitosa de datos para cada indicador bajo consideracin. Escoja indicadores que tienen ms posibilidad de ser exitosamente recolectados mientras dan la informacin requerida.

numrico/No numrico: Tipo de indicador y calculo

numrico: o Conteo (nmero de) o ndice o Porcentaje/proporcin o Promedio No numrico o Categora o Citas o Temas o topologas o Casos de estudio

Costo-efectivos (dinero, horas laborales y otros recursos): Siempre hay que encontrar un equilibrio entre los costos y la conveniencia y la profundidad y significado del indicador. Por ejemplo, los indicadores que requieren esperar una cierta cantidad de tiempo despus de terminar el programa pueden involucrar mayores costos para localizar a los participantes, pero dan mayor indicacin de los resultados reales del programa. Basados en los derechos: Asegrese que todos los indicadores sean sensibles a las consideraciones de justicia social basadas en los derechos. Consejos: Consideraciones claves de la justicia social basadas en los derechos para los indicadores

Factores externos: En qu categoras se divide el indicador (por ejemplo, gnero, edad, estado civil) Recuerde que los indicadores no deben especificar la direccin del cambio deseado porque esa informacin se encuentra en los objetivos.

Su indicador escrito:

Actividades de la dcima primera semana Individuales

1. Realice la lectura de la semana. 2. Responda a la pregunta por qu considera importante una buena construccin de los indicadores, en el monitoreo y la evaluacin? 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren completen la hoja de trabajo de la semana, con los indicadores de la poltica, programa o proyecto que se encuentran evaluando. 2. Actualicen su matriz de evaluacin 3. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Qu cosas que no saba aprendi con la lectura? 2. Qu aportes hara usted para complementar la lectura y el aprendizaje? 3. Puede sealar al menos tres aspectos que considere importantes, a considerar en la construccin de un sistema de indicadores?

86

DCIMA SEGUNDA SEMANA TEMA Identificacin de las fuentes de informacin para la evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima segunda semana las y los estudiantes. Identificarn las fuentes de informacin, para su plan de evaluacin.

LECTURA
Monitoreo: un proceso de planteamiento y exploracin de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generacin de valor pblico. El monitoreo se asocia con indicadores. Y, a su vez, la seleccin de indicadores idneos para el monitoreo no resulta completa hasta cuando se identifiquen las fuentes de informacin que brindarn los datos necesarios para construir los indicadores. Tratndose de un proceso que se realiza continuamente durante la ejecucin de un programa, el monitoreo requiere de fuentes de datos e informacin que podrn ser actualizados (y monitoreados) a travs del tiempo, en plazos que brindarn informacin pertinente y oportuna para los gestores. As, el monitoreo requiere de fuentes de informacin que se actualizan continuamente o que brindan actualizaciones con una periodicidad idnea para verdaderamente generar informacin til para los que toman decisiones con respecto al programa, sus actividades y sus inversiones. En la unidad 3.2 propusimos que la identificacin de indicadores debe incluir la definicin de las fuentes de informacin o los mtodos de recopilacin de datos para su elaboracin. En esta unidad, vamos a proponer unas pautas para contemplar posibles fuentes de informacin o mtodos de recopilacin.

Fuentes primarias y fuentes secundarias

Iniciamos la reflexin con una distincin bsica entre dos tipos de fuentes de informacin: Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que estn gestionando el proceso de monitoreo, por medio de procesos de recopilacin que ellos mismos disean y gestionan. Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a mtodos de recopilacin de datos. Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera que resulten tiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de informacin del proceso. El cuadro que se presenta a continuacin propone resumir posibles fuentes primarias y fuentes secundarias, para los procesos de monitoreo de programas sociales. Vern que se presentan primero las fuentes secundarias. Esto, porque en general, se recomienda que los procesos de investigacin y anlisis tomen las fuentes secundarias, pues se pueden economizar los esfuerzos y los recursos de recopilacin de datos. A su vez, se reconoce que las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del anlisis o investigacin a los mtodos de recopilacin de datos ya aplicados. El cuadro intenta caracterizar cada posible fuente de informacin con ejemplos, una identificacin preliminar de ventajas y desventajas que podran presentar para los procesos de monitoreo y una identificacin de algunas

87

fuentes de informacin impresa y de acceso electrnico. Cabe anotar que la mayora de los links electrnicos llevan a referencias redactadas en ingls. Las fuentes impresas son, en su mayor parte, disponibles en espaol.

88

89

90

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo: Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las organizaciones ejecutoras del programa. Resulta apenas lgico que la mayora de los datos van a resultar de fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditora, entre otros. Evidentemente, los datos de registros administrativos se podran complementar y cualificar con datos de entrevistas con diversos actores de estas organizaciones. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la poblacin usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores se pueden construir con datos recopilados por los establecimientos o los mbitos donde se entregan los productos o servicios del programa. Para estos datos, lo ms comn sera utilizar registros administrativos y, en algunos casos, fichas de atencin a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como fuentes primarias, pues se recopilaran directamente por los gestores del programa, para fines de monitoreo. Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la generacin de los efectos. La construccin de estos indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuentes secundarias de informacin. Se podra utilizar datos de encuestas -- bien sean recopiladas primordialmente para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (encuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pueden utilizar datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones que interactan con la poblacin objetivo del programa.

91

Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestin de estrategias de manejo del riesgo. Estos indicadores requieren de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y tambin de datos internos de la organizacin. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de informacin: fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la actividad empresarial o de los indicadores macroeconmicos) y fuentes que monitorean la gestin de estrategias de manejo del riesgo (que muy probablemente se tratarn de datos internos).

Factores que se deben tomar en cuenta para la seleccin de fuentes de informacin

Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el criterio primordial para la seleccin de las fuentes de informacin. Una fuente de informacin secundaria solo va a ser til si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenmenos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisin de levantar los datos primarios, hay que ser fiel a los fenmenos que se proponen monitorear. Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizaciones o grupos. Si se propone realizar una recopilacin de datos primarios, es necesario preguntar si se va a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una muestra representativa del mismo. De la misma manera, la viabilidad del uso de datos de una fuente secundaria depende de la cobertura del mismo: los datos cubren las poblaciones, los grupos, los procesos o las organizaciones que proponemos monitorear? Cubren una muestra representativa de ellos, de forma que podramos proponer generalizar a partir de los datos recopilados? Periodicidad: Por definicin, el monitoreo va a requerir de datos que se recopilan con cierta periodicidad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al disear un mtodo de recopilacin y/o juzgar la idoneidad de una fuente secundaria de informacin. Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestral, etc.) de datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales, etc.) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de actualizacin de datos (por la exigencia de los mtodos de su recopilacin), conviene definir unos indicadores intermedios o unos indicadores proxy para poder hacer un seguimiento de evidencias que sugieran que pueda (o no) estar presentando evidencias de posibles efectos e impactos. Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los diferentes datos particularmente de los efectos e impactos tiene que ver con el tiempo necesario para que se produzca una varianza en el indicador. Una tasa de escolaridad de la poblacin mayor de 10 aos, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayores de 25 aos solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta naturaleza en el proceso de monitoreo, tambin podra convenir incluir en el monitoreo unos indicadores intermedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce hacia ese logro. Costos: Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en la definicin de fuentes de informacin. Es importante tener en cuenta los recursos necesarios (recursos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas alternativas de fuentes de informacin.

92

Hoja de trabajo: Seleccionar fuentes de datos

Indicador Fuentes potenciales de datos Criterios para la seleccin de fuentes de datos Completitud, precisin, pertinencia Facilidad en el acceso y factibilidad Falta de riesgos para las personas que responden

Decidir si se utilizar una muestra y qu tipo de muestra.

Si no se cuenta con el suficiente tiempo, dinero o personal para escuchar a todas las personas, revisar todos los documentos y observar todos los eventos, se tendr que seleccionar un subgrupo ms pequeo de la poblacin total, llamado una muestra.

La eleccin de una muestra puede hacer que la evaluacin sea ms factible y menos costosa. Con el fin de que los hallazgos sean pertinentes al grupo o a la poblacin entera, la muestra debe asemejarse al grupo grande del programa en aspectos que sean directamente pertinentes a: el tipo de informacin que se estar recopilando, as como a los objetivos del programa. Se har uso de dichas caractersticas para: seleccionar la muestra en primer lugar y/o para verificar que la muestra haya sido similar a las poblaciones, como se buscaba

93

Hoja de Trabajo: Cmo determinar el tipo de muestra a seleccionar

Cules son los posibles sesgos? Cunto tiempo y cuntos recursos se puede dedicar a la recoleccin de datos?

Plantearse las siguientes preguntas:

Tcnica de muestra

Cules son las implicaciones para el anlisis?

Existe presin de tiempo para recolectar los datos antes de una fecha lmite? Existen sesgos relaSe tiene una idea clara de quines constituyen todas las fuentes posibles de datos?

Muestra de tiempo

Muestra aleatoria

Se sabe que no existen sesgos en el orden en que se identifica a las personas, los eventos o los documentos?

Muestra sistemtica

Existen grupos especiales en los que se debe centrar, aunque sean poco frecuentes en la poblacin general?

Muestra estratificada con sobrerepresentacin de un grupo especfico

Elegir la muestra que: tenga menos sesgos y/o sesgos menos extremosos coincida con los recursos disponibles coincida con el tipo de anlisis que se desea realizar (vase el Mdulo 7) Siempre describir quines o qu est incluido, y quines o qu qued fuera de la muestra.

Las fuentes necesarias de datos estn altamente estigmatizadas, ocultas, son ilegales o de alguna manera difciles de No se cuenta con recursos para identificar una muestra, o se desea probar los instrumentos para la recoleccin de datos antes de iniciar la mera recoleccin.

Muestra nieve

bola

de

Muestra de conveniencia

94

Independientemente del medio que se utilice para seleccionar la muestra, siempre habr que: tener absoluta claridad respecto a quin o qu se incluy o no se incluy, y por qu, as como pensar en las implicaciones de dichas decisiones, para los hallazgos potenciales.

Si se comienza la evaluacin de un programa nuevo:

Construir una lnea de base quiz constituya el paso ms importante para asegurar que se llegue a hallazgos tiles. Es necesario recolectar al menos algunos datos de base acerca de las interrogantes ms importantes de la evaluacin. Cundo recolectar datos de base: 1. antes del inicio del programa. Si se realiz un diagnstico de necesidades (evaluacin de necesidades) que incluy la recoleccin de datos sobre los indicadores, habr que utilizar dichos datos como la lnea de base. Aplicar el instrumento para la recoleccin de datos cuando las personas se apuntan para el programa. Revisar los documentos antes del comienzo del programa. 2. al inicio del programa En los casos en que las personas se inscriben o comienzan a participar a partir de un momento especfico, se puede aplicar un instrumento pre-prueba con las mismas preguntas que se utilizar en las valoraciones medias y/o finales. En los casos en que los y las participantes en el programa no son un grupo cautivo, aplicar el instrumento pre-prueba a una muestra de personas, eventos o documentos, que estarn expuestos al programa. 3. en una etapa temprana del programa, antes de poder esperar resultados. Cmo mantener los gastos bajos: 1. utilizar datos del diagnstico de necesidades, si a. son aptos para los indicadores que se han determinado como necesarios para la evaluacin b. se recolectaron de la misma fuente de datos que se utilizar en la lnea media y/o final c. se recolectaron de la misma manera en que se recolectarn en la lnea media o final 2. priorizar las preguntas ms importantes a. centrarse en los objetivos especficos y en las actividades ms importantes respecto al equipo del programa, los actores interesados y los donantes b. enfocarse en los subgrupos ms importantes dentro de la poblacin potencial, como seran las madres solteras, los nios menores, los polticos o la prensa ms conservadora, las personas ms estigmatizadas, es decir, las personas ms importantes para los resultados del programa.

Si se evala un programa ya en marcha:

Es un desafo comn evaluar un programa que no cuenta con una lnea de base adecuada.

Si existe una lnea de base:

Aunque no es muy comn, es posible encontrar que se ha realizado algunas mediciones iniciales. Se podr hacer uso de dichos datos, si: la lnea de base existente incluye informacin acerca de los indicadores que ya se han determinado como necesarios para evaluar los cambios respecto a los objetivos inmediatos e intermedios los datos existentes pueden ser analizados de nuevo o reagrupados, con el fin de proveer la informacin necesaria para medir el cambio respecto a los objetivos inmediatos e intermedios del programa se aplic la lnea de base en personas que participan en el programa, o muy similares a ellas se recolectaron los datos de formas similares a las que se utilizar para recolectar los datos postprueba

Icono de punto importante: Es mejor no tener una lnea de base, que llegar a conclusiones errneas de una lnea de base mal construida.

95

Si no existe una lnea de base:

Esta constituye la situacin ms comn. Utilizar un grupo de comparacin. Si no hay un grupo de comparacin disponible o apropiado, construir una comparacin de lnea de base retrospectiva, mediante: o La creacin de versiones retrospectivas de las preguntas medias o finales, por ejemplo, antes del programa o en tal ao, cmo era la situacin respecto a X, Y o Z? o La utilizacin de percepciones cualitativas de los cambios, al preguntar a las personas que responden cmo perciben la diferencia entre la situacin antes del programa y el momento actual. o La utilizacin de diferentes maneras de indagar sobre cmo eran las cosas antes del programa, por ejemplo, las percepciones de las personas, ms los registros municipales. Ello es otro ejemplo de cmo puede ayudar la triangulacin. o Siempre habr que incluir una pregunta respecto a si los y las participantes en el programa perciben cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, este tipo de pregunta complementar los datos y puede llevar a conocimientos significativos.

Cmo ayudar a la gente a recordar?

Siempre existe un riesgo al preguntar a las personas cmo estaban las cosas antes del programa. Quiz se hayan olvidado, u otros eventos hayan causado que recuerden las cosas de otra manera. Con el fin de ayudarles a recordar, habr que ubicarles en el perodo de tiempo de inters para la evaluacin. Por ejemplo, en la introduccin a la entrevista o la seccin, pedir que recuerden dnde vivan, con quin vivan, a qu se dedicaban. Una vez ubicadas en el perodo de tiempo, se les puede plantear preguntas especficas respecto a la lnea de base.

Cundo constituye la lnea final el fin?

En qu momento despus del fin del programa se desea medir la lnea final? Si se espera varios meses o aos: o Es ms probable que se detecte cambios que han persistido e incluso que se han vuelto ms marcados con el tiempo. o Puede ser ms difcil y costoso encontrar a las personas o los registros necesarios para evaluar. o Es posible que las personas ya no recuerden nada o lo que recuerdan est distorsionado. o Otros factores pueden haber aumentado o reducido los resultados que se intenta evaluar. Si se mide inmediatamente despus del cierre del programa: o Se puede medir cambios inmediatos (objetivos). Los cambios pueden ser de corta duracin, y no se podr demostrar resultados ms duraderos. o La evaluacin podr ser ms fcil y menos costosa.

El escenario ideal es hacer ambos, pero con recursos limitados, habr que realizar las mejores comparaciones posibles, en el momento en que se cuenta con los recursos.

De qu tamao debe ser la muestra?

El asunto puede reducirse a cuestin de tiempo y dinero. o Determinar cunto tiempo, dinero y personas estn disponibles para recolectar los datos. o Determinar cunto tiempo y dinero se necesita para cada tipo de recoleccin (una vez diseados los instrumentos de recoleccin de datos, en el Mdulo 6), y proceder a la inversa. o Equilibrar el tipo de instrumento con el nmero de fuentes a incluir. Por ejemplo, quiz se pueda aplicar una encuesta breve a todas las personas, pero si se quiere realizar entrevistas a profundidad, probablemente se tendr que elegir una muestra pequea. o Tener en mente el tipo de interrogante de la evaluacin, al que se pretende dar respuesta. A veces ser mejor una recoleccin de datos ms profunda en una muestra ms pequea, que muchos datos superficiales de una muestra ms grande.

96

Si se utiliza instrumentos de recoleccin de datos cualitativos (vase el Mdulo 6), habr que planear la inclusin de al menos 3, pero de preferencia 5 personas para cada categora que se utiliz para seleccionar la muestra. Ejemplo: Si la muestra debe incluir hombres que tienen relaciones sexuales slo con hombres, hombres que tienen relaciones sexuales slo con mujeres, y hombres que tienen relaciones sexuales con ambos, habr que intentar formar una muestra de 3 a 5 hombres para cada una de estas categoras.

Evitar sesgos en las comparaciones

Comparaciones de lnea de base versus lnea final: Es importante establecer la confianza durante la valoracin de base, a fin de evitar el sub-registro de conductas o actitudes que son criticadas socialmente, y evitar el sobre-registro de conductas o actitudes populares o de mucho status. o Al recolectar datos para la lnea de base, quiz sea necesario explorar temas sobre los cuales es difcil hablar. Las personas entrevistadas que an no ingresan al programa, quiz subregistren conductas o actitudes delicadas o polmicas, o bien, se jacten de sus hazaas. o Por medio de la participacin en el programa, donde probablemente se desarrolle la confianza, quiz se encuentre niveles ms elevados de conductas respecto a las cuales no se pudo hablar cuando se realiz la lnea de base; asimismo, es posible encontrar niveles reducidos de jactancia acerca de actitudes o conductas de mucho status. En ambos casos, se alterarn las comparaciones. o Preguntar a los y las participantes si se sienten bien al hablar de temas delicados, y en la valoracin post-prueba, si se sintieron ms o menos cmodos/as que antes, hablando de dichos temas. o En la lnea media o final, preguntar si las personas participantes percibieron cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una lnea de base slida, una pregunta de esta ndole complementar dichos datos y puede llevar a importantes conocimientos nuevos. Planear y utilizar los datos de monitoreo para medir cambios en el desarrollo u otros eventos o intervenciones que alteran la vida, mismos que pueden ocurrir entre la valoracin de base y la final. o Las personas jvenes pueden haber cruzado umbrales en su desarrollo durante su estancia en el programa, como sera el inicio de la actividad sexual. Si el programa buscaba reducir la actividad sexual insegura, ello no significa que el programa no tuvo efecto. Su conducta an podra ser mucho ms segura en comparacin con jvenes similares que no tuvieron contacto con el programa (un grupo de control). o Pudieron haber ocurrido eventos externos que afectan los hallazgos, como seran disturbios polticos, escndalos, desastres naturales, la transmisin de programas educativos en televisin o radio, etc. o Si se est haciendo uso de registros pblicos, el personal pudo haber recibido nuevos incentivos o capacitacin para redondear su preparacin, o bien, un nuevo gerente o un nuevo sistema de evaluacin les pudo haber intimidado en cuanto al registro de cierta informacin. Revisar la composicin de los grupos reales que se estn comparando. o La desercin durante el programa o la incorporacin tarda de personas (despus de haberse aplicado la pre-prueba), puede llevar a que los grupos pre-prueba y post-prueba ya no sean iguales en algunas caractersticas esenciales, como la motivacin, la escolaridad, el apoyo familiar, etc. Al revisar los datos de monitoreo continuamente, ser posible percatarse de esta situacin, y ojal evitar sesgos en las comparaciones. o Decida si se van a utilizar solamente encuestas apareadas, en las cuales se ha diseado una forma de identificar a las personas en la pre-prueba y post-prueba aun manteniendo su anonimato, para saber el impacto del programa en el individuo. Planear la forma de realizar comparaciones persona por persona en los momentos de pre-prueba y post-prueba. Aun si se cuenta con un subgrupo pequeo, cuyos integrantes se pueden aparejar con personas que responden, se puede obtener informacin valiosa acerca del cambio a nivel individual, de tal forma que si los grupos terminan variando, an se podr saber si el programa tuvo impacto o no. o Si el anonimato constituye un asunto a manejar, asegurar la inclusin de un identificador nico (Un grupo reducido de preguntas que la persona respondedora recordar y contestar de la misma manera cada vez que se le entreviste, sin revelar su identidad, como sera el nombre de la hermana o el hermano ms cercano en edad, el color favorito, el nmero de hermanos y

97

hermanas) en el instrumento de recoleccin de datos, a fin de aparejar las personas que responden sin revelar su identidad.

Grupos de comparacin Identificar un grupo de personas, eventos o documentos con caractersticas similares a las del grupo
expuesto al programa. Si no se logra identificar un grupo de comparacin para la poblacin entera, identificar uno para cada subgrupo de la poblacin, considerado ms importante para el equipo de MyE y los actores interesados, y/o el pblico a influenciar. Ejemplo: Si la poblacin entera incluye jvenes de 10 a 24 aos de edad, pero es de ms inters el grupo de 10 a 15 aos, se podr buscar un grupo de comparacin de jvenes de esta edad, y despus comparar dicho grupo muestra con los jvenes de 10 a 15 aos en la poblacin original. Utilizar datos generales de poblacin en lugar de un grupo de comparacin (por ejemplo, comparar los y las jvenes en el programa con los y las jvenes del pueblo entero) si existen datos disponibles y apropiados a nivel de distrito/pueblo/estado. No obstante, habr que asegurar que las personas jvenes en el programa no difieran de la poblacin general en otros aspectos importantes, ni que representen una proporcin tan importante de los datos de la poblacin general, que se terminara comparndolas con ellas mismas. Sera ideal utilizar la valoracin del grupo de comparacin como lnea de base para el prximo ciclo del programa. De esta manera, las personas entrevistadas estarn expuestas al programa a la larga, y se evitar la sensacin de que se est invirtiendo recursos sin proveer el tipo de servicios que se desea brindar. Los grupos de comparacin deben mostrar un nivel similar de inters en los temas pertinentes, que el grupo del programa. Sin embargo, habr que estar atentos a que pueden diferir en trminos de apertura a los temas que se tratan en la valoracin, lo que introduce los mismos sesgos que en ocasiones se encuentran en las comparaciones entre lneas de base y lneas finales. Independientemente de cmo se selecciona el grupo de comparacin, siempre habr que explicitar en qu difiere el grupo de comparacin del grupo del programa, en aspectos que pueden tener un impacto en los hallazgos de la evaluacin.

Grupos internos de comparacin:

Indagar si hubo subgrupos que de alguna manera estuvieron expuestos a la influencia del programa. Ejemplos: o Personas que asistieron a todas las sesiones versus las que slo asistieron a una cuantas o Personas que recuerdan haber visto o ledo los mensajes que el programa difundi versus las que no recuerdan Dividir los participantes en el programa en dos o tres grupos: personas o que estuvieron suficientemente expuestas como para esperar que muestren el cambio deseado o cuya exposicin fue tan mnima que no se esperara que el programa las influenciara y o posiblemente un grupo intermedio

Asegurar que dichos grupos no difieran en aspectos tan importantes como motivacin, recursos econmicos, etc. Ejemplo: En un programa educativo sobre el VIH/SIDA para personas mineras, algunas de stas que iniciaron en el programa fueron transferidas durante varios meses a otra regin. A pesar de que regresaron a tiempo para participar en la post-prueba, no haban estado expuestas a la intervencin completa. Si las personas transferidas fueron seleccionadas debido a un procedimiento o una caracterstica ajena a los resultados del programa, podran fungir como un excelente grupo de comparacin. Sin embargo, si se encuentra que slo se transfirieron las personas con mayor escolaridad o las que ms se confrontaban, slo se podra utilizar los datos que se tienen sobre las personas que permanecieron en el programa completo. Si el grupo de comparacin estuviera confor-

98

mado por personas en otra mina, tambin sera conveniente tratar de aparejarlas con el subgrupo sobre educacin e historial disciplinario, para que ambos grupos fueran lo ms similar posible. Por tanto, las comparaciones podran ser las siguientes: Personas mineras que participaron en el programa versus las que fueron transferidas al azar (y no participaron en el programa) o bien, Personas mineras que participaron en el programa versus personas mineras en otra mina (sin programa) que son similares a las personas que participaron en el programa (por ejemplo, en trminos de escolaridad e historial disciplinario)

Ms vale prevenir que lamentar

Siempre es algo riesgoso depender de una lnea de base reconstruida despus del hecho. Siempre es mejor recolectar datos base al comienzo del programa. Sin embargo, si no existe un grupo lgico de comparacin, y se necesita estimar una lnea de base, se obtendr mejores resultados si se hace lo siguiente: enfocarse en eventos ms concretos, y pedir que se den ejemplos pedir a la persona que responde que d las razones o explicaciones de sus percepciones captar datos de diversas fuentes y compararlos para corroborar los hallazgos, por ejemplo, el personal adems de los registros del hospital hablar con personas que tienen diversos grados de identificacin con el programa

Qu de un grupo de control?
Un grupo de control es un grupo de comparacin seleccionado desde el inicio, que no se expone al programa. Son ideales porque proveen la comparacin pre- y post-programa, adems del contraste entre al menos dos grupos diferentes en dos momentos diferentes. Sin embargo, los grupos de control presentan desventajas que los vuelve poco comunes en la prctica, en programas de bajos recursos. Posiblemente no est disponible un buen grupo de control. Algunas organizaciones consideran que no es tico contactar a las personas y negarles la intervencin. Existe preocupacin de que exponer el grupo de control a las preguntas pre-programa, si stas abordan temas delicados, podra causar conflictos o incomodidad, sin brindar a las personas que responden algn tipo de consejera profesional posteriormente. Cualquier entrevista, especialmente si trata temas sensibles, puede tener un impacto desconocido en la persona entrevistada, por lo que habr que encontrar la manera de conseguir ayuda en caso necesario. Existe preocupacin de que el grupo de control deserte de manera diferente durante el perodo del programa, ya que no recibe nada ni se beneficia de ninguna manera. Como siempre habr personas que desertan de todas maneras, independientemente del grupo, el equipo evaluador debe asegurar que no deserten ms personas o diferentes tipos de personas, respecto al grupo del programa; de lo contrario, el grupo de control no ser muy til a final de cuentas. Algunos programas resuelven dichos dilemas mediante la provisin de un paquete bsico de servicios al grupo de control, y un paquete bsico ms alguna intervencin nueva al grupo del programa. Ello podra elevar el costo, a tal grado que sera demasiado costoso utilizar y mantener el grupo de control, a menos que la agencia pueda ofrecer mltiples programas. La contaminacin tambin constituye un problema. A veces el efecto del programa puede llegar al grupo de comparacin, especialmente si ambos grupos son de la misma comunidad. Ello dificulta an ms los problemas relacionados con los grupos de control, lo que los hace poco comunes en programas de bajos recursos.

Se puede confiar en los registros?

En muchos casos, los registros existentes y disponibles en archivo, habrn sido plasmados en condiciones no ptimas. Ser conveniente entrevistar a las personas que registran los datos, e indagar sobre el nivel de confiabilidad de estos, antes de depender de registros que pueden ser muy engaosos. Si la valoracin final depender de esos mismos registros, habr que evitar cualquier influencia que pudiera afectar la precisin con la que se asientan durante el perodo de la evaluacin, entre la pre-prueba y la post-prueba. Las influencias podran

99

ser por ejemplo, un mayor inters en el tema, o una nueva poltica que requiere que el personal dedique tiempo a la diligencia de los formularios.

Seleccionar fuentes de datos

Para cada fuente potencial de datos, plantearse las siguientes preguntas: Qu fuente o fuentes proporcionarn la informacin ms completa, precisa y pertinente? La fuente estar libre de sesgos importantes y responder con honestidad? La persona que responde ser capaz de, y estar dispuesta a proporcionar respuestas completas y honestas? Si la fuente es un documento, como la minuta de una reunin, expedientes clnicos, etc., es probable que la informacin est bien registrada y que se haya registrado sistemticamente? La observacin directa puede proveer informacin que no se podra obtener de otra manera, y puede llevarse a cabo de tal forma que se evite cualquier cambio innecesario en el comportamiento de las personas?

Se tiene acceso fcil a esta fuente de datos? Qu tan difcil ser encontrar a las personas con las que se necesita hablar? Qu tan difcil ser lograr que las personas hablen o diligencien el cuestionario? Los documentos estn disponibles y accesibles al equipo o a ciertos/as integrantes del equipo? El/la lder del equipo o ciertos/as integrantes particulares del equipo pueden asistir a los eventos que se desea observar, sin alterar lo que se desea observar? La recoleccin de datos representa un riesgo potencial para la fuente de datos? El hecho de que se intenta encuestar/entrevistar a ciertas personas les causar algn dao o incomodidad, por ejemplo, al identificarles como pertenecientes a una categora estigmatizada? Cmo se podra protegerles de dicho dao o incomodidad? Ser posible proteger el anonimato, la confidencialidad y la privacidad de las personas involucradas? Se pedir que las personas cuenten experiencias cuya discusin pueda perturbarlas? Anonimato condicin en la que nadie jams pueda identificar a la persona o el tem por su nombre. Confidencialidad condicin en la que nadie jams pueda identificar a la persona o el tem, excepto la persona recopiladora de datos, incluidos los dems integrantes de los equipos de evaluacin y del programa. Privacidad condicin en la que nadie pueda escuchar a la persona proveedora de datos, o de alguna manera incomodarla por proporcionar respuestas honestas. Diligenciar la siguiente tabla para cada indicador y sus posibles fuentes. Elegir las fuentes de datos que renen mejor los criterios. Se incluye un ejemplo despus de la tabla:

Seleccionar un grupo de comparacin

Asegurar que el grupo de comparacin sea lo ms similar posible al grupo del programa. Por tanto, se podr incluir a las siguientes personas: Personas que renen los mismos criterios de seleccin para el programa, pero que llegaron cuando el programa ya estaba lleno, o son elegibles para el programa en el futuro. Personas seleccionadas del pblico general que son similares al grupo del programa en trminos de un conjunto de caractersticas especficas. Se puede elegir un grupo de comparacin de la misma manera en que se elige una muestra.

Seleccionar una muestra: Qu caractersticas habr que cuidar?

Al seleccionar una muestra o un grupo de comparacin, es preciso cuidar las caractersticas que: estn directa o indirectamente relacionadas con la matrcula de, la participacin en, y los objetivos del programa, y

100

tienen que ver con cunto influira el programa en la persona, el evento o el documento.

No hay que seleccionar una muestra o un grupo de comparacin con base en caractersticas que son irrelevantes respecto a los objetivos del programa. Ejemplo: Si el programa sensibiliza a personas legisladoras sobre los derechos sexuales y reproductivos de las mujeres, con el fin de alentar la ampliacin de las leyes y procedimientos, Las caractersticas pertinentes de las personas legisladoras podran incluir el sexo de dicha persona; su actitud hacia el empoderamiento de las mujeres; su afiliacin religiosa o partidista; su etnia; y su participacin en comits legislativos clave. Otras caractersticas menos pertinentes podran ser el nmero de hijos/as, escolaridad, aos de servicio y estado civil. Las caractersticas irrelevantes podran ser la propiedad de la vivienda y el nmero de posesiones de status.

Tipos de muestras
Tipo de muestra Muestra de tiempo (en ocasiones se le denomina muestra de corte transversal) Descripcin Cmo elegir para evitar sesgos Cundo se utiliza si se est bajo bastante presin de tiempo si se necesita recolectar datos para una cierta fecha lmite si se desea una manera bastante directa y razonable de muestrear, y se puede evitar los sesgos relacionados con el tiempo

Recolectar informacin durante un tiempo especfico pero corto, quiz de las siguientes maneras: una vez, por ejemplo, todas las personas clientes que llegan en un mes determinado regularmente, durante un perodo ms largo, por ejemplo, una vez al mes junto con otro tipo de muestreo

Elegir un perodo de tiempo o un conjunto de periodos de tiempo que: sea tpico respecto a todas las categoras en la fuente de datos no est influenciado por eventos especiales o condiciones como fiestas, la cosecha, condiciones climticas extremas, etc.

Si se realiza el muestreo en ciertos momentos del da, no elegir un momento en que los eventos o las personas contactadas sern diferentes a las que se contactaran en otros momentos, o alternativamente, asegurar que se equilibre dichos momentos con otros en los que se encontrara otro tipo de personas o eventos

Muestra aleatoria

Entre todos/as los/as participantes potenciales, otorga a cada persona, evento o documento, la misma probabilidad de ser incluido

Dependiendo de la proporcin que se pueda o se desee incluir en la muestra, echar una moneda al aire, tirar un dado o un par de dados, o utilizar un juego de barajas para elegir si una persona, evento o documento queda incluido

Si

se piensa utilizar pruebas estadsticas en el anlisis, ya que la mayora de las pruebas requiere de este tipo de muestra se sabe quines integran la poblacin entera

Muestra temtica

sis-

Incluir cada X persona (o unidad) en la muestra

Cada dcima (o X) persona o registro. Habr que cuidar que no existan sesgos en la manera en que las personas o los documentos se encuentren o lleguen. Si se est eligiendo a cada tercera persona, y llegan parejas y los hombres se apuntan antes que las mujeres, la muestra terminar con ms mujeres que hombres

101

Muestra estratificada

Quiz se determine que se desea encontrar personas o unidades con ciertas caractersticas

Elegir segn las caractersticas de un subgrupo en el que se tiene un inters especial. Ejemplos: madres solteras, castas inferiores o personas marginadas por motivos tnicos, mujeres que han sido golpeadas por su marido, dirigentes de la comunidad que se oponen a cierta opcin

Para asegurar que la muestra incluya nmeros adecuados de ciertos grupos que ocurren con menos frecuencia en la poblacin. Se puede combinar con la muestra aleatoria

Si un subgrupo de inters es infrecuente en la poblacin, habr que incluir ms de estas personas, por ejemplo, cada quinta persona del subgrupo especfico, en lugar de cada dcima persona de los dems grupos

Muestra de bola de nieve

Comenzar con una persona o un grupo de personas, y pedirles que contacten a otras

Los sesgos constituyen un componente aceptable en las muestras de este tipo, ya que es ms probable que las personas recomienden a otras personas con las que comparten caractersticas clave. Se puede intentar minimizar los sesgos, al ser ms preciso en lo que se pide. Por ejemplo: Gracias por referirme a Juan y a Marcos. Tambin conoces a algunas mujeres transgnero? A menudo este tipo de muestra puede ser engaoso, y las fuentes de datos pueden diferir enormemente respecto a las caractersticas relevantes, como motivacin, actitudes, disponibilidad, escolaridad, etc. Es preciso medir las caractersticas pertinentes, para verificar si la muestra es similar o no, y cmo difiere de la poblacin a la que se desea generalizar

La fuente de datos y/o el tema sobre el cual se desea indagar, es muy escaso, difcil de identificar o estigmatizado

Muestra de conveniencia

Son fuentes de datos que estn disponibles por casualidad, como seran los nios y las nias en un partido de ftbol, o personas que esperan fuera de una escuela

No se cuenta con tiempo ni presupuesto para seleccionar y llegar a una muestra ms rigurosa Se est probando los instrumentos para la recoleccin de datos, antes de comenzar la verdadera recoleccin

Actividades de la dcima segunda semana Individuales

1. Realice la lectura de la semana. 2. Responda a la pregunta Desde su punto de vista por qu es importante hacer una buena identificacin de las fuentes de informacin? 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las fichas u hojas de trabajo de la semana, de acuerdo a las indicaciones de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

102

Autoevaluacin
1. 2. 3. 4. Cmo se ha sentido con la lectura realizada? Qu sentimientos concretos han llegado a su mente? Puede sealar al menos tres nuevos aprendizajes? En una escala de 1 a 10 como se catalogara en la identificacin de las fuentes de informacin, considerando 10 como el valor ms alto, 5 valor intermedio y 1 como valor ms bajo.

103

DCIMA TERCERA SEMANA TEMA Recopilacin de datos e informacin para la evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima tercera semana las y los estudiantes. Identifican los datos e informacin a recolectar para la evaluacin.

LECTURA
Paso 1: determinar el tipo de datos a recolectar y con qu instrumentos
Fundamento Como existen varias maneras de recolectar datos sobre un indicador, hay que determinar la manera que funcionar mejor para la evaluacin en cuestin, esto con base en la experiencia, la eficacia y el costo (tiempo y dinero). Las siguientes son dos preguntas importantes para plantear en cuanto a cada indicador: Recolectar datos cualitativos o cuantitativos? Qu mtodo habr que utilizar para recolectar los datos? Aun cuando los recursos sean escasos, siempre hay manera de medir un indicador. Tarea 1: Determinar el tipo de datos a recolectar para indicadores especficos Este paso depender de lo siguiente: El tipo de preguntas a las que los datos deben dar respuesta La familiaridad que se tiene con las posibles categoras de respuestas Los datos cuantitativos indican quin(es), qu, dnde y cunto. Utilizan categoras fijas ligadas a definiciones y cifras Tienen categoras de preguntas y respuestas, predeterminadas por quienes han desarrollado el instrumento de recoleccin de datos Son ms estructurados y estandarizados (significa que se utiliza exactamente el mismo procedimiento para cada persona) que los mtodos cualitativos Presentan el desafo de organizar los datos numricos, de manera que tengan sentido y significado Aplican a un mayor nmero de fuentes de datos ms econmicamente que los datos cualitativos Los datos cualitativos indican por qu y cmo, y usualmente implican hablar con, u observar a las personas, leer textos o ver imgenes. Utilizan palabras en lugar de cifras Se centran en los significados, los patrones en las relaciones y las percepciones No requieren tener conocimiento de categoras predeterminadas de respuestas Presentan el desafi de organizar en temticas o tipologas los pensamientos y las creencias de los y las participantes Normalmente implican un nmero menor de fuentes de datos (ej., personas o documentos) que los datos cuantitativos Pueden ser usados para formular preguntas (cerradas) ms efectivas en encuestas a travs de proporcionar una comprensin del lenguaje, significado y experiencia de los encuestados. Casi siempre es buena idea recolectar ambos tipos de datos. Para ver un ejemplo de diversas preguntas relacionadas con diferentes tipos de datos:

104

Si se intenta mostrar que se dieron cambios en la manera en que los hombres jvenes entienden el significado de la masculinidad, despus de participar en una serie de talleres de sensibilizacin, quiz se desee saber lo siguiente: Cuntos hombres jvenes cambiaron su actitud hacia la violencia y su necesidad de tener varias parejas sexuales? Los cambios fueron marcados y predecibles? En este caso, se recolectara datos cuantitativos. Alternativamente, quiz se desee saber lo siguiente: Cmo visualizan los hombres jvenes la nueva forma de masculinidad que han asumido, y qu significa para sus relaciones con mujeres y su imagen de ellos mismos? En este caso, sera mejor recolectar datos cualitativos, al captar las palabras de los propios jvenes. Para cada indicador y fuente de datos, habr que considerar lo siguiente: Cmo se dar mejor respuesta a las preguntas Qu enfoque coincide con el presupuesto Qu enfoque tiene ms sentido en el contexto local Si se podr utilizar ambos tipos de datos provechosamente, y cmo se hara No hay que tomar la decisin respecto al enfoque a utilizar slo con base en experiencias o conocimientos previos. Habr que tomar la decisin con base en qu enfoque, o qu combinacin de enfoques, arrojar el tipo de informacin necesaria para dar respuesta a las preguntas necesarias. Ello se logra al contar las categoras que se encuentran en los datos originales. Ejemplo: Si no est claro por qu, en el contexto local, las mujeres con complicaciones en el embarazo tardan mucho en acudir al hospital, primero sera conveniente recolectar datos cualitativos mediante el dilogo con ellas y sus familiares. Si el director de la clnica desea saber con qu frecuencia se mencionan ciertas razones, por ejemplo las razones relacionadas con la discriminacin por parte del personal de salud, se podra crear categoras con base en las razones mencionadas en cada entrevista. Al contar el nmero de mujeres con evidencias de discriminacin en su historial, se tendra un indicador numrico (un porcentaje o una tasa) de la frecuencia con la que se reporta dicho problema. Para elegir qu tipo de datos se necesita recolectar, vase Hoja de trabajo: Elegir el tipo de datos que dar respuesta a las preguntas

Hoja de Trabajo: Elegir el tipo de datos que dar respuesta a las preguntas
Indicador Qu tipo de pregunta se plantea? Por qu? Cunto? Etc. Por tanto, deben ser los datos El indicador ser (puede ser ambos, en el caso de datos cualitativos)

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

cualitativos cuantitativos

numrico no numrico

Tarea 2: Determinar los mtodos a utilizar para la recoleccin de datos

105

Independientemente de que se utilice indicadores numricos o no numricos, ser necesario elegir entre una variedad de mtodos de recoleccin de datos. Cada mtodo tiene sus ventajas y desventajas, y es ms til en ciertas circunstancias que en otras. Elegir los mtodos que: Sern ms respetuosos de las personas que proporcionarn los datos Sean pertinentes y apropiados para el contexto local Ayuden a obtener, en lo posible, los datos ms precisos y completos Eviten los sesgos innecesarios Aspectos clave que habr que considerar:

Los requisitos o las limitantes relacionadas con el tamao de la muestra Lo apropiado de los mtodos, tomando en cuenta las caractersticas particulares de ciertas personas
que responden, ej., su nivel de alfabetizacin, si estn dispuestas a hablar en grupo o no

El conocimiento que se tiene de las potenciales categoras de respuestas respecto a temas no explora
dos La necesidad del anonimato, la confidencialidad, o la relacin personal que se necesitara para obtener informacin delicada. Los recursos con los que se cuenta: dinero, tiempo y experiencia del personal

Para cada mtodo, se puede utilizar varios tipos de instrumentos. La evaluacin ser ms rigurosa si se utiliza ms de un mtodo de recoleccin de datos para los indicadores clave. El uso de varios mtodos de recoleccin de datos (y/o fuentes de datos) para un mismo tema (llamado triangulacin), puede ayudar a validar los datos y puede llevar a una comprensin ms rica de los temas explorados. Tarea 3: Desarrollar los instrumentos de recoleccin de datos Una vez que se haya decidido sobre los mtodos a utilizar (ej., grupo focal, observacin directa, entrevista corta, encuesta), habr que disear los formularios en los que se registrar los datos. Se puede hacer lo siguiente:

Utilizar instrumentos que otras personas han usado en situaciones similares. Adaptar instrumentos existentes a la situacin particular. Disear instrumentos propios.

En los instrumentos, incluir secciones para 3 tipos de informacin: Informacin descriptiva acerca de la fuente de los datos y el evento de recoleccin de datos La recoleccin de datos acerca de los indicadores El registro de apuntes de campo u observaciones

Verificar que los instrumentos de recoleccin de datos sean entendibles, apropiados y pertinentes a nivel cultural. Habr que reunirse con las partes interesadas, con el fin de que revisen los instrumentos existentes, los que se han adaptado, los que se pretende adaptar y los que estn en proceso de desarrollo. Las partes interesadas pueden: Aportar insumos cualitativos acerca de las categoras ms relevantes en el contexto local; Sugerir preguntas importantes, y ayudar a pensar en cmo plantearlas; y Ayudar a probar los instrumentos, ANTES de comenzar a recolectar los datos. Se les puede plantear las preguntas ms difciles, a fin de ver si las entienden, o si dan el tipo de respuesta que se espera. Contribuir a detectar problemas con anterioridad y realizar los cambios necesarios, antes de comenzar a recolectar los datos. Ser conveniente aplicar los instrumentos con dichas personas, preguntarles cmo llegaron a sus respuestas y qu significan esas respuestas. Con el fin de asegurar que los instrumentos sean apropiados para el contexto local.

106

Una vez diseado el instrumento de trabajo: Asegurar que el instrumento de recoleccin de datos incluya elementos (preguntas, observaciones, listas de verificacin, etc.) especficos para cada indicador que se haya identificado con base en los objetivos que le incumben a la organizacin, agencia o programa (es decir, los resultados inmediatos y posiblemente intermedios) Asegurar que el instrumento est diseado para recolectar algunos datos acerca de las brechas que se identificaron en la Ruta Causal Reconsiderar si se puede utilizar el instrumento para la lnea de base, la lnea media (si es relevante), la lnea final y/o el grupo de comparacin. Recordar que las mismas preguntas sern planteadas en diferentes momentos o a diferentes grupos para medir el cambio. Asegurar que el instrumento est diseado para recolectar informacin que sirva para medir los cambios que pueden ocurrir realsticamente, entre la primera aplicacin y la siguiente.

Paso 2: Desarrollar el plan de recoleccin de datos

Ahora que se cuenta con los instrumentos de recoleccin de datos, es necesario determinar lo siguiente: Quines aplicarn cada instrumento Cundo se recolectar los datos Dnde se aplicar el/los instrumento(s) Cmo se recolectar los datos

Cada uno de estos aspectos tiene importantes implicaciones para la calidad de los hallazgos. Utilizar la Hoja de trabajo: Formulario para la recoleccin de datos, conforme se avance en las Tareas 1 3 del presente Paso 2. Hoja de Trabajo Formulario para la recoleccin de datos
Posibles personas que recolectan los datos

QUINES

COMENTARIOS/NOTAS/POR QU/POR QU NO

En quines confiarn las personas que responden?

Quines podrn ser objetivos/as y estar libres de sesgos?

Quines no tienen una relacin de poder con las personas que responden?

Quines estn suficientemente familiarizadas con los temas?

Quines tienen buenas habilidades interpersonales y saben escuchar?

107

CUNDO

Posibles momentos para la recoleccin de datos

COMENTARIOS/NOTAS

Cundo estarn disponibles las personas que responden?

Se darn variaciones estacionales no deseadas en su comportamiento?

Se llegar con diferentes tipos de personas en diferentes momentos?

DNDE

Opciones respecto a dnde recolectar los datos

COMENTARIOS/NOTAS

Dnde es probable encontrar a las personas que responden?

Es posible establecer una buena relacin ah, sin demasiadas distracciones, suficiente tiempo, etc.?

El lugar estar libre de presiones sociales en el sentido de someterse a la norma (es decir, lejos de la pareja/cnyuge, figuras de autoridad, amistades, parientes)?

Los derechos de las personas sern respetadas, y su identidad ser confidencial en caso necesario?

Tarea 1: Determinar quines recolectarn los datos Si se hace uso de mtodos que implican contacto directo con las personas, es fundamental elegir a las personas idneas para la recoleccin de datos que puedan obtener las respuestas y hacer, en lo posible, las observaciones ms completas y honestas. Personas que: Entiendan y sean sensibles a los temas que se discutir No juzgarn a las personas participantes Puedan ganarse la confianza de estas ltimas Les har sentir cmodas Las caractersticas podran incluir personas que:

108

No tengan un inters creado en los resultados, puedan ser objetivas y libres de sesgos No tengan una relacin de poder con las personas que responden, especialmente si stas ltimas son muy vulnerables o marginadas Tengan las cualidades en las que las personas que responden probablemente puedan confiar dentro de una situacin social y cultural especfica; en algunos casos ellos significa una persona similar a la que responde, pero en otros casos significa una persona respetada pero diferente; en algunos entornos, para hablar del sexo, la persona entrevistadora debe ser casada y del mismo sexo que la entrevistada. No tengan prejuicios que podran interferir con la recoleccin de datos Tengan buenas habilidades interpersonales y puedan lograr que otras personas se relajen Conozcan y tengan la suficiente confianza para hablar del tema en cuestin Sepan escuchar bien Sean confiables, tengan un alto estndar tico y una tica de trabajo responsable Hayan respondido bien a la capacitacin y hayan demostrado que acatarn las instrucciones relacionadas con la recoleccin de datos y el protocolo de aplicacin

Tarea 2: Determinar cundo se recolectarn los datos Muchos factores pueden afectar el tiempo en que se puede recolectar datos. Los aspectos estacionales incluyen la temperatura y el clima, el trabajo de temporada, la cosecha, la poca de lluvias, los niveles de delincuencia o las fiestas; cualquier cosa que altere el comportamiento de las personas y su disponibilidad. La hora del da puede afectar el acceso a los y las participantes. Por ejemplo, quiz las personas que trabajan slo estarn disponibles a la hora de su descanso o al final de la jornada. Las personas que llegan temprano a un sitio pueden diferir de las que llegan tarde. Tal vez slo se encuentre a las personas en casa en ciertos momentos del da, pero no estarn dispuestas a participar en esos momentos. Los das del mes o de la semana tambin pueden cambiar las conductas y la disponibilidad, por ejemplo, en relacin con el da de pago, de mercado o de asistencia a las ceremonias religiosas. Dichos factores varan segn la poblacin en diferentes lugares, por lo que habr que estar consciente de las barreras locales a la recoleccin de datos, y adaptarse a ellas. Tarea 3: Determinar dnde se recolectarn los datos El lugar donde se recolecta los datos puede influir en lo siguiente: El acceso a los datos La calidad de los datos (qu tanto se completan, franqueza) Los riesgos que tienen las personas proveedoras de los datos El grado en que la muestra refleja la poblacin prioritaria de la evaluacin Algunos aspectos comunes a tomar en cuenta en el trabajo de SDSR, incluyen los siguientes: Dnde es ms probable encontrar al tipo de persona o documento que se busca? Por ejemplo, para encontrar a los y las jvenes que no asisten a la escuela quiz se tenga buscarlas a ellas en su casa, pero a aqullos en las calles, clubes o las instalaciones militares. Hay suficiente tiempo para recolectar los datos con la persona que responde, o la situacin es demasiado apresurada? El entorno fsico provee suficiente privacidad? Por ejemplo, hacer preguntas ntimas en una sala de espera abierta puede limitar mucho la franqueza de las respuestas. Dnde se puede diligenciar un cuestionario de autoevaluacin, de tal forma que no se tenga que temer que alguien vea las respuestas? Las mujeres probablemente no muestren apertura si estn cerca de sus hijos/hijas, sus amistades o la pareja. Los hombres quiz no se sientan cmodos al hablar de temas delicados en lugares pblicos. En una clnica u otros servicios es importante aclarar que, las respuestas no afectarn de ninguna manera la calidad de los servicios que recibir la persona; las personas deben confiar en que no perdern su derecho a la atencin u otros beneficios si critican el programa. Las reuniones comunitarias son buenos lugares, si la informacin que se busca no es demasiado delicada; pero se necesita un enfoque ms personalizado, si las respuestas pueden causar conflictos en el grupo o incomodidad a algunas personas.

109

Asegurar que el simple hecho de buscar a cierta persona o de que otras personas puedan ver la entrevista, no pondr en riesgo a la persona que responde, al revelar una identidad secreta, despertar suspicacia entre los vecinos, etc.

Tarea 4: Asegurar la correcta recoleccin de datos Aun si los instrumentos son excelentes, la manera en que se recolectan los datos puede afectar la calidad de los datos obtenidos. Asegurar lo siguiente: Claridad en las instrucciones sobre cmo aplicar los instrumentos La adecuada capacitacin y supervisin de las personas que recolectan los datos Que se aliente a las personas que recolectan los datos a reflexionar crticamente, con el fin de aclarar los procedimientos y evitar que se repitan los errores Que existan oportunidades para que las personas que recolectan los datos se junten a discutir los retos, las preocupaciones y los xitos con las personas recientemente reclutadas, as como respecto al uso de los instrumentos Desarrollar una gua para la recoleccin de datos Antes de capacitar a las personas que recolectarn los datos, establecer el protocolo o conjunto de reglas de cmo hacer las cosas, esto debido a que se necesitar capacitar a dichas personas sobre estos mismos aspectos, as como asegurar que sepan cmo facilitar o entrevistar adecuadamente. La gua debe incluir lo siguiente: Indicaciones claras respecto a cmo se obtendr el consentimiento informado. Es muy importante obtener el consentimiento informado de las personas que responden, as como proteger su privacidad, anonimato y/o confidencialidad. En el caso de entrevistas individuales o grupales o encuestas, es preciso obtener el consentimiento verbal o escrito. En el caso de la observacin, normalmente la persona que da acceso al sitio es la que da el consentimiento, adems del adulto responsable de los y las menores de edad. Sin embargo, la persona observadora tambin debe ganarse la confianza de los y las participantes, y obtener su permiso mediante su manera de construir relaciones en el lugar. Para realizar observaciones en lugares pblicos, no hay nadie de quien obtener el consentimiento. La manera en que la persona recolectadora de datos debe presentarse a las personas que responden o a las personas observadas: o cmo saludar a las personas que responden o cmo vestirse o la explicacin de por qu estn ah y cmo se utilizar la informacin o cmo deben representar al programa o a la organizacin ante la comunidad Instrucciones respecto a si la entrevista o el evento ser grabado, filmado o fotografiado Qu procedimientos habr que seguir cuando no es posible recolectar datos, debido a que no se encuentra la persona o el documento. Es importante asegurar que las personas que recolectan los datos sigan los procedimientos y registren los casos faltantes. Procedimientos especficos para salvaguardar los derechos de las personas, el anonimato, la confidencialidad y la privacidad. Directrices para terminar un evento de recoleccin de datos prematuramente, si las condiciones, la calidad de la interaccin, la seguridad o el estado de la persona que responde indican que est en alto riesgo la validez de la recoleccin de datos Capacitar a las personas que recolectarn los datos Si no se aplica bien el instrumento, las personas posiblemente no querrn responder, o se termine con datos que no se puede utilizar, o que no son tan precisos como se requiere. Con el fin de asegurar que ello no suceda, es necesario realizar lo siguiente: Proveer la capacitacin correcta Establecer reglas claras y aplicadas acerca de cmo recolectar los datos Brindar apoyo continuo a las personas que recolectan los datos, y entablar discusiones con ellas de manera continua

110

Todas las personas que recolectan datos deben recibir capacitacin sobre el proyecto y su papel en l, aun si son integrantes del personal o personas con experiencia en la recoleccin de datos o el MyE. Qu hacer si nunca se ha capacitado a personas que recolectan los datos? Como mnimo, la capacitacin debe incluir lo siguiente: Los objetivos de la evaluacin Una revisin de las tcnicas para la recoleccin de datos Una revisin a fondo de los instrumentos Ensayos en el uso de los instrumentos Ejercicios para fortalecer las capacidades relacionadas con la conduccin de entrevistas y la comunicacin interpersonal. Una discusin acerca de los aspectos ticos (incluyendo la privacidad, la confidencialidad, el anonimato y el consentimiento informado) Consideraciones en torno a los lmites profesionales (ej., si la persona que responde comienza a llorar, es aceptable que la persona entrevistadora la abrace?; si la persona que responde le pregunta a la entrevistadora si experiment X en su embarazo; si la persona que responde invita a la entrevistadora a pasar a su casa a tomar un caf despus de terminar la entrevista) Una discusin acerca de cmo se sienten con su participacin en la evaluacin, ej., abordando temas delicados; si forman parte del personal, cmo se sentirn si descubren que el programa no es tan bueno como se imaginaban La importancia de seguir las instrucciones y el protocolo de aplicacin Ejercicios que les ayuden a convertirse en observadores/as analticos/as, y a hacer observaciones de campo tiles y que reflejen un conocimiento adquirido Una vez que se haya capacitado a las personas que recolectan los datos: Hacer que practiquen sus habilidades nuevas, mediante dramatizaciones o juegos de roles Observar a cada persona recolectadora de datos aplicando una verdadera encuesta, o realizando una entrevista, sesin de grupo focal u observacin (el o la lder de la evaluacin tambin debe aplicar uno o algunos de dichos mtodos, aun si no va a recolectar datos ms adelante) Revisar la trascripcin de las primeras entrevistas a profundidad o grupos focales, y proveer una retroalimentacin especfica Utilizar una lista de verificacin sobre lo que se busca, con base en lo que aprendieron en la capacitacin Reforzar buenas conductas y proveer capacitacin correctiva si las cosas no se hacen como debe ser No utilizar personas que recolectan los datos que no cumplen con las expectativas mnimas establecidas al inicio de la capacitacin Tarea 5: Realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos Antes de invertir tiempo y recursos en la recoleccin de datos, habr que pilotear o probar los instrumentos creados o elegidos, con las siguientes personas:

las partes interesadas personas similares a las de la muestra, pero que en realidad no formarn parte de la misma

Es preciso realizar la prueba piloto con personas, eventos o documentos similares a los de la verdadera recoleccin de datos. Una prueba piloto contribuir a descubrir lo siguiente: Cunto tiempo realmente lleva la recoleccin de datos Si se puede recolectar los datos, dnde y cundo se haba planeado Si existen problemas con la manera en que funcionan los instrumentos en el mundo real Probar el plan de recoleccin de datos Con dos o tres personas de cada uno de los subgrupos principales de la muestra.

111

O bien, con dos o tres personas de las diversas subcategoras de la muestra. Para ver un ejemplo. Si la muestra es de jvenes que no asisten a la escuela, y las subcategoras incluyen a las nias versus los nios, empleados/as y desempleados/as, que viven en la calle o en casa, pero los recursos son muy limitados, se puede probar el plan de recoleccin de datos con los grupos ms difciles de contactar. La prueba piloto podra incluir: dos jvenes varones que viven en casa, dos nias jvenes, y dos jvenes varones que viven en la calle.

Asegurar que: Las personas que recolectan los datos midan su tiempo, con el fin de ajustar el plan segn la necesidad Las personas que recolectan los datos reporten cualquier pregunta confusa o los problemas que tuvieron con entender cmo completar la aplicacin del instrumento El o la lder de la evaluacin tambin realice algn ensayo de recoleccin de datos, con el fin de detectar cualquier problema que podra seguir presente Se observe a los y las entrevistadoras en accin Se revise sus apuntes de campo Se verifique que hayan diligenciado el instrumento correctamente Se invite a las personas que recolectan los datos a que den retroalimentacin acerca de cmo funcionaron las cosas y cualquier observacin que tengan acerca del instrumento y su aplicacin Crear un ambiente de trabajo colaborativo, a fin de que las personas que recolectan los datos se sientan cmodas compartiendo con el Equipo de MyE. Sus observaciones y la calidad de su trabajo son fundamentales para el xito del proceso de MyE. Verificar que los instrumentos sean confiables y vlidos Estos conceptos son muy importantes para la evaluacin, pero con frecuencia intimidan a las personas a tal grado que ni siquiera intentan evaluar conceptos sociales complejos. Probablemente no se cuente con recursos para probar los instrumentos a profundidad, pero se puede hacer lo siguiente: Para verificar la confiabilidad: Programar que dos personas que recolectan los datos colecten datos de la misma persona Hacer que la misma persona recolectadora de datos repita la recoleccin de datos en la misma persona, documento o evento al da siguiente Revisar los pares de instrumentos para ver si se llega a las mismas conclusiones. Ejemplo: En un instrumento que contempla las actitudes de las y los polticos respecto a la legalizacin de los derechos de herencia de las mujeres, el instrumento no sera confiable si una vez mostr que una persona estaba completamente de acuerdo, y al da siguiente mostr que no tena opinin o estaba en desacuerdo.

Para verificar la validez:

Asegurar que se haya desmenuzado los conceptos sociales complejos abordados, en componentes medibles (si no, habr que regresar al Mdulo 4).

Asegurar que las preguntas no tengan varias respuestas. No use y u o porque no se sabr a qu
parte de la pregunta se est respondiendo. Asegurar que las personas que responden a un instrumento, entiendan las preguntas. Asegurar que las preguntas u observaciones coincidan con la realidad del contexto local. Se puede plantear ms de una pregunta sobre el mismo tema en diferentes momentos de la entrevista, a fin de ver si coinciden. Se puede pedir a la persona entrevistada, su valoracin cualitativa de qu opina sobre algn aspecto que se intenta evaluar. Ejemplo: Si se aplica una lista de preguntas sobre la toma de decisiones en el hogar (como un componente de la equidad de gnero), preguntar si la persona que responde siente que se toma las decisiones en el hogar con igualdad entre ella y su cnyuge. Utilizar ms de una fuente de datos, a fin de obtener informacin acerca de aspectos clave de la evaluacin. Ejemplo: Si la evaluacin busca evaluar el nivel del empoderamiento de las nias en la toma de decisiones vitales, se podra aplicar una lista de verificacin de decisiones en que cada nia tiene confianza, pero tambin pedir que la o el maestro de

112

las nias las califique en cuanto al nivel de empoderamiento que demuestran; incluso hablar con sus amistades o familiares para preguntarles acerca de los mismos aspectos de empoderamiento

Adaptar los instrumentos a la situacin del programa

Si se ha encontrado un instrumento, como una escala o lista de verificacin, apto para el indicador, pero que se desarroll en otra cultura o entorno socioeconmico, qu se debe hacer? Es necesario encontrar el equilibrio entre la seguridad de que el instrumento es apto para el contexto local del programa, y el hecho que modificar el instrumento puede alterar su capacidad para funcionar bien. Elegir instrumentos que sean muy aptos para el indicador que se intenta medir Elegir instrumentos relativamente sencillos y que no requirieron de anlisis complejos para desarrollarlos Aplicar el instrumento con un grupo de partes interesadas, pedir que expliquen lo que significa cada elemento para ellas, y preguntar cul fue su respuesta Ajustar los elementos que no se entendieron o que parecieron estar fuera de lugar en el contexto local; pero ser conveniente sustituir los elementos que se refieren al mismo tema o componente, con una terminologa adecuada para el contexto local Reaplicar la escala modificada a un grupo de personas similares a la muestra que se utilizar en la evaluacin. Cuando hayan contestado, plantearles preguntas acerca del significado de sus respuestas, de tal forma que se confirme si sus respuestas tienen sentido. Por ejemplo, si se aplic una escala sobre la comunicacin entre la pareja, y la persona obtuvo un puntaje muy alto en cuanto a la comunicacin equitativa, preguntarle cmo siente la comunicacin con la pareja. Verificar que no existan elementos que rinden resultados confusos: ya sea que todas las personas respondieran de la misma manera o que respondieran de maneras muy diferentes respecto a otras preguntas. Preguntar a las personas por qu respondieron as. Una vez que se entienda el problema con la pregunta, hacer las modificaciones necesarias. Reaplicar la escala para ver si las respuestas coinciden mejor con las expectativas Al reportar los resultados de la escala, habr que describir el proceso mediante el cual se modific la escala original. No se podr aducir el mismo nivel de confiabilidad y validez que se report con la escala original, pero se sabr que el instrumento probablemente fue til para la evaluacin

Algunas consideraciones a tener en mente, al desarrollar o elegir las preguntas y categoras

Asegurar que las personas que responden entiendan el lenguaje de las preguntas: Entienden los trminos que se utilizan, de la misma manera que se pretende? Habr que considerar el lenguaje local. La formulacin de la pregunta, las palabras que quedan fuera, el doble sentido y los modismos (especialmente respecto a las prcticas sexuales), pueden variar de una comunidad o barrio a otro, y pueden surgir prcticas respecto a las cuales no se haba formulado preguntas. Asegurar que se entienda los conceptos de la manera en que el Equipo pretende que se entiendan. Asegurar que los conceptos tengan el mismo sentido para la persona que responde, respecto a lo que se espera. Ejemplos: Quiz se le pregunte a los y las maestras acerca de la autoestima de las nias. Si se obtiene muchos tipos de respuestas, quiz se tenga que trabajar sobre un entendimiento compartido o una definicin de las palabras o las frases clave. Si se desconoce los significados locales, es mejor utilizar datos cualitativos primero para indagar, antes de crear categoras cerradas que no tienen sentido en el contexto local. Quiz se pregunte Tienes relaciones sexuales? Qu significa eso? En algunos lugares, las personas no consideran que el sexo oral o anal constituya relaciones sexuales, aunque la persona entrevistadora s. Los y las jvenes exploran mucho antes del coito; cmo se puede asegurar la captacin de dichas actividades? Como las conductas sexuales son temas tabes, y las personas a menudo suponen que saben lo que significa el sexo y quines tienen relaciones con quines, es buena idea explorar la realidad mediante datos cualitativos primero, para posteriormente poder disear una herramienta cuantitativa que incluya categoras reales y pertinentes a nivel local.

113

Asegurar que el instrumento sea aplicable a las caractersticas especficas de la poblacin/el entorno. Las personas que recolectan los datos no deben tener supuestos innecesarios acerca de las personas que responden. Ejemplo. Si se est aprendiendo acerca de las relaciones sexuales de la poblacin meta, se aplicar la herramienta slo a mujeres heterosexuales? Algunas mujeres habrn tenido o tienen relaciones con otras mujeres? Todas estarn en una relacin con un solo hombre a la vez? Algunas tienen mltiples parejas en el mismo perodo de tiempo? Algunas parejas casadas no tienen relaciones sexuales? Mantener en mente cuestiones de gnero (y edad). Las preguntas son apropiadas tanto para las nias como los nios, para las mujeres como para los hombres? Si se plantea las mismas preguntas a diferentes sub-poblaciones, posiblemente se deje de captar informacin, o se capte diferente informacin de cada grupo Las situaciones son suficientemente realistas como para que las personas puedan responder? Ejemplo. Si se busca evaluar la calidad de las relaciones de pareja, con base en la toma de decisiones respecto a la anticoncepcin, quiz se podra preguntar si la pareja de una mujer se pondra violento si se le pidiera que usara un condn. En algunas culturas, ello no sera apropiado, ya que pedir que se use un condn realmente no constituye una causa de violencia. Casi todas las respuestas obtenidas seran No. Por tanto, esta pregunta no dira mucho acerca del poder en la relacin de pareja. El contexto social o de las polticas hacen que la pregunta sea inapropiada, aunque fuera apropiada en otro entorno? Ejemplo. Las preguntas acerca de la toma de decisiones sobre el nmero de hijos/hijas a tener, son apropiadas en muchos entornos donde las parejas lo deciden libremente. Sin embargo, en China, donde durante muchos aos ha existido en zonas urbanas, la poltica de tener un solo hijo/hija, dichas preguntas seran inapropiadas, ya que la decisin es restringida por la poltica social y el contexto. Quiz sean apropiadas en zonas rurales o en otros pases.

Formular buenas preguntas

Las preguntas deben ser precisas: Hacer uso de un lenguaje sencillo que todo mundo pueda entender, especialmente los grupos con niveles ms bajos de escolaridad y los grupos que hablan diferentes dialectos o idiomas o Mantener el nmero de palabras en 20 o menos, y el nmero de comas en menos de 4 o Evitar el uso del negativo, especialmente el doble negativo Evitar la ambigedad. El Equipo se debe preguntar qu significa una respuesta a la pregunta. Si se obtiene diferentes respuestas, aun dentro del propio Equipo, definitivamente falta especificidad! Asegurar que no existan mltiples interpretaciones de lo que se pregunta o de lo que significan las respuestas Plantear las preguntas con neutralidad. Evitar preguntas que tengan una respuesta socialmente correcta, y no inducir que la persona que responde conteste de cierta manera Cada pregunta debe preguntar una sola cosa. Evitar preguntas que incluyan y u o, ya que no se sabr a qu elemento se responde Evitar opciones que coincidan en algn aspecto, si se pide que la persona que responde elija una respuesta Las preguntas no deben contener supuestos acerca de las personas que responden: Incluir una opcin de no aplica, por si la persona realmente no puede dar respuesta a la pregunta Plantear preguntas filtro que aclaren los supuestos e identifiquen a las personas que responden en cuanto a ciertas preguntas, por ejemplo, preguntar Tiene hijos o hijas?, Estn vivos o vivas? antes de preguntar acerca del comportamiento de los nios y las nias. Ha tenido relaciones sexuales?, Ha incluido la penetracin vaginal? antes de preguntar acerca de la prevencin del embarazo. Las preguntas deben ser planteadas de manera equilibrada: Presentar ambos lados de una actitud dentro de la propia pregunta Proporcionar un conjunto equilibrado de respuestas, tanto negativas como positivas

114

Preguntar acerca de una gama completa de conductas, incluyendo las que son tabes o estigmatizadas, a fin de reducir el efecto de hablar de stas ltimas Asegurar que la persona entrevistadora no sesgue las respuestas mediante gestos o el tono de voz.

Las preguntas deben tener una secuencia lgica, como en una conversacin: Agrupar las preguntas por temas Introducir cada tema nuevo con una breve explicacin de las preguntas que se plantear a partir de ese momento Las preguntas no deben leerse de manera rgida, sino que deben fluir como en una conversacin Las preguntas no deben contener la respuesta Las pregunta no deben incomodar a la persona que responde o hacerle sentir culpable Al abordar conductas ilegales o no aceptadas a nivel social, asegurar la legitimacin de la discusin. Posiblemente se decida preguntar acerca de lo que hacen otras personas, si no se logra que las personas hablen de s mismas respecto a algo ilegal o estigmatizado. Ejemplo: En una evaluacin de un programa dirigido a hombres reclusos, centrado en la prevencin del VIH, posiblemente sea demasiado difcil lograr que los hombres reporten que tienen relaciones sexuales con otros hombres, y de manera particular, que reporten la violencia relacionada con dichos encuentros. Quiz se tenga que pedir que reporten si han odo de encuentros sexuales entre los hombres reclusos y/o con los guardias, y si dichos encuentros fueron violentos. Cmo dar con las preguntas correctas? El primer paso es hablar con las personas en sus propios entornos y aprender su propio lenguaje. Preguntarle a una persona de confianza si ciertas preguntas tienen sentido y qu significan. Una vez que se cuente con las preguntas a utilizar, aplicarlas en un grupo pequeo de personas, que pueden retroalimentar el proceso. Preguntarles si las preguntas tienen sentido, en qu pensaron para contestarlas y cmo les hicieron sentir las preguntas.

Cmo salvaguardar los derechos de las personas? Es preciso implantar ciertos procedimientos, a fin de asegurar la confidencialidad, el anonimato, la privacidad, etc. que se prometieron a las personas que responden. Establecer los cdigos necesarios para identificar la fuente de los datos sin revelar la identidad de la persona Asegurar que las personas que recolectan los datos tomen muy en serio la importancia de no chismear o tomar a la ligera la informacin que oyen durante las entrevistas Asegurar que existan procedimientos para ofrecer ayuda a las personas que revelan algn problema crtico o algn riesgo durante la entrevista, sin violar la confidencialidad o alguno de sus derechos Si una persona no puede responder debido a que hay alguien cerca que pueda or, habr que concertar una cita en otra parte para continuar la conversacin. Cul es la diferencia entre preguntas abiertas y preguntas cerradas? Las preguntas abiertas son interrogaciones que permiten que la persona que responde conteste como guste, sin categoras determinadas de respuestas. Por ejemplo, Qu opina usted de la atencin en salud que ha recibido de la clnica durante el ltimo ao? Las peguntas cerradas tienen un conjunto fijo de respuestas posibles, y la persona que responde elige entre una o varias opciones. Por ejemplo, Usted siente que la atencin en salud que ha recibido de la clnica durante el ltimo ao ha sido: a) excelente; b) buena; c) regular; o d) deficiente? o bien, Cmo lleg a la clnica hoy da? a) autobs, b) taxi, c) carro propio, d) ped prestado un carro o alguien ms me trajo, e) camin, f) bicicleta, g) combinacin de ms de una respuesta, h) otro medio Cuando el personal se recolecta los datos

115

Cuando integrantes del personal del programa se convierten en recolectadores de datos, necesitarn ayuda para mantener separados sus diferentes papeles: Para evitar que sus expectativas del programa influyan en los datos que recolectan Para evitar que ayuden a las personas durante la recoleccin de datos Para asegurar que las personas que responden confen en que pueden responder honestamente, sin perder los servicios o el acceso como resultado de sus respuestas o conductas Tomar en cuenta las siguientes sugerencias: discutir las cuestiones ticas desde el inicio de la capacitacin, y asegurar que todos y todas entiendan la necesidad de separar sus roles o asegurar que el personal entienda que no se utilizar la evaluacin como una evaluacin del desempeo, y asegurar que ello se cumpla o hacer hincapi en la importancia de la evaluacin para aprender nuevas maneras de mejorar el programa y volverse an ms eficaces en su papel programtico o ensearles respuestas estndares que puedan dar cuando las personas que responden les pidan consejos o ayuda, como sera eso lo podemos discutir ms tarde, esto con el fin de que no respondan improvisadamente ni interrumpan la entrevista; al mismo tiempo asegurar que demuestren empata, que sean compasivos/as y que brindan alguna respuesta til o realicen la canalizacin necesaria al trmino de la entrevista establecer directrices muy claras respecto a su papel como recolectadores/as de datos o decirles lo que pueden y lo que no pueden hacer en el sentido de ofrecer ayuda o consejo a las personas que responden o asegurar que puedan brindar ayuda al final de la entrevista o sesin de observacin o asegurar que registren exactamente qu consejo o informacin se brind o ofrecer un folleto o un conjunto fijo de informacin al trmino de la recoleccin de datos hacer todo lo posible por evitar que el personal recolecte datos con personas de las que se hace responsable dentro del programa o de ser posible, asignar al personal la recoleccin de datos con personas de otra rea u otro sitio del programa o asignar al personal a recolectar los datos de personas que no conozcan personalmente o evitar decir al personal si la persona que entrevistan u observan est en el programa o forma parte de un grupo de comparacin incluir explicaciones claras para todas las personas que responden y que participan en el programa o explicar cmo se utilizar los datos o explicar que no se espera una respuesta especfica o asegurar que se sientan cmodas al proporcionar informacin precisa, sin tener que preocuparse por ofender a alguien o por perder el acceso a los servicios utilizar cuestionarios auto-aplicables (si estos son adecuados para captar el tipo de datos necesarios) o asegurar que las personas que responden puedan depositar el cuestionario sin tener que preocuparse de que el personal sepa quines son o cmo respondieron en la seccin de limitantes en el informe final, incluir una referencia sobre quines del personal fueron recolectadores de datos o explicar las precauciones que se tomaron para reducir el posible impacto de dicha prctica o hacer hincapi en los beneficios observados o presentar con honestidad cualquier cuestin o preocupacin persistente Cundo es mejor ser diferente? Frecuentemente se supone que las personas iguales a las que responden sern las ms confiables y por tanto, obtendrn las respuestas ms honestas. Pero a menudo no es el caso. En ocasiones, las personas se sienten ms cmodas al confiar en alguien que consideran diferente y que no les juzgar, como posiblemente lo hara alguien de la comunidad propia. A veces las personas externas a un grupo cultural o social pueden ver las cosas con mayor claridad. Lo importante es la capacidad de la persona de no emitir juicios, lograr que la que responde se sienta cmoda y escuchar abierta y compasivamente.

116

Cundo obtener solamente el consentimiento verbal? Evite pedir una firma (consentimiento escrito) si piensa que hacerlo har que la persona no participe, la pondra en una posicin riesgosa o de alguna manera la incomodara tanto que se comprometera la honestidad de sus respuestas. Si trabaja con una poblacin que podra ser iletrada, debe tener un proceso de consentimiento verbal usted explica la naturaleza de la participacin y los derechos del participante y consigue su consentimiento [verbalmente]. Cundo hay que cuidar el lenguaje? Si se analiza el mismo concepto con diferentes subgrupos, estos pueden entender las palabras utilizadas de diferentes maneras, por ejemplo, los y las adolescentes y sus padres y madres. Es ms importante que las personas que responden entiendan la pregunta, que utilizar exactamente las mismas palabras con todas las personas. Alternativamente, se puede utilizar ambos lenguajes para todas las personas que responden, ej., Estoy entendiendo el concepto X como (insertar la definicin), aunque a veces se conoce como (insertar el modismo). Si se ajusta las palabras de las preguntas para los diferentes grupos, Habr que adelantar cmo se tendr que analizar los hallazgos, probablemente como comparaciones, en lugar de poner todas las respuestas juntas Dejar claro en el informe final, cmo se plantearon las preguntas Explorar el significado de cualquier diferencia encontrada Cuando uno no es suficiente Con el fin de que la recoleccin de datos sea ms rigurosa, se debe recolectar ms de un elemento de informacin sobre cada concepto, especialmente los conceptos que causan mayor incertidumbre. Ello se puede hacer mediante lo siguiente: varias preguntas acerca de un mismo componente de un concepto social complejo una lista de diferentes ejemplos que corresponden a una pregunta; por ejemplo, diferentes mbitos de la vida domstica, en la que una mujer tiene o no tiene autoridad para tomar decisiones autnomas Tener cuidado al reportar lo anterior como un solo indicador. Existen ventajas y desventajas de hacerlo: Ventajas: o si las respuestas realmente deben ir juntas, se puede tener mayor seguridad de que realmente se est midiendo el concepto que se pretenda medir o se podr presentar menos hallazgos Desventajas: o es posible que las respuestas realmente no reflejen el mismo concepto o algunas respuestas pueden tener mucha ms importancia que otras y al juntarlas, se puede perder informacin o uno o ms elementos de la informacin puede contrarrestar los dems y ocultar los resultados verdaderos Para evitar los errores comunes: Siempre considerar los segmentos de datos por separado primero. Todos indican lo mismo? Cuando uno est alto o bajo, los dems estn altos o bajos? Habr que hacer esto durante la prueba piloto del instrumento, as como durante la etapa del anlisis en s. Averiguar qu piensan las partes interesadas de la medicin de las diferentes preguntas u observaciones. Consideran que todas se refieren al mismo concepto? Pero quiz convenga acudir de nuevo a las partes interesadas, una vez que se cuente con los instrumentos reales de recoleccin de datos, a fin de asegurar que las partes interesadas concuerden en que las preguntas realmente reflejan un cierto concepto.) Reportar segmentos de datos separados de manera separada, a menos que exista un antecedente creble o una justificacin claramente vlida para combinar los datos.

117

Cuntas personas se necesitarn para recolectar los datos? Ello depender de lo extenso de la recoleccin de datos, cuntas personas/eventos/documentos sern valorados y el grado de dificultad del proceso de recoleccin de datos Determinar cuntas sesiones de encuesta/entrevista/observacin puede manejar cada persona con precisin en el mundo real, con base en la prueba piloto del instrumento y del plan de recoleccin de datos Si no se cuenta con los recursos para que suficientes personas entrevistadoras apliquen bien el instrumento, habr que reducir el nmero de entrevistas y/o el tamao y complejidad del instrumento Siempre es mejor recolectar pocos datos bien, que recolectar muchos datos mal. Grabar o no grabar? Siempre es tentador grabar las entrevistas o algunos eventos, pero tiene sus ventajas y desventajas. ventajas o es la mejor manera de saber que se ha captado los detalles de eventos o entrevistas complejas o otras personas pueden verificar los datos respecto a la confiabilidad o permite hacer diversos conjuntos de codificacin y anlisis una y otra vez o la mayora de las personas se siente bien y acta con naturalidad, a pesar de la grabacin desventajas o puede afectar negativamente la libertad con la que se comportan las personas o comparten informacin o es necesario tomar precauciones, a fin de mantener la confidencialidad y el anonimato, incluyendo el almacenaje y el borrado de las cintas despus del anlisis o puede ser muy costoso revisar las cintas, en trminos de dinero y tiempo o crea un adicional elemento fsico de informacin que debe ser protegido en virtud del plan de confidencialidad Hay suficiente tiempo para tener un impacto? Anteriormente, en la planeacin de los indicadores, se hizo hincapi en la importancia de establecer indicadores de los cambios que realmente pudieran ocurrir como resultado del programa. Si se ha tenido que recurrir a una lnea media en lugar de una lnea de base, y si se realizar la lnea final en un corto lapso de tiempo despus del fin del programa, habr que considerar qu tipos de cambios pueden darse en el tiempo disponible. Si la lnea media y la lnea final tienen lugar dentro de un perodo de slo tres meses, y se busca cambios en aspectos como la equidad de gnero, habr que asegurar que las preguntas reflejen aquellos antecedentes o elementos especficos que podran cambiar en ese perodo de tiempo. Alternativamente, considerar si conviene recolectar los datos al final del programa y dar seguimiento ms adelante. La confidencialidad y el anonimato Como es muy ntima la informacin personal acerca de la sexualidad, las relaciones personales, las conductas y la salud, es preciso que todas las personas que proporcionan informacin confen en que no se compartir su informacin personal con cualquiera. En los pueblos pequeos donde todo mundo conoce a todo mundo, las personas pueden estar especialmente temerosas de que se dar a conocer los detalles de su vida personal. Respetar la confidencialidad y el anonimato puede ser clave para asegurar la obtencin de informacin precisa, as como para proteger la privacidad de los y las participantes. Algunas cosas que se puede hacer para asegurar la confidencialidad y el anonimato incluyen lo siguiente: Garantizar que las respuestas individuales de los y las participantes no se compartan con nadie excepto el Equipo de evaluacin, a menos que quien responde presente un inminente intento de daarse a s mismo/a o a otras personas. Explicar que se reportar sus respuestas de manera resumida junto con las de otras personas, de tal forma que no se podr identificar a nadie. Recolectar los datos annimamente, y no pedir los nombres de las personas. Si se necesita aparejar encuestas con personas que responden, habr que utilizar cdigos secretos o numricos u otra identificacin nica en lugar de los nombres. Asimismo, se puede pedir que la persona elija un nombre para s mismo/a. Jams decir que la encuesta es annima y luego registrar la identidad en secreto. Si es absolutamente necesario utilizar los nombres de las personas, asegurar que se salvaguarde muy cuidadosamente cualquier material que contenga informacin personal. Almacenar dichos materiales bajo llave en una gaveta o cuarto, y controlar el acceso al mismo.

118

Tener cuidado con los materiales, aun al deshacerse de ellos. Si se tiran a la basura, las personas de la oficina los podrn ver, o el viento se los puede llevar y pueden terminar en otras manos. Es mejor triturarlos o quemarlos. Similarmente, los datos electrnicos deben ser desordenados. Enfatizar claramente al personal y a las personas que recolectan los datos que se considera de suma importancia la confidencialidad de los y las participantes. Comunicar a todas las personas con las que se trabaja, cunto se valora su confianza. En un entorno en el que todas las personas se conocen, se puede cuidar el anonimato y la confidencialidad al reportar nicamente los datos agregados, es decir, slo los hallazgos grupales y no los individuales.

Una nota sobre el anonimato Siempre que sea posible, recolectar los datos de tal forma que cada participante pueda ser annimo/a. Sin embargo, si se busca medir los cambios en los y las participantes a travs del tiempo (ej., la lnea de base comparada con la lnea final), quiz se tenga que cotejar las respuestas del puntaje obtenido en la lnea final de un individuo especfico. Con el fin de emprender algn tipo de anlisis estadstico, quiz tambin sea necesario poder identificar cada caso en diferentes momentos. Por tanto, si se necesita proteger el anonimato, ser necesario incluir algn identificador nico cada vez. Ello puede ser el cdigo que la persona aprende a proporcionar cada vez, o la respuesta a algunas cuantas preguntas que no revelan la identidad, aunque son nicas a l o ella, esto para poder aparejar los datos. Por ejemplo, el lugar de nacimiento de la madre o su color favorito. NOTA: Si se piensa utilizar fotos o citas en los informes o las presentaciones, ser indispensable obtener el permiso de las personas involucradas. A veces no es apropiado dar los nombres verdaderos, sino utilizar un nombre que las personas han elegido y slo identificadores generales, como edad, estado civil y escolaridad, dependiendo de lo que sea pertinente para el informe.

119

Mtodos para la recoleccin de datos

Mtodo: Discusin de grupo focal
Descripcin Los grupos focales son discusiones de grupos conformados por una muestra de personas que han sido cuidadosamente seleccionadas, y que se renen con el fin de contribuir sus opiniones sobre temas especficos. Un grupo focal tpico rene de 4 a 12 individuos, normalmente similares en al menos una dimensin (ej., mujeres casadas u hombres VIH positivos) y seleccionados segn el tema a explorar (uso del condn entre parejas casadas, o acceso al tratamiento antirretroviral). La discusin es dirigida por una persona moderadora o lder del grupo, y se centra en temas preseleccionados. Gua para la discusin: Una lista de preguntas y temas a discutir. La discusin puede ser estructurada o no estructurada; la primera cuenta con una lista de preguntas ms desarrollada, mientras que la discusin no estructurada sigue un boceto o una gua, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La persona moderadora coordina la discusin, mientras que otra persona toma apuntes y diligencia una lista de verificacin de las observaciones. A menudo se graba la conversacin para su trascripcin y codificacin posteriores. Pericia necesaria

Instrumentos

Habilidades relacionadas con la facilitacin de discusiones grupales Habilidades relacionadas con la observacin cualitativa y la toma de apuntes Habilidades relacionadas con el anlisis de datos cualitativos La capacidad de cuantificar las respuestas en caso necesario Para recolectar informacin cualitativa y cuantitativa de varias personas con caractersticas similares Para obtener retroalimentacin de las percepciones que se tienen respecto al programa, o para captar una idea de un pblico particular (ej., los y las clientes de una clnica, nias adolescentes) Para identificar las normas, los valores y las creencias socialmente aceptadas, respecto a temas o aspectos especficos Para identificar qu lenguaje se utiliza para entender ciertos conceptos, ej., para identificar los componentes de conceptos sociales complejos, como la equidad de gnero y el empoderamiento Para probar el lenguaje y/o los conceptos que se consideran pertinentes en ciertos grupos y/o el programa Para dar retroalimentacin a cuestiones como los avisos de servicio pblico o carteles de sensibilizacin Es una forma rpida de obtener informacin (los grupos focales duran de 1 a 2 horas) Es una manera til de obtener informacin (ej., modismos, normas conductuales) antes de disear las preguntas y las opciones de respuesta de una encuesta Recolecta datos ricos y descriptivos Tiene una alta tasa de respuesta, si coincide con el horario de los y las participantes La logstica relacionada con organizar entrevistas grupales lleva mucho tiempo (ej., la necesidad de programarlas en torno al tiempo de los y las participantes, no el propio; la posibilidad de tener que ofrecer cuidado de los nios y las nias o algn alimento ligero, etc.) Tiende a dar con las normas en lugar de la gama entera de experiencias o conductas, especialmente si stas son delicadas o estn estigmatizadas Los grupos mixtos pueden inhibir la participacin de las mujeres. Aun en grupos de un solo sexo, una o dos personas pueden dominar la discusin. No debe utilizarse para suplir un nmero grande de entrevistas individuales Posiblemente sea necesaria la trascripcin (escuchar y registrar), lo que puede llevar mucho tiempo Posiblemente las personas slo den respuestas socialmente aceptables Una persona o unas cuantas personas pueden establecer una tendencia, o dirigir la discusin, de tal forma que quedan suprimidas las ideas de los dems

Cundo utilizarla

Ventajas

Desventajas

Consideraciones para el anlisis (errores comunes, sesgos)

120

Niveles de tiempo y recursos necesarios

Pocos a medianos recursos si se organiza dentro de la organizacin Es indispensable contratar una persona facilitadora altamente calificada La trascripcin frecuentemente resulta costosa El anlisis lleva mucho tiempo No se puede proteger la confidencialidad El consentimiento informado requiere que todas las personas presentes acuerden mantener la confidencialidad y el anonimato de la informacin compartida. Evidentemente cada una sabe lo que dijo cada quien, pero deben respetar los derechos y la informacin de los y las dems participantes Si las personas se perturban por la discusin, posiblemente no tengan la manera de expresarse u obtener la ayuda que requieren Las personas con conductas atpicas o estigmatizadas posiblemente no las revelen en el grupo, ni expresen opiniones impopulares

Aspectos ticos sensibilidad

de

121

Mtodo: Ejercicios participativos basados en la comunidad

Descripcin Se puede utilizar varios mtodos participativos para generar datos. Los mtodos principales incluyen los siguientes: mapeos, tarjetas ilustradas, juegos de roles anlisis FODA, anlisis del poder, anlisis del campo de fuerzas Hojas de codificacin, listas de verificacin, apuntes y conclusiones escritas o grabadas; hojas de tabulacin de datos Habilidades para ejecutar programas participativos y para facilitar procesos grupales Mapeos, tarjetas ilustradas, juegos de roles con poblaciones con bajo nivel de alfabetizacin; dentro de proyectos participativos para demostrar los cambios en la distribucin de atributos, problemas comunitarios y conductas interpersonales percibidas Anlisis FODA, anlisis del poder, anlisis del campo de fuerzas son ms pertinentes en los programas de abogaca y otros programas que trabajan para cambiar el entorno poltico y de polticas; para demostrar los cambios en el contexto sociopoltico ms amplio Ventajas Si se aplica sistemticamente en situaciones de pre- y post-prueba o en grupos de comparacin, pueden proveer datos ricos provenientes de una amplia gama de poblaciones El grado en que se pueda comparar depender mucho de la composicin de los grupos y de qu tan sistemticamente se realiza la aplicacin Se puede contar las categoras o proveer descripciones cualitativas

Instrumentos Pericia necesaria Cundo utilizarlos

Desventajas Consideraciones para el anlisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios Aspectos ticos sensibilidad y de

Requieren de habilidades relacionadas con las tcnicas, as como tiempo para el trabajo grupal y para registrar los hallazgos Son especialmente aplicables en comunidades de bajos recursos que ya estn involucradas en procesos participativos Los y las participantes obtendrn nuevos conocimientos por medio de estos mtodos, y los programas deben darse cuenta que tienen un impacto y que deben dar seguimiento Pueden llevar a que los y las participantes desarrollen expectativas de servicios o bienes que no se puede brindar Pueden llevar a mayores conocimientos, a la apropiacin y al empoderamiento de los y las participantes, por lo que no se debe aplicar de manera aislada, sin algunos componentes programticos

122

Mtodo: Encuesta
Descripcin En una encuesta, se plantea una serie de preguntas de manera igual a todas las personas que responden (personas que diligencian el cuestionario). Se puede aplicar encuestas de las siguientes maneras: por medio de una persona entrevistadora en un entorno de persona a persona (una persona entrevistadora lee el cuestionario a la persona que responde y la primera marca las respuestas), por telfono o por Internet. autoaplicada: (la persona que responde diligencia el cuestionario sola, sin la entrevistadora) Las encuestas frecuentemente utilizan preguntas cerradas, y se aplican a nmeros grandes de personas. Algunas encuestas tambin pueden incluir unas cuantas preguntas abiertas. Instrumentos Gua de la entrevista: Un documento que orienta a las personas entrevistadoras respecto a qu preguntas plantear y en qu orden. Introduccin: Un texto que la persona entrevistadora lee en voz alta o que lee la persona que responde, el cual proporciona informacin acerca de la naturaleza y el uso de la encuesta, incluyendo instrucciones generales para responder a las preguntas; asimismo, explica cmo se proteger la confidencialidad/el anonimato. Cuestionario: un conjunto de preguntas planteado a cada participante o persona que responde, de manera exactamente igual, ya sea de manera verbal o escrita. Pericia necesaria Diseo de la encuesta Habilidades relacionadas con la conduccin de una entrevista de persona a persona (en el caso de este tipo de aplicacin) Diseo de una base de datos computarizada, si se utiliza terminales de computadoras en encuestas autoaplicadas Suficiente conocimiento para poder distribuir sistemticamente Habilidades relacionadas con el anlisis de datos (cuantitativos y/o cualitativos, dependiendo de los datos recolectados) Para recolectar datos cuantitativos (preguntas cerradas) o cualitativos (preguntas abiertas) Cuando se desea recolectar datos de grandes nmeros de personas, haciendo uso de preguntas cerradas Las encuestas autoaplicadas y las entrevistas de persona a persona son ms apropiadas en el MyE a pequea escala, que en encuestas a grande escala

Cundo utilizarla

Ventajas

De la encuesta en general: Es fcil comparar las respuestas Es relativamente fcil analizar Permite tener una muestra relativamente grande Es fcil presentar y entender los resultados La aplicacin requiere menos habilidades que la entrevista abierta

De la encuesta autoaplicada: Puede ser annima; baja en costo Sirve para valorar conductas, actitudes y creencias difciles de reconocer en presencia de otra persona, como las conductas ilegales o muy estigmatizadas

De la encuesta aplicada de persona a persona: Faltan menos datos, se puede asegurar la diligencia de todas las preguntas a las que la persona que responde est dispuesta a contestar; se puede aclarar la terminologa y las respuestas de manera sistemtica Se puede adaptar al contexto y a las personas especficas, incluyendo la instruccin de saltarse preguntas que no aplican

123

 Desventajas

Permite canalizar los casos en los que se detecta alguna crisis o un problema

De la encuesta en general: Si las preguntas o las opciones cerradas son inapropiadas para el contexto local, incorrectas o estn sesgadas, pueden faltar datos o estos pueden ser engaosos. Se puede dificultar el diseo que evite sesgos y que sea apropiado a temas delicados No capta informacin espontnea Slo arroja respuestas predeterminadas que posiblemente no sean las mejores para entender el aspecto en cuestin Impone opciones predeterminadas a la persona que responde A menudo no se sabe lo que una respuesta realmente significa A menos que se acompae de preguntas abiertas, no habr oportunidad para aclarar las respuestas

De la encuesta autoaplicada o telefnica: Faltan datos debido a que no hay oportunidad para aclarar el significado de una pregunta (autoaplicada) No es posible aplicarla en poblaciones analfabetas o de bajo nivel de alfabetizacin Requiere una computadora y programas especializados en el caso de grupos grandes; un sistema confiable de correo si se enva el cuestionario por este medio; o acceso amplio al telfono Presenta la posibilidad de obtener una baja tasa de respuesta, si se realiza por correo/Internet/telfono

De la encuesta aplicada de persona a persona Falta de anonimato Requiere de mucho tiempo del personal La presencia de la persona entrevistadora puede afectar las respuestas Consideraciones para el anlisis (errores comunes, sesgos) De persona a persona: Los sesgos y las expectativas de la persona entrevistadora pueden alterar las respuestas La persona entrevistadora debe evitar mostrar aprobacin o desaprobacin de las respuestas

Autoaplicada o telefnica: Es necesario realizar un seguimiento para lograr una tasa de respuesta aceptable, si se enva por correo o se aplica va telefnica Niveles de tiempo y recursos necesarios Pocos recursos para el desarrollo, si se logr localizar un instrumento existente, diseado para un propsito y una poblacin similares Pocos recursos en encuestas autoaplicadas Recursos medianos para aplicar encuestas de persona a persona Mayores recursos para planear, disear y analizar la encuesta Es preciso cuidar la confidencialidad, aunque en ocasiones es necesario identificar los casos (por ejemplo, los casos de abuso sexual de menores, y para encontrar a los individuos para efectos de comparar entre pre- y post-programa) No se debe utilizar incentivos, aunque se podra compensar el tiempo con el cuidado de los nios y las nias o cubrir el transporte Los cuestionarios autoaplicados permiten el anonimato en los casos de aspectos delicados Posiblemente se obtenga niveles ms precisos de conductas estigmatizadas o socialmente inaceptables La entrevista de persona a persona puede brindar apoyo sensible, respuestas solidarias y la canalizacin de casos con problemas o crisis detectadas, as como responder a solicitudes de la persona que responde

Aspectos ticos sensibilidad

de

124

Mtodo: Entrevista a profundidad

Descripcin Una entrevista a profundidad es un tcnica utilizada para recolectar datos cualitativos y/o cuantitativos, mediante una discusin detallada y personalizada entre la persona entrevistadora y la entrevistada; permite que la primera entienda las percepciones, actitudes y pensamientos que tiene la segunda acerca de varios temas. La persona entrevistadora utiliza una gua o un protocolo de la entrevista: una lista de preguntas y temas a abordar. La entrevista puede ser estructurada o no estructurada; la primera conlleva una lista de preguntas ms estandarizada y especfica, mientras que la entrevista no estructurada sigue un boceto o gua del tema, y permite mayor variacin en el tema de conversacin y en cmo fluye la discusin. La entrevista puede abordar la historia de vida de la persona, o puede estar organizada en torno a temas especficos. Pericia necesaria Cundo utilizarla Buenas habilidades para conducir entrevistas, de tal forma que propicien que la persona que responde proporcione informacin completa y precisa acerca de una amplia gama de temas, algunos de los cuales pueden ser bastante delicados Sensibilidad respecto a las diferencias culturales y lingsticas en el significado de las palabras; comprensin del lenguaje corporal Habilidades relacionadas con el anlisis de datos cualitativos y/o cuantitativos Para obtener informacin acerca de temas que no se prestan a entrevistas grupales (i.e., aspectos delicados e historias de vida) Para entender las variaciones y los puntos comunes en la experiencia, la comprensin y el lenguaje Cuando se necesita comprender cmo elaboran las experiencias las personas Cuando se est explorando temas desconocidos y se necesita utilizar preguntas abiertas Para indagar sobre una amplia gama de temas respecto a los cuales la persona que responde comparte sus opiniones, actitudes y percepciones, y reporta la ocurrencia de ciertas conductas o eventos Permite obtener informacin profunda, detallada y desde adentro de una situacin o entorno Una persona entrevistadora capaz puede obtener informacin excelente y brindar apoyo o hacer la canalizacin a otros servicios en caso necesario La presencia de la persona entrevistadora y su posicin pueden sesgar las respuestas y limitar la espontaneidad de la que responde La persona entrevistadora puede transmitir sus opiniones sutilmente, lo que influira en las respuestas Se obtiene opiniones de pocos individuos a un costo relativamente alto Requiere de habilidades bien desarrolladas para evitar sesgar las respuestas Tiene una alta tasa de respuesta, si la entrevista se acomoda al horario de los y las participantes Requiere de habilidades para poder aprovechar los datos Es necesario evitar la sobre generalizacin de los hallazgos y los datos recolectados de un grupo reducido de personas Fuerte compromiso de tiempo (1-2 horas invertidas en cada entrevista individual), especialmente si la persona entrevistadora tiene que ir de casa en casa Bajo costo si se lleva a cabo con el personal de la organizacin Costo mediano a alto si se contrata la conduccin de las entrevistas externamente El anlisis requiere de habilidades y lleva mucho tiempo Frecuentemente el simple hecho de indagar o mostrar inters en ciertos temas, puede quebrantar las defensas de la persona que responde, lo que requiere de un manejo sensible y algo de seguimiento. Se puede brindar apoyo y solidaridad, pero debe ser de tal forma que no sesgue las respuestas Si se conduce bien, es ms probable obtener informacin delicada acerca de temas atpicos o tabes Es preciso que la persona entrevistadora mantenga la confidencialidad y jams revele informacin que podra causar dao o estigmatizar a las personas que responden

Instrumentos

Ventajas

Desventajas

Consideraciones para el anlisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios

Aspectos ticos sensibilidad

de

125

Mtodo: Observacin (participativa, no participativa)

Descripcin La observacin es un proceso sistemtico mediante el cual se registra los patrones de conducta de las personas, objetos y ocurrencias, de maneras que difieren del planteamiento directo de preguntas y de la comunicacin directa (aunque frecuentemente se realiza la observacin en conjunto con una entrevista). Las personas que evalan pueden utilizar tcnicas de observacin con el fin de observar componentes o actividades del programa, as como el comportamiento de individuos y grupos. Las observaciones normalmente quedan registradas en un escrito, en forma de apuntes de campo. En ocasiones, tambin se utiliza el video o la pelcula. La observacin participativa implica que la persona observadora participa en la actividad, grupo u ocurrencia bajo investigacin. La observacin no participativa significa que la persona observa la actividad, el grupo o la ocurrencia desde fuera. El cliente simulado es una forma de observacin en la que la persona hace creer que es un/una participante o cliente, y no revela su verdadera identidad. Con el fin de evitar problemas ticos, el personal debe saber que se presentar un cliente simulado en momentos indefinidos, esto ltimo con el propsito de evaluar ciertas caractersticas de la prestacin del servicio. Es necesario obtener el debido consentimiento de las personas con autoridad en el entorno en cuestin. Se hace uso frecuente de entrevistas in situ junto con la observacin. Aqullas son entrevistas informales con participantes que se encuentran en el lugar, donde la interaccin es mucho ms natural y conversacional. Los instrumentos que se puede utilizar en las observaciones incluyen listas de verificacin, cuestionarios con preguntas abiertas y formularios (descriptivos o narrativos), que permiten que la persona observadora registre sus apuntes y observaciones. Habilidades para hacer entrevistas que dejan que el observador hable con los participantes de una manera discreta, respetuosa y efectiva. Sensibilidad a las diferencias culturales y lingsticas en los significados de las palabras y el entendimiento del lenguaje corporal Conocimiento de cmo escribir apuntes de campo para grabar observaciones Conocimiento de cmo desarrollar un formulario para recolectar datos Cuando se necesita ver conductas observables en el momento en que se dan en la vida real, especialmente las relacionadas con temas o conductas muy delicadas, as como actitudes tabes, debido a que la observacin permite ver cmo suceden las cosas en realidad, no cmo estn dispuestas las personas a reportarlas Cuando se necesita entender cmo sucede algo en un contexto social y en la vida real, tal y como se vive Cuando se desea saber cmo actan las personas y no slo cmo hablan de las cosas Cuando se desea entender significados implcitos y no hablados Cuando ciertos eventos, como la interaccin entre el/la paciente y el mdico/la mdica, las reuniones de comits, los debates legislativos, son centrales al programa, y el comportamiento que ocurre en ellos constituye un indicador importante Cuando se necesita evitar que las personas enmarquen sus experiencias, creencias y actitudes dentro de un conjunto predefinido de palabras o valores determinados por la persona que evala, es decir, la encuesta tradicional con preguntas cerradas Cuando se desea valorar con mayor precisin, los cambios en la conducta, evitando los casos en que las personas reportaran lo que consideran que la persona entrevistadora desea saber Permite ver un programa en operacin y obtener informacin acerca de cmo funciona Permite ver conductas y actitudes socialmente indeseables en accin Permite construir confianza entre la persona observadora y los y las participantes Permite captar el silencio que se da en torno a aspectos importantes Los y las participantes pueden portarse bien cuando saben que se les observa Posiblemente no se observe las conductas poco frecuentes dentro del periodo de tiempo disponible

Instrumentos

Pericia necesaria

Cundo utilizarla

Ventajas

Desventajas Consideraciones para el anlisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios

Un fuerte compromiso de tiempo Se requiere una persona con habilidades para realizar observaciones sistemticas y cuidadosas El anlisis puede llevar mucho tiempo

126

Aspectos ticos sensibilidad

de

La confidencialidad: Si la persona observadora se percata de conductas peligrosas o ilegales, posiblemente las tenga que reportar, lo que podra contravenir la confidencialidad y la confianza Es difcil observar conductas ntimas (ej., relaciones sexuales)

127

Mtodo: Revisin documental y de registros, incluido el anlisis de los medios

Descripcin Este mtodo implica revisar documentos como los registros de las actividades del programa, registros mdicos, datos demogrficos, datos oficiales (ej., educativos o municipales), minutas de reuniones, contenidos en los medios, inventarios, estadsticas del servicio y otros registros. Otras fuentes de datos incluyen las estadsticas rutinarias del proyecto, encuestas realizadas en las instalaciones, encuestas de proveedores de clientes, peridicos, programas televisivos, publicidad e informacin de la gerencia.

Dichas revisiones documentales normalmente implican contar la frecuencia de diversos comportamientos u ocurrencias, como el nmero de visitas a la clnica, el nmero de embarazos no deseados, la frecuencia en las visitas prenatales, etc. En muchos casos, el programa ya cuenta con datos recolectados sistemticamente.

En algunos casos, se puede obtener datos cualitativos de estas fuentes y presentarlos de manera no numrica, mediante citas y ejemplos que demuestren las tendencias en los cambios, como por ejemplo, el cambio a travs del tiempo en la cobertura que los peridicos dan a los derechos relacionados con el aborto. Instrumentos Las herramientas que se pueden utilizar para la revisin documental incluyen listas de verificacin o formularios en los que se registra apuntes y se tabula la frecuencia de la ocurrencia encontrada en los registros. Es necesario contar con un esquema claro de codificacin para tabular con eficacia. Ventajas Conocimiento de cmo desarrollar un esquema de codificacin Familiaridad con el medio a revisar (ej., crticas de los medios, anlisis de datos oficiales) Cuando ya existen sistemas para la recoleccin de datos, sta es relativamente sistemtica, los sistemas estn bien estructurados y recolectan datos confiablemente Cuando de otra manera no se tendra acceso a la informacin Para estudiar tendencias en el pasado Para documentar la provisin del servicio como se da actualmente o como se daba anteriormente Para reconstruir datos de base Cuando los objetivos se centran en cambios en los medios, en la provisin del servicio, en los comits entre organismos, etc. Es una fuente objetiva de datos Los datos pueden existir con anterioridad, lo que elimina algunos costos de la recoleccin de datos Ciertos datos recolectados con regularidad tienen en marcha un mecanismo congruente para la recoleccin de los mismos Permite estudiar tendencias en el pasado Puede proporcionar informacin acerca de poblaciones grandes, incluso acerca de resultados finales, ej., registros de salud Los datos no siempre estn completos, no siempre son confiables y pueden tener sesgos indeterminados Puede ser difcil la interpretacin, sin el contexto apropiado sobre el programa/la ocurrencia que se est investigando Puede llevar mucho tiempo si es difcil encontrar los registros y si son extensos Tiende a contener grandes categoras de datos sin mucha atencin al detalle Frecuentemente no contiene todas las categoras posiblemente requeridas por el proceso de MyE en cuestin Las categoras de los datos pueden ser similares en apariencia a las del MyE, pero no lo suficiente para permitir comparaciones reales Posiblemente fueron insuficientes las definiciones utilizadas y la capacitacin impartida para la diligencia de los registros, de tal forma que se desconoce las condiciones bajo las cuales se ingresaron los mismos Posiblemente los datos estn falsificados, si las personas que los registraron estaban bajo presin para registrar altos niveles en indicadores de desempeo Altos si es necesario codificar los registros Altos si es necesario transformar los datos en categoras que coincidan con las de los instrumentos propios de la recoleccin de datos

Pericia necesaria Cundo utilizarla

Desventajas

Consideraciones para el anlisis (errores comunes/sesgos)

Niveles de tiempo y recur-

128

sos necesarios Aspectos ticos sensibilidad y de

Bajos si los registros ya estn metidos en una base de datos utilizable Posiblemente el consentimiento no sea factible si se trata de revisar registros viejos Problemas relacionados con la confidencialidad Posiblemente no existan datos registrados sobre aspectos ilegales o delicados que podan llevar a consecuencias negativas para la persona que registr la informacin o la persona que respondi originalmente, ej., causa de muerte reportada como sangrado, sin mencionar un aborto inducido, si existen consecuencias legales en dichos casos.

Mtodos e instrumentos de recoleccin de datos Mtodo Entrevista Instrumento Gua para la entrevista o cuestionario con preguntas cerradas y/o abiertas Cuestionario (preguntas cerradas); puede incluir algunas preguntas abiertas Gua para la discusin (abierta o cerrada); gua para la observacin Apuntes de campo, lista de verificacin, lista de conductas o eventos a contar, cuestionario abierto (descriptivo o narrativo) Lista de verificacin, hoja de cdigos y esquema de cdigos

Encuesta (autoaplicada, por correo, por telfono, de persona a persona) Discusin de grupo focal

Observacin (participativa, no participativa)

Revisin documental (anlisis del contenido de los medios, inventarios, revisin bibliogrfica, registros clnicos, estadsticas, registros) Ejercicios participativos basados en la comunidad: mapeo, tarjetas ilustradas, juego de roles, anlisis FODA, anlisis del poder, anlisis del campo de fuerzas

Listas de verificacin, hojas de cdigos, resmenes de las conclusiones

129

Nombrar lo innombrable A menudo es necesario hacer una introduccin especial a temas muy sensibles o altamente estigmatizados. Sin exagerar la evidencia, habr que introducir el tema y mencionar a la persona que responde, que algunas personas realizan la conducta en cuestin, aunque se les dificulta hablar de ella. Ejemplo. Ahora le vamos a preguntar sobre la masturbacin. Aunque para algunas personas es difcil hablar del tema, muchas personas totalmente normales lo hacen. Alguna vez se ha masturbado? O bien, por favor cunteme de sus experiencias con la masturbacin. Por qu convertir datos cualitativos en indicadores numricos? Porque puede ser muy eficaz. Posiblemente se tenga que recolectar datos cualitativos si se desconoce cmo se presenta algn fenmeno en el contexto local. Pero una vez que se conoce la gama de conductas que describen dichos datos y los tipos de significados que expresan, quiz se quiera reportar cuntas personas de las observadas o entrevistadas hicieron o dijeron algn elemento de inters. Al transformar los datos cualitativos no numricos en datos numricos, se podr cuantificar y graficar las cifras (va grficas, histogramas, etc.) y se lograr identificar tendencias. Qu es lo que realmente significa consentimiento informado? Es necesario tomar en serio ambas partes de este concepto: Informado significa que las personas tienen que haber recibido y entendido la naturaleza del estudio y su participacin en l, cmo se utilizar la informacin y cmo se proteger su privacidad y/o la confidencialidad. No es suficiente presentar una descripcin escrita o verbal; es preciso asegurar que la persona entienda la explicacin. Ello constituye un desafo especial cuando las personas que responden son analfabetas, hablan un idioma o dialecto diferente, tienen un nivel muy bajo de escolaridad, o son tmidas o reservadas en el sentido de hacer preguntas. Consentimiento la persona que responde realmente tiene que tener la posibilidad de negar su participacin, sin presin, coercin o sentimientos de culpa. Pueden existir tambin consideraciones de ndole jurdico, por ejemplo, si la persona es menor de edad, o en algunas situaciones, una mujer sin autoridad para otorgar el permiso autnomamente. Si bien este tipo de situacin violenta el anonimato, an se podra garantizar la privacidad y la confidencialidad de los datos realmente recolectados. Qu habilidades habr que fortalecer? De ser posible, elegir personas que: Puedan ser objetivas al escuchar y registrar, as como en las interacciones con las personas que responden Se sientan cmodas al hablar con el tipo de personas de quienes recolectarn datos Estn motivadas para indagar sobre qu tan bien funciona el programa, no slo mostrar lo bueno que es. Ello significa que las personas que recolectan los datos deben ser capaces de distanciarse de la retroalimentacin negativa que puedan recibir respecto al programa, y de saber que a la larga, dicha informacin contribuir al mismo. Pedir al educando que haga apuntes de campo. Revisarlos conjuntamente y discutirlos. Asegurar que sean pertinentes y objetivos, y que estn completos.

La capacitacin para fortalecer habilidades debe incluir lo siguiente: Tcnicas de observacin y de escucha, haciendo uso de los juegos de roles entre las y los educandos Cmo evitar preguntas que inducen una respuesta: o Ser conveniente dar muchos ejemplos de este tipo de preguntas o Desarrollar un guin detallado para cada persona entrevistadora, con elementos especficos de sondeo, para cuando se necesite ms informacin Cmo evitar sesgar las respuestas y reforzar conductas: o Cuidar los gestos y ademanes o Cmo ser neutral pero compasivo/a o Lo que hay que evitar y lo que se puede hacer

130

Tcnicas tendientes a legitimar la discusin de temas tabes o muy delicados; por ejemplo, posiblemente los hombres necesiten que se legitimen algunos temas para que puedan hablar de sus sentimientos. o Incluir una introduccin a cada seccin o sub-seccin que aborda aspectos delicados. Explicar qu tema ser abordado y las partes que pueden ser difciles, pero que es ms comn que lo uno cree; o bien, algn enunciado preciso que legitime el tema, por qu es importante la informacin y cmo se utilizar. o No emitir juicios de valor o Si se utiliza respuestas cerradas, quiz convenga poner las preguntas ms estigmatizadas primero, para que se consideren ms aceptables. De esta manera, la persona que responde no tiene que descartar lo que no es, antes de llegar a lo que es. Sensibilidad a respuestas atpicas y cmo manejarlas o Sensibilizar a las personas entrevistadoras respecto a las posibilidades atpicas, y ensearles a evitar los supuestos o Asegurar que sepan que en sus reuniones regulares, pueden reportar si ciertas preguntas les incomodan, y que obtendrn ayuda para manejar dichas situaciones Captar informacin acerca de conductas inseguras o peligrosas o Tener claras las directrices legales aplicables en el contexto local. Si la persona entrevistadora tiene la obligacin por ley de reportar cierta informacin, debe comunicar dicha situacin a la persona que responde antes de comenzar la entrevista o Aun si no existe la obligacin por ley, el Equipo de MyE debe establecer un protocolo claro, con el fin de que las personas entrevistadoras sepan qu hacer en caso de enterarse de conductas inseguras o ilegales o El protocolo debe incluir una manera sistemtica de ofrecer ayuda o de canalizar a la persona que responde Las normas culturales de las personas que responden (cuando la subcultura tiene normas diferentes) o Evitar situaciones en las que la persona entrevistadora no pueda obtener la informacin debido a algn prejuicio cultural, como sera que las mujeres casadas sientan que no pueden hablar de relaciones sexuales con una mujer ms joven y soltera o Asegurar que las personas entrevistadoras sepan que pueden reportar los dilemas culturales que enfrenten

La capacitacin debe: Dedicar mucho tiempo al juego de roles y a ensayos De ser posible, grabar las entrevistas y pedir que cada educando se autoevale. Alternativamente, observar a la persona durante una entrevista y dar retroalimentacin especfica acerca de cmo la hizo. Indicar y corregir lo siguiente: o las oportunidades perdidas para hacer preguntas o indagar o las interrupciones por parte de la persona entrevistadora o los comentarios juiciosos o el aliento a ciertas respuestas o las tensiones y el estrs introducidos por la persona entrevistadora o los momentos en que la entrevista se desvi y se convirti en una conversacin sin enfoque en las preguntas o si la persona entrevistadora perdi el control de la entrevista y la que responde se fue por otro rumbo a temas irrelevantes Centrarse en contribuir a que las personas que recolectan los datos aprendan a buscar siempre la manera de ayudar a las personas a dar las respuestas ms precisas posible Identificar a las personas cuyas actitudes y habilidades simplemente no contribuyen a que las personas se sientan cmodas. En estos casos, habr que encontrarles otras tareas y no utilizarlas como recolectadoras de datos Qu hacer cuando no hay nadie en casa? No slo en el caso de las visitas domiciliares sino en cualquier recoleccin de datos, posiblemente no se encuentre a las personas o los documentos donde y cuando se esperaba. Asegurar el establecimiento de

131

reglas claras para el seguimiento, y que las personas que recolectan los datos las acaten; asimismo, que se registre los datos faltantes y los intentos por encontrar dichos datos, en un formulario preestablecido.

seguimiento determinar reglas claras respecto a lo que deben hacer las personas que recolectan los datos para dar seguimiento, a fin de obtener los datos necesarios o suplir fuentes de datos, esto para evitar que se filtren los sesgos. Habr que decidir lo siguiente: o cuntas veces las personas que recolectan los datos visitarn el sitio para obtener los datos o cuntas llamadas telefnicas se realizar para fijar un cita o qu debe hacer la persona recolectadora de datos cuando falta un documento o cuando una persona se rehsa a dar informacin tasas de rechazo las variaciones en el nmero de personas que se rehusaron a participar en la recoleccin de datos, segn los diferentes subgrupos o grupos de comparacin, pueden afectar el significado de los hallazgos. Habr que monitorear lo siguiente: o el nmero total de participantes dentro de cada subgrupo o el nmero de rechazos en cada grupo cuestiones de ausentismo - algunos grupos pueden ser ms difciles de localizar, y posiblemente se presenten con menos frecuencia en el sitio acordado para la recoleccin de datos. La tasa de desercin en valoraciones de segunda y tercera vuelta puede ser el resultado de factores tanto internos como externos. Es necesario monitorear lo siguiente: o las veces que se acudi al sitio para la recoleccin de datos y que no se encontr a la persona necesaria o cuntas personas de ciertos grupos o cuntos documentos de cierto tipo faltaron, ej., en clase o en los archivos. Ejemplo. Si la lnea de base empez con un nmero igual de nios y nias, pero los nios no se presentaron para la lnea media o final, los hallazgos quedarn fuertemente alterados y pueden indicar la necesidad de hacer cambios en el programa o bien, pueden reflejar algn evento externo que impidi que los nios asistieran, como sera un nuevo club de ftbol en el pueblo.

Qu hacer si nunca se ha capacitado a personas que recolectan los datos? Si no se tiene claro cmo capacitar a otras personas en los mtodos de recoleccin de datos, habr que considerar la posibilidad de identificar a alguien externo a la organizacin, que tenga mayor conocimiento sobre la recoleccin de datos y que pueda capacitar a las personas, como sera algn docente en una universidad cercana, o un/a colega de otra organizacin (gubernamental o no gubernamental). Las y los psiclogos o antroplogos a menudo tienen habilidades en impartir este tipo de capacitacin, y podran orientar o contribuir a que se aprenda cmo dar la capacitacin. Qu pasa si esta informacin es muy delicada? Siempre es indispensable respetar el nivel de comodidad de la persona. Jams presionar a nadie a contestar una pregunta respecto a la cual parecen ser reacios/as a contestar. Recordar que las personas pueden rehusarse a contestar cualquier pregunta, y pueden terminar la entrevista/encuesta en cualquier momento. Una buena introduccin y un buen proceso de consentimiento ayudarn si se explica claramente por qu se necesita la informacin y cmo se utilizar. Habr que hacer el esfuerzo por conseguir el apoyo de la persona. Asimismo, habr que explicar cmo se proteger el anonimato y/o la confidencialidad. Si an as la persona se rehsa, habr que respetar su derecho de hacerlo. Si un nmero inesperadamente alto de personas quiere saltarse una pregunta o se rehsa a participar en la recoleccin de datos del todo, habr que repensar el mtodo, la tcnica de la entrevista y quiz las comparaciones que se necesitan. Preguntarles directamente, de una manera no amenazante, por qu se rehsan a participar, a fin de entender por qu no funciona el plan. Si las respuestas a las preguntas delicadas son indispensables para la utilidad de los datos, ser conveniente incluir dicha(s) pregunta(s) en una etapa temprana de la entrevista; de esta manera, si la persona se rehsa a proporcionar la informacin, se podr terminar la entrevista antes de recolectar la dems informacin. Las personas entrevistadoras deben preguntarse: Estoy contribuyendo a que hable(n) de este tema? Habr que intentar diferentes maneras de lograr que las personas se sientan bien al hablar de temas difciles y delicados.

132

Sugerencias para capacitar a las personas que recolectan los datos en habilidades para la observacin La observacin puede arrojar datos muy ricos debido a que se observa la vida tal y como se vive, materialmente. Brinda la oportunidad de ver cmo se dan las cosas en la vida real, as como la riqueza del contexto sociocultural de una persona. Para capacitar a las personas observadoras: comenzar con que lean un buen ejemplo de un estudio basado en la observacin localizar un extracto de apuntes de campo buenos, a compartir con las personas que llevarn a cabo las observaciones llevar a las personas que recolectan los datos a un entorno, como sera un lugar pblico, la casa de alguien, la sala de espera de una clnica: o pedir que observen durante un perodo de 30 a 60 minutos o pedir que tomen nota de: lo que dicen y no dicen las personas o el tono de voz de las personas, el movimiento de su cuerpo y los gestos o cmo interactan y no interactan las personas entre s o las reacciones a eventos o a otras personas o las normas que aparentemente rigen la conducta en este entorno o el foco de la conducta y la interaccin, ej., un cumpleaos, la consecucin de una cita, el regateo en el mercado o las diferencias entre los subgrupos, como seran los hombres y las mujeres, jvenes y mayores, personas de diferente color, etnia o tribu Al dejar el sitio, pedir que se sienten en un lugar tranquilo a escribir y registrar todo lo que observaron, incluidas sus impresiones Revisar sus apuntes junto con una persona etngrafa experimentada, y proporcionar retroalimentacin a fondo Una vez que se haya decidido las categoras principales de informacin acerca de la cual se desea recolectar datos, se puede proporcionar a cada persona observadora, formularios con cada categora, a fin de que sus observaciones y apuntes se puedan centrar en el punto de inters inmediato. Qu tipo de informacin deben contener los instrumentos de recoleccin de datos? Informacin descriptiva acerca de la fuente de datos y del evento de recoleccin de datos: Incluir informacin acerca del sitio/la ubicacin, fecha, hora, duracin de la recoleccin de datos, y el nombre de la persona recolectadora de datos. Al recolectar datos directamente de las personas, se debe incluir una seccin de preguntas que recolecten informacin acerca de la situacin social y demogrfica de la persona que responde, como seran edad, raza/etnia/religin, ocupacin y sexo. Se debe recolectar informacin socio demogrfica, independientemente del mtodo utilizado para la recoleccin de datos grupos focales, encuestas, etc. Las preguntas socio demogrficas son importantes porque permiten lo siguiente: Entender de quines se recolecta datos Dividir las personas que responden segn criterios importantes y pertinentes para las preguntas que se pretende contestar Identificar los factores que podran alterar los hallazgos Asegurar que sean comparables las recolectaciones pre- y post-prueba y el grupo de comparacin Qu pasa si esta informacin es muy delicada? Centrarse en los indicadores: El grueso del instrumento de recoleccin de datos estar conformado por preguntas especficas, temas a abordar o sitios donde se observar, que proporcionan informacin relacionada con los indicadores. Cada seccin del instrumento debe tener instrucciones claras de cmo se debe introducir y/o aplicar la seccin.

133

Al desarrollar las partes del instrumento que tienen que ver con los indicadores: Asegurar que se haya convertido cada indicador en una o ms preguntas, temas o categoras de observaciones Asegurar que cada pregunta o categora a codificar corresponda a uno o varios indicadores. Para indicadores complejos, quiz sea necesario utilizar varias preguntas para llegar a un cierto aspecto. Incluso se podra crear una escala o un ndice. Para mayor aprendizaje sobre este tema, vase Consejos: Cuando uno no es suficiente No incluir preguntas o categoras de informacin que no correspondan a los indicadores, excepto cuando la informacin permite identificar la fuente de los datos o la persona que responde, cuando la inclusin es necesaria para asegurar que fluyan las preguntas o para identificar qu conjunto de preguntas es aplicable a cierta persona, evento o documento. Una excepcin sera cuando se ha decidido con anterioridad, recolectar una cantidad reducida de datos acerca de algunas brechas en la lgica del programa. Pero el nmero de dichos casos debe mantenerse bajo, y habr que anticipar cmo se utilizar esta informacin. No incluir preguntas o categoras de codificacin que son tan ambiguas que ser difcil interpretarlas. Ejemplos: o Cuando mi pareja y yo estamos juntos, yo soy algo callada debe ser Soy ms callada que lo normal, de tal forma que sea relativo al nivel normal de callar. Pero si el indicador se enfoca a la calidad de la relacin de pareja, una pregunta as significa que existe suficiente confianza para estar callada (quiz una seal de una buena relacin), o que la mujer se siente inhibida por la presencia del marido (quiz una seal de una mala relacin)? Sera mejor preguntar: Cundo mi pareja y yo estamos juntos, me siento suficientemente cmoda para estar ms callada que lo normal? O bien,Me siento menos capaz de hablar y me vuelvo ms callada que lo normal. Asegurar que cada pregunta y cada opcin de respuesta estn enmarcadas de tal forma que coincidan con el tipo de datos necesarios. Proveer categoras especficas para las respuestas, si se busca datos cuantitativos. Dejar las categoras abiertas y un espacio para registrar la respuesta completa, si se trata de datos cualitativos. Observaciones y apuntes en campo: Dejar un espacio para que la persona recolectadora de datos incluya notas u observaciones acerca de circunstancias no anticipadas, as como datos no verbales o espontneos, como los silencios, la incomodidad, las interrupciones; pistas informales que podran alterar el significado de los datos recolectados, incluidas las impresiones subjetivas acerca de lo adecuado de los datos. El que las personas que recolectan los datos hagan apuntes, constituye una verdadera oportunidad, y puede contribuir significativamente a la calidad de los datos.

134

Tipo de datos a utilizar

Datos cuantitativos Datos cualitativos

CUNDO se utiliza

Se pretende medir acciones, tendencias, niveles de conocimiento Para determinar cuntos, cunto y con qu frecuencia Las caractersticas de lo que se est midiendo son bien conocidas y es factible organizarlas por categoras con precisin El Equipo tiene algn conocimiento de las estadsticas bsicas o puede obtener ayuda de expertos en la materia La significancia estadstica es de inters para la evaluacin Ya se ha determinado exactamente de qu preguntas se quiere obtener respuestas, y se requiere que los datos estn completamente estandarizados

Se busca informacin acerca de la explicacin que dan las personas que responden, de sus actitudes, percepciones y motivaciones Se desea entender el contexto del programa y los procesos que tuvieron lugar Se desea explicar por qu o cmo ocurren las cosas Se desconoce cmo se ve en un cierto entorno, un aspecto que se desea medir Se desea abordar brechas en la Ruta Causal y se desea explorar temas no estudiados Se desea saber algo sobre una conducta socialmente indeseable o de alguna manera estigmatizada Se requiere informacin sobre algo que se considera privado y/o indeseable o de alguna manera estigmatizado, por lo que sera mejor entrevistar a las personas y/o observarlas en un entorno social Es algo implcito y difcil de expresar, pero se ve en accin a travs de las observaciones Para contribuir a explicar datos extraos, confusos o aparentemente contradictorios Como un diagnstico de necesidades preliminar Para pedir a las personas que responden, que expliquen las respuestas que dieron a preguntas cuantificables/ cerradas

CMO se recolecta los datos

Algunos de los mtodos e instrumentos ms comunes de recoleccin de datos son los siguientes: Estadsticas del servicio Registros del programa Encuestas a nivel del programa (proveedores, encuestas de satisfaccin del/de la cliente, evaluaciones de las capacitaciones) Encuestas a nivel de poblacin (local, regional o nacional) Preguntas cerradas o datos de conteo en entrevistas o cuestionarios Observaciones de conductas, eventos o nmero de personas, que una persona observadora puede contar Permiten recolectar datos congruentes y comparables, que pueden llevar a conclusiones sobre la dimensin de las diferencias entre grupos o a travs del tiempo. Es ms eficaz en cuanto al costo, recolectar y analizar datos provenientes de un nmero relativamente grande de personas que responden. Permiten proteger la privacidad de las personas que responden, mediante encuestas autoaplicadas. Permiten generalizar los hallazgos hacia poblaciones ms grandes, si se hace bien el muestreo. Se puede medir el cambio, al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. Es posible realizar anlisis bsicos ante la falta de habilidades y

Algunos de los mtodos e instrumentos ms comunes de la recoleccin de datos son los siguientes: Entrevistas a profundidad Preguntas abiertas en encuestas o entrevistas Grupos focales Tcnicas de observacin Anlisis de textos pesados o imgenes, como son programas televisivos, artculos periodsticos, minutas de reuniones

VENTAJAS

Permiten recolectar datos congruentes y comparables, si se plantea las mismas preguntas a todas las personas relevantes. Permiten explorar dimensiones sociales y culturales. Permiten identificar trminos locales y su significado. Revelan resultados no intencionados del programa. Propician que las personas que evalan aprendan de la recoleccin de datos y exploren nuevas pistas hacia la comprensin de los significados. Permiten evaluar los objetivos del programa cuya cuantificacin se dificulta. Permiten entender y documentar por qu y cmo un programa tuvo impacto, lo cual cobra importancia en el sentido de que aporta maneras de mejorar y/o replicar el programa. Permiten documentar no slo que algo ocurre, sino tambin cmo y por qu ocurre. Se puede medir el cambio al comparar las respuestas a preguntas idnticas antes y despus del programa, o entre grupos con diferentes niveles de exposicin al programa. No requieren programas especiales de estadsticas o de otra ndole, aunque s requieren

135

software especializados. DESVENTAJAS Se limita uno a categoras predeterminadas, que pueden coincidir con la realidad o distar de ella. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por las opciones de respuesta o la manera en que se plantea las preguntas.

otras habilidades. No se puede generalizar los hallazgos hacia una poblacin ms grande. Los hallazgos atpicos posiblemente no queden contrarrestados por los hallazgos tpicos en un conjunto ms grande de datos. Requieren muchas habilidades de observacin y gran sensibilidad, que posiblemente requieran capacitacin especial. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por la manera en que se plantea las preguntas o las caractersticas de la persona recolectadora de datos.

Utilizar ambos tipos de datos

A menudo es buena idea utilizar ambos tipos de datos en la misma evaluacin, ya que con enfoques cuantitativos se podr responder a las preguntas qu? y cunto?, mientras que con enfoques cualitativos se podr responder a las preguntas por qu? y cmo?. Frecuentemente, los datos cualitativos permitirn el desarrollo de mtodos cuantitativos con pertinencia local contribuirn a explicar los hallazgos cuantitativos Asimismo, con frecuencia, los datos cuantitativos darn legitimidad a los datos cualitativos demostrarn la dimensin de los hallazgos que se han descrito cualitativamente

Algunos consejos generales

La calidad y confiabilidad de la informacin obtenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos bsicos para asegurar la calidad en la informacin se enlistan a continuacin: Recoger nicamente la informacin que ser til y que podr emplearse. Comnmente se cae en el error de reunir demasiados datos de baja calidad y formulamos un sistema de MyE demasiado complejo, lo cual dificulta un anlisis adecuado. Menos datos (de mayor calidad) pueden ofrecer informacin mucho ms til, sin complicarnos demasiado en etapas posteriores del proceso de manejo de informacin.

136

Realizar una planeacin adecuada: como se mencion anteriormente, un diseo adecuado del proyecto as como del sistema de MyE es esencial para obtener informacin de calidad, esto incluye: formulacin de indicadores adecuados y variados, identificacin clara de las necesidades de informacin de lnea base, diseo cuidadoso del plan de monitoreo, seleccin de los mtodos y las tcnicas de recoleccin de datos ms convenientes. Reunir datos fiables, vlidos y crebles: aunque no sea un enfoque riguroso o cientfico, necesitamos recolectar datos que sean confiables, precisos y consistentes recopilados con una metodologa rigurosa y pertinente de acuerdo a las necesidades de informacin. Los datos confiables dependen asimismo de la seleccin de una muestra representativa y de la unidad de anlisis adecuada. Validacin de la informacin: los datos obtenidos con un mtodo de seguimiento, se verifican con la informacin obtenida con otro mtodo. Triangulacin de las fuentes: para asegurar la calidad de la informacin, es muy importante contar con diferentes fuentes, con distintos tipos de mtodos e informantes diversos, para obtener una visin completa de la situacin. Combinar datos cuantitativos con informacin cualitativa: esto facilita el anlisis, pues permite explicar, a travs de la informacin cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos. Participacin de beneficiarios: eso es fundamental para asegurar la pertinencia de los mtodos y de la informacin obtenida. Capacitacin y preparacin de quienes participan en la recoleccin: los encuestadores y entrevistadores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recoleccin de informacin, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guardar la informacin) y de capacitacin, asegurando que todos tengan las herramientas necesarias y suficientes recursos financieros. Flexibilidad en la revisin de indicadores: conforme se desarrolle el proyecto, ser necesario revisar las necesidades de informacin y los indicadores formulados en un inicio. Es necesario ser flexibles e incluir nuevas necesidades o eliminar aquellas que ya no sean relevantes.

Actividades de la dcima tercera semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Despus de realizar la lectura, cules conceptos estn claramente comprendidos por usted y cules no? 2. Qu conoca antes de realizar la lectura acerca del tema o temas tratados en la lectura de la semana? Es distinto a lo planteado por la lectura, por qu? 3. Para usted, qu importancia tiene el hacer una buena seleccin de las fuentes de informacin? 4. Qu desafos le presenta la lectura realizada? 5. Cules son los conceptos que debe ampliar o profundizar en la seleccin de las fuentes de informacin?

137

DCIMA CUARTA SEMANA TEMA Anlisis y empleo de la informacin Objetivos de la semana

Al finalizar el estudio de la dcima cuarta semana las y los estudiantes. Comprendern la forma ms adecuada de realizar el anlisis y empleo de la informacin generada con una evaluacin.

LECTURA Analizar e interpretar los datos

Paso 1: Desarrollar el plan de anlisis
Fundamento Aun si se plane bien la evaluacin y se disearon excelentes instrumentos y un plan de recoleccin de datos es necesario prestar mucha atencin a la planeacin del anlisis de los mismos,

Antes de comenzar a recolectar los datos Durante la recoleccin de los datos Nunca debe comenzarse la recoleccin de los datos hasta que se sepa cmo se analizarn dichos datos, y se

haya probado los instrumentos de recoleccin y el plan de anlisis. Tarea 1: Desarrollar el plan de anlisis Si tiene acceso a alguien con experiencia en el anlisis de datos, con suerte ya se habr invitado a dicha persona a formar parte del Equipo de MyE (ver el Mdulo 1), aun cuando esa persona no haya estado involucrada en todo el proceso. Si se va a entrar en contacto con una persona experta en evaluacin, no debe esperarse hasta que los datos hayan sido recolectados. El equipo debe asegurarse de planear el anlisis cuidadosamente, ya sea por s mismo o con el apoyo de una persona experta, antes de empezar la recoleccin de los datos. Hay dos tipos de interrogantes para el anlisis de datos: uno se enfoca en entender cmo se realiz el programa y el otro se enfoca en el impacto del programa. Usted se enfocar el anlisis de datos en entender o evaluar el impacto que ha tenido el cambio que se realiz en la poblacin de enfoque. Para entender el impacto del programa tambin hay que poner atencin en cmo se realiz el programa los datos de monitoreo. Revisar las interrogantes de la evaluacin y los objetivos del programa. Centrarse en las comparaciones que darn respuesta a las interrogantes de la evaluacin y que indicarn si el programa alcanz sus objetivos o no lo hizo.

Las comparaciones bsicas son: Pre-programa versus a medio programa y/o post-programa Post-programa versus grupo de comparacin

138

Dentro de cada una de las filas de la siguiente tabla, puede haber subgrupos cuya exploracin puede ser deseable, segn las dimensiones relevantes del programa; en particular, puede ser interesante determinar si ciertos grupos de personas se han beneficiado del programa ms que otros. Dentro de cada columna, tambin puede haber variaciones cuya exploracin sea necesaria. Obtuvieron mayor puntaje en la medicin de resultados inmediatos o intermedios, las personas que asistieron al programa con mayor frecuencia, o las que fueron expuestas a sus mensajes de manera ms intensa, quienes percibieron el programa ms positivamente, o las que tenan ms habilidades inicialmente?

Hacer una lista de todas las comparaciones vinculadas a las interrogantes y los objetivos de la evaluacin Verificar el tipo de datos disponible y decidir cul anlisis se puede y debe realizar Recordar que los indicadores sern numricos o no-numricos. Se puede transformar los datos cualitativos en datos numricos o no numricos Los datos cuantitativos sern analizados como indicadores numricos Si se est analizando indicadores no numricos: se podr describir los hallazgos en trminos de temticas y tipologas y demostrar sus hallazgos con citas y testimonios. se deber indicar cuntas fuentes de datos analizadas (ej. personas o documentos) mostraron los hallazgos que se reportan para el grupo estudiado; ej. 5 de 7 peridicos publicaron en forma negativa artculos sobre violencia domstica que denigraban o criticaban a las mujeres y defendan a los hombres. Si se est analizando indicadores numricos, se podr calcular las diferencias en medias, medianas o porcentajes. Para elegir el tipo de anlisis que puede hacerse dependiendo del nivel de los indicadores disponibles o tipo de dato numrico.

139

Decidir cules comparaciones intragrupales son necesarias para abordar las interrogantes de la evaluacin Al utilizar los datos de monitoreo, se podr explorar la manera en que los diferentes aspectos del programa y la asistencia o la exposicin al programa pueden haber afectado los resultados de la evaluacin Al utilizar datos sociodemogrficos que se hayan recolectado y evidencia que utiliz para construir su Teora de Cambio (Mdulo 2) y Senda Causal (Mdulo 3), se puede explorar si hubo resultados diferentes dentro de cada grupo, ya sea por edad, sexo, estado civil, nivel econmico, historia sexual y/o reproductiva, nivel de motivacin, factores de predisposicin, etc. Hay otras comparaciones necesarias, que reflejen mejor una perspectiva de justicia social basada en los derechos? Para cada conjunto de indicadores, diligenciar la Hoja de trabajo: Planeacin del anlisis Tarea 2: Probar el plan de anlisis Por qu es tan importante? Porque mejora las herramientas de recoleccin de datos antes de que sea demasiado tarde Porque determina si se est recolectando o no toda la informacin necesaria, o si se est recolectando informacin que no ser til Porque determina si se est recolectando informacin de las fuentes correctas de datos

Tabular los datos obtenidos de la prueba (piloto) de los instrumentos de recoleccin de datos y del plan de recoleccin de datos, aplicando el mismo sistema que se utilizar para el anlisis de los datos.

Verificar si hay problemas con: o datos faltantes o instrumentos diligenciados de manera incorrecta o respuestas que son drsticamente diferentes a lo que se esperaba, lo cual podra indicar que las preguntas no se entendieron como se esperaba las respuestas no se codificaron correctamente se pregunt a las personas equivocadas

Se debe preguntar a quienes recolectan los datos, acerca de sus impresiones al respecto. Puede ser necesario reformular las preguntas aclarar las instrucciones actualizar la capacitacin de quienes recolectan los datos

Al probar el plan de anlisis, marque cada elemento de informacin que se utiliza en el instrumento de recoleccin de datos. Hay elementos sin marcar despus de haber especificado el anlisis para cada objetivo? De ser as, debe revisarse si son necesarios y, en caso de serlo, determinar por qu no han sido considerados en los objetivos. Ejemplo: En un diagnstico de necesidades sobre derechos sexuales, realizado mediante entrevistas a jvenes, se les pregunt cules derechos eran los ms importantes. Una de las opciones de respuesta era: este derecho es indispensable. Despus de una prueba piloto, el Equipo encontr que muy poca gente marcaba esta opcin. Las personas entrevistadoras haban observado que muchas de las personas entrevistadas parecan confundidas con el trmino indispensable. En este caso, las preguntas haban sido probadas inicialmente con las y los educadores pares, pero no con personas similares a las que seran entrevistadas.

140

Para cada una de las interrogantes de la evaluacin, utilizar los datos provenientes de la prueba piloto para probar las comparaciones que se planea utilizar, segn el plan de anlisis. Marcar cada elemento de informacin que se usa en el instrumento de recoleccin de datos. Habr que preguntarse: Se cuenta con los datos necesarios? Se tienen esos datos en la forma requerida para los anlisis que se planea realizar? Hay algunos elementos de informacin sin marcar, despus de haber especificado el anlisis para cada objetivo o interrogante de la evaluacin? De ser as, son necesarios? Debe determinarse por qu no fueron abordados en las comparaciones y corregir este error. Por el contrario, si no son necesarios, habr que eliminarlos si es posible. Ejemplo. Si existe la expectativa de que el impacto del programa ser diferente en mujeres que han tenido ms de un aborto, que entre aquellas que han tenido un aborto o ninguno, pero solamente se les pregunta si alguna vez han tenido un aborto (s vs. no), no se podr realizar la comparacin. Es ahora el momento de ajustar las opciones de preguntas y respuestas necesarias para el anlisis. Despus de considerar cmo se usar los datos, habr que eliminar los elementos que no son tiles. Realizar las modificaciones segn sea necesario. Consultar a las personas que recolectan los datos, para fundamentar los cambios en sus percepciones y observaciones. Ajustar: o los instrumentos o la manera en que los datos son recolectados y codificados o la manera en que los datos son tabulados Cuando los ajustes son lo suficientemente importantes para cambiar la forma en que la gente podra responder, excluir del anlisis las respuestas obtenidas antes de la revisin.

141

Paso 2: Asegurar un anlisis adecuado de los datos

Fundamento Aun si se planearon bien las cosas, los errores pueden infiltrarse a los anlisis, lo que posiblemente limite el valor de la evaluacin. Con el fin de evitar lo anterior, asegurar que se realice lo siguiente cuidadosamente:

Supervisar la recoleccin de datos y corregir los errores encontrados Procesar los datos conforme van llegando Realizar anlisis sencillos que den respuesta a las interrogantes de la evaluacin

Tarea 1: Supervisar la recoleccin de datos

Reunirse de manera regular con las personas que estn recolectando los datos: Revisar los procedimientos de recoleccin de datos que se han desarrollado y asegurar que todo mundo los siga Solicitar a quienes recolectan los datos que describan cmo va el proceso, tratando de identificar los aspectos que puedan tener un impacto en los datos que se estn obteniendo, pero que no han sido identificados como problemas Escuchar a las y los encuestadores en lo referente a los retos que hayan encontrado y cualquier conocimiento nuevo o sugerencia que hayan desarrollado; Realizar juegos de roles para poner a prueba la manera de superar los problemas que dichas personas hayan encontrado Animar a las personas que recolectan los datos, y hacerles saber que estn haciendo un buen trabajo segn el caso Identificar las diferencias que ocurren entre los resultados obtenidos de las diferentes personas que aplican las encuestas, ya que dichas diferencias podran tener un impacto en la calidad y/o la consistencia de los datos, y realizar los ajustes necesarios Revisar y depurar los datos conforme van llegando: Codificar los datos tan pronto como sean entregados Buscar errores de codificacin, cotejando contra los formularios originales de recoleccin de datos, y tambin verificando que las respuestas codificadas estn dentro del rango esperado y que tengan sentido Revisar datos faltantes y tratar de encontrar la fuente y resolver cada problema. Verificar si hay ms datos faltantes o en ciertos puntos ms que en otros o entre ciertos subgrupos de personas entrevistadas/encuestadas o en los datos provistos por ciertos/as encuestadores/as Asegurar que existan notas de campo tiles y legibles, y discutirlas con las y los encuestadores en reuniones peridicas Todas las notas y datos cualitativos deben transcribirse de inmediato o Si las personas que aplican las encuestas/entrevistas toman notas (en lugar de grabar las entrevistas), deben completar sus notas inmediatamente. o Debe constatarse que se ponga comillas antes y despus de las citas directas, y que se encierre entre corchetes o parntesis los casos de parfrasis, aun cuando sean muy parecidas a lo que se dijo. Estar alerta ante los hallazgos que pudieran sugerir la necesidad de hacer cambios en la forma de recolectar los datos, como seran o respuestas demasiado ambiguas o respuestas que no se refieren al tema que se trata de explorar o diferencias entre los sitios de recoleccin de datos, poblaciones o personas encuestadoras Analizar los datos cualitativos conforme se avanza. Proporcionar capacitacin adicional o de refuerzo en caso necesario: Si hay problemas que surgen de manera persistente Tan pronto como se detecte el problema. No esperar a que se agudicen los problemas.

142

Hacer los ajustes urgentes: Es mejor realizar cambios, que esperar a descubrir que los hallazgos son intiles Considerar las implicaciones de dichos cambios, para el anlisis y los hallazgos Registrar cundo y cules cambios se realizan Informar sobre dichos cambios al presentar los hallazgos

Hoja de trabajo: Lista de verificacin para supervisar la recoleccin de datos

Fecha: Quin asisti a la reunin? Qu nmero consecutivo tiene esta reunin? Verificar que: Problemas observados Correcciones/soluciones adoptadas Procedimiento Las personas que recolectaron los datos hayan expresado libremente sus observaciones, sugerencias e inquietudes constructivas Se halla codificado los datos oportunamente y sin errores Se halla examinado y tabulado los datos con regularidad Se halla examinado las implicaciones de las respuestas inesperadas Se halla realizado chequeos peridicos de confiabilidad Fecha

Tarea 2: Procesar los datos cuidadosamente Para evitar la introduccin de errores y nuevos sesgos en los anlisis, asegurar que los datos sean manejados cuidadosamente, desde el momento en que son recolectados hasta el momento del anlisis. Los datos cualitativos y cuantitativos debern manejarse en forma diferente. Un aspecto importante de procesar los datos es crear y aplicar cdigos. Un cdigo es una regla para convertir un tem de informacin, por ejemplo, los datos que se recolectan, en otra forma. Por ejemplo, todas las mujeres pueden ser codificadas como 1 o todas las mujeres que atendieron todos los talleres pueden ser codificadas como participantes intensivos. Usted puede determinar los cdigos y todos los miembros del equipo deben aplicarlos de la misma forma. Para los datos cualitativos: Asegurar que las y los encuestadores editen y completen sus notas inmediatamente en campo o lo ms pronto posible despus de la recoleccin de datos. Ello significa que necesitarn un lugar en donde registrar de manera oportuna las notas valiosas. Transcribir las grabaciones para contar con una versin escrita de lo que se dijo en la entrevista. Asegurar que las y los encuestadores tomen notas sobre aspectos no verbales de la entrevista, tales como: gestos silencios cualquier sensacin de incomodidad expresiones faciales forma de vestir, el entorno, etc. no Aun cuando una entrevista haya sido transcrita en su totalidad, puede haber situaciones en las que lo dicho tenga sentido o su real significado no pueda apreciarse sin los aspectos no verbales.

143

Empezar a desarrollar un enfoque al anlisis de datos para asegurar que se recolectan los datos que se necesitan. Para mayor informacin acerca de los enfoques bsicos del anlisis cualitativo. Para datos cuantitativos:

Revisar en campo, los formularios de recoleccin de datos Asegurar que estn completos y sean legibles Hacer lo anterior cuando la o el entrevistador an pueda regresar a la fuente de datos para completar o corregir lo necesario (sin violar los acuerdos de confidencialidad/anonimato). Asegurar que los datos faltantes sean codificados en forma separada Codificar los datos faltantes como 9 99 Codificar los datos no aplicables como 8 u 88 A pesar de los mejores esfuerzos, siempre habr algunos datos faltantes.

Habr que tener cuidado en no confundir los nmeros anteriores con datos reales. Hay que separarlos antes de hacer cualquier clculo. Y siempre debe reportarse el porcentaje de datos faltantes para cada indicador.

Asegurar que las reglas para codificar los datos sean muy claras Verificar que cada persona que recopila datos las conozca bien Si surgen preguntas respecto a la codificacin durante el proceso de recoleccin de datos, asegurar que todas las decisiones sean registradas, fechadas y conocidas por las personas que recolectan los datos.

Crear una hoja de trabajo para tabular los datos a mano (a menos que se utilice un programa de computadora) Crear una hoja de trabajo usando un programa como Excel o Lotus Asegurar que cada una de las celdas tenga un nmero, de tal forma que se pueda ver si algo hace falta. Tarea 3: Usar estadsticas descriptivas para resumir las respuestas de los grupos y para realizar comparaciones que den respuesta a las interrogantes de la evaluacin

Ahora se utilizar tcnicas analticas sencillas para: describir los grupos principales sobre los que se ha recolectado datos realizar las comparaciones bsicas que se haba planeado explorar las diferencias al interior de los grupos estudiados

Describir los hallazgos para cada grupo. Llevar el conteo de cuntas personas dieron cada tipo de respuesta (por ejemplo, usaron o no usaron condn en la ltima relacin sexual) en cada categora significativa (por ejemplo, hombres antes y despus de participar en el programa, mujeres expuestas al programa y las que no lo estuvieron), haciendo esto a mano o utilizando una funcin del programa de hoja de clculo. Ello deber hacerse para los datos tanto cualitativos como cuantitativos. Puede utilizarse un formulario de recoleccin de datos en blanco para registrar el nmero de respuestas recibidas de cada tipo Aun en este punto, verificar los aspectos que no tengan sentido y que podran ser errores de codificacin. Verificar tambin que los conteos sean consistentes con otras respuestas. Ejemplo: Si 21 mujeres respondieron haber sido vctimas de violencia, se debe asegurar que tambin haya 21 mujeres que dieron respuestas a las preguntas sobre la violencia que haban experimentado. Si el nmero es diferente, puede ser necesario regresar a las entrevistas para revisar si algo fue codificado errneamente o si se necesita codificar algunos casos como datos faltantes. Agrupar los resultados segn temas relacionados de manera lgica. o Observar cuidadosamente los datos recolectados de diferentes fuentes sobre un indicador en particular, a fin de ver de qu forma conducen o no a la misma conclusin o Revisar las respuestas recibidas sobre diferentes aspectos del mismo indicador, para ver si presentan lo mismo

144

Presentar los hallazgos en tablas o grficas sencillas, mostrando conteos, frecuencias, promedios, medianas o porcentajes de respuesta por tema. Consejos: Cundo no debe usarse un porcentaje? Comparar los hallazgos entre los grupos para responder a las interrogantes de la evaluacin.

Con los datos cuantitativos a lo mejor se utilizarn las estadsticas descriptivas bsicas para demostrar las diferencias entre los grupos que se comparan para contestar los interrogantes de la evaluacin. Con los datos cualitativos, tambin se puede utilizar las estadsticas descriptivas a travs de convertir los datos en nmeros. Por ejemplo, se puede contar el nmero de personas que obtuvieron cierto resultado en el programa. Sin embargo, especialmente si tiene datos cualitativos, debe comparar resultados entre grupos utilizando tcnicas de anlisis cualitativo. Usar datos intragrupales para hacer comparaciones adicionales que arrojen ms luz sobre las comparaciones bsicas Existen subgrupos dentro de los grupos de comparacin bsicos, que respondan de manera diferente al programa? Para averiguar lo anterior, utilizar: datos de monitoreo informacin socio demogrfica de las personas entrevistadas los resultados inmediatos para comprender mejor los resultados intermedios, si se cuenta con hallazgos referentes a ambos tipos de resultados, tanto inmediatos como intermedios Observar si los resultados fueron mejores cuando la gente estuvo ms expuesta al programa. Explorar si el programa fue ms o menos eficaz en diferentes tipos de personas.

Tipo de informacin Monitoreo Socio demogrfico

Ejemplos de comparaciones intragrupales

Baja exposicin versus alta exposicin al programa Asistencia o exposicin a ciertas partes del programa y no a otras Personas con cierto historial de SDSR, como abortos previos, complicaciones del embarazo, infecciones de transmisin sexual etc. Grupos que difieren por niveles econmicos, grupos tnicos, grado de marginacin o de vulnerabilidad Personas que expresan creencias o actitudes ms negativas versus positivas, o que tienen mayor/menor grado de conocimientos Alta presin de pares para ajustarse a los roles tradicionales de gnero, versus apoyo para roles equitativos no tradicionales Comunidades con mayor versus menor nivel de tolerancia a la violencia; normas ms o menos restrictivas, etc.

Factores identificados en su Teora de Cambio (Mdulo 2) y en su entendimiento de los conceptos complejos sociales involucrados (Mdulo 3) Resultados inmediatos

Mayores o menores cambios de actitud o conocimientos al final del programa Personas que calificaron el programa positivamente, versus aquellas que lo calificaron negativamente

Las tabulaciones cruzadas sern un buen mtodo para presentar los datos que comparan dos elementos diferentes, para ver cmo se relacionan, por ejemplo, cuntos hombres y mujeres con alto versus bajo nivel educativo difieren en trminos del puntaje que obtienen al final de un taller.

Se recomienda que se discuta el anlisis con las personas que recolectan los datos, personal del programa y otros actores interesados cercanos.
Es conveniente presentar los hallazgos preliminares antes de preparar los grficos o transparencias finales. Utilizar formatos sencillos para presentarlos y discutirlos, primero con la gente ms estrechamente involucrada con

145

la recoleccin de datos. Se puede escribir las estadsticas descriptivas relevantes directamente en un formulario de recoleccin de datos en blanco, a un lado de los elementos correspondientes. Las personas que recolectan los datos estarn familiarizadas con el formulario, el cual vincula claramente los hallazgos con los datos, y tiene un formato ya creado. En este punto, el propsito de la discusin es: Identificar los hallazgos que no coinciden con las observaciones de quienes tiene una relacin ms estrecha con los datos. Dichas discrepancias pueden estar sealando errores en la codificacin o el anlisis, o pueden ser hallazgos interesantes y valiosos en s mismos. Entender las comparaciones entre diferentes fuentes de datos para el mismo indicador. Cualquier discrepancia entre dichos datos debe ser examinada cuidadosamente para saber qu est sucediendo, antes de concluir que un tipo de fuente de datos es mejor que otro. En realidad, dichas discrepancias pueden conducir a un mayor conocimiento de los instrumentos, del programa o de la gente a la que se est llegando. Determinar si es necesario realizar otros anlisis para comprender los datos a fondo. Las personas que recolectaron los datos o el personal plantea preguntas que se puede contestar mediante un mayor desglose de los datos? Ejemplo: Las personas que recolectaron los datos preguntan si hay diferencias en los hallazgos entre tres diferentes sitios clnicos, puesto que han odo que el director de uno de los sitios tiene actitudes muy negativas hacia el programa. Se decide comparar los hallazgos por clnica, para ver si el aspecto de liderazgo ha tenido algn impacto en la eficacia del programa.

El tiempo dedicado a tratar de comprender lo que dicen los datos es tiempo bien empleado. Conviene realizar los anlisis adicionales que las discusiones sugieren son necesarios. Como ayuda para este proceso, diligenciar la

Hoja de trabajo: Lista de verificacin de las prcticas positivas de anlisis

Comentarios e inquietudes Se ha previsto las comparaciones que se desea realizar en el plan de anlisis? probado los anlisis antes de recolectar los datos? depurado los datos para garantizar su precisin? corregido los valores invlidos cuando ha sido posible, o se han codificado como faltantes? asegurado que el anlisis se adapte a los datos que se tiene? abordado cada una de las interrogantes de la evaluacin? desglosado los datos para dar respuesta a las preguntas adicionales que tiene el Equipo, las personas que recolectaron los datos, el personal del programa y las actores interesados cercanas al mismo? entendido los datos tan a fondo como se requiere? S o No

Ms all de las estadsticas descriptivas? Si tiene los recursos para realizar un anlisis estadstico ms complejo, como las estadsticas inferenciales (lo cual requiere que se planea desde el principio respecto a la seleccin y el tamao de la muestra y la construccin de la encuesta) debe consultarse con su experta en estadsticas.

146

Paso 3: Interpretar los hallazgos Ahora que se cuenta con los hallazgos derivados del anlisis, se necesitar describir lo que significan. Esto ser especialmente difcil si los hallazgos son diferentes a lo que se esperaba. Habr que realizar ciertas acciones para interpretar los hallazgos, de tal forma que tengan sentido para: los actores interesados el pblico a influenciar el programa Recordar que los hallazgos no significan nada en s mismos! Su significado proviene de la realidad del programa y de la vida de las personas involucradas. Tarea 1: Comprender los aspectos de los hallazgos que sean particularmente inesperados, tanto para la persona lder cmo para el resto del Equipo de MyE. Ellos pueden deberse a: Factores independientes que interfirieron en que el programa tuviera los resultados deseados. Todos los programas de SDSR ocurren en el mundo real. Ello significa que otros aspectos que no tienen que ver con el programa, tambin pueden influenciar los resultados. Ejemplo: Un programa diseado para ayudar a padres y madres de familia a que se expresen con sus hijos e hijas ms abierta y positivamente acerca de la sexualidad, puede tener resultados menos positivos que los esperados, debido a que una nueva radio novela pudo haber infundido en los padres y las madres vergenza y temor acerca de la sexualidad; o por el contrario, tuvo resultados positivos porque los grupos tanto del programa como de comparacin estuvieron expuestos a un nuevo y bien informado programa de TV que les prepar y predispuso favorablemente a hablar del sexo con sus hijos e hijas. Problemas con los datos recolectados. Las evaluaciones no son infalibles, por lo que puede concluirse que algn aspecto en la recoleccin de datos o el anlisis condujo a resultados falsos. Si este fuera el caso, se necesitara determinar qu fue lo que sali mal en la manera de recolectar los datos. Debe darse marcha atrs y verificar los formularios originales de la recoleccin de datos, discutir la situacin real de la recoleccin de datos con las personas que la realizaron, y verificar si hubo errores en la codificacin. Desde luego, si no se encuentra errores, se necesitar hacer frente al hecho de que los resultados fueron decepcionantes, y se deben utilizarlos para mejorar el programa. Que es demasiado pronto para demostrar resultados. La evaluacin y los hallazgos pueden ser prematuros. Quiz el programa ha estado operando solamente durante seis meses, y se espera encontrar cambios importantes que se vern tiempo despus. Es necesario recordar que los programas de SDSR influyen en procesos sociales complejos que requieren tiempo para cambiar. Habr que asegurar que se contine con el monitoreo del programa y que se mida los resultados inmediatos que puedan conducir a los resultados intermedios que se espera encontrar. Que no se haya especificado los resultados inmediatos correctamente y por lo tanto, no se perciba los cambios anticipados o deseados. Factores que no se tomaron en cuenta en la planeacin del programa. Si la teora del cambio o la senda causal del programa fueron deficientes, pudieron existir brechas importantes que no se tomaron en cuenta, haciendo que el programa fuera menos eficaz que lo esperado. Si se pudo recolectar alguna informacin acerca de dichas brechas, identificadas en el Mdulo 2, ser posible explicar por qu los resultados no fueron tan buenos como lo esperado. Se debe trabajar con el personal del programa para identificar lo que hace falta y realizar los cambios necesarios. La falta de eficacia del programa. Si se analiza los resultados a fondo, y estos no muestran algn beneficio derivado del programa, se deber realizar cambios significativos al programa o dejar de ejecutarlo. La historia de la salud pblica y del desarrollo est llena de ejemplos de programas que terminaron o fueron modificados justamente por esta razn. o Quiz el programa sea bueno pero constituye una intervencin demasiado pequea como para producir el resultado esperado. Por ejemplo, si se intenta combatir la homofobia, la produccin de un slo cartel o un conjunto de mensajes radiales quiz no sean suficientes para tener el efecto esperado, a pesar de que el programa est cumpliendo con sus metas, y los productos sean atractivos y culturalmente re-

147

levantes. La evaluacin tambin debe identificar cambios inmediatos e intermedios que puedan demostrar la eficacia del programa de manera gradual y parcial. Los resultados son demasiado buenos. Aunque resulte difcil hacer esto, si los resultados son mucho ms positivos que lo esperado, debe resistirse la tentacin natural de suponer que todos son debidos al programa. Hay que preguntarse si algo ms sucedi que pudo haber influenciado los resultados. Es mejor ser cauteloso que demasiado confiado, a menos que el anlisis aporte suficiente evidencia para indicar que los resultados son reales y que estn directamente relacionados con el programa. Reunirse con los actores interesados clave Convocar pequeos grupos de discusin con las y los beneficiarios del programa. Preguntarles acerca de sus percepciones del programa y de las preguntas que se les plantearon acerca del mismo. Mostrarles los resultados encontrados y preguntarles si estn de acuerdo o en desacuerdo, as como lo que significan los hallazgos. Ejemplo: El equipo de MyE ha decidido convocar a un grupo focal con algunas de las personas jvenes que participaron en un programa de educacin sexual. Los hallazgos muestran niveles de actividad sexual ms altos despus del programa. Se ha solicitado a las y los jvenes que analicen los instrumentos de la encuesta y que indiquen si hubieran contestado en forma diferente antes y despus del programa. La mayora de jvenes dijo que haba mentido en la encuesta de lnea base por temor a que la informacin fuera utilizada en su contra. En el cuestionario de evaluacin posterior al programa, fueron ms honestos/as, pues el propio programa haba creado un mayor nivel de confianza. Ciertamente, esta informacin debe reportarse para que la gente no piense que el programa fue un fracaso cuando en realidad tuvo xito en ayudar a la gente joven a sentirse ms cmoda al hablar del sexo, lo cual es una clave para tener una sexualidad ms saludable a largo plazo! Es necesario reunirse con el personal que estuvo involucrado en el programa. Preguntarles lo que significan los hallazgos para ellos. Ejemplo: El personal de un programa de educacin sexual puede haberse dado cuenta que originalmente la gente joven haba tenido temor de revelar sus experiencias sexuales al principio del programa, pero que se abri durante las discusiones participativas. El personal tambin puede haber observado que las y los jvenes respondieron el cuestionario de lnea base cuando todava estaban en la escuela primaria, pero que contestaron el cuestionario de evaluacin posterior al programa, cuando ya estaban en la secundaria, cuando el desarrollo y la exploracin sexuales forman parte normal del proceso de desarrollo, y posiblemente cuando las relaciones sexuales son ms aceptables o alentadas por los grupos de pares nuevos y mayores. Tambin es necesario reunirse con otros actores interesados de la comunidad que conocen el programa y sus participantes para comprender lo que significan los hallazgos. Es posible que dichas partes puedan explicar de una manera ms completa, el contexto de los resultados inesperados. Por ejemplo: Aunque se podra pensar que un programa de apoyo social para mujeres embarazadas de alto riesgo tuvo muy poco efecto en la frecuencia con la que las mujeres acudieron a una determinada clnica para la atencin prenatal, los actores interesados pueden saber que las mujeres fueron a una clnica diferente que haba abierto con precios muy bajos, por lo que las mujeres participantes en el programa haban acudido a mayor nmero de consultas que las del grupo sin intervencin, aunque no a la clnica esperada.

Comparar los hallazgos con los que otros grupos han obtenido Revisar la literatura existente sobre programas similares o tratar de encontrar ejemplos de casos similares a los propios o buscar hallazgos ajenos que contrasten con los propios, de tal forma que se haga necesario explicar las diferencias. En dichos casos, analizar cuidadosamente las fuentes de los datos, los instrumentos utilizados, as como las diferencias en los programas y las poblaciones atendidas Presentar los hallazgos a colegas en otras organizaciones que trabajan en reas similares o Dichas personas han observado el mismo tipo de hallazgos inesperados? Qu interpretacin dieron ellas a los hallazgos?

Tarea 2: Realizar anlisis que puedan contribuir a saber si los hallazgos son el resultado del programa. Utilizar los datos de monitoreo para saber si hubo diferentes niveles de exposicin entre los diferentes subgrupos, y cmo se relaciona ese hecho con los hallazgos. Ejemplo. Si los hallazgos de la evaluacin mostraron que las nias y los nios tenan un mayor conocimiento sobre el VIH, pero los datos de monitoreo muestran que muy pocas nias asistieron al centro juvenil, no se podr atribuir los hallazgos positivos al programa. En un grupo focal con jvenes entrevistados/as durante la evaluacin, podra encontrarse que al mismo tiempo que el programa analizado, se transmiti un nuevo programa de TV muy popular que incluy un im-

148

portante componente educativo sobre el VIH, y que las nias lo estuvieron sintonizando fiel y regularmente (puesto que eran retenidas en casa por sus padres/madres despus de la escuela). Utilizar los datos de monitoreo para que revelen si ocurrieron otros factores que pudieron haber influenciado los resultados. Ejemplo. Al revisar los informes de campo, posiblemente se encuentre que las personas que recolectaron los datos observaron aumentos en la violencia domstica entre las mujeres que asistan a las clases de alfabetizacin del programa, esto como un resultado negativo inmediato no planeado. Aunque el programa ya haya incorporado dichas observaciones, y haya tratado de resolver el problema, pudo haber sido demasiado pronto para que los nuevos cursos motivacionales con los esposos de las mujeres en cuestin, tuvieran un impacto positivo en los resultados finales o intermedios. Si los datos de monitoreo son insuficientes, habr que complementarlos, convocando a una reunin con el personal del programa, para discutir las formas en que consideran que los resultados puedan o no relacionarse con las caractersticas del programa. Se necesitar hacer un esfuerzo para hacerles sentir cmodos al hablar de lo que no funciona del programa. Ser mejor si se tiene preparado un conjunto de preguntas, con el fin de concentrarse en la explicacin de los hallazgos. Ello mantendr la discusin alejada de las crticas al trabajo del personal.

Resumen
A estas alturas, se debe haber: Elaborado un plan de anlisis de datos bien probado Logrado un buen entendimiento de los tipos de anlisis que se puede realizar con los datos recolectados Comprendido la importancia de supervisar cuidadosamente la recoleccin de datos Establecido una buena manera de procesar y tabular los datos Realizado anlisis simples para dar respuesta a las interrogantes de la evaluacin Consultado con las actores interesados, con el fin de interpretar o comprender a fondo los hallazgos Aprendido an ms de lo que inicialmente se propuso aprender respecto al programa y la poblacin atendida Identificado interrogantes adicionales a las que se desear responder en evaluaciones posteriores Cmo se puede saber si una diferencia o cambio tiene significancia o representatividad estadstica? Aun si el Equipo cuenta con un analista de datos experimentado, quien usar estadsticas inferenciales para valorar si es probable que los cambios o las diferencias observadas se deban al azar o a otro factor, se necesitar determinar si los cambios o las diferencias son lo suficientemente grandes para tener significancia o representatividad. En proyectos pequeos de bajo presupuesto, es muy probable que no se pueda usar el tipo de anlisis que permita calcular la significancia estadstica. Por tanto, cmo se puede saber si los resultados son representativos? Antes de recolectar los datos o realizar los anlisis, determinar lo que se considerara significativo; realizar una lluvia de ideas con el Equipo antes de recolectarlos datos, para determinar qu magnitud de cambio o diferencia sera satisfactoria o notable; as como qu cambios son demasiado pequeos para tomar en cuenta Conviene consultar la bibliografa acerca de otros programas similares, con el fin de saber qu tipo de cambios pudieron lograr y qu podra esperarse demostrar del programa en cuestin; conviene saber qu es tpico y qu es posible, para poder comparar los resultados del programa con dichos estndares.

Consideraciones de la justicia social basada en los derechos para el anlisis tanto cuantitativo como cualitativo Enfoque basado en derechos: algunos subgrupos pueden obtener mayores o menores beneficios del programa; ej., clientes que eligen sus mtodos anticonceptivos versus clientes que aceptan los mtodos sugeridos por la o el proveedor de servicios; personas que consideran que el programa no fue respetuoso de sus derechos versus

149

quienes consideran que s lo fue; personas que expresaron altos niveles de violacin de sus derechos versus quienes expresaron bajos niveles el requisito de la confidencialidad puede limitar el grado en que se pueda realizar comparaciones caso por caso, puesto que posiblemente estos no sean identificables si no se utiliz un identificador nico para cada uno; es importante asegurar que los grupos a comparar no difieran mucho en las pruebas pre- y post-programa, esto con el fin de poder usar ese tipo de comparacin que no se ha cotejado. las percepciones respecto a la calidad de atencin pueden variar de manera significativa entre los diferentes subgrupos de clientes y proveedores, por lo que posiblemente se tenga que separar dichos grupos

Igualdad y equidad de gnero y empoderamiento de las mujeres: es necesario separar subgrupos de mujeres que difieren en trminos de poder y posicin, ej. casadas versus viviendo en unin versus solteras versus viudas versus divorciadas es preciso separar el anlisis de las mujeres entrevistadas/encuestas, de los hombres entrevistados/encuestados comparar las respuestas de mujeres/nias con las de hombres/nios a preguntas similares Promocin de una sexualidad sana a lo largo del ciclo vital: comparar las respuestas de las nias/mujeres con las de los nios/hombres, de ser posible, en parejas vinculadas, pero de no ser as, por medio de los datos grupales; asimismo, comparar respuestas de padres/madres de familia en relacin con las de sus hijos/hijas es importante considerar las mediciones compuestas de resultados adecuados, i.e., el retrasar la iniciacin sexual adems del uso de anticonceptivos en las relaciones sexuales consensuales, constituyen resultados positivos Participacin de mujeres, comunidades y ONGs: comparar los resultados de programas que cuentan con consejos comunitarios de asesores con un buen desempeo, contra los resultados de aquellos que no funcionan bien si el objetivo general o el resultado intermedio es la participacin, habr que comparar programas que tienen mecanismos para impulsar la participacin activa de poblaciones prioritarias, con aquellos que no los tienen las mujeres y los y las jvenes participan activamente? Consideran estos grupos que se les toma en cuenta? Atencin a poblaciones marginadas y vulnerables: comparar los datos de sub-poblaciones que difieren en trminos de marginacin o vulnerabilidad valorar el grado en que las poblaciones marginadas y/o vulnerables pudieron haber tenido diferentes percepciones y niveles de aceptacin respecto al programa comparar el efecto diferenciado que tuvo el programa en grupos que varan en trminos de marginacin y vulnerabilidad, as como entre grupos que difieren en el grado en que se sintieron integrados en, o atendidos por el programa Cundo no debe usarse un porcentaje? Los porcentajes se calculan dividiendo el numerado entre el denominador y multiplicando el resultado por 100. En el sentido ms estricto del trmino, el porcentaje significa cuntas veces sucedi algo en 100 oportunidades. Los porcentajes frecuentemente se calculan con denominadores menores de 100, pero pueden ser engaosos si el denominador es muy pequeo. Si la muestra es pequea, digamos menos de 20, debe reportarse los hallazgos como el nmero de veces que se obtuvo una respuesta, respecto al nmero total de casos analizados. Por ejemplo, 3 de 5 casos mostraron X resultado, en lugar de decir que el 60% lo hizo, esto debido a que cada caso tiene una engaosamente gran influencia en el porcentaje, cuando el denominador es pequeo. Cundo se puede usar estadsticas inferenciales? El siguiente nivel de anlisis despus de las estadsticas descriptivas, es el de las estadsticas inferenciales. Este es el tipo de anlisis que permite llegar a conclusiones acerca de la poblacin general ms amplia. Sin embargo, para poder utilizar este tipo de anlisis, es preciso:

150

tener una muestra adecuada, algo planeado desde el principio contar con el apoyo de personas expertas tener acceso a programas de cmputo que ayuden a realizar los clculos contar con una cantidad de datos suficientemente grande (normalmente al menos 200 casos) tener indicadores numricos de intervalo sin sesgos

Cundo usar la media, la mediana o la moda? Estas son formas de destacar la respuesta tpica en datos a nivel de intervalo. El uso de la media o el promedio (calculndose al sumar todas las respuestas y dividiendo este resultado entre el nmero de elementos), puede llevar a malinterpretar los datos, si estos se inclinan hacia uno lado u otro, i.e. si estn desviados estadsticamente. Por ejemplo, si se pregunta a un grupo de personas cuntas parejas sexuales tienen o han tenido, normalmente respondern con un nmero relativamente reducido, como 1 un nmero entre 5 y 10. Solamente unas cuantas personas respondern con nmeros mayores, como 50 ms. En este caso, la distribucin de las respuestas est desviada (o tiende hacia) los nmeros bajos. Si se reporta el promedio y se tiene una persona que report un alto nmero de parejas, el promedio no ser tpico. En estos casos, sera mejor reportar la mediana (que es el valor en medio de un juego de datos, con la mitad de los valores por arriba, y la mitad abajo). La mediana proporciona el valor tpico aun cuando el grupo de datos est desviado hacia un lado u otro. Cuando los datos no estn desviados (cuando estn distribuidos normalmente) la media y la mediana sern esencialmente el mismo nmero. Tambin puede utilizar la moda los valores ms comunes en un juego de datos. Esto puede ser til, por ejemplo si hay una encuesta que mide el aumento de conocimiento despus de una capacitacin y se quiere saber el puntaje ms comn de los participantes. Estadsticas descriptivas para el anlisis de indicadores numricos Se utiliza estadsticas descriptivas para explicar las caractersticas generales de un conjunto de datos. Se puede utilizar dichos mtodos con cualquiera de los indicadores numricos que se tenga, en cualquier etapa del monitoreo y la evaluacin. Las estadsticas descriptivas incluyen: frecuencias porcentajes conteos promedios (medias y medianas).

Una frecuencia representa el nmero de ocurrencias u observaciones de una variable. Por ejemplo, si la variable en cuestin es la persona que responde tiene un hijo/una hija, y se ha encontrado que de las 135 adolescentes entrevistadas que dieron respuestas vlidas, 52 tienen un hijo/una hija, se est estableciendo una frecuencia. Cuando las frecuencias relacionadas con un slo elemento se presentan en una lista, se le llama distribucin de frecuencias. Por ejemplo, si se encontr que de esas 135 adolescentes, 65 no tenan hijos/hijas, 52 tenan un hijo/una hija, 14 tenan dos hijos/hijas y 4 tenan 3 hijos/hijas, se podra presentar la distribucin de frecuencias de estas estadsticas como se muestra a continuacin. Formas de anlisis cualitativo Categoras predeterminadas si se ha determinado de antemano lo que se desea saber, se puede revisar los datos y codificarlos, utilizando categoras referentes a la presencia o ausencia de ciertos eventos, hallazgos, percepciones, etc. Normalmente, se reportan dichas categoras en trminos de la frecuencia con la que las personas o los documentos expresan una cierta actitud, percepcin, etc., o utilizan ciertas palabras o frases. Esta es la forma ms bsica y realista de anlisis para la mayora de las personas sin una amplia experiencia en el anlisis de datos cualitativos. Temtica interpretativa una forma de realizar el anlisis es leyendo y releyendo documentos o transcripciones de entrevistas, con el fin de identificar temticas que aparecen como relevantes para el programa. Dichas temticas provienen de los datos y no estn predeterminadas antes de leer los datos. Muchas veces, las temti-

151

cas son tiles para explorar nuevas reas y revelar obstculos o problemas que quiz no eran evidentes de antemano para quienes planificaron el programa. Citas o testimoniales constituyen la manera en la que se puede informar sobre los datos en s. Las citas directas provenientes de entrevistas son utilizadas para sustentar algn punto que se plantea respecto a la forma en que las personas entrevistadas perciben la situacin. Las citas o testimoniales deben escribirse entre comillas para distinguirlas de la parfrasis; i.e. cuando alguien condensa la comunicacin de otra persona, usando sus propias palabras, esto sin utilizar comillas. Tipologas o tipos ideales despus de revisar todos los datos, quiz convenga informar que hay uno o ms tipos de personas o experiencias relevantes para el programa. Por ejemplo, puede encontrarse que cuando las mujeres jvenes tienen una hermana de mayor edad con la que mantienen una relacin estrecha, las primeras experimentan su sexualidad de una manera ms positiva, se sienten ms felices y tienen mayor poder de decisin en sus relaciones de pareja. Los tipos ideales se generan a partir de los datos; uno no sabe de antemano que existen. Taxonoma o diagrama de significados una forma de presentar los datos sera con un diagrama de la manera en que las personas entrevistadas vinculan diferentes palabras y significados relacionados con el programa; ello aporta importantes conocimientos sobre cmo las personas realmente entienden los conceptos clave. La manera en que las personas entienden conceptos como la equidad de gnero, la salud reproductiva y la sexualidad sana, puede cambiar a lo largo del programa, por lo que este tipo de diagrama podra revelar efectos importantes. Pasos a realizar en el anlisis de datos cualitativos

Existen mltiples formas de analizar los datos cualitativos, mismas que varan en trminos de: La habilidad requerida de la persona que analiza los datos El tiempo necesario para el anlisis La profundidad y riqueza con la que se quiere comprender los significados que las personas asignan a los temas discutidos

Para desarrollar las categoras analticas: Si se cuenta con personas altamente preparadas en el anlisis de datos cualitativos, se podra hacer lo siguiente: Primero leer cada trascripcin completa sin escribir nada, simplemente como si se leyera una novela. El propsito es lograr una comprensin general de los significados expresados, y comenzar a identificar temticas que puedan surgir Enseguida, leer de nuevo y empezar a escribir cdigos descriptivos, entendindose estos como palabras que describen la esencia de lo que alguien ha dicho, a un lado de las citas o prrafos en la trascripcin Posteriormente, leer las transcripciones de nuevo, prestando particular atencin a los cdigos que se han generado, con lo que se empezar a crear las temticas ms amplias que conectan dichos cdigos Entonces se deber leer de nuevo y codificar los datos con dichas temticas ms amplias Enseguida se deber discutir las temticas con el Equipo y tratar de encontrar referencias a dichos temas en la bibliografa o en los hallazgos de programas similares. Con esto se podr refinar los cdigos. Entonces se leer las trascripciones, codificando cada mencin de las temticas identificadas Finalmente se puede dividir las trascripciones en grupos de personas, documentos o eventos que difieren en caractersticas importantes relacionadas con el programa, esto con el fin de llevar a cabo el tipo de comparaciones contemplado en el plan de anlisis Si el equipo tiene menos experiencia en el anlisis cualitativo, se puede: Analizar por separado, las respuestas obtenidas de diferentes grupos de preguntas Utilizar cdigos determinados con anterioridad, directamente impulsados por, y vinculados a las interrogantes especficas de la evaluacin y los objetivos del programa; o bien, que hayan surgido de una primera lectura de las transcripciones y de la retroalimentacin proveniente de las personas entrevistadoras, respecto a los principales hallazgos observados

152

Una vez que se haya llegado a un acuerdo sobre las categoras de anlisis: Leer las trascripciones y marcar las veces en que aparecen las categoras analticas o las temticas acordadas Enseguida, ser conveniente separar las trascripciones segn las comparaciones que se ha planeado realizar; ej., las personas que asistieron al programa versus las que no lo hicieron; entrevistas previas al programa versus entrevistas posteriores al programa Tambin ser conveniente revisar cmo pueden diferir los resultados dentro de cada grupo. Existen diferencias en la manera en que respondieron ciertos tipos de personas? Por ejemplo, los hombres jvenes que reconocieron haber golpeado a su pareja, muestran mayores cambios despus del programa, que los cambios ocurridos en los hombres jvenes que reportaron no haber tenido conductas violentas? El decidir qu tipos de comparaciones internas habr que realizar debe: o Haberse planeado con anterioridad o Derivarse de las discusiones con el personal del programa y otras actores interesados Por qu analizar los datos cualitativos conforme se avanza? Una de las virtudes de los datos cualitativos es que permiten adquirir conocimientos sobre nuevos aspectos a explorar y nuevos significados que no se esperaban. Esta flexibilidad permite aadir elementos, revisar y reconsiderar lo que se desea preguntar, o qu eventos se desea observar. Por otra parte, se debe cuidar el punto de saturacin; ello se refiere al punto en que se cuenta con abundantes datos para explicar las variaciones en los tipos de respuestas que se estn obteniendo a las interrogantes o temticas, y en que nuevos datos no aaden soporte adicional a los hallazgos obtenidos, ni a la identificacin de nuevos hallazgos. Es posible llegar al punto de saturacin en un cierto rango de respuestas a una pregunta, o en una temtica, sin que ello ocurra en otras. Esto es aceptable: se necesita identificar los hallazgos ms importantes para que sea precisamente en ellos donde se invierta los recursos para obtener el apoyo adecuado. Qu hacer si no se cuenta con datos provenientes de una prueba piloto? Si definitivamente no hubo tiempo para realizar una prueba piloto de los instrumentos y del plan de recoleccin de datos, y/o la recoleccin de datos ya ha iniciado, se puede: tomar una pequea muestra de datos recolectados en una etapa temprana, y realizar un anlisis inicial hacer que un pequeo grupo de colegas y personas que recolectaron los datos, diligencien los instrumentos como si realmente fueran las personas entrevistadas o encuestadas. Utilizar estos datos para poner a prueba el plan de anlisis Sugerencias para la tabulacin manual de datos Crear una hoja de clculo que tenga: Una fila para cada caso, i.e. persona, documento o evento Columnas para identificar el caso, la persona que recopil los datos, la fecha, el sitio / ubicacin de la recoleccin de datos y otra informacin esencial de identificacin Una columna para cada elemento del instrumento de recoleccin de datos Si se compara el mismo caso a nivel de lnea base, media y/o final, codificar los datos subsecuentes a la lnea base, a mano derecha de los datos iniciales, en la misma fila. Idealmente, cada caso tendr todos sus datos en una sola fila.

Asimismo, asegurar que: haya un dato en cada celda. Por ejemplo, codificar datos deliberadamente como faltantes o no aplicables se verifique cada dato captado para asegurar que sea correcto. Buscar respuestas improbables como por ejemplo, un 3 respecto a la edad de la primera relacin sexual voluntaria, la cual deba haber sido 23. Para hacer las correcciones, es necesario referirse a los instrumentos originales de recoleccin de datos se registre todos los datos conforme vayan llegando no debe esperarse hasta el final del proceso de recoleccin de datos

Tipo de anlisis segn el nivel de los indicadores numricos Categrico o nominal grupos de datos sin valores numricos reales. No hay que confundir lo anterior con datos identificados por nmeros, como 1 = casado/a, 2 = soltero/a, pues no son valores reales. En estos casos:

153

informar el porcentaje de personas que dio cada respuesta repetir lo anterior, pero separando por subgrupos de personas entrevistadas o encuestadas el denominador debe representar el nmero de personas con datos completos al mismo tiempo, reportar el # de casos con datos faltantes (Si el nmero de casos con datos faltantes es similar para todos los tems, debe reportarse solamente una vez) Ordinal grupos de datos con valores numricos relativos, pero sin la misma distancia entre los diferentes valores, como sera 1 = alto, 2 = medio, 3 = bajo. En estos casos: o reportar la mediana o el valor medio (que sera el tipo de promedio a utilizar con este tipo de datos) Para calcular una mediana a mano el valor que se encuentra en medio, al ordenar los datos de menor a mayor o calcular con base en el nmero de personas con datos vlidos o tambin se puede presentar el porcentaje de respuestas en cada categora o se puede fusionar algunas categoras similares, ej. totalmente de acuerdo y de acuerdo o para realizar comparaciones de una misma persona con base en el puntaje ordinal obtenido en dos momentos diferentes (como la lnea base y la lnea final), slo se puede identificar la direccin del cambio, i.e., no hay cambio negativo, no hay cambio, cambio positivo; si se cuenta con suficientes datos, es posible desglosar los que iniciaron con valores altos o bajos, para ver si vara la cantidad o la direccin del cambio. Intervalo una serie de nmeros que tienen igual distancia o valor entre cada uno. Es necesario contar con este nivel de datos para poder calcular la significancia estadstica. En estos casos: o usar frecuencia, porcentaje, tabulacin cruzada o o o o

Calcular el promedio aritmtico y la mediana para verificar que la distribucin no est desviada (esto es, que se acumulan muchos casos con respuestas muy altas o muy bajas, lo cual puede crear una imagen engaosa cuando se representan los datos solamente con la media); si la media y la mediana son similares, se puede reportar la media aritmtica o el promedio.

Actividades de la dcima cuarta semana Individuales

1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluacin
1. Cmo se ha sentido con la lectura realizada? 2. Qu sentimientos ha aprendido acerca del anlisis de datos? 3. Puede diferenciar entre datos e informacin? cules son las principales diferencias?

154

DCIMA QUINTA SEMANA TEMA Comunicacin y difusin de los resultados de una evaluacin Objetivos de la semana
Al finalizar el estudio de la dcima quinta semana las y los estudiantes. Reconocen la importancia de comunicar y difundir los resultados de una evaluacin.

LECTURA
Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementacin y continua retroalimentacin de aprendizajes. La adecuada difusin de los resultados es fundamental para optimizar el valor agregado del MyE. No existe solo una forma para desarrollar una estrategia eficaz de comunicacin, pero esta puede guiarse por alguna preguntas bsicas: Quin es el pblico meta de los resultados del MyE? Cul es la informacin ms pertinente y til para compartir? Cul es la mejor manera para llegar al pblico meta?

Las estrategias y mensajes de comunicacin, que van desde boletines informativos, reuniones de dilogo y talleres hasta la difusin en materiales impresos, dependern del tipo de audiencia: Equipo responsable de la implementacin Beneficiarios Donantes Donantes potenciales Individuos asociados a la organizacin Otras organizaciones

Utilizar los hallazgos Paso 1: Presentar los hallazgos al pblico interno

Fundamento Mediante la presentacin de los hallazgos a las personas ms cercanas al programa, se logra lo siguiente: demostrar el compromiso que se tiene de informar a quienes han apoyado el proceso de evaluacin establecer un excelente campo de pruebas para experimentar con las presentaciones que se harn o enviarn posteriormente al pblico externo Tarea 1: Compartir los hallazgos con el personal de la organizacin: Incluir al personal de todas las reas de la organizacin, aun aquellas personas que no hayan participado en la evaluacin.

155

Las percepciones de todas estas personas son tiles y se les debe alentar a conocer lo provechoso que ha sido el proceso de evaluacin hasta el momento; en el futuro, esas percepciones continuarn siendo de gran utilidad.

Realizar una reunin con el personal de toda la agencia o circular un boletn de noticias entre todas las reas de la agencia, incluyendo un resumen de los hallazgos Es importante presentar los hallazgos de tal forma que no sean percibidos como crticas a un departamento o grupo respecto a otro Destacar los xitos y logros Sealar las limitaciones y fallas que indiquen las lecciones aprendidas y las acciones que se requieren en el futuro Invitar a las personas a aportar y a entrar en la discusin, de tal forma que se asegure que realmente se les est tomando en cuenta Realizar reuniones individuales con el personal del programa, con el objeto de discutir a mayor profundidad los hallazgos con las personas directamente involucradas en los aspectos especficos del programa, mismos que el equipo ha estado evaluando. Dichas sesiones de retroalimentacin motivan al personal y le ayudan a tener un mayor aprecio por el gran trabajo que ha venido realizando Con demasiada frecuencia, se elabora los informes y se enva slo a los donantes, y las personas que realmente realizaron el trabajo nunca los ven, ni se enteran de todo lo que han logrado. Tarea 2: Compartir los hallazgos con los actores interesados de la organizacin: Ya sea que los actores interesados hayan orientado el proceso y apoyado el programa desde un principio, o que su participacin haya sido relativamente reciente, deben conocer los hallazgos antes que el pblico externo, esto por varias razones: Es muy probable que los actores interesados estn comprometidos con, e interesados en los resultados del programa y por lo tanto, deseosos de conocerlos El hacer una presentacin minuciosa y solicitar retroalimentacin y opiniones, har ms fuerte el compromiso de los actores interesados con el programa, y ser ms probable que continen apoyndolo en el futuro Si los hallazgos no son lo que se esperaba, pregunte a los actores interesados cules creen que fueron los factores que inhibieron el cambio deseado Si se presenta una controversia potencial en torno a los resultados, los actores interesados a quienes se les informa oportunamente pueden apoyar y defender la causa del programa Los actores interesados pueden contribuir a formular los argumentos, el plan de difusin (e incluso ayudar a difundirlo) y a reflexionar sobre los siguientes pasos a seguir Los actores interesados pueden convertirse en voceras del programa El Consenso de El Cairo desafa a todos los programas a que se hagan ms responsables ante las comunidades en las que trabajan. El informar primero a los actores interesados constituye un componente importante del compromiso con la rendicin de cuentas que asumen las organizaciones Tarea 3: Compartir los hallazgos con los donantes actuales: Independientemente de que algn donante realmente haya financiado o no el proceso de MyE, es esencial presentar los hallazgos a todos los donantes actuales. Tomando en cuenta que la retroalimentacin a los donantes es una de las claves del xito del programa, no debe dudarse en presentarles los hallazgos, aun si todava no llega la fecha de presentar un informe formal sobre el donativo correspondiente. Recordar que los donantes actuales pueden ser los ms entusiastas promotores del programa por haber invertido en ello. Si se est presentando un informe parcial o final, asegurar que se entregue oportunamente, de tal forma que los donantes puedan aprovecharlo. Oportunamente significa, en este caso, que el informe sea presentado en el plazo sugerido originalmente por los donantes, y antes de que tomen decisiones sobre las subvenciones para el prximo ciclo de financiamiento.

156

Usar el formato proporcionado por el donante. Sin embargo, si no se proporcion formato alguno, es recomendable que el informe sea corto, idealmente de 10 a 15 pginas, incluyendo: qu es lo que se esperaba obtener del programa? qu se logr? incluyendo: o acuerdos de colaboracin establecidos, fortalecidos o debilitados o retos enfrentados durante la ejecucin y cmo se afrontaron o conclusiones basadas en los hallazgos o implicaciones y/o recomendaciones para: la agencia el tema que abordado el campo del trabajo o los siguientes pasos con base en los hallazgos, incluyendo cmo se puede ajustar el programa (Paso 2). El hacer un excelente trabajo de monitoreo y evaluacin no garantiza que se lograr la continuidad del financiamiento. Los donantes cambian sus prioridades y tambin enfrentan cambios en la cantidad de fondos disponible. Sin embargo, el tener buenos datos de evaluacin colocar a la agencia en una mejor posicin para poder sustentar los argumentos de un apoyo continuo. Si se planea solicitar al donante que contine o aumente el financiamiento, es necesario explicarle lo siguiente claramente: Lo que se tiene pensado para la(s) siguiente(s) etapa(s) del proyecto Por qu el apoyo de este donante ha tenido una importancia particular Algunos donantes desearn continuar financiando el trabajo actual, pero otros probablemente se interesen en llevar el trabajo actual un paso ms hacia adelante. o En este caso, convendr conversar acerca de dnde caben las nuevas ideas del programa en el contexto del campo de trabajo en general; y cmo la agencia puede contribuir a dicho campo, al ampliar el enfoque actual, aplicando enfoques novedosos o promoviendo que el enfoque actual sea adoptado ms ampliamente. Debe pensarse en las razones por las que un donante estara interesado en seguir impulsando los objetivos generales de la agencia, y en las razones que sta tendra para seguir impulsando los del donante o Habr que estar preparados para negociar con el donante, ya que ste puede plantear ideas nuevas que desea poner a prueba a travs de la agencia, o puede proponer elementos programticos que le gustara que fueran incorporados. Por su parte, la agencia tambin puede tener ideas nuevas respaldadas con evidencia, con las que impresionar positivamente al donante. Si los hallazgos son promisorios, puede ocurrir que se desee usarlos para convencer al donante de que contribuya fondos destinados a una evaluacin ms slida y una posible multiplicacin del programa. Debe recordarse que la relacin entre la agencia y el donante es un acuerdo de colaboracin; y que el donante tambin tiene necesidades de informacin que la agencia puede satisfacer, as como l satisface las necesidades de financiamiento de la agencia.

Paso 2: Mejorar el programa

Fundamento La funcin ms importante de los hallazgos es mejorar el programa o desarrollar nuevos programas. Los hallazgos pueden:

indicar si el programa est funcionando a toda su capacidad si se est logrando los resultados deseados

Un anlisis minucioso de los hallazgos remitir al diagnstico de necesidades, a un proceso de autorreflexin organizacional y al mejoramiento del programa.

157

Tarea 1: Refljese en los abordajes de la justicia social basada en los derechos y pregunte qu se aprendi en cuanto a cada uno respecto al programa Qu se ha aprendido acerca de: la proteccin y el cumplimiento de los derechos de las personas, as como los obstculos que deben superarse las maneras de satisfacer las necesidades de salud sexual y reproductiva de las personas, en sus propios trminos y desde una perspectiva holstica las estrategias que funcionaron para modificar la dinmica de poder de gnero, y qu obstculos todava quedan por superar los retos involucrados en promover un enfoque a la sexualidad sana con los grupos de edad con los que se trabaja, y la manera de vencer dichos retos la importancia de la contribucin de los grupos de mujeres y otros grupos de la comunidad, al contenido y la calidad del programa, las estrategias eficaces para trabajar con grupos marginados y/o vulnerables. De qu forma influy este trabajo en otras actividades que realiza la agencia y en los otros grupos con los que trabaja? Tarea 2: Planear cmo hacer modificaciones al programa: Es necesario que el Equipo de MyE y el de planeacin del programa diligencien de manera conjunta la Hoja de trabajo para la mejora del programa, la cual servir de gua para realizar el tipo de cambios que ayudar a que el programa sea an ms eficaz.

Hoja de Trabajo para la Mejora del Programa

Ciclo del programa Comprender el problema relacionado con el proyecto Interrogantes De qu manera alteran los hallazgos la comprensin que se tiene del problema? Hay algunos aspectos de los PPT a los que se deba dar ms atencin, como seran las normas de gnero, la sexualidad y los derechos humanos? Hay cambios que deben aplicarse a la Ruta Causal establecida?

Acciones Discutir estas nuevas formas de comprender el problema con los equipos de planificacin del programa

Construir Causal Definir general el

una

Ruta

Completar una Ruta Causal nueva o modificada, con base en los hallazgos del MyE Elegir un nuevo objetivo general Modificar la forma en que el actual objetivo general est redactado Reafirmar el objetivo general

objetivo

El objetivo general sigue siendo el mismo? Se le entiende de manera diferente? Hay nuevos objetivos generales que hayan sido revelados por los hallazgos?

Definir el especfico

objetivo

Hay algunos cambios en la forma en que se ha redactado los objetivos especficos, o respecto a cules objetivos deben ser abordados? Hay factores que estn operando a otros niveles que interfieren con los logros?

Identificar nuevos resultados; o bien, modificar o reafirmar los que se espera alcanzar Redactar objetivos especficos que coincidan con cada resultado esperado Revisar todos los componentes de las actividades: poblacin atendida y alcanzada por el programa contenido de las intervenciones,

Actividades

Cules son las implicaciones de los hallazgos y de la nueva forma de comprender el problema relacionado con la organizacin, para mantener o modificar las actividades del programa? Se necesita aumentar, disminuir, cambiar o interrumpir algo de lo que el programa est

158

Insumos

MyE

Apoyo de la agencia

realizando? Est dirigido el programa a la poblacin apropiada? Sus necesidades han sido satisfechas? Debe el programa ampliar su alcance? Debe el programa cambiar el contenido de su componente de capacitacin o sus mensajes? Debe el programa abordar temas a otros niveles? Hubo sesgos en los insumos, que influenciaron los resultados y que requirieron cambios? Necesita el programa ajustar su logstica; ej. horario, lugares de ejecucin, nmero y frecuencia de los eventos? Qu nuevos recursos sern necesarios para llevar a cabo las modificaciones al programa? Qu representan los resultados para el personal, en trminos de fortalecimiento de capacidades y trabajo en equipo? Qu se hara diferente en el proceso de MyE la prxima vez? Qu lecciones se aprendieron acerca de la incorporacin del MyE en programas en marcha o desde el inicio de los nuevos? Necesita la organizacin reorganizarse para alcanzar mejor los objetivos del programa? Existen tensiones debido a aspectos clave del programa, que necesitan ser resueltas?

formas de colaboracin con otras organizaciones para complementar las actividades formas de ampliar las actividades o de dirigirlas ms eficazmente a los grupos que ms las necesitan

Retomar las necesidades de capacitacin del personal

Revisar la manera en que se los recursos fueron asignados y gastados, corregir problemas y eliminar obstculos Planear el MyE desde el inicio de todos los programas nuevos y modificados

Ir a La agencia pone en prctica su discurso? Alentar la discusin interna sobre las maneras de superar los problemas detectados Incorporar los hallazgos a las herramientas de mercadeo dirigidas a los donantes, a los informes a donantes y a las nuevas propuestas

Nuevos donantes

Los hallazgos han abierto nuevas reas que podran interesar a los actuales donantes del programa y a otros nuevos? De qu forma pueden sus hallazgos demostrar los xitos del programa y las nuevas direcciones que deber tomar?

Habr que considerar cada una de las siguientes reas:

Conocimientos nuevos que se hayan adquirido acerca de la comprensin del problema relacionado con la SDSR que aborda el programa y su teora de cambio Modificaciones en la Senda causal del programa Revaloracin del objetivo u objetivos generales del programa Revaloracin de los cambios necesarios, i.e. resultados inmediatos e intermedios, antes de que el programa pueda alcanzar los resultados finales que busca Ajustes en las actividades y en la poblacin atendida Decisiones estratgicas sobre la manera en que el programa o las modificaciones al mismo se ejecutan Diagnstico de los insumos o entradas Implicaciones para las relaciones pblicas Implicaciones para la agencia en su conjunto Implicaciones relacionadas con la bsqueda de nuevos donantes

Realizar reuniones de manera regular, con el fin de trabajar este proceso y establecer planes de accin especficos que tomen en cuenta todos los hallazgos y recomendaciones.

159

Si se trabaj con los actores interesados de la comunidad, habr que informar a la comunidad sobre los cambios que se estn implementando. Esto ayudar a fomentar: la buena voluntad hacia la organizacin las alianzas a largo plazo con la comunidad Tarea 3: Utilizar los hallazgos para disear un programa nuevo: Si la agencia ha decidido disear un programa nuevo que buscar los mismos objetivos generales u otros similares, los hallazgos del MyE sern insumos muy valiosos.

Habr que utilizarlo desde el principio, con el fin de: orientar la comprensin del problema relacionado con la SDSR y ayudar a crear una Senda causal completa disear nuevas actividades emprender cambios dentro de la agencia trabajar de manera ms productiva con la comunidad

Planear el nuevo proceso de MyE desde el principio. Cuando el programa todava est en la etapa de planeacin, habr que seleccionar el Equipo de MyE para que trabaje con quienes planean el programa, y recorran juntos todos los PASOS desde el principio. Esta vez el proceso ser ms fcil, pero a la larga se cosechar an mayores beneficios por haber iniciado desde el principio del ciclo del programa. Tarea 4: Utilizar los hallazgos para identificar nuevos donantes: Ya sea que el programa actual se modifique o no, o que se disee uno nuevo, probablemente se querr identificar nuevos donantes que apoyen el trabajo de la agencia. Aunque los hallazgos del MyE no garanticen por s mismos que se encontrar financiamientos nuevos, ellos proporcionan una base mucho ms slida desde la cual se podr buscar apoyos nuevos. Buscar donantes que apoyan temas ms amplios, como el empoderamiento de las mujeres, la promocin de la equidad de gnero, los derechos humanos, la justicia social, etc. Todos estos temas son pertinentes a la labor del programa, por lo que debe ser posible poner de relieve las conexiones que muestran cmo el trabajo que se propone encaja con lo que el donante desea lograr. Utilizar historias y testimoniales que involucren al donante en el tema del programa y/o le demuestren la importancia del trabajo que se est realizando. Mostrar la manera en que el programa encaja en el panorama ms amplio de esfuerzos encaminados a alcanzar el objetivo final, mediante la descripcin, en trminos sencillos, de la lgica de la Senda causal. Explicar de manera concisa lo que el programa ha logrado en el pasado. Puede elaborarse una lista punteada de logros relevantes para entregar al donante. Justificar las direcciones futuras, al describir los hallazgos, las conclusiones y recomendaciones que demuestran la necesidad del enfoque propuesto. Describir la manera en que la agencia se ha beneficiado del proceso de MyE y del programa mismo, as como los cambios que ha implementado para evitar problemas, cerrar brechas y ejecutar los programas de una manera mejor. Destacar la disposicin de modificar el trabajo con base en los datos: ello demuestra el compromiso con la bsqueda de un impacto real; as como con el propsito de aprender y crecer. Ofrecer al donante razones para confiar en que el programa tendr xito, y que los esfuerzos permanentes de MyE continuarn orientando el buen trabajo para hacerlo aun mejor.

160

Paso 3: Presentar los hallazgos al pblico externo

Fundamento Usar los hallazgos para cambiar el mundo! Hay que compartir los hallazgos del MyE con diversos pblicos externos, fuera de los donantes y actores interesados del propio programa, de tal forma que contribuyan al avance de la agenda del programa

Usar los hallazgos para abogar por el programa con el pblico clave a influenciar. Identificar las personas o los grupos que se desea influenciar, como seran funcionarios de gobierno y personas que formulan las polticas, la prensa, lderes comunitarios. Hay algunos polticos que recientemente se hayan pronunciado de tal forma que sugiere que se interesan en el tipo de trabajo que realiza el programa? Cmo se puede cultivar inters en el trabajo del programa, entre personas que se desea interesar y en las que se desea influir? Acercarse a legisladores/as y otros/otras tomadores/as de decisiones pblicas o Es conveniente informar a las figuras polticas relevantes antes de presentar el informe al pblico. Esto es especialmente importante si los hallazgos de la evaluacin ponen en evidencia que habr necesidad de cambios en las polticas o Quienes formulan las polticas o funcionarios de las agencias tambin pueden estar en condiciones de ofrecer una respuesta pblica a los hallazgos de la evaluacin. Por ejemplo, si la evaluacin demuestra que el programa de prevencin de VIH con nios de la calle, basado en pares comunitarios, es altamente eficaz pero carece de fondos suficientes, las agencias de servicios en la zona quiz deseen informar a la gente que planean aumentar el financiamiento para el proyecto en el siguiente ciclo presupuestal. Acercarse a los medios y periodistas o Al informar a los medios, se les estar habilitando para que puedan defender el programa de una manera ms completa o Es necesario proporcionar un gancho para que los y las periodistas vean la importancia de los hallazgos del programa. Un gancho es una historia, un evento actual, un tema bajo investigacin, un tema que preocupa e interesa a la gente o Presentar los hallazgos de manera sencilla y clara; no perder el tiempo describiendo los detalles de la metodologa de MyE. Hay que esforzarse por dar a las y los periodistas el rostro humano y el significado de los hallazgos o Presentar los hallazgos en eventos pblicos como conferencias o ruedas de prensa, as como en conferencias acadmicas o polticas o Si se ha producido un informe o video acerca del programa, puede realizarse un evento pblico para presentarlo a los medios y a los y las polticas locales o Si el programa est abriendo una nueva oficina, o amplindose a unas nuevas instalaciones, o si se est iniciando una nueva campaa, se puede presentar los hallazgos de la evaluacin en el lanzamiento de ese nuevo trabajo o acontecimiento o Siempre debe proporcionarse los hallazgos clave por escrito, para que las y los periodistas pueden llevarse la informacin precisa o Si es posible y apropiado, tratar de incluir testimoniales e historias; haciendo que las y los beneficiarios presenten sus propias historias en cualquier evento pblico que se est realizando Vincularse con redes de abogaca que estn promoviendo los mismos temas que preocupan a la agencia, como la igualdad de gnero y los derechos en el rea de la salud. Es posible que al colaborar con otros programas afines, se pueda construir un argumento ms slido, con base en los hallazgos conjuntos.

Usar los hallazgos para informar a la comunidad en general sobre el programa Incluir hallazgos y testimoniales clave en los materiales promocionales Realizar reuniones pblicas en donde se presente el programa y se describa sus ventajas y resultados positivos Telefonear a los programas de radio y proporcionar informacin sobre los hallazgos y testimoniales

161

Usar los hallazgos para construir y fortalecer el movimiento de las ONGs La organizacin que conduce el programa no est sola, y sus hallazgos podran ser de gran inters para otras organizaciones. Compartir prcticas promisorias: Probablemente muchas otras organizaciones en la localidad, estado o pas, estarn realizando un trabajo similar y estarn deseosas de aprovechar la experiencia de la organizacin que conduce el programa. Podra entonces realizarse seminarios o reuniones con la participacin de las diferentes agencias, en las cuales los grupos podran compartir sus hallazgos e identificar lecciones aprendidas en comn; incluso cada agencia podra hacer referencia al trabajo de las otras en sus respectivos informes. El compartir las buenas prcticas ayuda a mejorar los programas en el campo de trabajo, al introducirlos a mtodos y conocimientos que han sido refinados a travs de la experiencia. Todo ello contribuye al ahorro de tiempo y recursos que pueden dedicarse a la innovacin de nuevos enfoques e ideas. Realizar un cambio en la atencin que se presta a un tema: Las actividades de difusin aumentan la conciencia que se tiene sobre lo que los resultados dicen acerca de la comunidad o el grupo meta. Si los resultados revelan que, a pesar de sus intervenciones, las y los clientes en la clnica de planificacin familiar todava consideran que los y las proveedores de servicios de salud no son sensibles a sus necesidades, el llevar esta informacin al lugar y al nivel adecuados ser crtico para presionar, con el fin de que dichos/as proveedores avancen en su sensibilizacin. Fomentar las relaciones de colaboracin entre las ONGs locales: El compartir informacin tambin crea un ambiente que estimula la resolucin colectiva de problemas y el cambio sostenido a largo plazo. La difusin de actividades que arrojan luz sobre un tema importante puede ayudar a revitalizar o construir una nueva red o grupos comprometidos con la atencin al problema en cuestin. Los grupos interesados, aun aquellos que nunca se haban involucrado en los temas compartidos, pueden ver la conexin con su propio trabajo, y se puede formar grupos nuevos que crucen las lneas tradicionales de colaboracin. Movilizar el apoyo comunitario para lograr intervenciones eficaces: Construir una base de partidarios para el trabajo, conformado por colegas, ser muy til si se llegara a aplicar presin a quienes formulan las polticas para que promuevan el cambio. Las organizaciones afines tienen sus propias bases de membresa que pueden ofrecer como red para diseminar lo que revelaron los resultados de la evaluacin y cmo pueden estos ayudar a provocar el cambio que se desea ver. Usar los hallazgos para construir una base de conocimiento en torno a temas de las ONGs Con demasiada frecuencia los programas de las ONGS llevan a cabo procesos de MyE y piensan que el nico uso de sus resultados es local. Asimismo, puede existir la preocupacin de que los procesos de MyE no fueron lo suficientemente rigurosos como para ser presentados fuera del crculo local. Con al presente metodologa, se invita a pensar en la posibilidad de llegar todava ms lejos y tratar de presentar los hallazgos del programa a nivel nacional e internacional. Para ello se recomienda lo siguiente: Identificar espacios apropiados para la difusin, como son las conferencias profesionales/acadmicas, talleres y revistas que se enfocan a programas y a la evaluacin de los mismos. Invitar a colegas de las universidades locales o de otras agencias, que ayudaron con el proceso de MyE, para que participen en la presentacin de los resultados en dichos espacios. Vincular los hallazgos a temas crticos relacionados con la equidad de gnero, los derechos sexuales, el empoderamiento de las mujeres, los derechos humanos, etc., y tratar de presentarlos en sesiones donde se podr llegar a acuerdos respecto a dichos temas. Establecer contacto con otros programas similares y relacionar los resultados propios con esos programas. Quiz se pueda unir los resultados o presentarlos conjuntamente a manera de panel, sustentando de manera ms slida lo que el programa ha encontrado. Concentrarse en los hallazgos ms interesantes e ilustrarlos con historias y testimoniales. Presentar con franqueza las limitaciones metodolgicas del trabajo propio, pero tambin mostrar satisfaccin con los hallazgos obtenidos. Todas las evaluaciones, aun las mejor sustentadas, tienen algunas limitaciones; y todos los hallazgos son tiles cuando se unen a otros hallazgos sobre temas y experiencias similares. Proporcionar descripciones cuidadosas de la metodologa, quiz en un escrito por separado, para que las y los colegas puedan revisarla en detalle.

162

Hoja de Trabajo: Las necesidades de informacin de su pblico

Miembro(s) potencial(es) del pblico

Quin(es) es/son? (Nombre(s))

Dles un nmero en orden de importancia (1,2,3, etc.)

Qu preguntas quieren contestar?

Qu tipo de informacin necesitan o prefieren? (Nmeros? Historias?)

Beneficiarios

Lderes comunitarios

1. Identifique quin necesita

enterarse de sus hallazgos.

2. Cun importantes son? El

Polticos nmero 1 corresponde al pblico principal de los hallazgos de su evaluacin. Sea claro sobre qu quiere Ud. que se haga con los hallazgos. D prioridad a los miembros del pblico que son ms importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qu tipo de informacin sera ms til y convincente para ellos.

3.
Otros de la comunidad

4.
Financiador(es)

5.
Periodistas y lderes de opinin

6.

Miembros de su junta directiva

Personal de la organizacin fuera del programa evaluado

Otros

163

Actividades de la dcima quinta semana

Individuales 1. Realice la lectura de la semana. 2. Determine cul es la importancia de comunicar los resultados de la evaluacin? 3. Actualizar su diario de aprendizaje.

Grupales
1. Trabajando en grupo procedan a preparar la comunicacin de los resultados de la evaluacin.

Autoevaluacin
1. Para usted, cul es la relacin entre evaluacin y aprendizaje? 2. Explquese a usted mismo o misma, las principales caractersticas de una plan de comunicacin de la informacin o resultados de la evaluacin. 3. Qu nuevas ideas aprendi de la lectura, acerca de la comunicacin de la informacin? es diferente a lo que ya saba?

DCIMA SEXTA SEMANA TEMA Proceso y estilo de redaccin Objetivos de la semana

Al finalizar el estudio de la dcima sexta semana las y los estudiantes. Comprendern la importancia del estilo de la redaccin en la preparacin de informes tcnicos.

LECTURA
Sea breve y conciso y vaya directamente al grano El redactor o redactores del informe deberan actuar con juicio y moderacin. No es necesario reportar cada hecho, ocurrencia y detalle menor. Deben ampliarse nicamente los datos realmente importantes, condensndose los menos importantes y reconociendo que algunos asuntos ni siquiera tienen que ser reportados. En un informe realmente bien elaborado, el lector debera poder comprender, en su primera lectura, los hallazgos y conclusiones principales, sin tener que referirse a los apndices. Un equilibrio adecuado entre texto, cuadros y diagramas hace que el informe sea fcil de leer, y al mismo tiempo claro e informativo. Tambin produce una economa considerable de espacio, ya que el texto sin cuadros y diagramas de apoyo tiende a volverse demasiado largo y verboso. Evite la repeticin, ya que alarga innecesariamente el informe y aburre al lector. Use un lenguaje simple y claro Siempre que sea posible, use palabras sencillas en vez de palabras rebuscadas o altamente tcnicas. Una dificultad comn que debe superarse en un informe de M&E es la diversidad de antecedentes educativos entre los lectores meta. Evite un estilo pomposo. Las oraciones largas con un exceso de ideas tienden a confundir. Casi siempre es posible dividir largas oraciones complicadas en varias oraciones ms cortas fciles de comprender. Divida el texto en prrafos cortos que se centren en un solo aspecto o idea. Establezca lazos entre la secuencia de los temas de cada prrafo, utilizando cuidadosamente las primeras y ltimas oraciones de los prrafos contiguos. La sensacin de continuidad se incrementa si la primera oracin del siguiente prrafo recoge el tema tratado en la oracin anterior. Siga una secuencia lgica en la presentacin Un orden claro, uniforme y lgico para tratar los temas resulta sumamente til al lector por dos razones. Primero, una secuencia lgica es mucho ms fcil de comprender y de seguir. Segundo, el lector serio tendr que hacer referencia a secciones anteriores del informe a medida que lo estudie. La referencia a otras secciones se vuelve mucho ms fcil si el informe tiene un orden uniforme y lgico. Para conveniencia en trminos de las referencias cruzadas dentro del informe, debe incluirse algn sistema lgico de numeracin y encabezados para las secciones, subsecciones, cuadros y diagramas. Evite afirmaciones y recomendaciones que no tengan un respaldo Todas las conclusiones deberan ser respaldadas por datos reales. Los lectores inteligentes no se dejarn convencer por afirmaciones emotivas y subjetivas. Las afirmaciones sin respaldo pueden llevar al lector a cuestionar la fiabilidad del autor/investigador, al punto de rechazar o descartar el informe en su totalidad. Vuelva a hacer referencia a los objetivos, reflexionando sobre la forma en que los resultados efectivamente obtenidos se relacionan con dichos objetivos. Recuerde que el hecho de incluir opiniones opuestas, en casos

165

donde tales opiniones efectivamente existen, puede contribuir a la comprensin los interrogantes involucrados. Sea pragmtico y constructivo Un buen informe de evaluacin ser prctico en trminos de su orientacin, conclusiones y recomendaciones. De esta manera los lectores fcilmente pueden utilizar los resultados de la evaluacin en su propia situacin de trabajo. Otra justificacin de adoptar el enfoque pragmtico es que los informes de evaluacin y monitoreo de proyectos no son principalmente documentos cientficos; al contrario, son herramientas para generar mejoras en trminos de estrategias y resultados de los proyectos. Tambin es necesario que los informes sean discretos y constructivos en lugar de negativamente crticos. Si el autor no hace esto, entonces el informe no tendr el equilibrio debido y har que se pierda el inters y concentracin de todos los lectores salvo los ms resueltos y dedicados. En lugar de tener una lectura amplia, en el mejor de los casos el informe no se saldr de un pequeo crculo de especialistas y stos no siempre son las personas con la influencia o los recursos necesarios para ayudar a ejecutar las recomendaciones del informe. Haga que el producto final sea atractivo Haga que el informe sea grato de leer y est bien diseado. Comience con una portada atractiva; demuestre su orgullo por su trabajo duro y esfurcese por que el resultado final sea atractivo. Divida el texto con grficas apropiadas. Algunos tipos de informacin, por ejemplo, las discusiones y las conclusiones, se transmiten mejor a travs de palabras y texto. Otros se comprenden mejor cuando sin expresados visualmente en la forma de tablas, cuadros y diagramas. La informacin que se presenta de esta manera es fcil de comprender y propicia la reflexin. Los mapas son especialmente tiles en la presentacin de datos tales como reas de captacin, densidad demogrfica y/o sistemas agrcolas. Utilice citas directas y de primera mano desde diferentes perspectivas, por ejemplo, poblacin meta, dirigentes comunitarios, proveedores de servicios, personal de planificacin, etc. Las citas dan sabor y un sentido de realidad a un texto seco. En la medida de lo posible, las citas deben dejarse en las palabras y frases utilizadas por los sujetos. No slo ser ms fcil de leer el informe sino que las personas provenientes de la comunidad meta tambin tendrn una mayor probabilidad de identificarse con el contenido y sentir que el informe realmente aborda de una manera genuina y til sus problemas e inquietudes. Asegrese de incluir un identificador mnimo con la cita, ya que esto puede ayudar a los lectores a identificar patrones sin violar la confidencialidad. La siguiente tabla incluye algunos lineamientos generales respecto al volumen de los documentos dirigidos a diferentes grupos de lectores previstos.

Apreciacin general del informe final El informe final debera incluir una discusin de los datos cualitativos y cuantitativos recolectados durante el estudio, organizados y analizados con miras a proporcionar al proyecto informacin relacionada con lo si-

166

guiente: 1) la magnitud de los problemas actuales, y 2) los logros y limitaciones del proyecto existente respecto a los impactos proyectados sobre dichos problemas. Los hallazgos y las recomendaciones tendrn una mayor utilidad si se priorizan con el objeto de reforzar la planificacin que puede servir para abordar los interrogantes ms importantes. El informe final debera proporcionar informacin adecuada en la que puedan basarse decisiones tcnicas y polticas orientadas a mejorar el proyecto, la que idealmente debera incluir un plan de accin para el ao siguiente. Seguimiento Se recomiendan en particular dos reas de seguimiento. a) Ejecucin de estrategias y evaluacin subsiguiente: Una vez que se han diseado planes especficos y se han ejecutado estrategias en respuesta a los hallazgos, pueden seleccionarse indicadores o descriptores apropiados del estudio para propsitos de monitoreo. Estos podran incluir indicadores de los resultados (por ejemplo, efectivamente se iniciaron las revisiones propuestas del proyecto?) como tambin efectos (por ejemplo cules fueron las percepciones y comportamientos de la poblacin meta en respuesta a las actividades nuevas?). b) Anlisis posteriores: Aunque los sistemas de informacin de proyectos han sido presentados como una estrategia de investigacin relativamente rpida y con orientacin a la accin, la abundancia de los datos que generan sugiere la conveniencia de considerar anlisis adicionales o posteriores. Una aplicacin de este tipo consiste en hacer que el conjunto de datos sea accesible para propsitos del anlisis secundario por otros investigadores, por ejemplo, estudiantes de post-grado, personal de planificacin de diferentes sectores, etc.

Una segunda aplicacin implica hacer comparaciones entre los hallazgos del estudio y los de otros estudios de investigacin. Finalmente, es probable que surjan del estudio numerosos temas potenciales para la investigacin operativa que podran priorizarse y convertirse en propuestas de financiamiento

Actividades de la dcima sexta semana Individuales 1. Realice la lectura de la semana. 2. Actualizar su diario de aprendizaje. Grupales 1. Trabajando en grupo, elaboren un mapa conceptual de los aspectos a considerar en la redaccin. Autoevaluacin 1. Qu relacin puede establecer entre la lectura y sus conocimientos previos acerca de redaccin de informes tcnicos? 2. Qu uso puede hacer con lo aprendido de la lectura, al momento de preparar el informe de la evaluacin?

167

DECIMA SPTIMA SEMANA TEMA ESTRUCTURA PAR LA PRESENTACIN DEL INFORME DE UNA EVALUACIN Objetivos de la semana
Al finalizar el estudio de la dcima sptima semana las y los estudiantes. Estn en la capacidad de preparar el informe de la evaluacin.

LECTURA
I. Resumen ejecutivo II. Introduccin III. Antecedentes del Proyecto IV. Examen de los Objetivos y del Diseo del Proyecto A. Justificacin B. Objetivos C. Diseo del Proyecto (pertinencia del proyecto) V. Examen de la Ejecucin, Eficiencia y de la Gestin A. Presupuesto y Gastos del Proyecto B. Actividades y Productos C. Apoyo de los donantes D. Gestin del Proyecto (administracin) E. Apoyo Tcnico y Operacional VI. Evaluacin de los Resultados y de la Eficacia 1. Efectos e Impacto 2. Sostenibilidad e Impacto de los Resultados alcanzados 3. Equidad y Consideraciones de Gnero en la Ejecucin y en la A. Distribucin de Beneficios 4. Anlisis de la Relacin de Costo-Eficacia 5. Principales Factores que han incidido los Resultados del Proyecto VII. Conclusiones y Recomendaciones A. Conclusiones B. Recomendaciones VIII. Lecciones Aprendidas I. Resumen Ejecutivo (Principales Conclusiones y Recomendaciones) Esta seccin debe presentarse como un resumen ejecutivo, conteniendo una breve recapitulacin de las principales conclusiones y las recomendaciones para accin inmediata. Los puntos a cubrir son: Un resumen de los objetivos y de la estructura del proyecto y una breve descripcin de las razones que justifican la evaluacin. Las principales conclusiones, incluyendo un examen crtico de los principales factores que han afectado positiva o negativamente la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto. Esto debe incluir el anlisis de la concepcin original y del diseo del proyecto (incluyendo los supuestos del marco lgico), de las condiciones que han afectado la ejecucin del proyecto (limitaciones institucionales e infraestructurales, gestin del proyecto, limitaciones para movilizar los

168

recursos necesarios) y de los factores socioeconmicos y de poltica que inciden en la participacin de los beneficiarios en el proyecto. Las recomendaciones para la orientacin futura del proyecto y las acciones consecutivas a la evaluacin a ser emprendidas por el ejecutor y donantes del proyecto.

Para asegurarse de que puede ser fcilmente ledo por las personas concernidas, el resumen debe ser breve (no ms de 2-3 pginas) haciendo las referencias necesarias al texto principal. II. Introduccin Razones para organizar la evaluacin (los trminos de referencia deben anexarse al informe) y objetivos de la evaluacin. Las personas entrevistadas, metodologa utilizada y la documentacin consultada por los miembros del comit de evaluacin deben ser tambin, mencionados en un anexo. III. Antecedentes del Proyecto Breve descripcin y razn de ser del proyecto, incluyendo los problemas y las limitaciones que deben enfrentarse, as como, el marco institucional Principales cambios acontecidos en dicho marco desde entonces; complementariedad con otros programas o proyectos en el pas o regin; fecha de iniciacin, duracin y costos del proyecto. IV. Examen de los Objetivos y Diseo del Proyecto A. Justificacin Anlisis crtico de la concepcin del proyecto y de su incidencia econmica y social, para satisfacer las necesidades poblacin participante del proyecto, en el contexto de operacin del proyecto. La relacin costo-eficacia y la pertinencia de los enfoques escogidos en el diseo del proyecto. B. Objetivos A. Resumen de los objetivos del proyecto original y de las eventuales revisiones que se han presentado desde la aprobacin del proyecto. B. Una revisin crtica de los objetivos, inmediatos y a largo plazo, buscando analizar la claridad en su formulacin, la precisin, y la pertinencia de estos para: (a) orientar la(s) accin(es) de desarrollo; (b) satisfacer las necesidades por las cuales se concibi el proyecto; y, (c) validez de los supuestos de base crticos al alcance de los objetivos. Cuando los objetivos, especialmente los inmediatos, no estn claramente especificados, la misin debe proceder a una interpretacin de lo que el proyecto supone alcanzar hacer. C. Diseo del Proyecto 1. Claridad y pertinencia en la identificacin de los beneficiarios inmediatos y finales del proyecto, incluyendo el examen de sus necesidades especficas y la definicin de los mecanismos a travs de los que se espera alcanzar a dichos beneficiarios. 2. Evaluacin de la lgica global del proyecto, es decir, si la relacin entre insumos, actividades, productos y objetivos es apropiada; y, si el diseo del proyecto representa una alternativa viable (costo-efectiva) para responder a los problemas identificados. 3. Claridad y precisin en la descripcin de los productos; acierto en la especificacin de los insumos y en su vinculacin con la realizacin de los objetivos inmediatos. 4. Claridad y precisin en la descripcin de las actividades previstas; realismo del plan de trabajo (calendario y duracin de las principales actividades del proyecto); adecuacin de los insumos para el proyecto que deben ser suministrados por el donante y por el Gobierno beneficiario; realismo en los plazos identificados para el proyecto. 5. Claridad y validez de la estructura interna para la gestin del proyecto. 6. Principales supuestos, explcitos o implcitos en el diseo del proyecto. Examen de la Ejecucin, Eficiencia y de la Gestin A. Presupuesto y Gastos del Proyecto

169

Evaluacin de la tasa de realizacin del presupuesto y la calidad de los insumos (tanto aquellos financiados por el donante como por la contribucin del Gobierno) en relacin a lo previsto en el documento del proyecto. B. Actividades y Productos Anlisis comparativo y sistemtico de la cantidad, calidad y pertinencia de las actividades y productos realizados en relacin con lo previsto en el documento del proyecto original y los planes de trabajo elaborados durante la ejecucin: identificacin de las carencias y retrasos en la ejecucin de las actividades y en la obtencin de los productos previstos y anlisis de sus causas, incluyendo aquellos factores que estn fuera del productos previstos y las acciones ulteriores; medidas correctivas contempladas o tomadas. C. Apoyo de los donantes Apoyo directo de los donantes y su nivel de participacin en las operaciones del proyecto; labor y eficacia de los distintos entes de apoyo. D. Gestin del Proyecto Eficiencia y eficacia de la direccin del proyecto; lazos de colaboracin establecidos con otras instituciones; pasos realizados para transferir la plena responsabilidad de gestin del proyecto a la poblacin. E. Apoyo Tcnico y Operacional Magnitud y calidad del apoyo tcnico y operacional/administrativo recibido por el proyecto; efectividad del papel desempeado durante la ejecucin por el donante y la institucin encargada de la ejecucin del proyecto. VI. Evaluacin de los Resultados y de la Eficacia A. Efectos e Impacto Utilizacin dada por los grupos-meta de los productos generados y progresos realizados hacia la obtencin de los objetivos previstos. Examen de los efectos reales y previsibles deben ser identificados y comparados con los objetivos inmediatos previstos. Los efectos no previstos tambin debern ser analizados. Nivel al que los efectos del proyecto contribuirn a la realizacin del objetivo general; significado de dicha contribucin (cambio evolutivo); perspectivas para decisiones de poltica apropiadas y para movilizacin de recursos adicionales (internos y externos). B. Sostenibilidad e Impacto de los Resultados en el Medio Ambiente Probabilidad que los beneficiarios continen utilizando los resultados del proyecto: receptividad a su uso y adaptacin de los productos para otras actividades de desarrollo; cimiento de las capacidades adquiridas a nivel local e institucional. C. Equidad y Consideraciones de Genero en la Ejecucin y en la Distribucin de Beneficios Anlisis de las medidas que apuntan a incorporar orientaciones relativas al gnero de los beneficiarios; examen de la determinacin, pertinencia y efectividad de estas en la reduccin de los factores limitantes. D. Anlisis de la Relacin de Costo-Eficacia Anlisis de la efectividad del proyecto en alcanzar los objetivos establecidos (en su diseo y ejecucin) dentro del lmite de los recursos disponibles. O sea, sera posible lograr los mismos objetivos, a travs de otro tipo de diseo de proyecto y con el mismo nivel de recursos? En esta seccin se debe verificar si se han analizado medidas u mtodos alternativos para el logro de los objetivos. E. Principales Factores que han incidido en los Resultados del Proyectos Anlisis resumido de los principales factores y condiciones que han incidido positiva o negativamente en la eficiencia y eficacia del proyecto; estos pueden provenir del diseo, del proceso de ejecucin o de cambios externos fuera del control del proyecto. El anlisis debera constituir la principal fuente para extraer lecciones y recomendaciones para el futuro.

170

VII. Conclusiones y Recomendaciones A. Conclusiones Esta seccin debe presentar una sntesis sucinta de las principales conclusiones ya examinadas en las secciones precedentes del informe y deber exponer conclusiones sobre: la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto en la realizacin y logro de los objetivos previstos. Las conclusiones deben proponer una base muy clara para la sustentacin de las recomendaciones a continuacin. B. Recomendaciones Las recomendaciones deben estar claramente dirigidas a cada una de las partes concernidas, es decir, al donante, a la institucin ejecutante, beneficiarios y potenciales donantes. En la medida de lo posible, las recomendaciones deben ser realistas, precisas y prcticas. Las recomendaciones sobre las actividades que en curso y aquellas que cubren las actividades la continuacin una vez finalizado el proyecto deben ser presentadas por separado. Una evaluacin de medio-camino normalmente debera incluir un plan de trabajo (a ser incluido como anexo) y un resumen de los principales cambios necesarios en los insumos y productos ya programados, y si es necesario, en los objetivos. Si, en una evaluacin final, se recomienda una fase ulterior se deberan incluir: los objetivos, las principales actividades y productos, as como la estimacin de los insumos requeridos. Las recomendaciones tcnicas detalladas para el proyecto son bien venidas en el informe de evaluacin, pero se debern consignar en uno de los Anexos. VIII. Lecciones Aprendidas Las lecciones que se pueden deducir de esta experiencia (ya sea, normativas, metodolgicas o de procedimiento) a nivel de la formulacin o ejecucin de proyectos similares deben ser presentadas en esta seccin, incluyendo consideraciones criticas con implicaciones ms universales que necesitan particular atencin en proyectos similares. Actividades de la dcima sptima semana Individuales 1. Realice la lectura de la semana. 2. Prepare una carta para su docente, haciendo una sntesis de la lectura, con una extensin no mayor de una pgina. Grupales 1. En grupo preparen el informe de su evaluacin. Autoevaluacin 1. Est usted de acuerdo con los criterios enumerados por la lectura para la presentacin del informe de la evaluacin? 2. Con cules criterios no est de acuerdo y por qu? 3. Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cules?

171

DCIMA OCTAVA SEMANA TEMA La tica en el monitoreo y evaluacin Objetivos de la semana

Al finalizar el estudio de la dcima octava semana las y los estudiantes. Comprendern la importancia de la tica en una evaluacin.

LECTURA
Paso 1 Reconocer Nuestras Responsabilidades
Los asuntos ticos surgen con frecuencia en el curso del trabajo de M&E. A continuacin algunos ejemplos de estas situaciones: Se le solicita que lleve a cabo una actividad de M&E que no responde a las necesidades de informacin del proyecto o el contexto cultural local. Luego que se ha publicado su informe de evaluacin, usted se entera que se ha retirado la seccin sobre limitaciones y debilidades, implicando por tanto que sus hallazgos son en trminos generales aplicables. Las comunidades locales estn mostrando cansancio frente a las encuestas, esto sucede especialmente entre los grupos de control que no participan en el proyecto o reciben servicios.

Cada uno de estos dilemas plantea campanas de alarma sobre aspectos ticos. Este tipo de dilemas surgen con frecuencia en el trabajo de M&E y, por lo tanto, es importante que los gerentes de programa se familiaricen con aquellos principios ticos rectores clave. El personal del programa es responsable de incorporar y dar respuesta a los asuntos ticos en la medida de sus capacidades. Clarificar los roles y responsabilidades ayuda a asegurar que realicen su trabajo de forma sistemtica y competente, con integridad, honestidad y respeto por las personas, los valores locales, y las normas culturales. El objetivo es promover la honestidad, la justicia y el desarrollo para mejorar la calidad de vida de aquellos a quienes servimos. Al trabajar en un entorno complejo e interconectado, es imposible predecir con certeza los resultados e impactos de las intervenciones de los proyectos. Por ello, los hallazgos de M&E deberan brindar insumos suficientes que permitan que las decisiones programticas en contextos cambiantes se tomen fundamentadas en informacin, para evitar posibles efectos nocivos, resultantes de esas intervenciones. Cuando surgen estos asuntos ticos, el personal del programa y los actores involucrados necesitan reconocerlos y discutirlos con las partes interesadas para llegar a una solucin. Los gerentes de programas y especialistas de M&E deberan desarrollar una fuerte relacin de trabajo con el personal de proyectos, para discutir abierta y honestamente los asuntos ticos de M&E. En algunos casos, puede ser conveniente involucrar a los miembros de la comunidad en la solucin de los problemas ticos. Los residentes locales a menudo pueden proporcionar informacin valiosa para llegar a una solucin que sea culturalmente apropiada. AEA (American Evaluation Association) desarroll una serie de principios ticos para guiar a los profesionales de M&E (vea AEA 2004). Estos principios estn destinados a fomentar el debate entre los profesionales de M&E y pueden guiar de manera activa el diseo e implementacin del M&E, y no slo concentrarse en el apoyo de esfuerzos orientados a la solucin de problemas. Los principios de AEA no deben constituir un limitante, dado que AEA reconoce que todos los principios no pueden aplicarse por igual en los diferentes con-

172

textos y culturas. Sin embargo, los profesionales de M&E deberan esforzarse por cumplir cada principio y documentar claramente la razn cuando algn principio no pueda cumplirse. A continuacin se resumen los cinco principios de AEA investigacin sistemtica, competencia, integridad y honestidad, respeto por las personas y responsabilidad por el bienestar general y pblico. Muchos de los conceptos clave que se destacan a continuacin han sido tomados de la publicacin Consideraciones ticas sobre Evaluacin de G. Jackson. 1. La Investigacin Sistemtica sostiene que el personal de M&E debe adherirse a los ms altos estndares tcnicos para cada actividad. Reconocer y buscar eliminar el sesgo en las actividades de M&E. El sesgo puede producirse como resultado de inadecuadas metodologas, por ejemplo, si el equipo responsable de recolectar la informacin solo encuesta a los hombres en una comunidad o slo visita las comunidades de fcil acceso desde la carretera principal. El personal de M&E puede sesgar los resultados si posee una opinin muy fuerte (ya sea positiva o negativa) sobre alguna actividad de M&E o sobre un proyecto. El personal debe mantenerse neutral y promover la presentacin de informes que se sustenten en evidencias, asegurando que la informacin hable por s misma, de forma objetiva e imparcial. Asegrese que las actividades de M&E son sistemticas, exactas y justas, e identifique las fortalezas y debilidades del proyecto. Permtase escuchar otras opiniones crticas y complementarias sobre la informacin recolectada. Comunique claramente la metodologa o enfoque, para que los actores involucrados puedan comprender y cuestionar las actividades de M&E. Las metodologas deben incluir herramientas y preguntas que permitan conocer tanto el impacto intencional del proyecto como el impacto no intencionado, sea positivo o negativo. Explore abiertamente las fortalezas y debilidades de la metodologa con los clientes y actores involucrados, a fin de que los resultados puedan ser interpretados con precisin dentro de su contexto y en funcin de sus limitaciones. Reconozca cualquier debilidad evidente en la fase de planificacin y cualquier debilidad adicional no prevista en los informes y en general en la documentacin. Las reuniones de reflexin y los informes de M&E deben incluir una minuciosa seccin sobre la metodologa y documentar todas las limitaciones de este enfoque.

2. Competencia significa que el personal de M&E debe contar con las capacidades y competencias culturales requeridas para llevar a cabo el proceso de M&E. Rehsese a participar en cualquier actividad de M&E que no responda al conjunto de sus capacidades y competencias (o las del equipo de M&E, colectivamente), si no se tuviera previsto un adecuado apoyo tcnico. Solicite a otros tcnicos expertos en su organizacin o en sus comunidades de prctica que le apoyen en todos aquellos aspectos del M&E sobre los que usted no se sienta seguro. No inicie una actividad de M&E si los actores involucrados dudan de su credibilidad debido a su trabajo en el pasado a opiniones que haya declarado pblicamente. Si los principales actores encontraron deficiencias en su trabajo o cuestionaron su posicin en relacin a otras actividades relacionadas, pueden desacreditar la metodologa o los resultados de sus futuras tareas. Busque continuamente mejorar sus capacidades y competencias a travs de capacitaciones tcnicas y reflexiones sobre las lecciones aprendidas de cada una de las actividades de M&E. Busque nuevas experiencias y oportunidades de aprendizaje en el lugar de trabajo. Mantngase al da sobre nuevos avances en la industria, a travs de listas de pginas web y leyendo literatura actual.

173

3. Integridad y honestidad deben demostrarse en todas las etapas del proceso de M&E y ante los actores involucrados beneficiarios, personal del programa, donantes, y otros grupos de partes interesadas y los participantes del proyecto. Revele a los actores involucrados y donantes cualquier posible conflicto de intereses previo la finalizacin de la planificacin de un proceso de M&E. En este tipo de conflictos se puede incluir, por ejemplo, el inters de un actor involucrado en presentar nicamente los xitos de un proyecto en lugar de mantener la neutralidad, el inters de un actor particular en demostrar las necesidades de un sector a expensas de las necesidades de otro sector (ej: enfocarse en las necesidades agrcolas y no reconocer los problemas de agua). Tambin es importante dar a conocer la fuente de financiamiento a los actores involucrados, a fin de que conozcan el inters de los donantes en el proceso de M&E. Honrar los acuerdos realizados con los actores involucrados (incluidas las comunidades y participantes) respecto del calendario de encuestas, planes para compartir los resultados, participacin de la comunidad en la recopilacin de datos, y cualquier otro aspecto relacionado al proceso de M&E. Si fuera necesario realizar ajustes en los acuerdos, consulte a los actores involucrados para consensuar la mejor alternativa para todos.

174

No lleve a cabo procesos de M&E en los que no existan recursos suficientes para la produccin de informacin y resultados de calidad. Si no existe personal o dinero suficiente para llevar a cabo el trabajo de campo, segn lo previsto, o para analizar e informar sobre la informacin recolectada, desarrolle una metodologa alterna para la cual existan suficientes recursos humanos y financieros. Asegrese que, hasta donde el mximo de su conocimiento y capacidad lo permitan, la informacin de M&E sea correcta. Aborde cualquier prctica cuestionable de M&E que haya observado durante la recoleccin o anlisis de la informacin, ya sea debido a negligencia o a errores de los miembros del equipo de M&E. Corrija cualquier prctica cuestionable an cuando ello implique recolectar ms informacin. Asegrese que los resultados de M&E se representen con exactitud y trate de prevenir su indebido uso. Es obligacin del evaluador presentar el panorama imparcial y completo que proporciona la informacin, y corregir percepciones errneas si los actores involucrados intentaran presentar slo los resultados favorables en un foro pblico, utilizar la informacin fuera de contexto (nivel de representacin), ignorar las limitaciones que se produjeron en la metodologa.

4. El respeto por las personas comienza con la premisa de que el personal de M&E tiene un claro entendimiento de los elementos contextuales que pueden influir el proceso de M&E y respetan las diferencias existentes entre los actores involucrados, tales como gnero, condicin socioeconmica, edad, religin y origen tnico. Las actividades de M&E deben maximizar los beneficios y minimizar los daos. Los beneficios del conocimiento y de los resultados que arroje la evaluacin deberan tener ms peso que el tiempo y los recursos humanos y financieros requeridos para llevar a cabo el proceso de M&E. Incorpore tambin consideraciones de orden ambiental en esta ecuacin. No debe ponerse en riesgo fsico a los encuestados, ni deben ser objeto de discriminacin de cualquier tipo de perjuicio, como resultado de su participacin en la actividad de M&E.

175

Las Responsabilidades Generales y Responsabilidades para el Bienestar Pblico incluyen no slo los resultados inmediatos del proceso de evaluacin, sino tambin las implicaciones de largo plazo y los efectos. Los actores involucrados (incluido el personal del proyecto) deben revisar y comentar los resultados e informes del M&E; sin embargo, el personal de M&E es en ltima instancia el responsable de decidir sobre el contenido del informe y de garantizar que el mismo (y cualquier presentacin) proporcione una imagen completa y equilibrada de los resultados, incluyendo la metodologa, una seccin sobre limitaciones, y cualquier hallazgo menos favorable. La seccin de limitaciones explica en qu medida los hallazgos del estudio pueden generalizarse hacia la poblacin en su conjunto ms amplio, y cualquier deficiencia en la calidad de la informacin. Siga una poltica de no divulgacin y comparta y utilice los resultados slo segn lo acordado inicialmente con los actores involucrados. Si se protege la confidencialidad y los hallazgos se derivan de la informacin, es conveniente compartir dichos hallazgos ampliamente. Slo si el donante impone lmites, se retendrn los hallazgos de la investigacin. Es aconsejable acordar un plan de difusin antes de la realizacin de cada actividad, a fin de evitar confusiones o conflictos posteriores. Presente los hallazgos de M&E en forma que sea altamente accesible para todos los actores involucrados, manteniendo la confidencialidad de los participantes. Determine los medios adecuados para difundir los resultados a cada uno de los actores involucrados. Por ejemplo, considere el nivel de alfabetizacin cuando planifique la reunin de difusin de resultados a la comunidad. El personal de M&E debe tener precaucin en mantener la confidencialidad cuando presente los resultados a las comunidades. Los miembros de la comunidad generalmente son muy conscientes de las condiciones locales de las familias y podran deducir las respuestas de diversos miembros de la comunidad, a partir de muy poca informacin.

176

Paso 2: Revise los Principios Gua para Evaluadores de AEA

El Dilogo con los actores involucrados debe incorporar los principios ticos ms importantes y el resultado del proceso de reflexin. Solicite aportes a los actores involucrados, previo a la presentacin de sus ideas para obtener nuevas perspectivas. Elabore conjuntamente con los actores involucrados un marco para resolver los asuntos ticos. Identifique el rol de cada uno de los actores involucrados y los instrumentos de comunicacin adecuados para resolver estos problemas. Involucrar a los actores clave en los temas, durante la fase de planificacin, aumentar el conocimiento que tienen sobre los principios ticos que guan su trabajo e infunde un sentido de apropiacin respecto a la calidad de los resultados. Los grupos de Control fueron considerados por mucho tiempo como la norma de oro para demostrar impacto programtico. La inclusin de grupos de control en el M&E implica recolectar informacin de familias y comunidades que no recibieron servicios y compararlos con la informacin de los participantes en el proyecto. Sin embargo, usar grupos de control amerita el recolectar mucha ms informacin y deben tomarse en cuenta las siguientes consideraciones ticas: 1. En qu situaciones debera recolectarse informacin de personas que no reciben ningn beneficio del actual proyecto y que, adems, es poco probable que se beneficien de futuros proyectos (basado en los resultados de M&E)? 2. Si la intervencin del proyecto inicialmente parece ser eficaz y tener xito en la consecucin de sus objetivos, el grupo de control debera continuar sin acceso a los servicios del proyecto y debera mantenerse la recoleccin de datos para demostrar ms adelante la eficacia de los proyectos? Si el proyecto desarrolla intervenciones para salvar vidas, la respuesta a esta inquietud sera diferente?

Gua para Discusin sobre Aspectos ticos

Estrechas relaciones de trabajo con los colegas y la participacin en comunidades de prctica fomentan el debate sobre temas ticos y sirven de apoyo durante situaciones donde se presentan desafos ticos. Si an no existe una comunidad de prctica para su trabajo, busque e invierta tiempo en la generacin de este tipo de relaciones. Est listo para apoyar a los colegas, y usted aprender en el camino! A continuacin se presentan preguntas para guiar el proceso de reflexin (Morris 2008). Aunque estas preguntas se orientan a la fase de planificacin, debe generarse una permanente reflexin sobre los aspectos ticos. Consolide y registre sus pensamientos durante toda la vida del proyecto o de la actividad de M&E para identificar las lecciones aprendidas. Consulte con colegas para discutir cualquier preocupacin o tema que surja despus de la reflexin y la revisin. Considere lo siguiente: 1. Cmo puedo establecer un ambiente apropiado para este evento de M&E? Hasta qu punto los actores involucrados estn familiarizados con los principios gua de AEA? Cules son los potenciales problemas que puedo encontrar dado el contexto, proyecto, y los actores involucrados? 2. Existe algn principio gua de AEA que sea particularmente relevante para este trabajo? Existen estudios de caso dentro de la literatura existente de M&E, que proporcionen aportes en cuanto a desafos ticos para este trabajo particular? 3. Si se presenta cualquier conflicto tico, cmo voy a garantizar que se produzcan las conversaciones necesarias dentro, o entre, los diferentes grupos de actores involucrados? Se pueden diferenciar los conflictos ticos de los conflictos relacionados a valores o cultura? 4. Existen colegas a quienes puedo consultar respecto a cualquier asunto tico? Especficamente, puedo consultar con cualquier colega que pueda tener opiniones diferentes a mi punto de vista y no slo colegas que probablemente afirmen mis conclusiones, sin representarme ningn tipo de desafo? 5. Cmo influirn en mi trabajo mis valores personales y normas ticas? Cmo puedo asegurarme que los actores involucrados se sientan lo suficientemente cmodos para compartirme cualquier preocupacin tica que puedan tener?

177

6. Me siento cmodo trabajando en situaciones de conflicto? Plantea este trabajo cualquier potencial situacin que siento que no estoy listo/a para manejar? Si es as, debo mantener mi actual nivel de participacin en el trabajo?

Consentimiento Informado
El consentimiento informado es el consentimiento voluntario para participar en la investigacin y se lo requiere de cada uno de los participantes en cualquier actividad de M&E (Williams y Senefeld 2007). Los cuatro principales elementos del consentimiento informado son informacin, entendimiento, acuerdo de participacin voluntaria, y capacidad de toma de decisiones (Pedroni y Pimple 2001), segn se describen a continuacin: Informacin: el personal de M&E debe compartir con todos los potenciales encuestados, previo a la solicitud del consentimiento, la informacin sobre los posibles riesgos y beneficios de su participacin, el uso que se dar a los resultados, los procedimientos de confidencialidad, informacin de contacto de la persona designada para atender cualquier preocupacin, y cualquier otra informacin relativa a la decisin de participar. Nivel de entendimiento: el personal de M&E debe asegurarse que los potenciales participantes entiendan completamente la informacin proporcionada previo a la solicitud de consentimiento. Acuerdo para participar voluntariamente: En forma alguna debe coaccionarse, persuadirse o presionarse para que participen los potenciales participantes. Capacidad de toma de decisiones: El consentimiento informado requiere que cada participante tenga plena capacidad de tomar decisiones y sea capaz de sopesar los riesgos y beneficios de su participacin. Se requiere especial consideracin cuando se busca el consentimiento de los grupos vulnerables que pueden no tener plena capacidad de decisin, incluidos los nios, las personas con discapacidad mental, las personas muy pobres, y las personas con limitado acceso a servicios y recursos. Se requiere el anlisis de un comit de revisin tica para determinar si es oportuno y cmo se debera obtener el consentimiento informado por parte de estos grupos vulnerables.

Paso 3: Utilice los Estndares ticos

En la fase de planificacin es importante identificar los posibles desafos ticos y elaborar un marco referencial para resolver cualquier conflicto. Aun cuando el planificar anticipadamente no asegura que no se presentarn conflictos ticos, es probable que disminuya la gravedad de cualquier conflicto y se agilite su solucin. Para identificar los desafos y pasos para la solucin de un conflicto, inicie con una reflexin individual y pensamiento crtico sobre los componentes ticos del trabajo a desarrollarse. Luego, mantenga discusiones con los actores clave involucrados para que conozcan los elementos ticos que fueron identificados y puedan aportar con cualquier otro aspecto tico que consideren pertinente. La Reflexin Individual requiere que el personal de M&E reserve tiempo suficiente para examinar el contexto ms amplio del proyecto, incluido los intereses y normas culturales de los actores involucrados, que pudieran generar conflicto. Estndares de Evaluacin de Programas (El Comit Conjunto sobre Normas para Evaluacin Educacional 1994) estipula estndares de evaluacin de acuerdo a las siguientes categoras: utilidad, factibilidad, exactitud y conveniencia. A continuacin se resumen los estndares convencionales sobre los elementos ticos que deben considerarse en una evaluacin: Orientacin al servicio : las evaluaciones deben disearse para dar respuesta y servir a los diferentes participantes meta. Acuerdos formales : Las responsabilidades para una

178

evaluacin (qu se va a hacer, cmo se lo har, quin lo har, cundo) deben acordarse por escrito, de modo que las partes estn obligadas a respetar todas las condiciones del acuerdo o renegociarlas formalmente. Derechos de las personas: Toda evaluacin deben disearse y realizarse en estricto apego al respeto por los derechos y el bienestar de los seres humanos. Interacciones humanas: Los evaluadores deben respetar la dignidad humana y valorar su interaccin con las otras personas que participan en la evaluacin, de modo que los participantes no se sientan amenazados o perjudicados. Completar y ser justos con la evaluacin : Las evaluaciones deben examinar y abordar sus debilidades, y aprovechar sus fortalezas. Divulgacin de hallazgos: Asegrese que los hallazgos y las limitaciones se pongan a disposicin de las personas afectadas por la evaluacin. Conflicto de intereses: Los conflictos de intereses deben tratarse abiertamente, de modo que no comprometan la evaluacin. Responsabilidad fiscal : Las asignaciones y gastos del evaluador deben reflejar slidos procedimientos de rendicin de cuentas, o en su defecto, ser prudentes y ticamente responsables, de modo que los gastos sean pertinentes y se rinda cuenta de los mismos.

Actividades de la dcima octava semana Individuales 1. Realice la lectura de la semana. 2. Actualizar su diario de aprendizaje. Grupales 1. Trabajando en grupo, preparen un sociodrama, para representar los aspectos sobresalientes de la lectura. Autoevaluacin 1. Qu nuevas ideas aprendi de la lectura realizada? 2. Qu sentimientos y pensamientos vienen a su mente con la lectura realizada acerca de la tica?

179

DCIMA NOVENA SEMANA LECTURAS COMPLEMENTARIAS TEMA Una cadena de resultados: La lgica de los programas sociales como herramienta para el monitoreo y la evaluacin marco conceptual para la evaluacin de programas y proyectos sociales Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes. Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluacin de polticas, programas y proyectos sociales.

LECTURA
Un programa social se trata de una apuesta una apuesta que lo que se propone como estrategia o plan de accin sea capaz de desencadenar un conjunto de cambios que se consideran deseables, viables y valiosos. En otras palabras, un programa se basa o se fundamenta en una hiptesis una hiptesis que sugiere un vnculo causal (esperado) entre lo que se propone hacer y lo que se propone lograr. Por ende, el monitoreo de un programa social debe consistir en un anlisis y exploracin de la hiptesis causal (o la apuesta) que sustenta el programa. Consiste en la exploracin de preguntas pertinentes (inteligentes) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. El monitoreo hace un seguimiento de lo que hace el programa, recopila evidencias de posibles efectos e impactos del programa y analiza los vnculos causales entre s. El monitoreo de un programa social debe consistir en un anlisis y exploracin de la hiptesis causal (o la apuesta) que sustenta el programa. Consiste en la exploracin de preguntas pertinentes (inteligentes) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. Siendo as, la gestin del proceso de monitoreo parte de la especificacin explcita de la hiptesis causal del programa. Vamos a proponer una especificacin que toma la forma de una cadena de resultados valiosos esperados, o lo que llamaremos la cadena de resultados. En otros textos, esta especificacin de la hiptesis causal tambin ha sido denominada cadena de objetivos o cadena de valor. Yo prefiero la expresin de cadena de valor, pues nos remarca el nfasis ubicado en la generacin de valor. No obstante, esta expresin se est utilizando para referirse a cadenas en procesos productivos, en todo el anlisis de productividad y competitividad. Con el fin de evitar confusiones entre los dos tipos de cadena, vamos a evitar esa expresin en esta unidad y referirnos a cadena de resultados, recordando que los resultados en que nos enfocamos son los que generan valor pblico.

180

Esta figura es la representacin ms sencilla de la cadena de resultados, que vincula causalmente las actividades e inversiones contempladas en un programa social con una transformacin que se desea producir en la sociedad.

Eslabones de la cadena de resultados

Cada eslabn de la cadena se asocia con objetivos: objetivos de la gestin de actividades, inversiones e intervenciones, que se proponen para poder lograr unos objetivos a nivel de productos, que a su vez se consideran valiosos en la medida que permitan cumplir unos objetivos asociados con efectos, que esperamos que conduzcan al logro de unos objetivos sociales (denominados impactos), que a su vez, son valiosos porque forman parte del logro de la transformacin deseada. La cadena representada en la figura anterior responde a la siguiente lgica, que a su vez, detalla la lgica detrs de las propuestas de programas sociales: las actividades e inversiones se combinan de tal manera que permiten lograr la entrega de unos productos y/o servicios. Estos productos y/o servicios no generan valor por su mera existencia; se entregan con el fin de ser acogidos o recibidos por una poblacin objetivo, cuyos consumos, actitudes, conocimientos y/o comportamientos se esperan cambiar. Estos cambios en consumo, actitud, conocimientos y/o comportamientos se denominan efectos y se esperan como consecuencia del efectivo encuentro entre la oferta de productos y/o servicios y la demanda de la poblacin objetivo. (Estos cambios tambin podran denominarse los cambios intermedios esperados como resultado del programa.) Medianero Burga (2001) indica que los efectos se pueden referir al cambio en el comportamiento de los beneficiarios... o el cambio en la manera en que funcionan las instituciones... A su vez, los efectos son el medio que se proponen utilizar para lograr los impactos, que consisten en unos cambios en las condiciones o calidad de vida de la sociedad o de una parte de la sociedad. Estos impactos contribuyen a la construccin de la visin futura deseable que se ha definido como la transformacin deseada. Si partimos del lado izquierdo de la cadena de resultados representada en la figura cada flecha de la cadena representa una relacin causal que corresponde a la respuesta a una pregunta de para qu? El eslabn de las actividades e inversiones detalla los resultados esperados de las actividades, tareas e inversiones, y la flecha a su izquierda representa la pregunta para qu se realizan estas actividades e inversiones?. Una respuesta a dicha pregunta se expresa en el siguiente eslabn, pues se realizan dichas acciones para que se puedan entregar unos productos o servicios. Y de igual manera nos preguntamos para qu entregar estos productos? La lgica de la cadena de resultados indica que sera para poder lograr algunos cambios esperados en los comportamientos, consumos, conocimientos y/o actitudes de las poblaciones o instituciones receptores u objetivo. Estos cambios son los efectos esperados. Para qu se buscan esos efectos? La hiptesis que sustenta el programa propone que dichos efectos puedan conducir a unos cambios sociales deseables y verificables (los impactos) que, a su vez, contribuye al logro de la transformacin deseada. Ejemplo de una cadena de resultados para un programa:

181

Fuente: Material curso Monitoreo de Programas Sociales. INDES, 2,007. Este ejemplo ilustra una lgica causal clara: se espera que las actividades y rutinas para facilitar la entrega de alimentos permitan el consumo de nutrientes por parte de los nios y nias de las poblaciones objetivo. Asimismo, la hiptesis propone que este consumo tenga efectos sobre la asistencia escolar y el perfil nutricional, que luego afectarn el desempeo de los nios y nias de las poblaciones objetivo y su escolaridad. Estos ltimos impactos esperados se consideran valiosos porque se figuran entre los compromiso de la sociedad, para generar oportunidades para todos los ciudadanos y ciudadanas. Consideremos otro ejemplo. En este caso, contemplemos un programa para promover una mayor participacin de mujeres en los gobiernos locales. El programa propone hacer que los procesos decisorios polticos sean ms equitativos y ms sensibles a la manera en que determinadas decisiones afectan de manera asimtrica a los hombres y a las mujeres. La cadena de resultados del programa podra ser la que se presenta a continuacin:

Transformacin deseada: Un proceso decisorio ms equitativo y ms sensible a la forma en que las decisiones tomadas afectan (de manera diferencial) a los hombres y a las mujeres

Acti vidades: Identificacin y capacitacin de un grupo de facilitadores, comprometidos con la bsqueda de una mayor equidad en los procesos polticos y conocedores de diversos temas relacionados con la perspectiva de gnero

Productos:

Efecto:

Impacto:

Mujeres egresadas de un programa de capacitacin, sobre el papel y el funcionamiento de los gobiernos locales y sobre el liderazgo y las capacidades necesarios para introducir una perspectiva de genro al proceso decisorio de los Recopilacin, anlisis, publica- gobiernos locales. cin y distribucin de datos con respecto a la participacin Un programa de sensibilide la mujer en los procesos zacin a los oficiales eledecisorios gidos de los gobiernos locales, para concienciarPreparacin de materiales los sobre la necesidad de didcticos sobre el gobierno contemplar el genro en local, el proceso decisorio, el los procesos decisorios impacto de los gobiernos locales en el desarrollo nacional y Una capacitacin para los la participacin femenina en oficiales de los gobiernos los gobiernos locales. locales y los miembros de los consejos ciudadanos Desarrollo de una campaa regionales y locales, sobre pblica de comunicaciones anlisis de gnero en la planeacin Identificacin de mujeres lderes y contactos para inte- Una campaa en los meresarlos en el programa dios masivos de comunicacin, para concienciar Desarrollo de currcula y consobre la participacin tenidos femenina en los procesos decisorios y para informar sobre los candidatos femeninos

Mujeres que ejercen sus Una participacin increresponsabilidades en los mentada en mujeres procesos electorales entre los oficiales elegidos de los gobiernos Mujeres dispuestas a locales postularse para posiciones elegidas en los gobiernos Anlisis mayor y menor locales de los asuntos relacionados con genro en los Mujeres que activamente dilogos y debates poltiparticipan en los consejos cos de los gobiernos ciudadanos regionales y locales y nacional locales Mayores demandas por Un pblico mejor infor- parte de las mujeres, mado con respecto a los para que los oficiales candidatos femeninos y la elegidos contemplen el importancia de incorporar gnero en los procesos los asuntos relacionados decisorios. con genro en los dilogos y debates polticos

182

Salpicadura y ondas una manera alternativa de entender los componentes de la cadena de resultados

La persona en este dibujo es una trabajadora comunitaria tratando de entender la metodologa de la cadena de resultados. ste es el nuevo enfoque de monitoreo y evaluacin de programas o proyectos adoptado por muchos organismos financieros gubernamentales y privados en el mundo de desarrollo social. Cada vez ms, las propuestas, planes e informes de avance de los proyectos deben distinguir entre: productos a corto plazo, efectos a mediano plazo, e impactos a largo plazo. Lo que es ms, deben comentar sobre la relacin de causa y efecto entre las actividades del proyecto y estos diferentes niveles de resultados.

Cmo emplear la metfora de salpicaduras y ondas

Encontramos a nuestra amiga Mechitas, facilitadora parada en una isla de piedras, preguntndose, Tengo el proyecto estructurado, mentalmente concebido en mi cabeza, dice ella, pero cmo puedo poner en orden el significado de todos estos trminos de la cadena de resultados? Entusiasmada con una idea, la trabajadora toma una piedra, la sostiene por encima de la laguna y la deja caer. La piedra hace una salpicadura y ocasiona ondas. Aja, exclama, as es como puedo pensar acerca de mi proyecto y de la cadena de resultados! La piedra y yo somos INSUMOS, dice la trabajadora. Dejar caer esta piedra es una ACTIVIDAD, contina, como sostener reuniones comunales, instalar sistemas de agua limpia, y capacitar a los miembros de la comunidad en cmo mantener el buen funcionamiento de los sistemas. Si stas son mis ACTIVIDADES, reflexiona nuestra amiga, sus resultados inmediatos deben ser como la salpicadura...as que la salpicadura debe ser el PRODUCTO un grupo focal de miembros de la comunidad altamente motivados que se organizan en cuanto al agua y a otros problemas comunitarios,...pozos cavados, caos de agua instalados, y el sistema operando... y miembros de la comunidad expertos, equipados, y que siguen una rutina de mantenimiento. A medida que las ondas se abren paso hacia afuera, nuestra amiga habla entre dientes emocionada, EFECTOS... stos deben tener que ver con la liberacin del potencial que hemos creado en la salpicadura, cmo la comunidad est trabajando, todos trabajan como una unidad, y se estn beneficiando del agua. As mismo, los EFECTOS deben incluir ...mejor acceso a agua limpia para todos los miembros y una mayor participacin de la comunidad en la solucin de problemas locales Sintiendo un gran avance, la trabajadora llega hasta el resultado en el largo plazo al que se llama un IMPACTO. Hacia qu IMPACTOS contribuyen estos EFECTOS? se pregunta. El IMPACTO debe ser algo as como...una comunidad ms sana y ms independiente? Nuestra trabajadora de desarrollo, jugando con las piedras en el rio, se ha encontrado con una simple imagen que capta lo que sucede cuando realizamos un proyecto. Cuando implementamos algo como un progra-

183

ma de agua limpia, una campaa de alfabetizacin, una iniciativa microempresarial, o un proyecto de derechos humanos, tambin creamos una salpicadura inmediata y ondas a un mayor plazo. Un dibujo vale ms que mil palabras; la metfora es como un dibujo. Transmite informacin compleja a travs de la analoga a smbolos ampliamente reconocidos. La imagen de una persona dejando caer una piedra en una laguna de agua nos puede ayudar a comprender los enfoques de la planificacin basada en los resultados. La demostracin de dejar caer una piedra en una laguna revela los siguientes puntos importantes: El significado de los rtulos en la Cadena Lgica de Resultados (CLR), y la relacin dinmica entre stos. Por ejemplo, la salpicadura evoca el potencial creado a travs del Producto, mientras que las ondas evocan la liberacin de ese potencial sobre la laguna como los Efectos; La influencia de las Soportes y Limitaciones (tambin se conocen por Habilitadores y Restricciones) - las otras alteraciones en la laguna, y la importancia de hacer Supuestos y de evaluar el Riesgo; La disminucin del control a medida que la roca entra en el agua y la salpicadura se convierte en una onda; La ampliacin de esferas de influencia a medida que el dimetro de las ondas tambin se amplan; La disminucin de la atribucin a medida que la amplitud de la onda que se mueve hacia afuera tambin disminuye; La idea de que observar la salpicadura y luego algunas ondas la primera vez, permite mejoras en la manera en que posteriormente se arrojan las piedras a la laguna; La idea que las personas traen al ejercicio de planificar y administrar su propia perspectiva la cual enriquece el proceso - cada persona parada alrededor de la laguna puede ver la piedra y el agua desde su propio y nico punto de vista; y finalmente, La importancia de ser claros en cuanto a los parmetros; por lo tanto desde la posicin estratgica de quin se est creando la Matriz de Marco Lgico (quin/qu est dejando caer la piedra); quin est directamente ocupado con la intervencin sectorial (quin/qu est en la salpicadura); y quin o qu es indirectamente influenciado por la intervencin (quin/qu est representado en la laguna desde cerca a la salpicadura hasta el permetro de la laguna).

Cmo pueden las imgenes ayudar a sentirse cmodo con la cadena lgica de resultados?
La experiencia muestra que imgenes como la salpicadura y las ondas pueden ayudar a grupos y personas a lidiar con Cadena Lgica de Resultados. Estas imgenes nos ayudan a relacionar trminos como producto y efecto con nuestro trabajo de una manera ms dinmica. En resumen, la metfora involucra a una persona de pie sobre una laguna y sosteniendo una piedra. La persona deja caer la piedra en la laguna creando una salpicadura y luego ondas. Los insumos son la persona y la piedra; el producto es la salpicadura, y las ondas son los efectos y los impactos. Para concluir, creemos que la imagen transmite las siguientes ideas clave: La salpicadura cubre una pequea rea, en comparacin a la onda - esto sugiere que una actividad y su producto involucra un nmero relativamente limitado de personas pero que, as como una salpicadura se convierte en una onda, la influencia de la actividad y su producto se extiende ms all del grupo inicial de participantes. Los que reciben la capacitacin, por ejemplo, llevan su conocimiento y habilidades nuevos de vuelta a sus lugares de trabajo y comienzan a influir en las rutinas de los dems. sta es la zona de las ondas, en donde tiene lugar la verdadera transformacin de desarrollo (cambio social).

184

Las personas que llevan a cabo un proyecto tienen un control considerable sobre el uso de los insumos, de las actividades, y de los productos- es decir, hasta donde se da la salpicadura en la laguna. Pero despus de eso, tienen un control cada vez menor. Esto se debe a que las ondas toman su curso pero el curso que toman est influenciado por otras alteraciones en la laguna - en la vida real, la laguna rara vez est en calma. Esto no es para decir que no tenemos influencia alguna sobre las ondas; tenemos cierta influencia, pero sta disminuye en tanto que la onda se expanda ms hacia afuera para convertirse en un impacto. Verdaderamente, cuando se trata del Impacto, todo lo que podemos hacer es contribuir a dicho resultado. A pesar de no poder administrar el 100% para los resultados (u ondas), tanto ms sabemos acerca del efecto de nuestro trabajo, tanto ms podemos afinar las actividades para obtener los resultados de desarrollo que necesitamos. Podemos alterar o aadir a nuestras actividades o, por ponerlo de otra forma, podemos dejar caer la piedra de manera diferente, cambiar su tamao, o cambiar el nmero de piedras que tenemos que dejar caer. De este modo, el monitoreo se hace especialmente importante.

El Lenguaje Bsico de La Cadena Lgica de Resultados

Insumos - stos son los ingredientes humanos y fsicos - la materia prima - que usted necesita para ocasionar los cambios (resultados) que busca. Aqu es donde usted identifica la pericia, el equipo, y los suministros. Tener una buena comprensin de nuestros requerimientos de INSUMOS nos permite hacer un presupuesto preliminar. Actividades stas representan lo que usted hace con esos ingredientes - cmo los combina. Normalmente, las intervenciones involucran decenas o cientos de actividades definibles. Usted debe agruparlas en conjuntos o componentes de entre cinco a ocho actividades. Entre los encabezados comunes para estos conjuntos se incluye: promocin, formacin de grupos, asesora, creacin de redes, defensa (advocacy), capacitacin, y construccin. Bajo encabezados como stos, escriba pequeos prrafos describiendo qu es lo que el proyecto est HACIENDO. Productos los primeros resultados y los ms inmediatos de su intervencin. Usted tiene mucho control en cuanto a cmo stos se producen. La mayora de los PRODUCTOS se relacionan directamente a una actividad, as que usted debe tener, en lneas generales, tantos productos como actividades. Una vez ms, usted debe apuntar a tener una declaracin de PRODUCTO por cada conjunto de Actividades. Los PRODUCTOS pueden definirse utilizando nmeros, pero tambin deben describir algn cambio cualitativo (ver notas ms abajo). Los PRODUCTOS captan el potencial que usted crea a travs de las actividades. A menudo este potencial se crea entre un grupo definido de personas - aqullos que participan directamente en la actividad (por ej. los participantes en un programa de capacitacin). Algunas veces este potencial viene en la forma de un PRODUCTO (por ej. una presentacin o afiche de alguna poltica convincente, una emisin radial informativa). Efectos stos fluyen de una coleccin de productos y describen la liberacin de dicho potencial. Los EFECTOS por lo general tienen lugar en las familias, en las organizaciones, y en las comunidades que rodean al individuo (o que son influenciados por el producto - ver arriba). Usted debe poder ocasionar estos cambios en la vida de su intervencin. Usted no tiene control total sobre estos cambios porque estn a menos de un paso de la actividad y, a esta distancia, las influencias externas pueden inmiscuirse en el camino muy fcilmente. Pero, es muy importante administrar hacia estos efectos porque stos representan los cambios concretos que usted est tratando de ocasionar a travs de su trabajo. Para una administracin fcil, tenga como objetivo tener entre tres y cinco declaraciones de EFECTO. La declaracin de propsito de un proyecto es por lo general equivalente a los efectos. La principal diferencia entre ambos se describe en las notas ms abajo. Impactos stos por lo general describen los cambios panormicos hacia los que la intervencin de usted se est esforzando por lograr, pero que usted solo no puede ocasionar. Tenga por objetivo una declaracin que ilustre este futuro preferido. Los impactos ilustran el objetivo que yace debajo del trabajo de usted; contestan al por qu el trabajo es importante. El IMPACTO ideal es uno: a) que inspire a las personas hacia un futuro cierto, b) que su proyecto pueda, en algn momento en el futuro, demostrar una contribucin. Piense en un barco o en un faro en el horizonte. Si el objeto est demasiado lejos se hunde bajo el horizonte y no da direccin alguna. Las declaraciones de objetivo y/o visin son en lneas generales equivalentes a una declaracin de IMPACTO.

185

Soportes e impedimentos (Habilitadores y restricciones) aqu estamos hablando acerca del contexto de la intervencin. Este contexto tiene influencias positivas y negativas. Cuanto ms usted sepa acerca de estas influencias, tanto mejor preparado podr estar para administrarlas (por ej. realizar sus actividades de manera diferente). Los SOPORTES e IMPEDIMENTOS (restricciones y habilitadores) pueden encontrarse dentro de su organizacin as como tambin a una escala familiar, comunal, nacional, e incluso internacional. Pueden ser generados por humanos o por otras fuerzas de la naturaleza. Riesgos y supuestos en ltima instancia, el diseo de sus intervenciones necesita basarse en un conjunto de SUPUESTOS y en un clculo del RIESGO. Los SUPUESTOS se refieren a las condiciones que necesitan darse para que el proyecto realice un avance planificado hacia los resultados que quiere. Los RIESGOS hablan de la probabilidad de que estas condiciones no se den. El clculo del RIESGO puede ser una evaluacin involucrada, o para intervenciones pequeas, es ms un ejercicio intuitivo. Debe hacerse con una buena comprensin de las restricciones y de los impedimentos que muy probablemente influirn en el proyecto (ver arriba). Al calcular el RIESGO, aqullos que disean el proyecto simplemente podran notar si el RIESGO de una condicin necesaria que no est dada es bajo, mediano, o alto, y proveer de una corta explicacin. Indicadores sta es la evidencia, o prueba, necesaria para mostrar el avance hacia los productos y efectos de usted. Imagine los cuadrantes y visualizadores dentro de la cabina de mando de un avin. stos proveen de informacin importante a los pilotos acerca del estado del rendimiento de la nave y su posicin en relacin con su destino. Sin estos INDICADORES, los pilotos tendran muy poco con qu guiarse en su viaje. Designar los INDICADORES - determinar qu cuadrantes y visualizadores van a darle a la intervencin justo el tipo correcto de informacin - es una tarea particularmente difcil que por lo general involucra ensayo y error. Los INDICADORES necesitan dar evidencia precisa y confiable; la informacin tiene que ser fcil de recoger y til para aqullos que toman decisiones administrativas. Los INDICADORES pueden ser cuantitativos o cualitativos.

Caractersticas de los eslabones de la cadena

Cabe destacar las siguientes caractersticas de los eslabones de las cadenas: La cadena de resultados estipula LOGROS ESPERADOS en cada uno de sus eslabones: los elementos registrados en cada eslabn expresan los frutos o logros que se esperan como evidencia del logro de los objetivos reflejados (de actividades, productos, efectos o impactos). A manera de ejemplo, unos logros a nivel de producto podran ser: La capacitacin de todos los docentes de las escuelas primarias rurales, en prcticas pedaggicas que aprovechan nuevas tecnologas de la informacin para la enseanza de matemticas; o Una campaa por los medios masivos sobre el efecto del comercio callejero en la explotacin de trabajo infantil.

Unos logros (correspondientes) a nivel de efectos podran ser: Incorporacin de las nuevas tecnologas de informacin en las prcticas docentes (en aula) en las escuelas rurales; Sensibilizacin del pblico con respecto al efecto del comercio callejero en la explotacin del trabajo infantil.

Y, siguiendo con estos ejemplos, unos logros esperados a nivel de impactos seran: Aprendizaje ms efectivo de las matemticas entre los/las estudiantes de las escuelas primarias rurales; Reduccin de las transacciones callejeras con comerciantes menores (y su correspondiente desestimulo al trabajo infantil).

186

Las flechas de la cadena revelan las relaciones causales que esperamos permiten conducir de un logro a otro. Cada flecha representa una hiptesis medio fin o causa efecto. Cada flecha, entonces, representa una apuesta de que los logros del eslabn anterior sean capaces de afectar los logros esperados. La flecha representa una relacin causal, no una secuencia de tiempos. Hay una tentacin de estipular secuencias o procesos secuenciales en los diversos eslabones de la cadena. Se recomienda evitar esta tentacin para no convertir la cadena de resultados en un manual de qu hacer, sino mantener su naturaleza de mapa de los logros interdependientes que se esperan desencadenar. No necesariamente existe una relacin uno-a-uno entre logros de un eslabn con los del eslabn anterior. Ciertos resultados interactan entre s para causar o desencadenar un determinado cambio (en el siguiente eslabn de la cadena). La cadena de resultados no revela informacin sobre todos los procesos necesarios para producir los logros esperados. Detrs de los logros estipulados en los diversos eslabones de la cadena, se anidan muchos procesos que tienen que desarrollarse para producirlos. La cadena slo estipula los frutos de los procesos y la complementariedad y coordinacin de los mismos. Por ende, la cadena es un mapa a gran escala de la iniciativa; no se trata de un mapa con detalle suficiente para guiar la gestin de procesos especficos detrs de logro de los resultados estipulados en cada eslabn. Los procesos detrs de lo estipulado son de dos naturalezas, a saber: Tcnicos, administrativos: muy controlables por los equipos gestores, y de naturaleza relativamente dura (cierta y replicable). Sociales, dependientes de actores fuera de las organizaciones ejecutoras de los programas; particularmente dependientes de las acciones de co-produccin por parte de los usuarios o beneficiarios de los servicios. Por tanto, se tratan de procesos de naturaleza ms blanda (incierta, no necesariamente replicable). No todos los logros de la cadena caen en las esferas de control de los equipos gestores. Los logros de actividades e inversiones y de productos son ms controlables por los gestores, aunque se someten a ciertos riesgos del entorno. Los logros de efectos e impactos se afectan por mltiples dinmicas del entorno y por otras iniciativas que afecten los fenmenos que se proponen cambiar; dependen de diversas caractersticas de la entrega de productos, pero tambin de comportamientos y decisiones de diversos actores (incluyendo pero no limitados a la poblacin objetivo). Por ende, hay que cuidar lo que se define como responsabilidad del equipo gestor: normalmente, el equipo tiene la responsabilidad de producir los logros a nivel de actividad y producto, de estar consciente con respecto a la evidencia de logros (o falta de logros) y de reaccionar de manera relevante a estas evidencias. En otras palabras, el no logro de objetivos a nivel de actividades, inversiones o productos se considera normalmente un indicio de fallas en los procesos de implementacin. El no logro de objetivos a nivel de efectos o impactos no necesariamente reflejan este tipo de fallas, sino que podra reflejar que la apuesta (la hiptesis de vnculos causales entre los productos y los efectos e impactos esperados) no se da. Esto porque las relaciones causales a nivel de actividad, inversin producto reflejan tecnologas relativamente conocidas, poco inciertas tecnologas duras (Sulbrandt, 2000). En contraste, las relaciones causales a nivel de producto efecto, o efecto impacto corresponden a tecnologas blandas, ms inciertas y ms sensibles a variables del entorno y de la coyuntura. Por esto mismo, la responsabilidad gerencial de logros de actividades y productos se considera directa; el no logro de objetivos a estos niveles se atribuyen a deficiencias en la gestin de la implementacin. En contraste, aunque sea responsabilidad de los gestores promover los logros esperados a nivel de efectos e impactos y reaccionar y adaptarse para buscar su logro, el no logro de efectos e impactos no se puede atribuir necesariamente a debilidades del proceso de implementacin. En estos casos, hay que explorar las condiciones del entorno, limitaciones en los supuestos sobre los vnculos causales y/o dinmicas ajenas al control gerencial que podran explicar el no logro de los efectos o impactos. Los resultados estipulados como efectos e impactos de programas sociales normalmente ocurren entre las poblaciones objetivo. Los efectos se relacionan con cambios en consumos, comportamientos, usos, conocimientos o actitudes que resultan de la entrega (y recepcin o asimilacin) de los productos. Los impactos, a

187

su vez, son consecuencias del efecto -- mejoras en el bienestar que resultan de los cambios en consumos, comportamientos, usos, conocimientos o actitudes que acabamos de comentar. Especificacin de la cadena de un programa ya formulado Nuestras referencias a la cadena de resultados hasta ahora son relevantes para casos en que un programa ya est formulado o sea, casos en los cuales ya existen ideas sobre las inversiones y actividades que se van a realizar, y los cambios sociales buscados. En estos casos, la especificacin de una cadena de resultados puede ayudar a reflexionar sobre el rigor y la consistencia de las relaciones causales esperadas. Esto, a su vez, puede ayudar a identificar elementos del programa que hacen falta o que deben fortalecerse; puede conducir a recomendaciones que fortalecen el diseo y/o ejecucin del programa. Una vez propuesta una primera versin de la cadena de resultados, hay que someterlo a un anlisis crtico que examina la sensatez de las hiptesis planteadas. De esa manera, el diseo y desarrollo de la cadena puede educar y enriquecer el mismo anlisis y dilogo con respecto a posibles alternativas de solucin para un determinado problema o desafo. Es recomendable que el proceso de especificacin de la cadena incluya a diversos actores involucrados en el programa, con el fin de facilitar la interpretacin de posibles relaciones causales a partir de diferentes perspectivas y marcos mentales. Durante los procesos de formulacin e implementacin de un programa, es vital tratar a la cadena de resultados como una gua, como una pauta que explicita la apuesta original detrs del programa. Se debe pensar que la cadena es una propuesta de lo que se espera, recordando que es una hiptesis. Se trata de una apuesta y en la medida que se descubra que la apuesta no est dando resultado, habr que repensarla, y definir los medios que se realizarn, pensando que estos otros medios podran ser ms idneos para conducir al logro de cambios sociales deseados. En este marco, el monitoreo jugar un papel de verificacin de la bondad de la apuesta; nos ir viendo si efectivamente apostamos en un conjunto de actividades y productos que sean capaces de lograr los resultados valiosos esperados. Nos levantar banderas rojas en la medida que se evidencie que la apuesta no se da o sea, que la hiptesis no se pueda validar. Especificando la cadena de resultados, como parte del proceso de planeacin del programa La cadena de resultados se puede ir construyendo desde el mismo momento en que surge la idea de enfrentar un determinado problema social; se puede ir construyendo la cadena como parte del proceso de planear y disear una iniciativa. De hecho, la construccin de la cadena de resultados como parte del proceso de planeacin y diseo de una iniciativa es ideal. Una iniciativa llammoslo un programa surge de la identificacin de una situacin que se desea modificar: el problema que se propone solucionar. Esta identificacin inicia con el reconocimiento de una tensin entre lo que se est observando o viviendo (lo que es) y lo que consideramos que debe ser y puede ser. Esta tensin, incomodidad o inconformidad genera un problema a quienes la experimentan. (Aguilar Villanueva, 1993) A su vez, la manera en que se interpreta y se define va a influenciar las decisiones sobre sus vas de solucin y condicionar las alternativas que se consideran para su solucin. (Aguilar Villanueva, 1993 y Moore, 1976).

Por tanto, el proceso de planeacin parte del entendimiento que no hay diagnsticos objetivos ni correctos y que las percepciones y valores inciden en la determinacin de lo que es problemtico. Tiene que centrar sus esfuerzos en la generacin de un consenso con respecto a las condiciones o situaciones generadoras

188

de sentimientos de malestar e incomodidad que constituyen el problema. Tiene que respetar las percepciones de distintos actores involucrados con respecto a lo que les genera tensin entre el ser y el debe ser. As, el problema se interpreta, se analiza y se estructura de una manera que podemos contemplar su superacin. Estructurar bien un problema es producir tal definicin del hecho calificado como problema, que pueda volverse el sujeto u objeto de un enunciado causal. Hay que estructurarlo como causa de o efecto de.... No se puede actuar para modificar una situacin-problema sin incluir explcita o implcitamente un enunciado causal adems de un concepto de problema. Aguilar Villanueva, (1993)

La transformacin deseada
Durante la estructuracin del problema, se genera un contraste entre lo que entendemos como fuente de malestar o tensin en la situacin o circunstancia existente y se va creando su imagen espejo: una visin de un futuro sin aquella fuente del problema. As se pinta una imagen del objetivo al cual se apuntar con el mayor compromiso posible. Del contraste entre el entendimiento de lo que se vive y lo deseable que razonable se considera viable, surge la definicin de la transformacin que se desea generar. Esta transformacin define un norte para la formulacin del programa y para las funciones gerenciales. Introduce una base para la visin estratgica de los gestores del programa. Es importante distinguir la transformacin deseada como de una utopa o un sueo. Los procesos de planeacin buscan definir imgenes del futuro que sean alcanzables en la prctica, en las circunstancias que se viven, con los recursos al alcance y los compromisos para trabajar para los cambios deseados. Pinta la imagen de un futuro mejorado que moviliza y compromete. Expresa una razn de ser para intervenciones y programas. Su expresin no necesariamente resulta verificable o reconocible, sino es ms visceral que cerebral. La grandeza de su ambicin y la incorporacin de la jerga que actualmente est de moda hacen que las imgenes pintadas sean capaces de movilizar mucho apoyo poltico y generar una amplia base de compromiso. Son consignas que mueven masas sencillamente por ser de aceptacin universal, difcilmente rebatidas.

Los impactos esperados

Una clave fundamental de la viabilididad de la gerencia social radica en la capacidad de acordar y explicitar la transformacin deseada en elementos reconocibles que puedan formar la base de una verdadera responsabilizacin (accountability). Concretamente, radica en la capacidad para definir expresiones verificables de los cambios que sern las manifestaciones de la transformacin deseada. En el desarrollo de la funcin de planeacin, hace falta gestionar debates, discusiones y estrategias de comunicacin que tienen el objetivo de concretar, interpretar y delimitar la transformacin deseada en objetivos verificables que estipulan impactos esperados en plazos fijos y realistas. Recomendamos que estos debates, discusiones y estrategias tienen que abordar tres desafos, a saber: la interpretacin de la jerga incluida en la expresin de la transformacin deseada: estipular un entendimiento consensuado de los fenmenos que se denomina de manera ambigua o de tal forma que podran entenderse de mltiples maneras; un anlisis de los determinantes de los fenmenos que se proponen afectar: explorar las causas y los contextos que habr que modificar para poder afectar la transformacin, con el fin de determinar lo viable; y un reconocimiento de restricciones: reconocer que el deseo de transformar se limita por la disponibilidad de recursos y de tiempo, lo que nos obliga a priorizar y delimitar. Estas tres acciones obligan a especificar, concretar y delimitar la expresin ambigua y ambiciosa de la transformacin deseada de tal forma que llegamos a la definicin de un impacto preciso, viable y verificable (y, por ende, gestionable, monitoreable y evaluable).

189

En el ejemplo que contemplamos sobre la participacin femenina en los gobiernos locales, la transformacin deseada consista en consolidar un proceso decisorio ms equitativo y ms sensible a la forma en que las decisiones tomadas afectan de manera diferencial a los hombre y a las mujeres. Esta transformacin no tiene una interpretacin nica de lo que correspondera a una forma concreta de reconocer el xito. No obstante, la cadena de resultados revela que los actores involucrados en la planeacin y formulacin del programa consideraron que una mayor participacin femenina en los cargos polticos elegidos constituira una garanta viable y verificable de una mayor equidad (en lo que respecta al gnero). Por tanto, propuso que se reconocera como contribucin valiosa a esa transformacin el logro de: una mayor participacin incrementada en mujeres entre los oficiales elegidos de los gobiernos locales; mayor y mejor anlisis de los asuntos relacionados con gnero en los dilogos y debates polticos de los gobiernos locales y nacional; y mayores demandas por parte de las mujeres, para que los oficiales elegidos contemplen el gnero en los procesos decisorios.

Estos tres objetivos se convirtieron, entonces, en impactos expresiones delimitados de mejoras en las condiciones de vida de las poblaciones objetivos reconocidos como valiosos en s mismos. Cabe destacar que el enfrentamiento de los tres desafos sealados no consiste en un proceso tecnocrtico. Aunque tiene elementos tcnicos y beneficia de buenas capacidades tcnicas, es un proceso con muchas dimensiones polticas, que requieren de dialogo, deliberacin y consenso.

Los efectos, productos y actividades

A partir de la definicin de impactos esperados, el proceso de planeacin o formulacin de un programa tiene que considerar posibles caminos para su solucin. En este caso, se avanza sobre la formulacin de preguntas cmo?. En general, para definir una cadena de resultados como parte del proceso de planeacin de estrategia o formulacin de programa, se parte de la especificacin de la transformacin deseada y los impactos delimitados, y se avanza con base en preguntas iterativas de cmo vamos a lograrlo? Es decir, se parte de los fines buscados y se pregunta cmo? para ir identificando y especificando los medios para lograrlos. Al definir los impactos esperados, se pregunta cmo vamos a lograrlos? para definir los cambios en consumos, comportamientos, conocimientos o actitudes que se necesitan (los efectos). Se pregunta luego cmo vamos a lograr estos efectos? para definir los bienes o servicios que podran ser medios para lograrlos (y as sucesivamente).

190

Ahora bien, ninguna cadena de resultados se determina en un sentido unidireccional como la que se presenta en la figura anterior. Se suele tener ideas preconcebidas no solo sobre el problema que se propone abordar y la transformacin que se desea promover, sino tambin sobre los medios que se proponen utilizar para lograrlos. As, el proceso de elaboracin de una cadena de resultados suele ser un proceso iterativo, que hace preguntas de cmo? cuando se analizan relaciones causales representadas por flechas hacia la derecha y preguntas de para qu? para analizar las que se apuntan hacia la izquierda. De manera iterativa y por aproximaciones sucesivas, se analizan las hiptesis que fundamentan las propuestas, las intervenciones que se proponen y los cambios sociales que se buscan lograr. El proceso de construccin de una cadena de resultados fija bases para guiar la gestin y para generar compromisos con respecto a los resultados valiosos. No obstante, no se construye con las intenciones de establecerlo como un mapa rgido; sino como una pauta para la gerencia, y una gua para el dialogo entre actores. Los procesos de gestin y de aprendizaje permitirn introducir cambios que fortalecen las relaciones causales y las viabilidades prcticas para generar los resultados valiosos deseados. No obstante, la cadena puede tener un rol mucho ms amplio en la gerencia social. De hecho, puede ser un mapa que permite fortalecer el enfoque de los procesos gerenciales en la generacin de resultados valiosos. La cadena explcita compromisos e identifica procesos clave que los gestores deben promover y acompaar para asegurar que la gestin conduzca a la generacin de valor pblico. Da una base para el accountability y el enfoque estratgico de la gerencia. Idealmente, la construccin de una cadena de objetivos sera un proceso participativo e iterativo que inicia desde el mismo momento que se propone la idea de una intervencin o programa. Un manejo eficaz del proceso de su construccin ayudara a construir compromisos con los efectos e impactos buscados y generara una apropiacin de la iniciativa por parte de diversos involucrados. Sera un proceso que propone la cadena como gua de la planeacin e implementacin del programa, reconociendo que tiene que revisitarse y revisarse sobre la marcha, en la medida que se aprenda sobre el contexto y el logro (o no) de los resultados esperados. Las tcnicas de anlisis de problemas sociales y las capacidades para proponer hiptesis causales son indispensables para los procesos de construccin de una cadena de resultados. No obstante, por si solos, resultan insuficientes para gestionar estos procesos. Esto, porque la exploracin de problemas y la construccin de rboles de problemas y objetivos son lejos de ser procesos exclusivamente tecnocrticos. Involucran procesos de dilogo, debate y concertacin que requieren de claridad con respecto a las dimensiones subjetivas, relativas y valorativas de la existencia de problemas pblicos. Son procesos que requieren de muchas de las competencias fundamentales del buen ejercicio de gerencia (Sulbrandt, 2001): ptica amplia; perspectiva estratgica; sensibilidad al entorno; ejercicio de liderazgo; flexibilidad; compromiso social; capacidad de comunicacin; Sensibilidad interpersonal y competencia tcnica. Esta unidad propone unas reflexiones relacionadas con la competencia tcnica necesaria para entender la complejidad de la especificacin de una cadena de objetivos que apoyar la gerencia, con el fin de fortalecer los procesos de especificacin de objetivos. En la prctica, esta competencia tcnica tendr que complementarse con las dems competencias tan crticas a la necesaria generacin de consensos sobre problemas y objetivos. Esta unidad propone unas reflexiones relacionadas con la competencia tcnica necesaria para entender la complejidad de la especificacin de una cadena de objetivos que apoyar la gerencia, con el fin de fortalecer los procesos de especificacin de objetivos. En la prctica, esta competencia tcnica tendr que complementarse con las dems competencias tan crticas a la necesaria generacin de consensos sobre problemas y objetivos. Este curso no profundiza sobre estas competencias complementarias. No obstante, propone fortalecer las competencias tcnicas para la gestin de procesos de construccin de cadenas de resultados y otros procesos afines. La siguiente unidad se va a ocupar de una de dichas competencias: la identificacin de riesgos que amenazan los logros especificados en una cadena de resultados.

191

VIGSIMA SEMANA LECTURAS COMPLEMENTARIAS TEMA

La teora de cambio
Lectura
Por qu es necesaria una teora de cambio?
Tomado de: Retolaza Iguren Iigo. Un enfoque de pensamiento-accin para navegar en los procesos de cambio social. PNUD

En nuestro tiempo presente, cada vez hay un mayor reconocimiento a aceptar que vivimos un cambio de era, y no as una era de cambios (de Souza 1999). En este cambio de era, la incertidumbre, la multidiversidad, lo paradjico y contradictorio rigen las dinmicas de nuestras (inter)acciones y la configuracin emergente de nuestras sociedades, sus Estados e instituciones rectoras (Sawyer 2005, Waldorp 1992). Esto se refleja tanto a nivel personal, como organizacional y societal. Habiendo sido (de) formados socio-cognitivamente a partir de un enfoque mecanicista-positivista de la realidad, creemos que podemos alcanzar el orden y el control de los procesos sociales en los que nos involucramos. El uso dogmtico que muchos actores de desarrollo hacen del marco lgico como instrumento de gestin de proyectos de desarrollo, es un claro ejemplo de ello. An hoy, hay una tendencia a creer en la existencia de verdades absolutas, la certitud total, esttica. Y si eso no fuera poco, seguimos convencidos de que la mejor manera de medir esa verdad es desde una lgica cuantitativa. Empero, vivimos tiempos dinmicos y complejos que se nutren de la incertidumbre y de una multidiversidad de relaciones (identitarias, econmicas, sociales, geogrficas, polticas, cognitivas, temporales, interculturales, institucionales, etc.). Este hecho fundamental tiene un impacto directo sobre los procesos de desarrollo y cambio social en los cuales estn involucrados aquellos actores a los que va dirigida esta gua. Como dira Edgar Morin (1990): necesitamos archipilagos de certeza para navegar en este ocano de incertidumbres. El enfoque de pensamiento-accin de la Teora de Cambio busca lograr identificar esos archipilagos de certeza a partir de los cuales podamos nutrir una lgica de pensamiento-accin que nos permita navegar por el complejo ocano del cambio social. Una Teora de Cambio nos permite ordenar nuestro pensamiento y configurar de manera abstracta, y a partir de nuestro cuerpo de conocimiento y experiencia, aquellas condiciones necesarias para lograr el cambio deseado en un contexto determinado. En parte, lo hace a partir de la explicitacin y anlisis crtico de nuestros supuestos (AECF 2004, Aspen Institute 2004). Esos mismos supuestos que rigen nuestro modo de pensar, aprender y generar conocimiento. En definitiva, los supuestos que utilizamos para comprender la realidad; y por ende, actuar en ella. Visto desde una ptica de Teora de Cambio, este nfasis en la explicitacin de los supuestos es fundamental en todo proceso de aprendizaje y cambio social; tanto por una cuestin epistemolgica (Cmo entendemos y aprendemos sobre la realidad? Cmo aprenden los distintos actores involucrados en procesos multiactor?), como por una cuestin poltica (Cules son los argumentos reales utilizados por los distintos actores a la hora de proponer una realidad en contraposicin a otra?) Bsicamente, los procesos de cambio social nos quieren llevar a algn sitio donde no estuvimos jams. Los actores involucrados imaginan y visualizan la realidad futura de una manera que no es posible entender a

192

plenitud desde el momento presente. Esto se debe en parte a una cuestin fundamental: siendo que el futuro es algo que no han experimentado en la actualidad (ms all de experimentarlo abstractamente) no tienen esa experiencia de vida futura instalada en ellos mismos. Casi podramos decir que trabajar para el cambio social es un acto de fe. Creemos que siguiendo una determinada lgica y accin de cambio llegaremos a un lugar mejor. Y creemos que actuando sobre una serie de condiciones existentes en el entorno, llegaremos de mejor manera a esa situacin ideal de cambio. Esa conviccin sobre la posibilidad de un futuro que creemos mejor es una gran fuerza motora a celebrar. El problema surge cuando nuestra conviccin se convierte en dogma, creyendo que nuestro paradigma de futuro es el nico viable y deseable. He ah la importancia de crear espacios dialgicos para el aprendizaje multiactor. Por otro lado, desarrollar una Teora de Cambio (TdC) nos proporciona el instrumento necesario para monitorear nuestra accin y poder as tambin rendir cuentas de nuestros actos; a nosotros mismos y a los dems. La utilizacin sistemtica de una TdC como instrumento de monitoreo de proceso nos ayuda a: i) (des)aprender y a estar constantemente atentos a la revisin y actualizacin de los supuestos a partir de los cuales configuramos inicialmente nuestra TdC; ii) re-leer el contexto y sopesar si las condiciones de cambio establecidas inicialmente se mantienen o si el contexto, emergente y complejo, nos obliga a determinar nuevas condiciones; iii) (re)definir nuevas estrategias que nos ayuden a encarar operativamente y de mejor manera lo mencionado en los puntos anteriores. Si adems, este ejercicio prospectivo se hace con la participacin de otros actores involucrados en el proceso, la calidad del ejercicio se multiplica debido a que: i) somos capaces de incorporar una multidiversidad de miradas, opiniones, supuestos, intereses y cuerpos de conocimiento que nos ayude a construir una visin (ms) compartida y democrtica de la realidad y por consiguiente del proceso de cambio en el que estamos embarcados y que nos afecta a unos y a otros de la misma y distinta manera; ii) el mismo acto de incorporar a actores de diverso posicionamiento identitario y poltico hace que el ejercicio ayude en el proceso poltico de lograr acuerdos de accin coordinada a partir de la construccin (y negociacin) de significados compartidos. Reiteramos que esta lgica de cambio ha de ser compartida con los diversos actores; o al menos debera considerar honesta e inteligentemente lo que los otros actores piensan o requieren. La realidad es hologrfica, multiactor. Hologrfica porque partimos de la premisa de que somos seres sociales, y por ende nuestra identidad y visin de la realidad integra y es integrada por otras visiones, por un Todo mayor a nuestra propia visin fragmentada (Wilber 1996, 2007). Multiactor, porque queremos vivir en un mundo participativo e incluyente donde se incorporan y reconocen los distintos intereses y necesidades (Kahane 2004, 2008; Reason 2005). Por lo tanto, y por imperativo democrtico, la realidad nos obliga a relacionarnos con el otro de una forma incluyente y dialgica. Si bien esta afirmacin pareciera obvia desde un punto de vista cognitivo, a menudo la construccin colectiva de conocimiento se torna en una cuestin poltica y en un instrumento de dominacin (Fals-Borda & Rahman M. 1991). Esta gestin, digamos perversa, del conocimiento, deriva y es reproducida por sistemas de gobernanza del conocimiento de diseo asimtrico y excluyente en trminos de poder (Retolaza 2008a). De ah la complejidad y dificultad de facilitar procesos de dilogo multiactor. Por otro lado, una visin hologrfica y democrtica de las relaciones no slo nos invita a relacionarnos con los otros de una manera ms armnica, sino que tiene implicaciones en cmo nos relacionamos con nuestro propio ser interior (desde una perspectiva hologrfica, en nuestro fragmento habita el Todo y viceversa). Es en el momento en el que divorciamos cartesianamente lo objetivo de lo (inter)subjetivo cuando no logramos avanzar ms all de un cambio superficial, pasajero, polticamente correcto, acomodadorpero estril e hipcrita en trminos transformacionales. An hoy nos resistimos a practicar lo predicado. se es el reto que nos plantea facilitar y participar en procesos de cambio social en contextos complejos y conflictivos.

Qu es una teora de cambio?

En breve, una Teora de Cambio es: Un ejercicio de visualizacin creativa y consciente que nos permite concentrar nuestra energa en determinadas realidades futuras no slo posibles, sino tambin probables y deseables.

193

Un conjunto de supuestos y proyecciones sobre cmo creemos que se puede llegar a desplegar la realidad en un futuro prximo con base en: i) un anlisis realista de contexto; ii) una autovaloracin de nuestras capacidades de facilitacin de proceso; y iii) una explicitacin crtica de nuestros supuestos. Un enfoque de pensamiento-accin que nos ayuda a identificar hitos y condiciones que han de darse en la senda del cambio que deseamos provocar. Un ejercicio de aprendizaje colaborativo y multiactor que incentiva el desarrollo de la lgica flexible necesaria para el anlisis de procesos complejos de cambio social. Un mapa semi-estructurado de cambio que enlaza nuestras acciones estratgicas a ciertos resultados de proceso que queremos provocar en nuestro entorno inmediato. Una herramienta de proceso que nos ayuda a monitorear consciente y crticamente nuestro pensar y nuestra accin de manera individual y tambin colectiva.

Qu no es una teora de cambio?

Tan importante como definir qu es una TdC es el diferenciarla de otros enfoques. Por lo tanto, una TdC no es: Una verdad absoluta e incuestionable de cmo se ha de dar el cambio, de cmo va a ocurrir o incluso de cmo desearamos que ocurriese. Una receta definitiva que ayuda a eliminar la incertidumbre existente en procesos sociales emergentes y complejos. Un sustituto del Marco Lgico como instrumento de planificacin rgida.

Pautas para entender la complejidad de los procesos de cambio social

A continuacin se proponen algunas pautas conceptuales que ayudan a nutrir el anlisis sustantivo de nuestra Teora de Cambio.

Tipos de cambio
Partimos de una primera premisa en cuanto a los distintos tipos de cambio1 que se dan en nuestro entorno. Cambios emergentes. Son aqullos que se dan en nuestro desenvolvimiento diario de la vida. Son procesos adaptativos e irregulares basados en el aprendizaje experiencial, y que se dan como consecuencia de los cambios inesperados y/o no planificados que surgen de esta dinmica vivencial. Cambios transformativos. La crisis y el estancamiento preparan el terreno para el cambio. Este tipo de cambio se basa en el des-aprender y en liberarse de aquellas mentalidades, relaciones, identidades, instituciones formales y no formales, etc. que obstaculizan la probabilidad de cristalizacin de nuevas realidades ms justas y equitativas en trminos polticos, sociales y econmicos. Cambios proyectables. Cambios basados en problemas simples o complicados que se pueden resolver mediante proyectos concretos y acciones planificadas desde una lgica lineal.

194

En trminos generales, una Teora de Cambio se centra en analizar y proponer acciones pertenecientes a los cambios transformativos, ms complejos en su naturaleza y que exigen de nuestra parte una lgica flexible de pensamiento-accin. Los cambios proyectables son aqullos que podramos gestionar con una lgica de proyecto, utilizando el Marco Lgico o el Cuadro Integral de Mando como instrumento de anlisis y planificacin. Es importante explicitar esta primera premisa de partida, ya que a menudo se plantean acciones para cambios transformativos desde una lgica de pensamiento de cambio proyectable. Hay que evitar caer en esa trampa lgica. En el primer caso (cambios transformativos) impera una lgica de pensamiento flexible y fluido. En el segundo caso (cambio proyectable) domina una lgica rgida.

Niveles de cambio social

A la hora de analizar y desarrollar el diseo de nuestra Teora de Cambio, es necesario ubicar bien el nivel de cambio que estamos queriendo impulsar. Asimismo, hemos de ser conscientes desde qu lgica/nivel estamos pensando y proponiendo los cambios. La lgica de la Teora de Cambio parte de una explicitacin de los supuestos que utilizamos para entender y actuar sobre la realidad. Esto es, en trminos generales, plantear acciones de cambio para el 1er y 3er nivel a partir del 2 nivel. Esto se hace desde una lgica articuladora entre pensamiento y accin. En definitiva, el proceso de diseo de una Teora de Cambio pone nfasis en el cambio de paradigma de cmo entendemos la realidad. De esta forma, supone que las acciones emprendidas para transformar esa realidad emanarn de una nueva manera de entenderla. Por ende, asumimos que al pensar y entender de distinta manera la resolucin y/o gestin de problemas complejos, lograremos distintos resultados en relacin a lo que logrbamos antes de que se provocara ese cambio paradigmtico-epistemolgico.

195

Dimensiones del cambio social

Todo proceso de cambio requiere un enfoque integral que permita lograr un estado armnico en las condiciones que suponemos sustentan dicho cambio. Por lo tanto, se requiere analizarlo desde diversas dimensiones con el propsito de generar dinmicas integrales de pensamiento-accin. Observando el diagrama de Dimensiones de Cambio2 podemos generar un anlisis ms integral del abordaje estratgico que se requiere para lograr efectos exitosos derivados de la implementacin de las iniciativas que propone nuestra Teora de Cambio. Para ello, se sugiere integrar distintos tipos de iniciativas que ayuden a encarar nuestra accin de manera ms integral y articulada. Esto nos permite, por un lado, plantear una accin institucional ms integral; y a la vez desarrollar una dinmica relacional ms colaborativa y articuladora con otras iniciativas en marcha lideradas por otros actores.

196

A continuacin algunos ejemplos de distintas iniciativas relacionadas con las cuatro dimensiones: i. Transformacin personal: procesos de formacin de individuos basados en el contexto y la experiencia, actividades para promover la prctica reflexiva en el campo profesional, reconocimiento y gestin de nuestras mltiples identidades, explicitacin y cambio de modelos mentales, introspeccin y desarrollo personal (psicoterapia, meditacin, yoga, biodanza, prcticas shamnicas, retiros espirituales y vivenciales, uso de tcnicas de autoconocimiento, talleres de creatividad, etc.) Transformacin de relaciones. Generacin y facilitacin de espacios de encuentro multiactor, espacios de dilogo, iniciativas de concertacin de agenda, espacios para la deliberacin y la conversacin pblica, resolucin y/o gestin de conflictos, intercambio de experiencias basadas en contextos situados, procesos de aprendizaje-accin participativos, etc. Transformacin de patrones culturales. Campaas de sensibilizacin y comunicacin masiva, incidencia sobre medios generadores de opinin, cambios de percepcin sobre el otro (racismo, discriminacin debido a la diferencia, aceptacin social de la homosexualidad), acciones dirigidas a segmentos concretos de la poblacin segn problemtica a tratar (por ejemplo, violencia de

ii.

iii.

197

gnero e incidencia sobre maridos y padres de familia), actividades dirigidas a cambio de patrones culturales y sociales (erradicacin del alcoholismo en padres de familia, machismo), etc. iv. Transformacin estructural. Apoyo a procesos constituyentes, incidencia en el desarrollo legislativo de temas clave, promocin de procesos de control social sobre poltica pblica, apoyo al desarrollo institucional de rganos pblicos, apoyo a procesos de descentralizacin orientados al desarrollo social y la reduccin de la pobreza, reformas educativas y de salud, cambio de modelos econmicos, cambio y/o (re) creacin de instituciones formales y no formales, etc.

Los cambios institucionales

Sintticamente y considerando nuestro caso, entendemos las instituciones como aquellas reglas del juego que determinan el gobierno de una sociedad, grupo social determinado (por ejemplo, grupos tnicos, clanes, asociaciones sociales, etc.), e incluso una organizacin especfica. Normalmente se basan en mecanismos que a su vez cumplen y hacen cumplir una serie de normas establecidas para asegurar el establecimiento y mantenimiento del bien comn. Asimismo, estas normas son bastante rgidas y difciles de cambiar en el tiempo. Partimos de dos tipos de instituciones fundacionales: formales y no formales. i. Instituciones formales: Aqullas que se basan en normas escritas y que rigen las relaciones y procedimientos formales que gobiernan a una sociedad en su conjunto (i.e. constitucin poltica del estado, sistema judicial, congreso, marco legal, sistema electoral, etc.) o a un determinado grupo social o corporativo (i.e. sistema de gobierno de una empresa o asociacin de productores establecidos segn estatuto y reglamentos internos). Instituciones no formales: Aquellas personas, mecanismos, dinmicas intangibles y no escritas que gobiernan a una sociedad o grupo social (i.e. corrupcin en la cosa pblica, sistemas jurdicos consuetudinarios con base en usos y costumbres, relaciones de compadrazgo y padrinazgo, homofobia y misoginia, reciprocidad comunitaria, discriminacin y racismo, Gandhi en India, la madre en la familia, etc.). Por otro lado, es importante destacar cuatro grupos de instituciones que determinan la intensidad y sostenibilidad de los procesos de cambio societal (adaptado de Voeten y Parto, 2005): Instituciones culturales: aqullas que determinan el pensamiento y comportamiento colectivo (carnavales, celebraciones nacionales, danza, msica, folklore, etc.) Instituciones asociativas: aqullas que ordenan las relaciones sociales y la accin colectiva (fraternidades, clanes familiares, movimientos sociales, redes sociales, clubs deportivos, etc.) Instituciones constitutivas: aqullas que sientan las bases normativas sobre las que se cimentan/cementan las sociedades (Constitucin Poltica del Estado, leyes, religin, familia, etc.) Instituciones cognitivas: aqullas que configuran las formaciones y modelos mentales colectivos e individuales (creencias colectivas de base tnicocultural, prejuicios colectivos, sistema educativo, etc.)

ii.

iii.

iv. v.

vi.

vii.

198

Los momentos en los procesos de cambio

Los procesos de cambio son dinmicos, impermanentes. Esto significa que son generados a partir de una secuencia dinmica y emergente que pasa por distintos estadios no estticos en el tiempo. A modo de simplificar e ilustrar didcticamente esta secuencia dinmica, se plantean cuatro grandes fases que de alguna manera u otra se pueden apreciar en todo proceso de cambio: i. Fase de satisfaccin (competencia inconsciente): all donde no se generan dinmicas de cambio ya que an no se es consciente de la necesidad del cambio. Las personas tienen naturalizados e integrados una serie de modelos mentales, comportamientos, prcticas institucionales, hbitos culturales, dinmicas de relacionamiento, competencias, etc. y no creen pertinente o necesario cambiarlos. Existe un equilibrio en el sistema que permite cierta estabilidad y consistencia del mismo. Fase de negacin (incompetencia inconsciente): se percibe o intuye que algo no est funcionando bien y ya se denota un desfase entre el deber ser y el ser. Sin embargo, existe resistencia a cambiar el status quo por miedo a lo desconocido, inercia de comportamiento y pensamiento, o por lo que supone de reconfiguracin en las relaciones de poder. Es visible la ruptura del equilibrio del sistema pero se generan grandes tensiones y resistencias que no permiten avanzar hacia una nueva situacin de los factores del sistema; y por ende, de las relaciones entre ellos. Fase de confusin (incompetencia consciente): los actores estn motivados a entrar en una dinmica de cambio una vez superada la resistencia inicial. Sin embargo, no se sabe muy bien

ii.

iii.

199

cmo avanzar o qu direccin tomar por lo emergente e incierto de todo proceso de cambio. ste es el momento de mayor vulnerabilidad emocional en los actores debido a las consecuencias que tiene para los individuos salirse de la zona de confort poltico, emocional, cognitivo, relacional. ste es el momento en donde se da una mayor disonancia cognitiva entre lo que se conoce y lo que se percibe que se debe aprender/ conocer. El reconocimiento consciente y explcito de que no se sabe lo que se ha de saber genera ansiedad. Lo mismo se aplica al reconocimiento de la necesidad de cambiar un determinado posicionamiento poltico: se sabe que hay que moverse hacia otra posicin pero an no hay suficiente claridad de hacia dnde nos dirige ese nuevo posicionamiento. Existe una gran dispersin en el sistema, lo cual genera dinmicas caticas. iv. Fase de renovacin (competencia consciente): a partir de la necesidad explcita y consciente de desarrollar nuevos campos de posibilidad se entra en una dinmica virtuosa. Ya est individual o socialmente aceptado que hay que cambiar; y este nuevo contexto ayuda a desarrollar las condiciones para que se d el cambio deseado. Se entra en procesos de mutacin, transformacin y renovacin que logran consolidar las bases del cambio. El sistema logra reconfigurar las dinmicas de equilibrio y paulatinamente se avanza hacia un nuevo equilibrio dinmico-cardico.

Participacin y poder en procesos de cambio

200

En todo proceso participativo existe una relacin directa entre el ejercicio del poder, los cuerpos de conocimiento presentes, y la(s) identidad(es) que condicionan los posicionamientos e intereses de los actores involucrados. Como veremos a continuacin, el ejercicio del poder que los distintos actores pueden hacer es diverso. Algunas dinmicas de poder pueden ayudar a integrar de manera (ms) horizontal e incluyente distintos tipos de cuerpos de conocimiento situados entre los actores del proceso. Por el contrario, dinmicas ms hegemnicas y autoritarias restringen la posibilidad de visibilizar y considerar como vlidos y pertinentes ciertas identidades y cuerpos de conocimiento (Fals-Borda y Rahman 1991). Por ejemplo: i) el reconocimiento e inclusin del conocimiento indgena en procesos de decisin dominados por actores de corte occidental o de talante discriminador; ii) la valoracin e incorporacin del conocimiento de la mujer en la toma de decisiones; iii) la negacin por parte de las autoridades y tcnicos municipales de considerar propuestas ciudadanas alternativas a la oficial en lo que se refiere al trazado de vas pblicas o construccin de parques en el barrio, etc. La calidad de estas interacciones entre identidad, poder y conocimiento condicionan, e incluso determinan, cun democrtico es el espacio social donde se desenvuelven los procesos de cambio social. En la medida que estas interacciones son excluyentes y homogeneizadoras en trminos de identidad y conocimiento, el grado de conflictividad del proceso de cambio se incrementa. De la misma manera, el espacio social se puede ver seriamente afectado en lo que respecta al grado de cohesin e integracin social del mismo.

Los pasos metodolgicos para el desarrollo de una teora de cambio

A continuacin abordamos los aspectos metodolgicos clave sobre los que se sustenta una Teora de Cambio: el cambio deseado, los actores del cambio, los supuestos de partida, la ruta de cambio y los indicadores. Los elementos tericos comentados en la seccin anterior deberan ayudarnos a configurar mejor nuestra Teora de Cambio conforme vayamos transitando por los pasos del mtodo.

7.

El cambio deseado

La elaboracin de una Teora de Cambio se inicia, no a partir de la identificacin de un problema a ser resuelto, sino desde la visualizacin creativa y positiva que hacemos de una situacin que se quiere alcanzar en un tiempo posterior al actual. Utilizamos esta visualizacin de futuro como horizonte y motivacin de nuestra accin presente. Esto es, el cambio deseado representa un conjunto de condiciones, relaciones y resultados que queremos contribuir a que ocurran en los aos venideros a partir de nuestra accin en el entorno presente y futuro. Considera dimensiones temporales, relacionales, estructurales, geogrficas, sociales, culturales, econmicas, polticas, institucionales, etc. El nfasis en una dimensin u otra depender de la naturaleza del cambio que se desea o necesita. Esto tambin est condicionado por la identidad, posicionamiento, estructura cognitiva e intereses de aquellos que formulan dicho cambio. La visin tiene que ser plausible. Se tiene que concentrar en cambios en y entre individuos, organizaciones, estructuras sociales, patrones culturales e instituciones sobre las que nuestra organizacin puede realmente influenciar (no un estado idealizado que no es posible alcanzar). Esto es, no slo ha de ser posible incidir sobre esa realidad futura sino que adems ha de

201

existir suficiente grado de probabilidad de que as ocurra, de manera que justifique invertir los recursos y energa necesarios de nuestra parte. La visin debe ser dinmica. Debera ser el fotograma de una pelcula que representa un sistema complejo y dinmico, en el cual la gente y sus instituciones estn trabajando efectivamente en relacionarse entre ellos y con agentes externos para resolver sus problemas y mejorar el bienestar de los ciudadanos y el medio ambiente en el que cohabitan. Una vez identificado el cambio deseado, se pasa a determinar cules son las reas Estratgicas sobre las que se va a sustentar ese cambio; y por ende, sobre las que hay que centrar nuestra accin. Procuraremos sintetizar en 3 4 reas estratgicas para evitar demasiada dispersin y centrar nuestro ejercicio en los elementos estratgicos y fundamentales, y no tanto en los perifricos y superficiales. 8.

Quines son los actores del cambio?

Una vez acotado el universo de accin, pasamos a identificar aquellos actores que estn involucrados en el proceso sobre el que se quiere influir activamente. stos son actores que de una manera u otra se vern afectados o de hecho ya estn involucrados en el campo de realidad sobre el que se quiere influir. El grado de complejidad social con respecto a la calidad y efectividad de la interaccin que se da entre ellos y sus agendas, determinar de alguna manera cun colaborativo, conflictivo, incluyente y efectivo ser el proceso de cambio en relacin al logro del cambio deseado. De la misma manera, nos ayudar a entender el grado de densidad socio-poltica e institucional en la cual estamos operando.

Hay varias lentes con las cuales podemos identificar y analizar a los actores. Para ello utilizaremos distintas tcnicas de mapeo de actores segn el propsito y naturaleza del anlisis: Anlisis sectorial. Este enfoque es de utilidad en aquellos casos en los que se quiere concentrar la accin en constelaciones de actores que representan, en formato escala, el conjunto de todos los actores sociales afectados por el proceso de cambio. Partimos de una primera premisa, la hologrfica, en donde se asume que cada individuo contiene

202

en s mismo representaciones e identidades sociales del conjunto de la sociedad, su diversidad y complejidad social. La segunda premisa, la microcsmica, plantea que trabajando con una constelacin reducida y representativa del conjunto del grupo social afectado por el proceso de cambio, se lograr entender y accionar de mejor manera sobre la totalidad del campo de realidad a transformar. Normalmente el anlisis parte de identificar y analizar a los actores de al menos tres sectores fundamentales en toda sociedad: el sector pblico-gubernamental, el sector econmico-privado, y el sector social-comunitario. A estos tres sectores tambin se puede aadir el sector poltico (partidario) u otros sobre los que queramos poner especial nfasis (i.e. sector cooperacin internacional). Las zonas de solapamiento estn habitadas por aquellos actores puente capaces de generar espacios y dinmicas de interaccin positiva o negativa entre un sector y el otro. La calidad de la interaccin variar segn el inters que tengan dichos actores en relacin al cambio que se desee provocar, y la capacidad dialgica y negociadora de los actores. En caso de que se requiera complejizar y detallar ms el anlisis, se incorporar la variable de nivel: nivel macro (nacional, federal, etc.); nivel meso (departamental, regional, estatal, etc.); nivel micro (municipal, local, comunitario, etc.).

Anlisis de influencia. Este mapa hace hincapi en la capacidad de influencia que los actores tienen o pueden llegar a tener en el proceso de cambio. Este tipo de anlisis se puede combinar con el primero, pudiendo identificar a los actores en base al sector y cuadrante de posicionamiento en el mapa de influencia. Esto se puede visualizar de manera muy clara utilizando distintos cdigos visuales (iconos de codificacin, tarjetas de distintos colores o formas, etc.) Anlisis de capacidad de articulacin. En este caso, el nfasis est en la capacidad que los actores tienen para articularse con otros actores. En concreto, se analizan dos tipos de capacidad de articulacin: vertical y horizontal. La capacidad de articulacin vertical se refiere al grado de capacidad y legitimidad que esos actores tienen para crear puentes de entendimiento, establecer relaciones de confianza, transmitir mensajes entre las partes, y proponer agendas de negociacin multiactor entre actores ubicados en distintos niveles. En general, estos articuladores dinamizan procesos de relacionamiento y accin colectiva entre actores ejerciendo un mayor

203

poder de toma de decisiones a nivel superior (lites, autoridades nacionales, organismos internacionales, etc.) con aquellos que si bien estn alejados de las esferas del poder hegemnico, son afectados directamente por dichas decisiones y pueden a su vez afectar el proceso mediante accin colectiva (comunidades de base, asociaciones de productores locales, etc.). La articulacin horizontal se enfoca en la capacidad de los actores de relacionarse con otros sectores y lderes de su mismo rango, pero que estn ubicados en otros grupos sociales o sectores tambin involucrados en el proceso de cambio. Un primer momento del mapeo posiciona a los actores segn su ubicacin en la pirmide: arriba (lites), en medio (actores con capacidad de articulacin), abajo (organizaciones de base). Un segundo momento analiza las relaciones que se dan al interior de y entre los distintos niveles. Anlisis de posicionamiento e inters. En este caso se busca identificar el posicionamiento del actor en base a su inters con respecto al cambio deseado. Se identifica y analiza a los actores con base a tres categoras: dinamizadores, flotadores y bloqueadores.

Los dinamizadores son aquellos actores comprometidos en contribuir al cambio deseado y se ubican en el crculo interior. Existe mayor afinidad en sus intereses y resulta medianamente fcil establecer espacios de relacionamiento y alianzas estratgicas entre ellos. Los bloqueadores son aquellos actores que estn en contra del proceso debido a que sus intereses se ven

204

afectados negativamente. Tambin puede ocurrir que obstaculicen el proceso por no disponer de la informacin necesaria que les ayude a entender que hay posibilidades de incorporar sus intereses mediante procesos de negociacin/mediacin. Asimismo, pueden estar obstaculizando el proceso por una cuestin de inercia y rivalidad histrica con los dinamizadores o la temtica de cambio (por ejemplo, terratenientes obstaculizando un proceso de reforma agraria liderado por un gobierno de corte popular). Los flotadores son aquellos actores que se encuentran en una situacin intermedia: no obstaculizan decisivamente pero tampoco apoyan de manera decidida. Estos actores tambin pueden cambiar de posicionamiento (pasar a ser un bloqueador o dinamizador) segn lo que sea ms beneficioso para sus intereses. Una vez identificados todos los actores clave y habindolos ubicado segn su posicionamiento ante el cambio deseado, se har primero un anlisis de intereses, despus una identificacin de bloques de actores de oposicin/dinamizacin y finalmente, se configurarn posibles estrategias de acercamiento e incidencia sobre los actores. Esto ltimo con el propsito de ver qu estrategias ayudaran a acercar a los flotadores, neutralizar o dividir a los bloqueadores, y/o afianzar alianzas entre los dinamizadores. De igual manera que en los mapas anteriores, podemos lograr un anlisis ms detallado si utilizamos iconos y formas visuales de diferenciar el sector al que pertenecen los actores. Esto nos permite tener un anlisis de doble entrada: sector (nfasis en identidad y conocimiento), posicionamiento (nfasis en inters y calidad de relacin). 9.

Los supuestos que utilizamos para desarrollar nuestra teora de cambio

Un aspecto que caracteriza a la Teora de Cambio es el nfasis que pone en profundizar la prctica reflexiva. No slo se trata de analizar e identificar las condiciones necesarias para definir la ruta a seguir, sino tambin de explicitar cmo llegamos a esas conclusiones y cul es el proceso epistemolgico por el cual construimos dichos argumentos y razonamientos. La Teora de Cambio nos obliga a revisar de manera constante e iterativa los supuestos que utilizamos para interpretar la realidad. Veamos un ejemplo que siempre genera gran disonancia cognitiva en los actores que participan en talleres de diseo de Teora de Cambio. Un supuesto absoluto diseado para generar disonancia cognitiva: Un actor con un posicionamiento poltico explcito no puede facilitar procesos de cambio entre mltiples actores. En este caso, algunos de los actores de cambio social participantes en los talleres no estn de acuerdo con este supuesto. Ellos y ellas creen que aun estando claramente posicionados ante un tema, disponen de la suficiente credibilidad y legitimidad ante otros actores opositores y/o escpticos como para que estos ltimos accedan a ser facilitados en el proceso por los primeros. Por otro lado, otros participantes en los talleres consideran que ellos no tienen problema en facilitar espacios y procesos al interior de su sector (mentalidad afn, intereses comunes, voluntad de generar alianzas intra-sectoriales); pero que resulta sumamente difcil, e incluso peligroso, hacerlo en el caso de una constelacin de actores ms compleja, polticamente encontrada, multipolarmente posicionada, y con intereses tan encontrados que utilizarn el hecho de que ciertos actores quieren facilitar el proceso como excusa para salirse de dicho proceso. Entonces, no podemos dar por hecho de forma automtica (supuesto no reflexivo) que si bien seamos aceptados como facilitadores en ciertos espacios y procesos ms homogneos en cuanto a mentalidad e identidad de los actores participantes (por ejemplo una red temtica sobre violencia de la mujer), tambin lo seamos en otros espacios multiactor (por ejemplo un proceso participativo y dialgico de elaboracin de proyecto de

205

ley sobre reforma agraria) en donde los intereses y posicionamientos no slo son diversos, sino tambin encontrados y en conflicto. Este ejercicio cognitivo de explicitacin de supuestos fortalece nuestra prctica reflexiva en dos planos: Reflexin externa. El proceso de reflexin relacionado con el mundo exterior. Se centra en reflexionar individual y/o grupalmente sobre lo que ocurre en nuestro contexto social, histrico, poltico, econmico. La mayora de las secciones previas tienen que ver con este tipo de reflexin. Digamos que es la reflexin clsica, tradicional, y que normalmente ocupa casi la totalidad del anlisis desarrollado por organizaciones y grupos embarcados en procesos de cambio social. Reflexin interna. El proceso de reflexin relacionado con el mundo interior. Una mirada interior, individual y personal que nos ayuda a entender mejor cmo pensamos, por qu pensamos lo que pensamos, qu efecto tienen nuestras formaciones mentales y estructura cognitiva en cmo entendemos el mundo y por ende en cmo nos relacionamos con l, cmo nos relacionamos con nuestro ser interior, la construccin de nuestra(s) identidad(es), la relacin que tiene nuestro pasado con la configuracin de nuestra personalidad en el momento presente, la construccin de nuestros hbitos mentales y emocionales, etctera. Tradicionalmente, este tipo de reflexin se ha visto severamente marginado de esta clase de ejercicios. Pareciera que la dimensin personal no afectara ni debiera ser considerada en los procesos de cambio social. Y sin embargo, ste es precisamente el punto ms crtico en todo proceso de cambio. Aqu es donde se ven las mayores incoherencias entre lo que proponemos y hacemos. Por lo tanto, hemos de reivindicar la inclusin de esta dimensin en nuestra prctica reflexiva, tanto a nivel individual como con nuestros pares de aprendizaje-accin. Es esencial realizar un trabajo continuado en estas dos dimensiones cuando se trata de flexibilizar nuestra forma de pensar y actuar; requisito ste esencial a la hora de facilitar o actuar estratgicamente en procesos de cambio social. Se trata as de pasar de una lgica rgida de pensamiento a otra ms flexible y creativa, ms acorde a los tiempos complejos que nos toca vivir (Riso 2008, Parra Duque 2003). A lo largo de la elaboracin de la Ruta de Cambio (ver seccin abajo) se estar poniendo especial atencin a los supuestos que utilizamos para argumentar nuestra lgica de cambio. Se establecern de manera explcita algunos momentos (desde espacios concretos en un taller a sesiones de monitoreo en procesos en marcha) para hacer una revisin e identificacin de supuestos. Esto a modo de ir ajustando nuestra lgica de cambio y el diseo de la ruta de cambio que emana de dicha lgica. 10. Proyectando

realidades futuras. La ruta del cambio

La ruta de cambio identifica los hitos del proceso y las condiciones que se han de dar para lograr avanzar con la certeza suficiente en medio de la complejidad en que ocurre todo proceso de cambio social. El logro de resultados en cada una de las reas Estratgicas, y por ende del Cambio Deseado, depende de que se den una serie de condiciones. Esto es, partimos de la premisa de que si no se dieran estas condiciones previas, el Cambio Deseado nunca ocurrira.

206

Estas condiciones giran en torno a cambios en: instituciones, calidad en las relaciones entre actores, presencia y accin de determinados actores, capacidades sociales y/o tcnicas, comportamientos colectivos/organizacionales/ individuales, actitudes, entornos ms conducentes (legales, operativos, fsicos, cognitivos, tecnolgicos, etc.). Por la complejidad de nuestros procesos, las condiciones pueden ser de dos tipos: Secuenciales ( ): A no puede ocurrir sin que antes se d B. Simultneas ( ): C no puede ocurrir sin la accin conjunta de A y B.

207

11. Cmo

sabemos que estamos cambiando?

Una primera advertencia: los indicadores de cambio de una Teora de Cambio no guardan similitud con los indicadores de ejecucin de actividades, como aqullos que podemos encontrar en un Marco Lgico tradicional. Mediante la definicin de indicadores de cambio buscamos entender mejor cmo leer el contexto para ver cules son los efectos que podemos percibir en el mismo a raz de nuestra accin. Estos indicadores nos permiten entender mejor cmo se est dando realmente el cambio; y de igual manera, nos permiten entender mejor cul es nuestra contribucin a la ocurrencia del mismo. En este caso, la premisa de diseo de indicadores nos dice que no por el hecho de ejecutar una actividad estamos realmente contribuyendo a generar los cambios planificados inicialmente. La revisin peridica de estos indicadores ayudar a ajustar nuestra Teora de Cambio tanto a nivel poltico-estratgico (accin sobre las condiciones para el cambio) como cognitivo (supuestos que sustentan nuestra lgica de cambio). Los indicadores de cambio estarn relacionados con la observacin de las condiciones identificadas en nuestra Teora de Cambio. De esta manera, los indicadores debern ayudarnos a entender en qu grado y de qu manera se estn dando esas condiciones en el entorno.

208

209