Documente Academic
Documente Profesional
Documente Cultură
John Durston enero de 2006 En el ao 2005 el Banco Interamericano de Desarrollo (BID) en conjunto con el Gobierno de Chile llamaron a concurso para la licitacin de una evaluacin global del desempeo del Programas Orgenes, para los pueblos indgenas de Chile, al completar su Primera Fase. La Consultora ganadora de la licitacin, Tiempo 2000 (en asociacin con Sur Profesionales), aplic una metodologa de evaluacin cualitativa e inductiva. Este enfoque se sigui, por ejemplo, al componente del Programa destinado a fortalecer la institucionalidad, tanto en cuanto la pertinencia de las practicas y los instrumentos de las agencias pblicas como en cuanto a la propia institucionalidad de los pueblos indgenas. La experiencia constituye un caso innovador de evaluacin de programas sociales, de inters para su anlisis metodolgica y posible replicacin en otros programas en Amrica Latina. Con este propsito, se tratarn en este trabajo los siguientes temas: 1. El marco conceptual de la evaluacin cualitativa 2. Aplicacin de la metodologa al Programa Orgenes 2.1.Definiendo una estrategia metodolgica de evaluacin 2.2.Instrumentos y tcnicas 2.3.Insumos de anlisis cualitativo 2.3.1. Entrevistas semi-estructuradas 2.3.2. Talleres participativos 2.4.Procesamiento de informacin cualitativa de terreno. 2.4.1. Las transcripciones 2.4.2. Anlisis de contenidos por los responsables de los diferentes captulos del informe 3. Dificultades encontradas. 1
1. MARCO CONCEPTUAL DE LA EVALUACIN CUALITATIVA E INDUCTIVA 1 Dentro del campo de la metodologa de las ciencias sociales, el enfoque cualitativo es el ms representativo de los enfoques que intentan abordar al sujeto con el mayor compromiso y fidelidad posible. Por ello es que una investigacin cualitativa es aqulla que produce datos descriptivos: las propias palabras de las personas, habladas o escritas, y la conducta observable. El enfoque cualitativo ha tenido un gran desarrollo durante los ltimos aos, especialmente a partir de la mayor importancia que han adquirido las teoras de la cultura, el sujeto y la sociedad. De este modo la fenomenologa, la fuente terica principal desde la cual emana el enfoque cualitativo, ha traspasado las fronteras de las ciencias sociales y el marco acadmico en que se desenvolva para permear las estrategias de desarrollo y las polticas sociales. Las metodologas cualitativas no pretenden un diseo experimental con validez estadstica, sino una profundizacin en la realidad para generar hiptesis nuevas y ms complejas. La aplicacin de mtodos de anlisis y evaluacin cualitativas (Strauss y Corbin 1997; Patton 1990, Durston et al., 2005) permite elaborar un modelo simple del sistema sociocultural local, modelo que puede ser refinado y complejizado constantemente. La 'Teora fundamentada o aterrizada' es una metodologa cualitativa de carcter inductivo: ms que probar hiptesis en terreno, pretende generar hiptesis de trabajo que son nuevas y ms aterrizadas en la realidad emprica, a partir de una cercana progresiva con la complejidad de una realidad social. Supone mucho trabajo en terreno, y pretende dar un carcter ms riguroso, ordenado, estandardizado y replicable al trabajo etnogrfico tradicional. La metodologa de teora fundamentada rechaza explcitamente la formulacin previa de hiptesis y el diseo semiexperimental, como marco de la investigacin en terreno. Empieza con un simple tema de investigacin y un muestreo terico para buscar excepciones a las regularidades que empiezan a emerger de las entrevistas y observaciones. El mtodo sigue con la elaboracin de relaciones conceptuales complejas entre categoras analticas, en una discusin colaborativa y comparativa de la codificacin de un gran nmero de entrevistas. La Teora Fundamentada, al contrario del mtodo experimental o semiexperimental, insta al investigador a mantener los marcos tericos preEsta seccin se basa en el Anexo Metodlogico, preparado con la concurrencia de Miguel Bahamondes, lvaro Bello, Daniel Duhart, John Durston, Francisca Miranda, Evelyn Monz y Guillermo Pedroni, que se encuentra en Durston et al., 2005.
1
existentes lo ms lejos posible de la investigacin en terreno. Se usa entrevistas abiertas sobre un tema simple de estudio, en vez de delimitar variables independientes y dependientes (y excluir el resto de la informacin del entorno). Sin embargo, la iteracin entre comparacin, generacin de hiptesis y vuelta al terreno implica la formulacin de cuestionamientos a la literatura terica. La ltima fase del proyecto de investigacin o de evaluacin es donde se concentra el esfuerzo de generar nuevas interpretaciones de valor terico o de implementacin en polticas pblicas, siempre tratando de mantenerse muy cerca de la base emprica de esta construccin inductiva. Esta metodologa tiene varios aspectos especficos a destacar: a.). Comparacin constante. Esto implica que: Se comparan casos esencialmente similares, buscando una diversidad de tipos y variables; y Hay iteracin -recopilacin de informacin cualitativa que se analiza en constante contrastacin con nuevos datos de terreno-. Las reflexiones colectivas sobre los datos y la codificacin de ellos generan nuevas preguntas para la siguiente fase de terreno. b.) Colaboracin. Se trabaja en grupo, a travs del debate y el intercambio dialctico. Tambin abarca mtodos participativos para descubrir y registrar los datos, con los investigados como investigadores. c.) Muestreo terico. Se seleccionan entrevistas en funcin del tema terico; se buscan situaciones extremas; y se sigue entrevistando hasta que comienza a haber redundancia de informacin. d.) Codificacin. El material de entrevistas se codifica primero a nivel descriptivo, luego en un orden jerrquico y abstracto, culminando en una teorizacin. En otras palabras, en la metodologa de Grounded Theory, no se parte con una lista de cdigos correspondientes a un marco terico, sino que los cdigos emergen de la observacin misma. Permite clasificar la informacin concreta en relacin a conceptos abstractos. 5. Categorizacin. Procesamiento de cdigos en crecientes niveles de abstraccin. e.) Memos conceptuales. El registro de los datos se mantiene en lo descriptivo o emprico; se separan (como 'memos') las interpretaciones y las preguntas de los investigadores, anotaciones personales, reflexiones tericas, etc., que se comparten con los dems miembros del equipo. f.) Emergencia de hiptesis. Las hiptesis de trabajo y posteriormente el modelo interpretativo emergen de la codificacin del material emprico. 3
En resumen, la Grounded Theory tiene una estructura metodolgica que parte con la identificacin de campos conceptuales ms que en hiptesis de trabajo a testear; su instrumento principal son los relatos que recogen, en toda su riqueza y complejidad, la interaccin de variables y planos de la vida real, de una manera que no es posible en la aplicacin de instrumentos cuantitativos, ms focalizados en unas pocas temticas por vez. El posterior anlisis de los relatos involucra vaciar los relatos temticamente, en torno a hiptesis de trabajo o a diagnsticos estructurales y de las dinmicas que van emergiendo de las experiencias de terreno y de los datos. Debe haber coherencia y retroalimentacin, en toda investigacin, entre marco conceptual, metodologa y tcnicas empleadas. En otras palabras, la estrategia metodolgica debe garantizar que las tcnicas de recopilacin, procesamiento e interpretacin de los datos permitan responder las preguntas de investigacin o hiptesis de trabajo. VENTAJAS METODOLGICAS La metodologa permite captar la complejidad de los procesos en marcha en la administracin pblica y en la poblacin beneficiaria. Obliga a los investigadores a una mirada abierta, sin preconceptos ni procedimientos mecnicos. DESVENTAJAS METODOLGICAS La metodologa no produce datos numricos para medir cumplimiento de metas fsicas ni "probar" los argumentos y las conclusiones de la evaluacin. Deben usarse indicadores proxy cualitativos ilustrativos, como citas literales de beneficiarios y funcionarios entrevistados. La metodologa exige muchas horas de interpretacin de textos y de discusin e intercambio de interpretaciones entre miembros del equipo.
2. APLICACIN DE LA METODOLOGA AL PROGRAMA ORGENES Muy al inicio de la evaluacin se realiz una reflexin para definir la estrategia global del estudio en relacin al componente fortalecimiento institucional: 2.1. Definiendo una estrategia metodolgica de evaluacin En una etapa inicial de la evaluacin se formul las siguientes diez preguntas para discusin, en un grupo metodolgico al interior del Equipo: 1. Cul es el objetivo final de la evaluacin?
2. Cmo se expresan los dos sub-componentes de fortalecimiento institucional (capacidades en las comunidades y pertinencia cultural en la institucionalidad pblica), en preguntas de investigacin para cada sub-componente? 3. Cules son los conceptos claves de estas preguntas de investigacin? 4. Cules son las definiciones operativas de estos conceptos, que permitirn identificar su presencia o ausencia? 5. Cules son los instrumentos de investigacin para evaluar la presencia de estos conceptos y contestar las preguntas de investigacin? 6. Cules son las tcnicas de cada instrumento, que deben ser explicitados en pautas de investigacin? 7. Cules son los elementos bsicos de una logstica operativa de actividades y coordinacin de responsabilidades para la aplicacin de los diversos instrumentos y tcnicas? 8. Cul ser el sistema de ordenamiento de la informacin recopilada? 9. Cul ser el procedimiento de interpretacin y anlisis de la informacin? 10. Cmo se realizar la formulacin de los hallazgos y las interpretaciones, su discusin y la redaccin en informes?
La estrategia que emergi de esta reflexin involucr el anlisis de decenas de entrevistas y talleres, datos que reordenados segn la metodologa del Grounded Theory permitieron elaborar modelos mucho ms complejos y mejor fundamentados en realidades y vivencias especficas locales que las usuales deducciones cuantitativas basadas en hiptesis establecidas a priori con pretensiones universales. Una de las principales ventajas de esta metodologa es que permite acercarse a situaciones muy complejas, mediante la iteracin permanente entre informacin emprica, anlisis y modelo. De manera que las reuniones de todo o parte del equipo, al menos semanales (15 en total), de anlisis de las entrevistas realizadas hasta el momento, permitieron corregir y elaborar modelos mentales inicialmente simples. Este enfoque tambin involucr el dilogo con el equipo de la institucin evaluada, Orgenes, para corregir apreciaciones incompletas mediante la discusin de los hallazgos, a la medida que avanzaba la investigacin-evaluacin.
2.2. INSTRUMENTOS Y TCNICAS Esta estrategia metodolgica se implement mediante los siguientes procesos: Anlisis de documentos del Programa y de evaluaciones anteriores. Entrevistas semiestructuradas a: o funcionarios del Programa, o funcionarios de organismos pblicos co-ejecutores o consultoras o dirigentes indgenas o comunidades beneficiarios o otros funcionarios pblicos o acadmicos y otros observadores calificados Muestreo terico estratificado de entrevistados y comunidades. Grabacin y transcripcin de entrevistas y talleres. Anlisis de contenido: bsqueda de palabras claves y-o codificacin; seleccin e interpretacin de citas textuales. Anlisis comparativo interdisciplinario e interterritorial. Trabajo en equipo: iteracin entre discusin de interpretaciones de los evaluadores y repetidos anlisis de contenidos de entrevistas, talleres y documentos. Conclusiones evaluativas consensuadas.
2.3. INSUMOS DE ANLISIS CUALITATIVO 74 documentos del Programa (estudios, informes, minutos de reuniones) Entrevistas a nivel central Entrevistas a funcionarios orgenes Entrevistas a otros funcionarios pblicos Entrevistas a lderes indgenasEntrevistas para consultoras, ONG es y observadores calificados Siete talleres participativos (una por unidad zonal) Mini encuesta cuantitativa a 42 usuarios
RESUMEN DE ENTREVISTAS Y TALLERES Realizadas entre el 22/07/2005 y el 18/10/2005 I. ENTREVISTAS A NIVEL CENTRAL
Orgenes, coejecutores, Consejeros CONADI y Representantes Indgenas Orgenes II. ENTREVISTAS Y TALLERES EN TERRENO Funcionarios Programa Orgenes Funcionarios pblicos Lderes indgenas Talleres con beneficiarios Total grabaciones en regiones TOTAL DE ENTREVISTAS Y TALLERES 2.3.1. Entrevistas semi-estructuradas.
44
26 55 13 16 110 154
La entrevistas en el mbito de los estudios sociales juegan un papel fundamental en el conocimiento de las experiencias de los sujetos y lo que estos conocen como realidad. La entrevista aporta el registro bsico para la fundamentacin del anlisis cualitativo. La entrevista se define como una tcnica, dentro de la metodologa cualitativa, que se utiliza para obtener informacin verbal de uno o varios sujetos a partir de un cuestionario, pauta o guin. Las entrevistas varan segn el nivel o grado de estructuracin que tenga el instrumento. Las entrevistas en profundidad son una especie de extensin de la observacin participante. Se realizan a travs del establecimiento de un rapport con el informante y con la formulacin inicial de preguntas no directivas que luego puede ser profundizadas en forma progresiva a travs de sucesivos encuentros. Las historias de vida y las biografas son tipos de entrevistas en profundidad.
La entrevista semi-estructurada consiste en una entrevista abierta con un informante clave seleccionado previamente (en base a listas de organizaciones sociales y proyectos productivos o indicado por una persona entrevistada anteriormente (un pariente, vecino o miembro de la comunidad) Se establece una conversacin sobre ciertos temas previamente seleccionados por el investigador, pero en forma abierta sin un formulario de encuesta preestablecida o estructurada. Al ser bsicamente una conversacin, se facilita el surgimiento de nuevos temas no previstos, en los cuales puede profundizar el investigador. La entrevista se graba en cinta de audio y/o se toman apuntes de campo, segn la comodidad del entrevistado. En nuestro estudio las entrevistas semiestructuradas se realizaron casi siempre con grabadora, segn una pauta, y duraban una o dos horas. Cada relato recopilado en una entrevista presenta una exigencia de triangulacin, es decir, de recoger otras versiones del mismo evento o proceso. Esto permite, por un lado, que el investigador construya un modelo propio del evento (en la misma lgica en que el muestreo terico busca un cierre entre las versiones de varios actores hasta alcanzar la redundancia de la informacin, pero siempre sujeto a correccin) y a la vez un anlisis de los divergentes discursos de los actores desde sus diversos puntos de vista sobre una misma realidad. Se realizaba una triangulacin de las versiones de eventos captadas al preguntar sobre los mismos hechos a varios entrevistados y un afinamiento de estas versiones por iteracin, volviendo varias veces a aclarar los detalles con los mismos entrevistados. Despus de cada ida a terreno, y del posterior registro de informacin, se realiza una discusin para generar hiptesis cada vez ms precisas sobre estos temas en cada caso, lo que permita ir afinando nuestros emergentes modelos cada vez ms complejos, sobre los fenmenos estudiados. Este ejercicio nos llev a revisar peridicamente el esquema o pauta de las conductas y discursos a ser registrados, para dar cuenta del material inesperado y para generar nuevas hiptesis, siguiendo en lneas generales la metodologa inductiva de grounded theory.
Objetivos
Realizar una evaluacin participativa Evaluar el nivel de participacin existente en la elaboracin de los proyectos Evaluar los proyectos -aspectos positivos y negativos Realizar una evaluacin con perspectiva de gnero y etrea
tres etapas: Anlisis colectivo; grupos de trabajo y plenaria de conclusiones Normas seguidas en los talleres: Involucrar unas 25 personas aproximadamente en cada taller, a travs de un contacto personal con dirigentes. Invitar a las autoridades tradicionales de la localidad. Los participantes pueden provenir preferentemente de una o mximo de dos Comunidades formales. Deben representar en nmeros similares los siguientes grupos: adultos hombres: adultos mujeres; y jvenes.
Aspectos logsticos 4 facilitadores por Taller: tres encargados de coordinacin de grupos y un encargado logstico. 9
grabar todo el evento, tanto actividades plenarias como la discusin de los grupos de trabajo. papelgrafos y lpices para los trabajos grupales Organizacin del tiempo en los talleres Actividad Plenario: Presentacin de facilitadores e introduccin del evento Dinmica de rompe hielo (presentacin del vecino, que significa el Programa para mi, u otra) Construccin colectiva de lnea de tiempo del programa Orgenes, en un papelgrafo o en el suelo. Evaluacin con matriz de proyectos en papelgrafo. Grupos de trabajo: mujeres adultos, hombres adultos y jvenes. Profundizacin anlisis, recomendaciones y sugerencias de mejores prcticas. Plenario final: Presentacin de grupos de trabajo: un relator por grupo. Conclusiones Total Duraci n 10 30
30
45 a 60 45 a 60
30 10 3 horas 30
Talleres: Plenario inicial Primero se realiz una dinmica de integracin, para crear un clima que motivara la participacin y confianza en el Taller. Esta dinmica consisti en que cada participante presentara a la persona sentada a su lado, destacando alguna cualidad particular, y vice-versa. Con la dinmica surgan bromas y risas, relajando el ambiente y creando un clima propicio a la participacin e integracin. Luego, se realiz una presentacin plenaria, donde por medio de una Lnea de Tiempo colgada en la pared se comparti en forma grfica, 10
visual y oral la informacin registrada durante la investigacin respecto a la historia oral, documental y organizacional de la comunidad, y de sus relaciones con el Estado y sus programas sociales. En el momento de la exposicin, la cual era coordinada por el Facilitador general, esta informacin era retroalimentada por medio de los comentarios de la comunidad, que siempre fueron varios. Talleres: Entrevistas Grupales En un segundo espacio del Taller, se separ a los participantes en tres grupos conformados bajo criterios etarios y de gnero: un grupo de jvenes, un grupo de hombres adultos y un grupo de mujeres adultas. En cada grupo se llev a cabo una entrevista grupal, donde se profundizaron los temas abordados en la lnea de tiempo, as como las formas de capital social identificadas en la investigacin. En esta etapa, las personas se explayaban sobre temas como las costumbres, las crticas a los proyectos del Estado, la historia de la comunidad, y sus organizaciones. Adems, se discutieron los temas con el objetivo de compartirlos en la tercera fase del taller, teniendo en mente los dos cuadros a rellenar. Este espacio fue coordinado por los facilitadores secundarios, cada uno a cargo de una entrevista grupal, mientras que el Facilitador general inspeccionaba cada grupo al mismo tiempo que serva el refrigerio. Talleres: Plenario Participativo Final En esta ltima seccin, coordinada por el Facilitador general, se estableci una discusin participativa con el objetivo de rellenar los dos siguientes Cuadros confeccionados por los investigadores. Concluy con una reflexin acerca de la visin de futuro de la comunidad, sus potencialidades y pretensiones.
2.4. PROCESAMIENTO DE INFORMACIN CUALITATIVA DE TERRENO. Al igual que la cuantitativa, la evaluacin cualitativa exige seguir una estrategia metodolgica ordenada y rigurosa. Las entrevistas realizadas requieren de un tratamiento para sacar informacin que de otra manera sera olvidada o nunca conocida por los investigadores que la requieren. En el presente caso, se trata de anlisis de contenido de un gran nmero de 11
textos, en un proceso que debe ser comparativo y colaborativo. El procedimiento seguido en el trabajo de terreno de esta evaluacin, de entrevistas individuales y grupales realizadas por diez o ms investigadores individuales, hace especialmente imprescindible este doble proceso de comparacin y de anlisis y reflexin colaborativas. En aproximadamente un mes fue necesario cumplir, en un orden lgico, las siguientes etapas: Semana 1: Ordenamiento y disposicin de los textos producidos en terreno. Semana 2: Anlisis de contenido y presentacin de conclusiones preliminares, por componente. Semana 3: Debate interno y revisin de conclusiones preliminares por componente y de carcter global. Semana 4: Entrega por captulos de informe final, consolidacin y revisin editorial final. 2.4.1. Ordenamiento y disposicin de los textos producidos en terreno. Cada entrevistador debe: - Enviar listado de entrevistados y sus cargos - Preparar resultados del taller a partir de los papelgrafos - Seleccionar los cassettes a transcribir y entregar. - Hacer llegar los cuestionarios y los papelgrafos del taller a la oficina - Elaborar resumen del terreno a partir de entrevistas y talleres. A nivel central, debe asegurarse que cada autor de informe final conozca las entrevistas y talleres que contienen material relevante para su trabajo especializado. Cada investigador de terreno debe hacer un resumen breve de sus entrevistas y talleres: principales hallazgos en cuanto a) mejores prcticas; b) problemas detectados; c) sugerencias y propuestas formuladas por el (los) entrevistado(s). Los cuadros producidos por los grupos de trabajo de los talleres deben ser entregados a Mara Paz y transcritos como tablas en Word. 2.4.2. Anlisis de contenido y presentacin de conclusiones preliminares, por componente.
12
Esta etapa requiere de cada autor de componente o captulo, la lectura y la anotacin del material producido en la etapa anterior. Es optativo el uso de Atlas-ti u otro sistema de codificacin. Dado el corto tiempo disponible, se sugiere realizar autocodificacin (o sea, palabras claves en el texto) con una rpida lectura de los prrafos relevantes para cada uno. (la funcin Buscar en Word, o similares en Adobe o en Google Desktop puede cumplir parcialmente esta funcin de Atlas-ti.) El objetivo comn es extraer el "oro" de informacin e ideas relevantes para la evaluacin. Para el anlisis interno se puede evaluar la idoneidad y desempeo de cada funcionario pblico entrevistado. El anlisis comparativo de los cuadros de los talleres puede centrarse en identificar los aciertos y errores ms frecuentemente mencionados y evaluar comparativamente las propuestas del mejoramiento. Por otro lado, es importante que los facilitadores de los talleres rescaten tambin elementos importantes de esta actividad que no quedaron registrados en estos cuadros. 2.4.3. Debate interno y revisin de conclusiones preliminares por componente. Esta etapa de la evaluacin debe llevar a la presentacin de conclusiones preliminares y la realizacin de comentarios por los otros miembros del equipo, en reuniones de una hora por captulo. Los realizadores de trabajos de terreno en cada regin deben redactar comentarios por escrito desde la perspectiva de su experiencia directa local, para el uso de los autores de los diferentes componentes y captulos. 2.4.4. Entrega por captulos de informe final, consolidacin y revisin editorial final. En esta ltima etapa, los captulos entregados deben ser distribuidos a todos los miembros del equipo evaluador para correcciones puntuales. De la misma manera, la consolidacin de informe global debe realizarse con la suficiente antelacin para que los miembros del equipo pueden hacer sugerencias de correccin final.
Para ser tiles, las transcripciones deben ser realizadas con mucho cuidado, para reunir condiciones mnimas para la codificacin y bsqueda posterior de citas. -No debe hacerse frases interminables: al transcribir hay que introducir puntos finales en vez de comas, donde corresponde, produciendo documentos de frases cortas. -Hay que revisar la ortografa. Esto incluye colocar acentos donde corresponde, porque no hacerlo distorsiona la bsqueda posterior de palabras. Para entrevistadores: -Revisar la transcripcin para asegurar cumplimiento de las normas precedentes. -Hacer al inicio del documento un listado de los temas tratados, o de los colegas que deben leer partes de la entrevista o taller.
Los trabajos en terreno produjeron tres fuentes de informacin: 1. 42 cuestionarios a jefes de familia (evaluaciones en respuesta a preguntas 23,24 y 27, sobre aspectos econmicos y del programa en general; preguntas 24, 25 y 26 sobre salud.) 2. Entrevistas a lderes de base indgenas. 3. 14 talleres comunitarios produjeron sendas papelgrafos, con lo bueno, lo malo y la "nota" de tres o ms proyectos cada uno, junto con propuestas de mejores prcticas hecha por hombres y mujeres indgenas. Esta informacin de los Papelgrafos fue copiada en computador, junto con resmenes de los hallazgos que emergieron de la discusin en los talleres y grupos de trabajo.
2.5. ANLISIS DE CONTENIDOS POR LOS RESPONSABLES DE LOS DIFERENTES CAPTULOS DEL INFORME Todo el material transcrito fue sometido a una seleccin de los puntos ms 14
importantes de cada entrevista o taller, utilizando palabras claves para su bsqueda, y un anlisis de contenidos por los responsables de los diferentes captulos del informe.
1. Buscar palabras claves en el texto. Cada vez que se encuentra una palabra clave se verifica su relevancia segn el contexto en que se encuentra y se marca el texto con algn smbolo especfico para encontrarlo despus (En Atlas-ti se puede usar Autocode). 2. Se juntan todas las citas relevantes, copindolas a un documento nuevo. Se indica claramente, para cada entrevista, la fuente y su posicin, y se concentra cada texto seleccionado, en frases coherentes y al grano. 3. Se realiza un anlisis de contenido de las citas seleccionadas, comparndolas con el Marco Lgico y las Acciones Desencadenantes en relacin al componente o tema. Se comienza con simples anotaciones de reflexiones (memos conceptuales a uno mismo, producto de esta comparacin), para finalmente redactar una evaluacin fundamentada en lo emprico-comparativo y en los documentos del programa.
3. DIFICULTADES ENCONTRADAS Algunas de las dificultades para llevar a cabo exitosamente la metodologa descrita fueron: el corto tiempo disponible para el anlisis cabal de la gran multitud de entrevistas, observaciones y talleres grabados y transcritos; la gran cantidad de personas en el equipo (10), que dificult la aplicacin de un criterio nico de estrategia metodolgica; la diversidad de contextos territoriales, que oblig al equipo a dividirse en equipos ms pequeos de dos personas, uno para cada zona del programa, y despus intentar comparar impresiones, apuntes y entrevistas; los temores y aprehensiones de los funcionarios del Programa evaluado. Este recelo natural en circunstancias de una evaluacin de la cual dependa la continuidad del programa y su financiamiento en una segunda etapa, fue en gran medida superada mediante frecuentes reuniones con los evaluados para discutir las evaluaciones preliminares, afinandolas de acuerdo con las rplicas del equipo de la institucin evaluada.
15
ANEXO: PAUTAS PARA ENTREVISTAS SEMI-ESTRUCTURADAS A-1 Pauta Comit Directivo del Programa: Entrevista Institucional. Me puede contar. Cmo funciona el comit?. Elementos que se deben considerar, frecuencia de las reuniones y utilidad de los resultados de las reuniones. Cmo evalas el diseo institucional del programa a nivel nacional? Cmo evalas el diseo institucional del programa a nivel regional territorial? Cmo el programa ha logrado el objetivo de intersectorialidad para su gestin? Cmo se coordinan su institucin con el Programa Orgenes? Cules han sido los aciertos y dificultades en este mbito? Qu recomendaciones haras para mejorar los procesos coordinacin del programa?
de
Cmo en su institucin han integrado el concepto de territorialidad? Ver los aciertos y dificultades, recomendaciones para mejorar en esta rea. Cmo en su institucin han integrado el concepto de interculturalidad? Ver los aciertos y dificultades, recomendaciones para mejorar en esta rea. Cmo en su institucin han integrado el concepto de pertinencia cultura? Ver los aciertos y dificultades, recomendaciones para mejorar en esta rea. Cmo en su institucin han integrado el concepto de participacin? Ver los aciertos y dificultades, recomendaciones para mejorar en esta rea. Cmo en su institucin han integrado el concepto de integralidad? Ver los aciertos y dificultades, recomendaciones para mejorar en esta rea. Desde t punto de vista. Cules han sido los aciertos y dificultades que ha tenido el programa para realizar su gestin? Qu recomendaciones haras t para mejorar la gestin del programa? Me podra sealar en que caso se ha tomado una decisin programtica y como ha operado lo que ha sealado.
16
Encargado Orgenes INDAP Encargado Orgenes CONAF Encargado Orgenes CONADI Encargado Orgenes MINSAL Encargado Orgenes MINEDUC
17
A-2 CUESTIONARIO COMPONENTE INSTITUCIONAL Este cuestionario se aplica en entrevistas a: Serplac Encargado UEZ Encargado Orgenes de Administracin y Finanzas (contabilidad) Encargado Orgenes de Monitoreo y evaluacin Intendente Alcaldes comunidades donde se realiza el taller
Desde su perspectiva, cules han sido las tres principales logros y limitaciones que ha tenido el Programa en su regin. Cmo evaluara la coordinacin regional con los coejecutores del Programa en su regin (especificar aciertos y limitaciones)? Qu recomendaciones hara para mejorar la gestin del Programa en su regin respecto a: mbitos recomendacin Del Programa en general Secretara Ejecutiva UEZ COZ Comunidad Monitoreo y evaluacin Otros
18
A-3 CUESTIONARIO SALUD Este cuestionario se aplica en entrevistas a: Coordinador/a Tcnico/a Zonal del Programa en la SEREMI Encargado/a del Programa Salud y Pueblos Indgenas -SERVICIOS DE SALUD Encargado componente salud en Orgenes (UEZ) Funcionamiento del Programa Desde cuando est usted est vinculado al Programa Orgenes? Cul es su rol en l? (sondear: otras personas que trabajan en el rea, actividades) Si no menciona en p.2: Podra explicarme si usted se relaciona regularmente con Otros Servicios o SEREMIS que ejecutan el Programa Orgenes Coordinador Nacional Componente Salud Intercultural Secretara Ejecutiva Encargado del Programa en el Servicio/ Coordinador Tcnico Zonal en la SEREMI (segn corresponda) Encargado de Salud en la UEZ B. Trayectoria del Programa (Slo para Encargado/a del Programa Salud y Pueblos Indgenas -SERVICIOS DE SALUD) Ha habido cambios o nfasis distintos desde que el Programa Salud y Pueblos Indgenas empieza a operar con Orgenes? Qu rol que ha jugado y actualmente juega el Orgenes en el Programa? C. Subcomponentes Qu opinin tiene usted sobre el subcomponente de Modelos de Atencin de Salud intercultural? Cul es el grado de cumplimiento en relacin con los objetivos que se plantearon al comienzo? Cules han sido sus principales logros y dificultades? Qu opinin tiene usted sobre las capacitaciones que se realizaron a los funcionarios? Cules fueron sus principales logros y dificultades? Qu opinin tiene usted sobre el subcomponente de Fortalecimiento de la Medicina indgena? Cul es el grado de cumplimiento en relacin con los
19
objetivos que se plantearon al comienzo? Cules han sido sus principales logros y dificultades? Qu opinin tiene usted sobre el subcomponente de Mejoramiento de Acceso y Capacidad Resolutiva de los Servicios de Salud? Cul es el grado de cumplimiento en relacin con los objetivos que se plantearon al comienzo? Cules han sido sus principales logros y dificultades? Existen diferencias en la implementacin del programa en las distintas comunidades? Cmo se expresan? Dnde est la mejor y la peor situacin? Evaluacin Cmo evala usted el funcionamiento global del componente de salud, en relacin con los objetivos y metas que se plantearon al inicio? Cules son los aspectos ms positivos? Cules son los aspectos ms negativos? Cree que las inversiones realizadas permitirn fortalecer la medicina indgena y mejorar el acceso de los indgenas a los servicios de atencin de salud? Qu recomendaciones hara usted para mejorar el Programa en la siguiente Fase?
IMPORTANTE: Todos los Servicios de Salud realizaron una evaluacin de la primera fase, con base en una pauta entregada por el equipo central del MINSAL. Pedirle al entrevistado/a del SERVICIO DE SALUD que les entregue una copia de esa evaluacin.
20
A-4 PREGUNTAS REA FINANCIERA SLO PARA ENCARGADO DE TEMA ORGENES EN INDAP, CONAF, CONADI Cul es el grado de coordinacin que se da para los requerimientos de recursos?, Cmo se generan los requerimientos o identificacin de necesidades (proyectos)? Cmo se realiza dicha coordinacin?. El envo desde Orgenes (o recepcin de los co-ejecutores) de los recursos se realiza en forma oportuna en relacin a requerimientos de los co-ejecutores? Respecto a las rendiciones: Cmo se realizan? Existe un responsable a cargo?, Cul es el grado de oportunidad, respecto a los requerimientos de Orgenes, en la entrega de rendiciones? SLO PARA ENCARGADO DEL TEMA ORGENES EN MINSAL. Cul es el grado de coordinacin que se da para los requerimientos de recursos?, Cmo se generan los requerimientos o identificacin de necesidades (proyectos)? Cmo se realiza dicha coordinacin?. El envo desde Orgenes (o recepcin de los co-ejecutores) de los recursos se realiza en forma oportuna en relacin a requerimientos de los co-ejecutores? Respecto a las rendiciones: Cmo se realizan? Existe un responsable a cargo?, Cul es el grado de oportunidad, respecto a los requerimientos de Orgenes, en la entrega de rendiciones? SLO PARA ENCARGADO DE TEMA ORGENES, Encargados EIB en SEREMI. Cul es el grado de coordinacin que se da para los requerimientos de recursos?, Cmo se generan los requerimientos o identificacin de necesidades (proyectos)? Cmo se realiza dicha coordinacin?. El envo desde Orgenes (o recepcin de los co-ejecutores) de los recursos se realiza en forma oportuna en relacin a requerimientos de los co-ejecutores? Respecto a las rendiciones: Cmo se realizan? Existe un responsable a cargo?, Cul es el grado de oportunidad, respecto a los requerimientos de Orgenes, en la entrega de rendiciones?
21
A-5 CUESTIONARIO PARA PROMOTORES Y CONSULTORAS Este cuestionario se aplica en entrevistas a: Promotores Consultoras Desde su perspectiva, cules han sido las tres principales logros y limitaciones que ha tenido el Programa en su regin. Cmo evaluara la coordinacin regional con los coejecutores del Programa en su regin (especificar aciertos y limitaciones)?
Qu recomendaciones hara para mejorar la gestin del Programa en su regin respecto a: mbitos recomendacin Del Programa en general Secretara Ejecutiva UEZ COZ Comunidad Monitoreo y evaluacin Otros
22
A-6 CUESTIONARIO COMPONENTE DESARROLLO PRODUCTIVO Este cuestionario se aplica en entrevistas a: Encargado de orgenes en INDAP, CONAF, CONADI Encargados del Componente Productivo Programa Orgenes Cmo evala los resultados alcanzados hasta hoy tomando en consideracin los objetivos que se plantearon al inicio del programa para el componente?: Mejoramiento calidad de vida de las familias participantes (ingreso) Fortalecimiento institucional en el tema indigena Describa los aciertos y dificultades en la implementacin y gestin del componente productivo en trminos de: La estructura del componente Coordinacin entre coejecutores y SE La metodologa desarrollada por el componente para las diferentes etapas del programa. Cmo se tomaron las decisiones en relacin a las inversiones realizadas Qu recomendaciones hara usted para mejorar el Programa en la siguiente Fase? Cmo evala los resultados alcanzados hasta hoy tomando en consideracin los objetivos que se plantearon al inicio del programa para el componente?: Mejoramiento calidad de vida de las familias participantes (ingreso) Fortalecimiento institucional en el tema indigena Describa los aciertos y dificultades en la implementacin y gestin del componente productivo en trminos de: La estructura del componente Coordinacin entre coejecutores y SE La metodologa desarrollada por el componente para las diferentes etapas del programa. Cmo se tomaron las decisiones en relacin a las inversiones realizadas Qu recomendaciones hara usted para mejorar el Programa en la siguiente Fase?
23
Solo para Coejecutores INDAP, CONAF, CONADI Cual ha sido el aporte de Orgenes en el trabajo de su institucin y en los instrumentos con que operan con las comunidades indgenas. Nombre modificaciones sustanciales desde el punto de vista de la pertinencia cultural.
24
A-7 EDUCACIN Y CULTURA CUESTIONARIOS PEIB Este cuestionario se aplica en entrevistas a: Encargados EIB de la SEREMI Encargados de Educacin y Cultura de Orgenes. Nivel Funcionamie nto del Programa (PEIB) Ambito 1. Coordinacione s del Subcomponente 2. Productos 3. Operatoria Preguntas Cmo funciona la coordinacin del PEIB? Integrantes. Rol. Periodicidad. Cmo calificara esta coordinacin? Cules son los productos resultantes de esta coordinacin? Cmo funciona y opera el subcomponente PEIB en la UEZ? Existen instancias para la participacin de otras instituciones involucradas (Municipalidad, sostenedores, comunidad, otros)? Y cul es su aporte. Qu aporta la CONADI al PEIB y cmo valora este aporte? Cul es el aporte regional / local al PEIB y cmo se expresa? Est posicionado el PEIB en las diversas instancias educativas? (DEPROV, Escuela). Productos. Acciones. Cules son los conceptos que guan el PEIB y cmo se expresan? Qu aspectos o contenidos agrega el PEIB al currculo nacional? Se han elaborado instrumentos de evaluacin para el PEIB? En qu estado est este aspecto.
25
Cul es el grado de cumplimiento de las acciones desencadenantes correspondientes a su territorio? Logros y dificultades. 10. Programas Qu programas y acciones han y acciones desarrollado durante el vigencia del P.O.? Logros y dificultades Programa 11. En que mbitos o temas se vincula Orgenes Coordinacin con las instancias regionales del P.O.? 12. Cambios Cules son los cambios y aportes que incorpora el P.O. al PEIB? (Antes y despus de su implementacin) 13. Visin Cul es su opinin sobre el P.O. en general general? 14. Qu cambios sugerira para la II Recomendacio Fase del P.O.? nes Qu cambios y tareas recomendara para la II Fase del P.O. en el PEIB? Nota: Las preguntas en casilleros sombreados NO se le hacen a los SEREMIS de Educacin. Este cuestionario se aplica en entrevistas a: Directores Educacin Provincial (Supervisores). Se trata de hacer una entrevista por DEPROV, la que puede ser individual o colectiva. Nivel Ambito Preguntas
9. Cumplimiento
26
3. Relacin intrainstitucional (MINEDUC) 4. Especificidad Conceptos y contenidos 5. Conceptos 6. Contenidos 7. Evaluacin Acciones desencaden antes 8. Cumplimiento 9. Programas y acciones
Cmo funciona la coordinacin del PEIB? Integrantes. Rol. Periodicidad. Cmo calificara esta coordinacin? Cmo funciona y opera el subcomponente PEIB en la UEZ? Existen instancias para la participacin de otras instituciones involucradas (Municipalidad, sostenedores, comunidad, otros)? Y cul es su aporte. Qu aporta la CONADI al PEIB y cmo valora este aporte? Cul es el aporte regional / local al PEIB y cmo se expresa? Est posicionado el PEIB en los colegios beneficiados? Productos. Acciones. Cules son los conceptos que guan el PEIB y cmo se expresan? Qu aspectos o contenidos agrega el PEIB al currculo nacional? Se han elaborado instrumentos de evaluacin para el PEIB? En qu estado est este aspecto. Cul es el grado de cumplimiento de las acciones desencadenantes correspondientes a su territorio? Logros y dificultades. Qu programas y acciones han desarrollado durante el vigencia del P.O.? Logros y dificultades.
27
10. Coordinacin 11. Cambios 12. Visin general 13. Recomendacio nes
En que mbitos o temas se vincula con las instancias provinciales del P.O.? Cul es el aporte del P.O. al PEIB? Cules son los cambios y aportes que incorpora el P.O. al PEIB? (Antes y despus de su implementacin) Cul es su opinin sobre el P.O. en el territorio? Qu cambios sugerira para la II Fase del P.O.? Qu cambios y tareas recomendara para la II Fase del P.O. en el PEIB en el territorio?
28
Este cuestionario se aplica en entrevistas a: Directores de establecimientos. Se trata de hacer una entrevista que puede ser individual o grupal. Preguntas sobre el PEIB Cmo evaluara la coordinacin del P.O. y ejecucin del PEIB en sus establecimientos (especifique aciertos y limitaciones)? Desde sus colegios, cules han sido los 3 logros principales y las 3 limitaciones ms importantes que ha tenido el PEIB? Cules son los principales conceptos y contenidos que incorpora el PEIB y a qu contribuyen estos? Cules son los cambios que incorpora el P.O. al PEIB? (Antes y despus de su implementacin) NOTA: Esta pregunta es para los establecimientos que ya tenan PEIB antes del 2002 y es IMPORTANTE que se refiera al MONITOR O ASESOR cultural. Si el colegio se incorpor al PEIB con el P.O. preguntar solamente: qu opina sobre los monitores culturales? En general, cul es su opinin sobre el P.O. en el territorio? Qu cambios y tareas recomendara para la II Fase del P.O. en general y al PEIB en particular? Preguntas sobre proyectos Escuela Comunidad Cmo fue el proceso que gener el proyecto Escuela Comunidad? (Idea de proyecto y formulacin). A cargo de quien estuvo su ejecucin. Rol de la CONADI u Orgenes en todo el proceso. Qu aport el proyecto a la Escuela y al vnculo con la comunidad?
29
Este cuestionario se aplica en taller a: Centros de Padres y Apoderados (Taller) NOTA: Las preguntas abarcan PEIB y Proyectos Comunidad Escuela? Qu saben a cerca del Programa Orgenes y las actividades que este desarrolla en sus comunidades y Escuela? Qu opinin tiene de l? Comentario: Puede que a nivel de las comunidades no haya una discriminacin clara entre el P.O. y la CONADI, se sugiere enfatizar en esas dos actividades para evitar confundir con otras acciones de la CONADI. El Programa Orgenes desarrolla dos actividades en sus colegios: PEIB y Proyecto Comunidad Escuela. Consideran importante estas actividades, por qu y en qu aportan? El Centro de Padres y la comunidad, participan del PEIB y en qu y cmo se expresa esa participacin? A qu temas se han orientado los proyectos Comunidad Escuela y qu importancia le atribuyen? Tienen vnculos con el personal del Programa Orgenes, para qu se relacionan con ellos y qu apoyo les prestan?
30
CUESTIONARIO ARTE Y CULTURA Este cuestionario se aplica en entrevistas a: Encargados Cultura y Educacin de la CONADI Encargados Educacin y Cultura del Programa Orgenes Nivel Funcionamie nto del Programa (Arte y Cultura, Escuela y comunidad) Ambito 1. Coordinacione s del Subcomponente 2. Productos 3. Operatoria Preguntas Cmo funciona la coordinacin del sub-componente Cultura? Integrantes. Rol. Periodicidad. Cmo calificara esta coordinacin? Cules son los productos resultantes de esta coordinacin? Cmo funciona y opera el subcomponente Cultura en la UEZ? Existen instancias para la participacin de otras instituciones involucradas (Municipalidad, comunidad, otros)? Y cul es su aporte? Describa cmo y para qu se vincula con el nivel central del ejecutor (direccin y sub direccin nacional) con las Oficinas Regionales. Cul es el aporte regional / local al sub-componente y cmo se expresa? Cul es la respuesta de las comunidades a los proyectos de Cultura y Arte, y proyectos Escuela y Comunidad? Cules son las ideas o conceptos claves que guan a las actividades Cultura y Escuela y Comunidad? Cmo se expresan en trminos concretos? Hay aspectos temticos que se priorizan en las dos actividades? Se han elaborado instrumentos de evaluacin para las dos actividades? En qu estado est este aspecto.
7. Contenidos 8. Evaluacin
31
9. Cumplimiento
Cul es el grado de cumplimiento de las acciones desencadenantes correspondientes a su territorio? Logros y dificultades de las dos actividades. A qu atribuye que el tema prcticas culturas supere largamente a los otros temas (Lnea Arte)? por qu se han financiado ms proyectos que los programado, (no preguntar en la VIII Regin)? Por qu no se cumpli la meta en los proyectos Escuela comunidad (no preguntar en I, II y X regiones) Logros y dificultades de la I Fase en ambas lneas de accin En que mbitos o temas se vincula la CONADI con las instancias regionales del P.O.? Cules son los cambios que incorpora el P.O. al sub-componente Cultura? (Antes y despus de su implementacin) Cul es su opinin sobre el P.O. en general? Qu cambios sugerira para la II Fase del P.O.? Qu cambios y tareas recomendara para la II Fase del P.O. en Cultura?
32
Este cuestionario se aplica en taller participativo general a: Beneficiarios Proyectos de Cultura y Arte (preguntas a realizar en Taller participativo general) Qu saben a cerca del Programa Orgenes y las actividades que este desarrolla en sus comunidades? Qu opinin tiene de l? Comentario: Puede que entre los beneficiarios no exista una discriminacin clara entre el P.O. y la CONADI, se sugiere enfatizar en la lnea Cultura y Arte para evitar confundir con otras acciones de la CONADI. El Programa Orgenes apoya actividades de Cultura y Arte en sus comunidades. Consideran importante esta actividad, por qu y en qu aportan? Tienen sugerencias para mejorar la gestin de esta actividad de apoyo a la Cultura y Arte? Tienen vnculos con el personal del Programa Orgenes, para qu se relacionan con ellos y qu apoyo les prestan? BIBLIOGRAFA Durston, Patton Strauss y Corbin
33