Asignatura

GESTIN Y FORMULACIN DE PROYECTOS SOCIALES

Primera Unidad Objetivo: Entregar elementos

1

bsicos

para

la

evaluacin de Programas y Proyectos Sociales 1.0 EVALUACIN DE PROYECTOS

La evaluacin de un proyecto debe ser entendida como algo ms que un simple enjuiciamiento de los resultados en funcin de los objetivos propuestos, sino que debe considerarse como un medio efectivo para asegurar el ptimo uso de los recursos otorgados al proyecto, como asimismo el grado de avance y progreso obtenido por los usuarios o personas afectados directa o indirectamente por la intervencin educativa. Podramos sealar que son cuatro los aspectos que constituiran el objeto y propsito de una evaluacin de proyectos:

1. la pertinencia del proyecto, entendida como la capacidad que tiene la propuesta para dar respuesta a la necesidad que le dio origen. Esta valoracin apunta especficamente a determinar la adecuacin y oportunidad del proyecto con respecto a la satisfaccin de un problema en un contexto sociocultural definido.
entendida como la coherencia entre la estrategia seguida con las metas y objetivos propuestos. En otras palabras, es evaluar la adecuacin del diseo del proyecto.

2. la idoneidad o suficiencia del proyecto,

3. la efectividad, entendida como referencia al grado en que se han alcanzado los objetivos y propsitos del proyecto, empleando una determinada estrategia. 4. la eficiencia, entendida como la productividad o rentabilidad del programa, considerando como variable principal el costo que ha supuesto el logro de los objetivos del proyecto.
Por otra parte, a la evaluacin de proyectos le va a interesar no slo determinar xitos o fracasos sino que averiguar las razones o causales que han producido o no dichos logros. Si bien es cierto que a esta funcin de la evaluacin se le suele dar el carcter de una investigacin evaluativa, no podemos olvidar que esta tarea se realiza dentro de una situacin contextual con particularidades propias, lo que condiciona los resultados y la posibilidad de generalizarlos a otros contextos similares. Por otra parte, no podemos olvidar que la evaluacin cumple una funcin informadora y enjuiciadora que facilita y optimiza cualquier proceso de toma de decisiones. Los diferentes tipos de decisiones que se irn produciendo desde la gestacin de la idea del proyecto hasta su culminacin luego de pasar por el desarrollo del proyecto sern motivo de los prximos captulos de este escrito. No podemos dejar de sealar en este punto la importancia de que la evaluacin considere los efectos imprevistos del proyecto propios de cualquier actividad humana. Finalmente, a la evaluacin de proyectos le preocupar el buen uso de los recursos materiales, humanos y sobre todo la correcta administracin de los fondos destinados a las diversas actividades de un proyecto.

1.1 MOMENTOS DE LA EVALUACIN DE PROYECTOS

Uno de los asuntos que interesan el evaluador de proyectos es el momento en que debe ponerse en prctica la evaluacin. Durante la formulacin del proyecto, la evaluacin estuvo siempre presente desde el momento mismo en que se determin la viabilidad de la idea propuesta como tambin cuando se analiz la factibilidad de las posibles soluciones y alternativas destinadas a satisfacer la necesidad educativa. Con un fin ms didctico que prctico iremos desarrollando ms adelante los distintos momentos de la evaluacin, en lo que respecta al diseo, a la implementacin, a la etapa de desarrollo y a los resultados y efectos del proyecto.

Con respecto a la evaluacin del diseo, ser importante preocuparse de los siguientes aspectos:
1. 2. 3. Fundamentacin y conceptualizacin del proyecto Contexto en que se realiza el proyecto (Diagnstico) Plan de ejecucin del proyecto (Actividades, Recursos, Materiales, Humanos, Tiempos, Costos, etc).

En relacin a la evolucin de la implementacin, es importante considerar:

1. 2. 3. 4. 5. Cumplimiento de los tiempos parciales y totales del proyecto Realizacin de las actividades previamente determinadas Utilizacin de los recursos materiales Evaluacin del rendimiento del personal asignado Adecuacin de los gastos acorde a los costos propuestos

Con respecto a la evaluacin del desarrollo o progreso interesar la consideracin de los siguientes aspectos:
1. 2. 3. Grado de logro de los objetivos parciales del proyecto Cumplimiento de las metas del proyecto Grado de conformidad de los usuarios

Finalmente, en relacin a la evaluacin de resultados, interesar conocer las siguientes situaciones:

1. 2. 3. Eficacia o efectividad del proyecto Eficiencia del proyecto Impacto social de los resultados del proyecto

1.2 TIPOS DE EVALUACION

Es importante sealar que no siempre los propsitos de la evaluacin pueden resultar transparentes y bien intencionados. Stufflebeam seala que junto a la verdadera evaluacin existiran seudo evaluaciones aquellas que estn dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo objetiva de su valor o mrito. En este grupo, estaran incluidas algunas evaluaciones polticamente controladas, cuya nica intencin es obtener, mantener o incrementar una esfera de influencia, poder o dinero. Tambin se consideran falsas evaluaciones aquellas que estn basadas en las relaciones pblicas, es decir que tratan crear una imagen positiva de una institucin, de un proyecto o de cualquier aspecto en general. Este mismo autor seala que son cuasi evaluaciones aquellas en que el valor intrnseco propio de la accin no es considerado sino que tangenciales, tal sera el caso de estudios basados en logro de objetivos que no incluyen una explicacin que fueron satisfechas las necesidades de los usuarios del proyecto. Reconoce, entonces, este mismo autor como evaluaciones cientficas las basadas en modelos orientados a la decisin, modelos centrados en el cliente y modelos basados en el consumidor.

1.3 CONCEPTO DE EVALUACIN DE PROYECTO

Si bien es cierto que el concepto de evaluacin ha sido muy susceptible a modificaciones en el tiempo, producto de diferentes tendencias educativas, debemos reconocer que para el caso de la evaluacin que han tenido mayor aplicacin y difusin: la definicin del modelo CIPP de Stufflebeam y la de Carol Weiss. Segn Stufflebeam La evaluacin es el proceso de identificar, obtener y proporcionar informacin til y descriptiva acerca del valor y mrito de las metas, la planificacin, la realizacin y el impacto de un objeto determinado, con el fin de servir de gua para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensin de los fenmenos implicados. Segn Weiss La evaluacin analiza la relacin programa/necesidad social, midiendo el grado y si es posible, la profundidad en que sus fines son logrados y, por lo tanto, las necesidades cubiertas o los problemas solucionados.

Ambas definiciones nos servirn de marco referencial en los prximos captulos de este mdulo.

EJERCICIO DE AUTOEVALUACIN N 01

Instrucciones
A continuacin Ud., encontrar una serie de afirmaciones que dicen relacin con los objetivos y contenidos de la Unidad, proceda a sealar si son Correctas o Incorrectas. Luego en la pgina siguiente encontrar las claves de las respuestas.
1. 2. 3. 4. 5. El propsito de la Evaluacin de Proyectos es el enjuiciamiento de los resultados en funcin de los objetivos propuestos La idoneidad o suficiencia de un Proyecto es sinnimo de coherencia interna entre la estrategia y los propsitos. La eficiencia puede ser entendida como la capacidad del Proyecto para lograr sus propsitos La oportunidad para averiguar las posibles causales de los xitos o fracasos de un Proyecto le da a la Evaluacin el carcter de investigacin Las Evaluaciones basadas en relaciones pblicas se constituyen en pseudoevaluaciones. Las Evaluaciones basadas en objetivos deben ser consideradas como evaluaciones cientficas o propiamente tales. La aceptacin de la Evaluacin como fuente de informacin para la toma de decisiones no resulta apropiada para la Evaluacin de Proyectos

6. 7.

SOLUCIONES EJERCICIOS AUTOEVALUATIVOS N1

1.

INCORRECTA, este es uno de los propsitos, pero hay otros como, conocer si se satisficieron las necesidades, o se utilizaron bien los recursos, etc.

2.

CORRECTA

3.

INCORRECTA, corresponde esta concepcin a efectividad, la eficacia debe ser entendida en trminos de rentabilidad en relacin a la variable costos.

4.

CORRECTA

5.

CORRECTA

6.

INCORRECTA, se le reconoce con cuasi-evaluacin ya que suele no incluir si fueron o no satisfechas las necesidades que originaron el proyecto.

7.

INCORRECTA, es una de las acepciones que explica mejor la razn de ser de una evaluacin de proyectos.

Segunda Unidad ALGUNOS MODELOS EVALUATIVOS COMO MARCO PARA LA EVALUACIN DE PROYECTOS Objetivos: - Aplicar un modelo de evaluacin de Programa y Proyectos Sociales 2.0 ALGUNOS MODELOS EVALUATIVOS COMO MARCO PARA LA EVALUACIN DE PROYECTOS
Los modelos evaluativos se constituyen en representaciones de ciertos supuestos e implicancias tericas que apuntan a reducir ciertas realidades evaluativas a un nmero finito de dimensiones. Estos modelos que logran su auge en la dcada del 60 han ido de una u otra forma desarrollando un marco que ha guiado y orientado los diversos intentos evaluativos. Si bien es cierto que algunos han tenido mayor difusin que otros a nivel de nuestro pas, se hace recomendable agruparlos en ciertas categorizaciones como una forma de facilitar su comprensin. Worthen y Sanders categorizan los modelos en los siguientes grupos:

1. 2. 3. 4. 5. 6.

Modelos basados en objetivos Modelos basados en la administracin Modelos basados en el consumidor Modelos de acreditacin Modelos de adversario Modelos participantes-naturalistas

De todos estos grupos de modelos, en este mdulo describiremos tres de ellos: los basados en objetivos, los de administracin y los participantes-naturalistas. Las razones de esta seleccin obedecen al hecho de que son los ms utilizados en la evaluacin de programas o proyectos sociales y educativos.

2.1 LOS MODELOS BASADOS EN OBJETIVOS

Existen diversos autores de modelos que utilizan como referente principal los objetivos educacionales. Tyler fue el primero y luego siguieron Taba, Provus, Metfessel y Michael, Popham, etc. A nivel latinoamericano habra que nombrar el argentino Pedro Lafourcade. El propsito central de estos modelos es el logro de los objetivos. Es necesario especificar objetivos medibles y luego mediante instrumentos de carcter objetivo se procede a la obtencin de datos que permitan determinar las discrepancias entre desempeo y logro. Estos modelos pretenden evaluar el desarrollo curricular y tambin evaluacin del rendimiento estudiantil y determinacin de necesidades. Su contribucin a la evaluacin podra reducirse a lo siguiente: Clarificacin y operacionalizacin de las metas u objetivos Medicin del desempeo antes y despus Utilizacin de evaluaciones tcnicamente vlidas y confiables la

Su xito es una consecuencia de su simplicidad como modelo y su facilidad para ser implementado, aunque obliga a establecer los objetivos con antelacin. Sin embargo, es conveniente sealar sus limitaciones, ya indudablemente a una sobresimplificacin de la educacin y, por evaluacin. Su orientacin a los resultados llev a enfatizar slo los desmedro de los procesos. Tambin favoreci el auge de los instrumentos de medicin del rendimiento. que condujo tanto, de la productos en tests como

2.2 LOS MODELOS DE ADMINISTRACIN

Los representantes de esta corriente son D. Stufflebeam, M. Alkin y M. Provus. Los dos primeros son de amplio conocimiento de los especialistas en evaluacin a nivel nacional, ya que ha sido empleado en la evaluacin de algunos programas educativos. En el anexo 1 y 2 de esta Unidad se presentan los modelos CIPP de Stufflebeam y CES de Alkin. Estos modelos basan su accionar en la entrega de informacin til para una adecuada toma de decisiones; de ah, entonces, que hayan servido para la evaluacin racional de todas las etapas del desarrollo de un programa o de un proyecto. Se les denomina de administracin cualquier accin planificada. Desde la identificacin de necesidades hasta la evaluacin de los resultados, el modelos administrativo va proporcionando la informacin que permita las decisiones de 9

planeamiento (determinacin de objetivos), decisiones de estructuracin (determinacin de estrategias), decisiones de modificacin (cambios en el proceso) y decisiones de reciclaje (reiteracin o supresin de la accin elegida).

A CONTINUACIN EN LA FIGURA SEGN EL TIPO DE DECISIONES:

SIGUIENTE

SE

GRAFICA

Tipo de 00decisin

Momentos

Proyecto

Decisiones de Planeamiento

Identificacin de Necesidades y/o Problemas

Formulacin de Objetivos

Decisiones de Estructuracin

Implementacin de Soluciones

Programacin de la Alternativa

Decisiones de Modificacin

Desarrollo de Propuesta

Avance y progreso en la Ejecucin

Decisiones de Reciclaje

Presentacin de Resultados

Reiteracin o Supresin de la Accin

10

2.3 LOS MODELOS PARTICIPANTES-NATURALISTAS

Estos modelos denominados tambin cualitativos, transaccionales o naturalistas renen entre sus principales exponentes a Stake (modelo de semblante), McDonald (modelo democrtico) y Parlett y Hamilton (modelo iluminativo) Estos modelos apuntan a la comprensin y descripcin de las complejidades de una accin educativa (proyecto) a fin de responder a los requerimientos de informacin de los usuarios. Se trata de reflejar las mltiples realidades en que puede estar inserto un determinado proyecto. Las experiencias directas en el terreno, como el razonamiento inductivo y el descubrimiento, son las grandes estrategias de estos modelos. En la cuarta unidad nos referimos en extensin con respecto a estas estrategias de carcter cualitativo. Se utilizan especficamente para inspeccin, tanto de proyectos de innovacin o cambio o como para realizar anlisis etnogrficos en el desarrollo de programas de accin social. Estos modelos han contribuido a la conceptualizacin de una evaluacin basada en diseos emergentes y en el uso de razonamientos inductivos. Tambin han permitido proporcionar nuevos criterios para juzgar el rigor de una evaluacin de carcter cualitativo (credibilidad, adaptabilidad, verificabilidad y replicabilidad de los datos). Sus ventajas son evidentes, ya que por centrarse en la descripcin y posterior juicio demuestran un gran inters en el anlisis del contexto donde se realiza el proyecto, por consiguiente le dan a la evaluacin un sello pluralista de gran apertura. Sus posibles desventajas se centran en la creencia de que esta evaluacin suele ser atrada por lo raro y atpico. Tambin se le critica una posible falta de neutralidad, lo que conducira a una evaluacin afectada por errores o fallas en sus hallazgos o conclusiones.

11

EJERCICIO DE AUTOEVALUACIN N 02

Instrucciones
A continuacin Ud., encontrar una serie de afirmaciones que dicen relacin con los objetivos y contenidos de la Unidad, proceda a sealar si son Correctas o incorrectas. Luego en la pgina siguiente encontrar las claves de las respuestas.

1. 2.

Los criterios para juzgar una Evaluacin centrada en objetivos y otra centrada en la administracin suelen ser lo mismos. Un aporte importante de la Evaluacin centrada en la participacin fue el reconocer que existen realidades diferentes donde suelen insertarse los Proyectos Educativos. La Evaluacin Naturalista dio origen a un Modelo Abierto y Pluralista centrado en el usuario. Las limitaciones de un Modelo centrado en objetivos son enfatizar los productos del Proyecto ms que los procesos de intervencin. Los modelos de administracin fueron criticados por su tendencia a destacar lo atpico o circunstancial de un Proyecto. La Metaevaluacin (Evaluacin de la Evaluacin) es una consecuencia de la utilizacin de Modelos centrados en objetivos Tanto los Modelos centrados en la administracin como en la participacin son onerosos en tiempo y recursos.

3. 4. 5. 6. 7.

12

SOLUCIONES EJERCICIOS AUTOEVALUATIVOS N2

1.

INCORRECTO, los criterios son diferentes, al primero le interesa la validez y confiabilidad de los resultados y al segundo la utilidad y adecuacin de los procedimientos empleados CORRECTA

2.

3.

CORRECTA

4.

CORRECTA

5. carcter

INCORRECTO, esta crtica es atribuida a los modelos participativos de naturalistas

6. INCORRECTO, es una consecuencia de los modelos de administracin, en que la evaluacin suele estar presente desde el inicio hasta la culminacin. 7. CORRECTA

13

Tercera Unidad LA EVALUACIN DEL PROCESO DE DESARROLLO DE UN PROYECTO Objetivo: Determinar las caractersticas que debe reunir una evaluacin centrada en la etapa de ejecucin o desarrollo de un proyecto evaluativo.
3.1

LA EVALUACIN DEL PROCESO DE DESARROLLO DE UN PROYECTO

En la realizacin de todo proyecto existe una etapa pre-ejecutiva en que se discute la viabilidad o factibilidad de la idea, con el fin de eliminar la incertidumbre o riesgo para su concretizacin. Una vez aceptada la factibilidad para realizarlo y obtenido su financiamiento, llega el momento de su puesta en marcha y comienza la gran etapa de su desarrollo definitivo. Es, en este momento, cuando se inicia la etapa ejecutiva o de realizacin, la que culminar con la obtencin de resultados, a partir de los cuales se determinar el xito o fracaso de la alternativa o estrategia seleccionada para el proyecto. En la etapa de anteproyecto se suelen utilizar estrategias de obtencin de informacin que conduzcan a una adecuada toma de decisiones sobre los propsitos u objetivos que orientarn el proyecto y la alternativa escogida para llevarlo a cabo (decisiones de planeamiento y programacin). Sin embargo, a nivel del proceso de ejecucin del proyecto, las estrategias evaluativas variarn, ya que lo que importa es llevar a cabo las diversas actividades seleccionadas y alcanzar los resultados que permitan asegurar que se han satisfecho las necesidades que originaron dicho proyecto (decisiones de modificacin y reciclaje). Hemos sealado anteriormente que el concepto de Evaluacin que se suele manejar actualmente en la evaluacin, tanto de la gestacin de un proyecto como en el desarrollo del mismo, es aquel que se refiere a la evaluacin como fuente de informacin para la toma de decisiones. Se acepta y reconoce que esta acepcin de Evaluacin se constituye en la mayor amplitud y posibilidad de aplicacin a nivel de cualquier sistema o subsistema educacional. Esta acepcin sugiere que el trabajo del evaluador debe dirigirse fundamentalmente a la recopilacin de informacin, con el fin de que sta pueda ser utilizada por aquellos que tienen la responsabilidad de administrar un sistema, programa o proyecto, es decir, por los encargados de tomar las decisiones.

14

Esta forma de visualizar la evaluacin permite su uso en diversas situaciones especficas, como un proceso sistemtico de bsqueda, organizacin y anlisis de la informacin.

En esta concepcin debemos expresar que a la evaluacin le interesa verificar las reas de decisin, seleccionar la informacin apropiada, recolectarla y analizarla a fin de comunicar datos resumidos, utilizables para la seleccin de alternativas para quien toma las decisiones. Se ha llegado a determinar que la acepcin de la evaluacin como fuente de informacin se apoya en los siguientes supuestos:

* la evaluacin es sobre todo un proceso de obtencin de informacin. * el conjunto de informaciones recogidas ser usado esencialmente para tomar decisiones sobre cursos alternativos de accin. * la informacin obtenida debe presentarse en forma de alternativas para permitir al decisor una adecuada toma de decisiones. * existen diferentes tipos de decisiones en concordancia con la estrategia o rea evaluativa seleccionada. * los datos de la evaluacin deben ser presentados como afirmaciones y/o recomendaciones sobre las alternativas presentadas.

Con el fin de que el concepto anteriormente sealado pueda utilizarse como marco referencial de las actividades evaluativas, diversos autores han configurado algunos modelos que sirven de orientadores en la seleccin de diferentes estrategias evaluativas, factibles de emplearse en la evaluacin de un programa o proyecto especfico. Los dos modelos administrativos que se han estudiado en una Unidad anterior (y trabajado a nivel nacional) son el modelo de Stufflebeam (1968) y el de Alkin (1970). El modelo de Stufflebeam en su expresin ms simple reconoce la existencia de cuatro estrategias evaluativas que conducen a cuatro tipos deferentes de decisiones. En cambio, el modelo de Alkin considera cinco reas de decisin que permiten establecer, en consecuencia, cinco tipos deferentes de estrategias evaluativas. Aparentemente, los dos modelos parecieran diferentes. Sin embargo, sus puntos de concordancia son evidentes. La estrategia de contexto de Stufflebeam coincide con las dos primeras de Alkin valoracin de sistemas y seleccin de programas. La diferencia fundamental estriba en que en el primero de ellos existe 15

una sola estrategia de proceso, mientras que Alkin reconoce, en esa etapa, dos reas de decisin que denomina implementacin de programas y mejoramiento de programas Es posible emplear cualquiera de los dos modelos para determinar la estrategia evaluativa que se va a utilizar en la evaluacin del desarrollo de un proyecto. Una vez que este ltimo se ha puesto en marcha existirn slo dos alternativas posibles de estrategias evaluativas: (1) a nivel del proceso (implementacin y progreso) (2) a nivel de resultados (producto).

3.2 ESTRATEGIAS EVALUATIVAS EJECUCIN DE UN PROYECTO.

EN

EL

PROCESO

DE

Recordaremos que la realizacin de cualquier proyecto en el rea de la Educacin, desde las ideas que lo originan hasta los resultados finales que se obtengan, debe ser concebida como un proceso continuo en que se combinan diversos factores tcnicos, administrativos, econmicos y de poltica educacional. En esta concepcin de proyectos, le corresponde a la evaluacin un papel preponderante en el control y retroalimentacin del proceso de desarrollo y, por ende, en la calidad del producto que se desea obtener. En el caso de los proyectos educativos, estos resultados apuntan mayoritariamente a la satisfaccin de necesidades o a la solucin de problemas que afectan a cualquier subsistema educativo. Si bien es cierto que hemos reiterado que la evaluacin debe estar presente desde el momento mismo en que se formulan los objetivos del proyecto, en esta Unidad nos remitiremos exclusivamente a las evaluaciones que se realizan cuando ste se pone en marcha. Debemos enfatizar que un proyecto se convierte en realidad slo cuando se lleva a la accin, y es aqu donde la evaluacin se concibe como fundamental, tanto en la entrega de informacin sobre la forma en que dicho proyecto se est implementando, como en el progreso que est logrando la clientela durante su avance. En ambos casos nos referimos a la evaluacin como evaluacin de proceso. El diccionario define el trmino estrategia como el arte o habilidad para dirigir o conducir un determinado asunto y, por analoga, podemos establecer que estrategia evaluativa correspondera a la forma o manera de conducir una evaluacin en concordancia con los propsitos y momentos en que se desarrolla un programa o proyecto especfico. En otros trminos, existiran tantas estrategias evaluativas como momentos se visualicen en un proyecto.

16

Por ejemplo, para algunos autores (Stufflebeam y Alkin) existiran cuatro y cinco estrategias evaluativas, respectivamente. As tenemos Contexto - Insumo Proceso - Producto (Modelo C.I.P.P., Stufflebeam) e Identificacin de Necesidades Planificacin del progreso Certificacin de Programas (Modelo C.S.E., Alkin). Brevemente, diremos que a la estrategia evaluativa de contexto le preocupa la determinacin de necesidades; a la estrategia evaluativa de insumos, los recursos humanos y materiales que se emplearn en el desarrollo del proyecto; a la estrategia de proceso le interesa la ejecucin o desarrollo del plan de actividades de un programa, y a la de producto, los resultados obtenidos o el impacto social de stos.

Son numerosas las personas que utilizan como sinnimos los trminos estrategia y mtodo. El diccionario precisa que mtodo es el modo de actuar en un determinado orden o los pasos o tareas que deben realizarse para lograr un propsito determinado. Si se transfiere este concepto a metodologa evaluativa, podramos llegar a establecer que a sta le corresponde el estudio e identificacin de las acciones secuenciales que deben realizarse para obtener una informacin evaluativa.

La metodologa evaluativa debiera ser nica, independiente del tipo de estrategia evaluativa que se est conduciendo. Por consiguiente, lo que vara es la estrategia y no la metodologa evaluativa. Por ejemplo, no pueden ser iguales los propsitos para una determinacin de necesidades (estrategia de contexto) que para un anlisis de los resultados de un proyecto (estrategia de producto). A la primera estrategia le importar determinar los niveles de aspiraciones, deseos, anhelos y necesidades de la clientela que se desa servir con el proyecto. Esta informacin podr obtenerse mediante una identificacin del contexto o ambiente donde funciona el sistema y, a travs de la informacin recogida por la evaluacin, debern clarificarse las metas y objetivos del proyecto (decisin de planeamiento). Por otra parte, a una estrategia evaluativa de producto le interesar obtener informacin sobre los resultados finales del proyecto. En otros trminos, importa determinar si stos han respondido a las exigencias y aspiraciones de la clientela, logrando la satisfaccin de las necesidades que lo originaron. En sntesis, el proceso metodolgico seguido para ambas estrategias evaluativas debe ser necesariamente igual en sus pasos.

17

Hay que recordar que primero ha de determinarse el tipo de estrategia evaluativa que corresponde utilizar de acuerdo al momento en que se encuentra el proyecto para desarrollar posteriormente el proceso metodolgico evaluativo. Al respecto, podramos decir que tanto las estrategias evaluativas de contexto (determinacin de necesidades) y de insumos (utilizacin de recursos) cumplen, en relacin a un proyecto, una funcin eminentemente diagnstica, ya que lo que se intenta es detectar la existencia de una necesidad y los medios que debern emplearse para satisfacerla. En consecuencia, ambas estrategias estn dirigidas a analizar tericamente la factibilidad de un determinado proyecto. Una vez que el proyecto entra en ejecucin (puesta en marcha), se hace necesario obtener informacin acerca de la forma cmo se lleva a cabo y del progreso real de los sujetos afectados por el proyecto. La expresin usada para esta forma de obtener informacin es la denominada por Michael Scriven como la evaluacin formativa, trmino relacionado con la modificacin y mejoramiento del proyecto durante su desarrollo. Finalmente, si el proyecto est llegando a su culminacin es importante obtener informacin sobre el calor o mrito de ste con el fin de decidir si debe continuarse, terminarse o ampliarse a un nivel mayor. El tipo de propsito involucrado en esta etapa del proyecto se denominar evaluacin sumativa.

18

3.3 ESTRATEGIA EVALUATIVA DE PROCESO.

En el proceso de ejecucin de un proyecto, se est sometiendo a prueba el diseo elaborado segn la alternativa seleccionada. No debemos olvidar que se pretende mediante la accin coordinada y programada de los recursos humanos y materiales lograr los propsitos del proyecto, es decir, a travs del montaje de todo un aparato organizativo se pretende ejecutar una serie de actividades secuenciales que confluyan a desarrollar una determinada propuesta, destinada a satisfacer necesidades educacionales. Sin embargo, esta accin siempre plantea dudas: estar bien estructurado el plan diseado? se podrn hacer algunas modificaciones para asegurar el xito del proyecto? Las respuestas a estas interrogantes son posibles de encontrar mediante la aplicacin de una estrategia evaluativa de proceso. Para los autores de modelos evaluativos y los estudiosos de la evaluacin parecieran ser tres los objetivos principales: 1. Detectar o predecir los defectos en el plan de actividades o diseo de procedimientos. Proporcionar feed-back peridico a las personas responsables de el proyecto con el fin de introducir las modificaciones

2. implementar convenientes.

3. Mantener un registro de la forma en que se est desarrollando el proyecto con el fin de utilizarlo posteriormente para explicar el xito o fracaso del mismo. Con fines ms prcticos que tcnicos, se desarrollar a continuacin la estrategia evaluativa de proceso como la superposicin de dos estrategias diferentes, una denominar de implementacin y la otra de progreso.

Estrategia Evaluativa de Implementacin

La evaluacin del proceso de implementacin de proyecto es sobre todo un proceso de control, cuya finalidad intrnseca es determinar hasta qu punto los elementos especficos de un proyecto se estn ejecutando tal como fueron planificados. En otros trminos, significa obtener informacin sobre la forma en que las diferentes actividades se vienen realizando para compararlas con las del programa diseado. Tambin interesar la manera en que se han comportado los miembros del quipo del proyecto, tanto en lo que respecta al uso de recursos como a la administracin de los fondos. 19

Adems de detectar los defectos en el diseo de los procedimientos y proveer feed-back a los responsables del proyecto, permite realizar sobre la marcha los ajustes necesarios en el uso de recursos existentes, para que stos rindan los mayores beneficios o por lo menos se puedan utilizar lo ms eficientemente posible. Otra finalidad importante de esta evaluacin de control es que nos permite adjudicar, en su justa medida, la proporcin debida de los beneficios obtenidos en cada una de las actividades realizadas, como asimismo sealar cules de ellas han creado mayor dificultad en su realizacin. Otros aspectos sobre los que interesar obtener informacin en esta evaluacin son: Capacidad para mantener un buen enlace y relacin con los organismos que financian el proyecto. Habilidad para convocar y reclutar personal para trabajar en el proyecto. Capacidad para coordinar y supervisar las distintas actividades del proyecto. Habilidad para preparar las propuestas y realizar los contratos respectivos. Habilidad para realizar las compras de equipos e implementos. Capacidad para supervisar el cumplimiento de los contratos. Capacidad para llevar al da la cuenta presupuestaria del proyecto. Habilidad para presentar los informes de avance del proyecto y las evaluaciones parciales.

En sntesis, los propsitos de una evaluacin durante el proceso de implementacin de un proyecto son: * Determinar las discrepancias entre lo planeado y el funcionamiento real del proyecto, sobre todo en lo que respecta al desarrollo de las actividades. * Determinar las probables causas que originaron las discrepancias entre lo planeado y lo real. * Determinar los efectos (positivos o negativos) producidos en el proyecto como consecuencia de las discrepancias de funcionamiento detectadas.

20

La evaluacin del progreso est destinada a proveer la informacin necesaria acerca del nivel de logro de los participantes en trminos de los objetivos propuestos para cada etapa del proyecto. Esto quiere decir que se determinan los logros que la clientela va obteniendo a medida que progresa el proyecto. La evaluacin de progreso apuntar a obtener informacin sobre: 1. 2. 3. 4. 5. La claridad y precisin de los objetivos especficos del proyecto. La realidad con que se ha planificado el plan de accin del proyecto. La adecuacin de las actividades y tareas del proyecto. El grado de secuencia de la presentacin de las actividades y tareas. El grado de logro de los objetivos por parte de los sujetos del proyecto.

6. Las probables causas que permiten justificar un bajo grado de logro de un objetivo. En sntesis, la evaluacin del progreso de la clientela afectada por un proyecto determinado persigue los siguientes objetivos: * Determinar la discrepancia entre los estndares de progreso planteados idealmente en el proyecto con los indicadores de rendimiento obtenidos por los sujetos afectados por el proyecto.

* Determinar las probables causas que originaron las discrepancias obtenidas entre el progreso ideal y el real. * Determinar los efectos (positivos o negativos) producidos en el proyecto como consecuencia de las discrepancias de progreso detectadas.

En suma, debemos reiterar que la evaluacin de la ejecucin de un proyecto es fundamental para asegurar el xito final del mismo. No basta reconocer las fallas que se producen durante la conduccin de dicho proyecto, sino que se deben determinar los efectos que stas conllevan, afectando probablemente su curso y direccin. Tanto la implementacin de los recursos del proyecto como los progresos que vayan logrando las personas afectadas directamente por el mismo, sern los dos grande propsitos que orientarn una estrategia evaluativa de proceso, permitiendo as que el administrador del proyecto asuma decisiones de modificacin que amerita la informacin obtenida.

21

EJERCICIO DE AUTOEVALUACIN N 03

Instrucciones

A continuacin Ud., encontrar una serie de afirmaciones que dicen relacin con los objetivos y contenidos de la Unidad, proceda a sealar si son Correctas o Incorrectas. Luego en la pgina siguiente encontrar las claves de las respuestas.

1. Las estrategias Evaluativas de progreso e implementacin apuntan a la toma de decisiones de modificacin de las actividades del Proyecto que lo requieran. 2. los 3. evaluador 4. problema de La evaluacin del proceso recoge, segn Stufflebeam, las intenciones y fines de una accin. En la concepcin de Evaluacin como fuente de informacin, el asume tambin el rol de decisor. El modelo de Alkin (C.S.E) y el de Stufflebeam (C.I.P.P) enfocan el la Evaluacin de proceso de la misma manera.

5. Las estrategias evaluativas son siempre las mismas lo que cambia es la metodologa de la Evaluacin. 6. Un propsito importante de la Evaluacin durante el proceso es dar retroalimentacin a las personas que estn desarrollando el Proyecto.

7. Las discrepancias detectadas durante la Evaluacin del proceso pueden conducir a efectos tanto negativos como positivos al interior del Proyecto. 22

SOLUCIONES EJERCICIOS AUTOEVALUATIVOS N3

1. 2. 3. 4. la de una. 5. son 6. 7.

CORRECTA INCORRECTA, recogen las realidades y los medios de una accin. INCORRECTA, el evaluador slo proporciona informacin al decisor. INCORRECTA, el modelo de Alkin plantea dos estrategias para el proceso, implementacin y de progreso, mientras que el de Stufflebeam slo INCORRECTA, al revs, lo que no vara es la metodologa y lo que cambian las estrategias. CORRECTA CORRECTA

23

Cuarta Unidad LA EVALUACIN DE LOS RESULTADOS DE UN PROYECTO Objetivo: Identificar las caractersticas propias de una Evaluacin de Resultados de un Proyecto. 4.1 EVALUACIN: CONCEPTO, PROPSITOS.

La evaluacin de proceso se ejecuta realizando evaluaciones parciales en forma peridica y retroalimentando el diagnstico, la programacin y la accin. Esta evaluacin perfecciona la accin profesional por la aproximaciones sucesivas que se realiza.

La evaluacin de logro o efecto s la evaluacin de resultado y permite medir los efectos producidos por un programa, proyecto o estudio, de acuerdo a objetivos planteados. En esta evaluacin es importante considerar no slo aquellos resultados previstos, sino que fundamentalmente los cambios o resultados no buscados. Podemos encontrar muchas definiciones de evaluacin, dependiendo de los autores, ejemplo: Suchman seala que la evaluacin es la determinacin (basada en opinin, informes, datos subjetivos u objetivos) de los resultados (deseados o no deseados, transitorios o permanentes, inmediatos o posterior), logrados por una actividad (sea programa, parte de un programa) diseado para lograr un propsito u objetivo valorizado (sea ltimo, intermedio, de esfuerzo o de rendimiento, de largo o corto plazo). Weiss seala que la evaluacin establece criterios de xitos claros y especficos. Recolecta evidencia en forma sistemtica de una muestra representativa de las unidades de preocupacin. Generalmente se expresa la evidencia de trminos cuantitativos y la comparar con los criterios de xito que fueron fijados. Despus saca conclusiones con respecto a la efectividad, el xito del fenmeno de estudio.

24

Trantow seala que la evaluacin es esencialmente un esfuerzo de determinar cuales cambios ocurrieron con el resultado de un programa, mediante la comparacin de los cambios reales (los resultados) con los cambios deseados (objetivos fijados) y la identificacin del grado o medida en que la actividad (programa) fue responsable de los cambios. Con estas definiciones podemos concluir que la evaluacin es: Un proceso de asignar valores a los efectos de una accin planificada. Un proceso constante no exento de complejidad y de subjetividad mediante la cual se determina la efectividad y eficiencia de alguna forma de intervencin. Es una forma de analizar los acontecimientos para adoptar posteriormente decisiones de mayor calidad. Es un proceso para someter a juicio y a criterios de confianza y validez los resultados obtenidos generados por una accin. Es un proceso sistemtico mediante el cual se busca determinar la validez de una hiptesis de trabajo. Es un proceso, mediante el cual se determina la cantidad y calidad, profundidad e intensidad, cobertura y velocidad del cambio producido por alguna forma de intervencin ejecutada por una realidad social determinadas. PROPSITOS DE EVALUACIN (segn Briones) Continuar o no una forma determinada de intervencin. Tratar de mejorar el funcionamiento de lo programado. Agregar o suprimir algunas de las partes de la programacin. Establecer formas de intervencin similares en otros lugares en las que se pueda implementar los mismos programas o proyectos. Redistribuir los recursos segn los resultados de programas o proyectos alternativos. Aceptar o rechazar algn enfoque o teora en la cual esta basada la forma de intervencin.

El trmino evaluacin en ciencias sociales se asocia a investigacin evaluativa, ya que se orienta a determinar los resultados de la investigacin social. La investigacin evaluativa es una forma especifica de investigacin aplicada cuyo objetivo es probar la efectividad de la accin, su nfasis esta propuesto en el aspecto prctico. Para poder llevar a cabo la evaluacin existen: Procedimientos de evaluacin. Criterios de evaluacin. Modelos de evaluacin.

25

4.1.1 PROCEDIMIENTOS DE EVALUACIN.

1. Procedimientos de comparar situacin inicial con la final. 2. Procedimiento de cumplimiento de objetivos propuestos.

4.1.2 CRITERIOS DE EVALUACIN. (segn Briones y Suchman)

1. Criterio esfuerzo establecido (Suchman) permite determinar la cantidad de los objetivos del programa, proyecto. La evaluacin de esfuerzo incluye: Estudios especiales: como auditorias de utilizacin de recursos, auditorias administrativas y estudios de tiempo movimiento. Control de programas: consiste en una evaluacin social para detectar desviaciones de los objetivos, procedimientos. En grandes instituciones o empresas esta evaluacin es controlada a travs de una unidad de informtica, estudio de tiempo movimiento. 2. Criterio de resultado logro (Suchman Briones) se refiere a la medicin de logros producidos por la intervencin social, sean stos deseados o no, para lo cual se usa especialmente el modelo de cumplimiento de objetivos para la evaluacin. Para trabajar este criterio se necesita trabajar: Determinar la variable en estudio. Definir operacionalmente la variable. Determinar los indicadores. Formular las categoras de xito. 3. Criterio de eficiencia (Suchman) se preocupa de evaluar el costo de los recursos usados para alcanzar los objetivos de la intervencin, es la relacin que se hace entre recursos utilizados y los resultados obtenidos, incluye anlisis de costo-beneficio que determina el costo directo e indirecto y los compara con los beneficios de la intervencin social costo-efectividad permite utilizar los recursos de manera ms eficiente para lograr metas de valor social y no monetarias. Contabilidad de recursos incluye procedimientos para determinar cantidad de recursos necesarios para producir resultados cuantitativos especficos para producir una determinada intervencin. 4. Criterio de impacto o efecto (Suchman Briones) a diferencia de los estudios de efectividad que se limitan a conocer las consecuencias de una intervencin social en los beneficiarios la evaluacin de impacto, estudia el efecto de la intervencin en la comunidad total. El propsito es por lo tanto analizar el efecto de los resultados de la intervencin, en las necesidades que generaran esta intervencin, como tambin evaluar las consecuencias sociales, polticas, culturales o de cualquier ndole que fueron inesperadas. 5. Criterio de calidad (Briones) permite evaluar la estimacin de los resultados cualitativos en un determinado tipo de intervencin social. 6. Criterio de persistencia (Briones) es la medicin de la duracin que tienen las personas, los efectos de una determinada intervencin social. 7. Criterio esfuerzo establecido (Suchman) permite determinar la cantidad de los 26

objetivos del programa, proyecto. La evaluacin de esfuerzo incluye: Estudios especiales: como auditorias de utilizacin de recursos, auditorias administrativas y estudios de tiempo movimiento. Control de programas: Consiste en una evaluacin social para detectar desviaciones de los objetivos, procedimientos. En grandes instituciones o empresas esta evaluacin es controlada a travs de una unidad de informtica, estudio de tiempo movimiento. 8. Criterio de resultado logro (Suchman Briones) se refiere a la medicin de logros producidos por la intervencin social, sean stos deseados o no, para lo cual se usa especialmente el modelo de cumplimiento de objetivos para la evaluacin. Para trabajar este criterio se necesita trabajar: Determinar la variable en estudio. Definir operacionalmente la variable. Determinar los indicadores. Formular las categoras de xito. 9. Criterio de eficiencia (Suchman) se preocupa de evaluar el costo de los recursos usados para alcanzar los objetivos de la intervencin, es la relacin que se hace entre recursos utilizados y los resultados obtenidos, incluye anlisis de costo-beneficio que determina el costo directo e indirecto y los compara con los beneficios de la intervencin social costo-efectividad permite utilizar los recursos de manera ms eficiente para lograr metas de valor social y no monetarias. Contabilidad de recursos incluye procedimientos para determinar cantidad de recursos necesarios para producir resultados cuantitativos especficos para producir una determinada intervencin. 10. Criterio de impacto o efecto (Suchman Briones) a diferencia de los estudios de efectividad que se limitan a conocer las consecuencias de una intervencin social en los beneficiarios la evaluacin de impacto, estudia el efecto de la intervencin en la comunidad total. El propsito es por lo tanto analizar el efecto de los resultados de la intervencin, en las necesidades que generaran esta intervencin, como tambin evaluar las consecuencias sociales, polticas, culturales o de cualquier ndole que fueron inesperadas. 11. Criterio de calidad (Briones) permite evaluar la estimacin de los resultados cualitativos en un determinado tipo de intervencin social. 12. Criterio de persistencia (Briones) es la medicin de la duracin que tienen las personas, los efectos de una determinada intervencin social.

4.1.3 MODELOS DE EVALUACIN: ANALTICOS Y GLOBALES.

1. Modelos analticos: se relacionan con paradigmas epistemolgicos explicativos y a travs de ello composiciones realistas u objetivistas. En la evaluacin, as como tambin en investigaciones, la finalidad del conocimiento consiste en dar explicaciones de las modalidades de funcionamiento de una determinada forma de intervencin social y de sus resultados. 27

Ejemplos de modelos analticos en trabajo social: Modelo de referentes especficos de Guillermo Briones. Variaciones del modelo experimental. Modelo cuasi experimental. Contexto insumo proceso producto (CIPP) (es para mediciones cuantitativas). Clculo de rentabilidad de proyecto (CRP). 2. Modelos globales: se basan en paradigmas interpretativos o comprensivos de tal manera que la tarea final de la evaluacin consiste en establecer el significado de las acciones del programa que se desarrolla dentro del programa , proyecto o estudio. Su enfoque global es holstico sin referencia a factores causales o variables particulares que pudieran ser sometidos a tratamiento estadstico, considerando los paradigmas epistemolgicos que se relacionan. Estos modelos se relacionan con posiciones subjetivas o idealistas, tienen nfasis es la informacin total y preferentemente cualitativa. Tipos de modelos globales: Esquema evaluativo de Jorge Chateau. Modelo iluminativo de Parlett y Hamelton (se usa principalmente en comunidad)

4.2. LA EVALUACIN DE LOS RESULTADOS DE UN PROYECTO

Al finalizar cualquier proyecto educativo, se hace menos que imprescindible conocer sus reales resultados y el posible impacto de los mismos en el contexto en que se inserta dicho accionar. Por lo general se trata de interpretar los logros obtenidos al finalizar el ciclo del proyecto a fin de proveer la retroalimentacin necesaria al sistema o a la institucin. La eficiencia de los procesos y sobretodo la claridad de las metas son aspectos que se dilucidarn al momento de interpretar los resultados. Los resultados, sean cuales sean, deben ser dados a conocer a todas las unidades o equipos que trabajaron en el proyecto a fin de que no solo conozcan los logros sino que asuman las deficiencias y as en un futuro los proyectos que se desarrollen, sean o no parecidos al evaluado, recojan la experiencia obtenida y puedan llegar a optimizar la misma propuesta u otra semejante.

De lo que se intenta lograr en una evaluacin de resultados es encontrar una explicacin del xito o fracaso que tuvo el proyecto y ver si la necesidad o situacin problema que lo origin ha sido, de alguna manera, total o parcialmente superada por esta intervencin.

28

4.3. DE LA METODOLOGA RESULTADOS

PARA

UNA

EVALUACIN

DE

En una evaluacin de productos se trata de contrastar los resultados con los objetivos y con los medios empleados lo que consistira evaluar el programa en s, como tambin va a importar si el proyecto ha respondido a los problemas y necesidades reales que lo suscitaron y si logr o no incidir en el contexto educacional que se intentaba favorablemente modificar.

De aqu entonces, que importe, por una parte, evaluar su eficacia entendida como el efecto alcanzado con la propuesta y, por otra, evaluar la eficiencia entendida con el grado de rentabilidad econmica de la intervencin elegida. La evaluacin de la eficacia de un proyecto consiste bsicamente en determinar los efectos que tuvo el proyecto en la poblacin destinataria y el impacto que gener en la comunidad en que sta se inserta. Por ende, al evaluador le tiene que interesar toda la informacin que diga referencia con efectos indirectos, imprevistos o secundarios del proyecto con relacin a la poblacin destinataria y a otras reas aparentemente no vinculados con dicha poblacin. Estos efectos a los que hacemos mencin pueden haber resultado beneficiosos como perjudiciales, incluso llegando a crear problemas o necesidades mayores que las que se pretenda solucionar con dicho proyecto. Tambin puede acontecer que resultados imprevistos resulten tan favorables que desdibujen los objetivos iniciales con que parti el proyecto.

29

NIVEL

CONCEPTO

TIPOS

CRITERIOS

Productos

Bienes producidos y/o servicios productos

- Objetivo alcanzado y 0programados - Metas alcanzadas u programadas - Actividades realizadas y 0programadas - Insumos utilizados y 0programados - Duracin efectiva y programada

Eficacia significativa

Instituto Profesional Diego Portales

AUTNOMO

37

Efectos

Resultados obtenidos al utilizar los productos

- Concretos - Personales - Demostrativos -Multiplicadores

Aporte futuro

Impacto social

Resultados obtenidos al utilizar los efectos

- Estructura y funcionamiento 0organizado - Estrategias de intervencin - Percepcin de los destinatarios - Variaciones contextuales

Percepcin y valoracin 00de los destinatarios

4.4. EVALUACIN DE LA EFICIENCIA

Otro propsito importante en la evaluacin de los resultados de un proyecto lo constituye la evaluacin de la rentabilidad de un proyecto. Los procedimientos ms utilizados para la evaluacin de la rentabilidad de un proyecto son: Anlisis costo - beneficio Anlisis costo - efectividad Anlisis costo - utilidad

38

EJERCICIO DE AUTOEVALUACIN N 04

Instrucciones

A continuacin Ud., encontrar una serie de afirmaciones que dicen relacin con los objetivos y contenidos de la Unidad, proceda a sealar si son Correctas o Incorrectas. Luego en la pgina siguiente encontrar las claves de las respuestas.

1. La evaluacin de resultados tiene como nico propsito determinar los logros obtenidos en funcin de los objetivos propios del Proyecto. 2. Eficacia y eficiencia son dos aspectos que interesan a la evaluacin de los resultados de un proyecto. 3. La no aceptacin de la intervencin por parte de los usuarios estara indicando que no se respetaron los intereses y aspiraciones de la poblacin escolar. 4. La rentabilidad de un proyecto solo puede ser evaluada a travs de la relacin costo - utilidad 5. Las decisiones de reciclaje podran apuntar a continuar, modificar o suprimir definitivamente un determinado proyecto. 6. A la evaluacin de producto le interesa conocer tambin los resultados separados o imprevistos. Los resultados de un proyecto pueden anticiparse conociendo los de una evaluacin de proceso.

no

7. resultados

39

SOLUCIONES EJERCICIOS AUTOEVALUATIVOS N04

1. INCORRECTA, les suele interesar otros aspectos, como por ejemplo, si se satisfizo la necesidad que lo origin, etc. 2. 3. CORRECTA CORRECTA

4. INCORRECTA, la eficiencia de un proyecto puede ser evaluada tambin por el anlisis costo beneficio o costo efectividad. 5. 6. CORRECTA CORRECTA

7. INCORRECTA, no siempre lo formativo puede ser predictor exacto de lo sumativo, si bien es cierto que en algunos casos podran ser evidente que se predijese el fracaso de los resultados

40

BIBLIOGRAFA Ahumada Acevedo Pedro (1993), Evaluacin de Proyectos Educativos Briones Guillermo (1991), Evaluacin de programas sociales, Mxico: Trillas. Garca Gustavo (1996) Diseo y evaluacin de proyectos sociales, Libros Certeza. Franco, Rolando (1990) Pobreza, necesidad y desarrollo, CEPAL, Elpes UNICEF, Santiago de Chile. Franco, Rolando Sociales. y Cohen Ernesto (1992) Evaluacin de Proyectos

Fernndez, A y Rosas M, (1992) Polticas Sociales y Trabajo Social , Editorial Humanitas , 4ta. Edicin Ander Egg, Ezequiel (1992) Qu es el Trabajo Social ? Editorial Humanitas Ander-Egg Ezequiel (1995), Diagnstico social, conceptos y metodologa, Lumen. Escartin Maria Jos (1997) Introduccin al Trabajo Social II, Aguaclara. Moix Martnez (1991), Introduccin al Trabajo Social, Madrid: Trivium.

41