ARLETTE PICHARDO MUZ

EVALUACIN DEL IMPACTO soeliix,

El valor
de lo humano
ante la crisis y el ajuste

LUMEN EYXAnTM

Editorial Lumen-Hvmanitas
Viamonte 1674
1055 Buenos Aires
373-1414 / FAX (54-1) 375-0453 E-mail: magisterio@commet.com.ar Repblica Argentina

Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Parte I

Captulo 1. El contexto histrico en que se inscribe la propuesta de evaluacin del impacto social . . . . 13 Capitulo 11. La evaluacin del impacto social como sntesis de los enfoques ms conocidos y utilizados para la evaluacin de los proyectos . . . 45 Captulo 111. El impacto social: hacia la construccin de un enfoque terico-metodolgico para la evaluacin . . . . . . . . . . . . . . . . . . . . . . . . . 71

Parte 1 1

Captulo IV. El significado de la evaluacin del impacto social . . . . . . . . . . . . . . . . . . . . . . . . 137 Captulo V. Premisas bsicas de la evaluacin del impacto social . . . . . . . . . . . . . . . . . . . . . . . . 165 Captulo VI. Limitaciones para la evaluacin del impacto social . . . . . . . . . . . . . . . . . . . . . . . . 183

EL SIGNIFICADO DE LA EVALUACI~N DEL IMPACTO SOCIAL

l . Qu es evaluar?: Definiciones ms conocidas y difundidas.
2. L;I evaluacin como actitud: Un instrumento para construir el futuro.

3. a evaluacin en el contexto de los procesos de toma de decisiones.

4. La evaluacin en el contexto de la intervencin planificada.

1. ;QUE ES EVALUAR?: DEFINICIONES MAS CONOCIDAS Y DIFUNDIDAS.

En el captulo anterior se ha reaiizado un esfuerzo por conceptualizar el inpacto sociai. falta alora intentar detinir el concepto de evaluacin.

Una consulta al Dice-iotlar-io de la Lerzgrda Espatiolu seala que: "Ei!aldat. cs estiniar, apt-eciar, calctdar el \*alar. de ir:la cosa". (Real Academia Espaola, 1983: 502). En esta definicin est iniplcita una concepcin vaiorativa de la acci6n de evaiuar. Sin embargo, en la prctica cotidiana el concepto de evaluacin se confunde con la acepcin ms difundida de calificar que. dc acuerdo con el misnio Diccionario, es: "Juzgar. el grado de sirficietlcia o iiisrgiciencia de los cotzocin~ieritosdentosrrados por. uii alrdn~lio14 opositor err rrrl e.xanletr o ejercicio" (1983: 230). Esta definicin de calificar incluso va en desniedro de una concepcin ms amplia del trmino que lo define como: "Apreciar o determi~rarlas calidades o circutrstaricias de urza persorza o cosa" (Ibdeni). De esta forma, la concepcin ms convencional de calificar que se aplica. en el mbito educativo, ha ido perrneando la

definici6n de la evaluacin en su scntidv nis amplio y gcnerando una serie de estereotipos que dificultan la prctica evaluadora. tal como se discute nis adelante en cl captulo correspondiente a ese tenla. Una revisin de la bibliografa sobre el tenla de evaluaci6n.I indica que la niayora de las definiciones sobre sta se ennlarcan en el plano nomlativo. Es decir, en el "deber ser", que define un modelo ideal por alcanzar que, a su vez, se constituye en el referente eval~ativo.~ De ah que la evaluacin aparece como una probabilidad para determinar hasta que punto las acciones realizadas se ajustan o no a las normas vigentes; y. no tanto, como una posibilidad nuevas normas o bien recrear las existentes. para def'in~r En igual medida, no se plantea a la evaluacin conlo una opcin para examinar cl cornportaniiento de los actores sociales que se inscriben en los procesos de toma de decisiones nacionales. iiistitucionales, organizacionuls. etc., y c6mo :as acciones de stos inciden en tales procesos detem-iinando la intencionalidad de la toma de decisiones y definiendo el sentido de la orientacin de tales acciones.

2. LA EVALUACION COMO ACTITUD: UN INSTRUMENTO PARA CONSTRUIR EL FUTURO. Ms all del aspecto nom~ativo,~ la evaluacin debe entenderse, en lo fundamental, como:

UNA ACTITUD ANTE LAS COSAS Y ANTE LA VIDA

En tal sentido, evaluar es una fomia para entender la dinmica. quehacer y actuacin de los diversos actores sociales, que conforman las instituciones de la sociedad poltica y las organi-

zaciones dc la sociedad civil, as como el quehacer propio. Racionalizando los errorcs conietidos en dicho accionar, valorando los avances y aprendiendo del pasado. con el fin de introducir las nledidas preventivas y correctivas necesarias, apropiadas, convenientes y, sobre todo, viables. Esto ltimo significa con posibilidad para ser puestas en prctica con un cicrto o significativo impacto social. en las situaciones en que los actores sociales buscan incidir en el accionar y/o devenir de los propios actores. Considerar en la evaluacin el componente acti tudinal como uno de los aspectos fundamentales, lleva a plantear un se_pndo aspccto de vital importancia: la evaluacin es, en esencia,

UN INSTRUMEYTO PARA CONSTRUIR EL FUTURO"

Muchas veces errmos en la construccibn del fgturo, no porque seamos incapaces para construirlo, sino porque no somos propensos a la evaluacin sistemtica, para estudiar de manera objetiva los desaciertos y valorar los aciertos. As como, cuando el individuo se niega a madurar tiende a subsuniir sus errores, para no cobrar conciencia ante ello y generar fomlas de corregirlos, la historia institucional y organizativa est plagada de amnesias, justificadas o no. bien intencionadas o no, teidas de preferencias ideolgicas y partidarias o no; pero amnesias. al fin y al cabo, que limitan el aprendizaje de las experiencias pasadas y hacen persistir en el futuro los errores del presente. Sin embarzo, conviene aclarar que entender a la evaluacin como una actitud, no signitica --de ninguna manera- asumirla como un simple acto de voluntad o como una recoleccin de opiniones, por ms respaldadas que estn por criterios de autoridad. Supone un esfuerzo riguroso y sistemtico de recoleccin. ordenamiento e interpretacin de informaciones, como se muestra en el Captulo VIII.

Tal procedimiento debe estar apegado a los principios bsicos del mtodo cientfico, entendido ste como lo define El de Gortari: "El procedinliento plarieado qrre se sigue en la ini~estigacirt para descubrir forntas de esiste~rciade los procesos objeti~~os, para deselzt~zrriar.sus colle.~io~res i~ztei-~ias y este]-/;as, para ger~el-alizary profundirar los conocinzielitos as adquiridos, para llegar- a dcniostrarlos con ?-igorracional y para comprobarlos en el experimento y col1 las tcnicas de su aplicacibrtJ' (1979: 41). En sntesis, la evaluacin es una actitud de conocimiento del medio que nos rodea, para aprehender y aprender de l los elementos bsicos que deben orientar los procesos de toma de decisiones y valorar los resultados obtenidos. as como ir introduciendo los a-justes necesarios dictados por el criterio de la realidad.

3. LA EVALUACION EN EL CONTEXTO DE LOS PROCESOS DE TOMA DE DECISIONES.

3.1 INTERROGANTES QCE DEBE RESPONDER Y ELEMENTOS

QUE DEBE CONTENER.

En el marco de los procesos de toma de decisiones, tanto en el nivel macro social como institucional, evaluar es el anlisis para buscar respuestas a las siguientes interrogantes:

a) Cules son los problemas? se pueden enfrentar? b) ~C6rno c) Cules son los logros? ch) Cmo se pueden consolidar?
En, la perspectiva de evaluacin a la que este libro desea

contribuir, una quinta interrogante debe agregrsele a ese intento de definicin: Cul es el impacto de las acciones propuestas / en desarrollo / o ejecutadas con respecto a los objetivos buscados, en funcin de una direccionalidad dada y en el marco de una deterniinada intencionalidad econ6rnica, poltica. social? Las anteriores consideraciones pem~itenasumir una definicin de evaluacin, aunque sea provisionl, en los tm~inos siguientes: El proceso nlediartre el cial se busca deliniital-,obtener, elahot-ata e irirelpretar las irzfornlaciolzes rtiles para explicar las siruaciolres de iliter-s, coti el fin de propol-cionar irisumos q r ~ g upoFe;l los pr-ocesos de toma de decisiories, turito en el rlivel traciotral ntacro social conlo ir~stituciortal.~ Esta definicin presentada contiene varios elementos centrales, que coriviene explicar de manera desagregadrt: a) Proceso: ello inlpIica una accin continua que involucra el uso de mdtodos para su concrecin, mediante el desarrollo de varias etapas sucesivas e iterativas, que tienen conlo fin la obtencin de resultados, ya sean stos intermedios o finales.
b) Deiiniitar: signikica detem~inaro fijar con precisin los lmites de las informaciones requeridas, en funcin de los objetivos de la evaluaci6n y de la configuracin del objeto por evaluar. tal como se plantea en el Capitulo VII.

c) Obtener: implica disponer de informaciones utilizando tcnicas de medicin, procesamiento y anlisis estadstico, que permitan determinar la frecuencia con que ocurren los hechos sociales de inters, para evitar convertir al proceso evaluativo' en una mera expresin de juicios valorativos, sin fundamentarse adecuadamente.

ch) Elaborar: se refiere a clasiiicar las inforn~aciones en grupos o construir sistemas explicativos con criterios definidos a partir de los ob-jelivos de la evaluacin, que contribuyan a realizar las interpretaciones requeridas.
d) Interpretar: significa identificar, interrelacionar y explicar las causas que inciden en la produccin de los hechos sociales de inters para las situaciones evaluadas.

e) IntCirnlaciones:supone la disponibilidad y acceso a datos descriptivos y/o interpretarivos que dan cuenta de los hechos sociales de inters en la situacin evaluada. conforme a las circunstancias en que se inscriben tales hechos.

I ' ) Toma de decisiones: involucra el curso de opciones de intervencin posibles que pueden elegirse en respuesta a la (las) situacin (es) en que interesa incidir. As como la intencionalidad que respalda a esa intervencin y el sentido que se le desea in~primir a la misma, ya sea para mantener lo existente o introducir cambios, sean stos graduales o radicales.
3.2 POSTULADOS BASICOS QUE ENCIERRA LA EVALUACION EN EL-CONTEXTO DE LOS PROCESOS DE TOMA DE DECISIONES.

En la fomla de conceptualizar a la evaluacin presentada, subyacen dos postulados bsicos que conviene destacar: a) La evaluacin es un proceso de aprendizaje pemianente, cuyo fin ltimo es localizar la infom~acinbsica que permite alimentar los procesos de toma de decisiones para introducir, mantener o modificar las medidas necesarias; as como suprimir las innecesarias. De tal manera que la evaluacin es, por excelencia, un insurno bsico para la toma de decisiones.

b) La evaluacin debe entenderse como un proceso integral y continuo, que pernlite no s61o deternlinar los errores cometidos en los procesos de toma de decisiones, sino tambin proponer las medidas preventivas y correctivas necesarias. Ello significa que las acciones preventivas y correctivas son parte integrante y fundamental de la evaluacin entendida como proceso.

3.2.1 La evaluacin como insumo para la toma de decisiones.

Sin entrar en detalles sobre los condicionantes del contexto socio-econ6n~icoy poltico actual, ya que eso se desarroll en el Captulo 1, es conveniente subrayar algunos elementos fundamentales para contextualizar el papel que la evaluacin est llamada a cumplir como un insunlo bsico para la toma de dl- :isinnes. La dcada de los aos 80 en Amrica Latina y el Caribe ha estado signada por una crisis econmica, considerada como la mis larga y aguda desde la gran depresin de 1929. No sin razn. CEPAL la ha denominado la "dcada prdida". En algunos pases del continente y, particularmente. en el caso de Centroan~rica dicha crisis ha estado acompaada de conflictos polticos y blicos de gran envergadura. La respuesta de los gobiernos del rea a la situacin de crisis mencionada han sido las polticas de estabilizacin y los programas de ajuste estructural, coino nlccanismo para corregir las distorsiones econmicas. Tales medidas, con diferentes grados, han estado enmarcadas en definiciones y condicionan~ientos externos que se expresan + m lo fundamental- en el pago del servicio de la deuda externa, en la correccin de los desequilibrios fiscales y en la contraccin de la demanda interna. En el marco de tales decisiones de poltica econmica se reducen los presupuestos destinados a los indicadores humanos del desarrollo, lo que en las cifras oficiales se contabiliza como

el "_casto social" y se exacerba la tendencia hacia la focdizacin de las polticas sociales en los grupos de ms extrenla pobreza, en desmedro de una concepcin ms universal, abarcativa e integral de la poltica social. Los resultados de tales medidas, junto a los efectos de la crisis, no se hacen esperar y se condensan en las tendencias regresivas observadas en la condicin y calidad de vida de amplios sectores de la vida nacional. Los elenlentos anteriores, aunados a los signos de rpidas mutaciones de los tiempos actuales, plantean la ineludible necesidad de abrirle un "espacio" a la evaluacin conlo instmn-iento. Y. fundamentalmente, a la evaluacin del impacto social que est llamada a jugar un papel importante, tanto en e1 aniilisis como en el acon~paanliento de los procesos de tonla de decisiones en todas las instancias nacionales, institucionales y locales. En la niisma n?edlda, la evaiuacin esta liarnada a interniediar en la cadena de toma de decisiones polticas, tcnicas y administrativas, articulando los tres niveles bsicos que se pueden identificar en los procesos de tonla de decisiones: a) Estratgico: en trnlinos de la orientacin o reorientacin de la direccionalidad de los procesos de desarrollo, nacional o institucional, en la perspectiva de largo alcance. b) Operativo: en cuanto a los cambios particulares de cierta envergadura cuyo mbito afecte, en el mediano o corto plazo, niveles o aspectos de la direccionalidad estratgica deiinida. c) Tctico: e n . el nibito de las decisiones que afectan objetivos ms particulares, pero no por ello poco importantes para el quehacer nacional o institucional y que se refieren, en lo fundamental, a aspectos operativos vinculados con la toma de decisiones cotidiana.

En sntesis. la evaluacin Como insurno pan la toma de decisiones es, por excelencia, un instrumento que proporciona informacin aportando elementos para decidir, entre otras cuestiones. sobre:

a) El inicio de los procesos de toma de decisiones. en funcin de las necesidades, expectativas e intereses de los actores sociales presentes en 13 situacin, o bien, en respuesta a acciones de otros actores.
b) Los cambios en los esquemas de asignacin de recursos, ya sea p a n introducir variaciones en el tipo de recursos asignados o en la utilizaci6n de los mismos, tanto de recursos humanos como financieros e institucionales (de infraestructura, equipos tecnolgicos y otros).

c) La modificacin de los rntodcs de trabajo utilizados para hacer operativos y poner en prctica las decisiones.
ch) La recuperacin de experiencias que se consideren vlidas y valiosas para el desarrollo de otras experiencias con caractersticas similares. d) La reproduccion del contenido esencial de una poltica, programa o proyecto en otro nivel, lugar o n-ibito de acci6n. e) La reorientacin de las decisiones, que puede implicar una gama diversa-de situaciones que va desde redefinir la intencionalidad y orientacin de un proceso, hasta interrumpir o dar por concluida una decisidn de poltica, un programa o un proyecto, antes de cumplir con su horizonte temporal de ejecucion previsto.

3.2-2 Las acciones preventivas y correctivas como elementos integrantes de la evaluacin.

El segundo elenlento que se ha mencionado es que las acciones preventivas y correctivas son parte de la evaluacin. Sin embargo, no sienipre quienes evalan estn en capacidad de decidir la puesta en prctica de las acciones preventivas y correctivas que se derivan de su ejercicio evaluativo. No obstante, toda evaluacin debe estar orientada de manera tal que sus resultados pernlitan identificar y proponer tales-acciones e identificar los mecanismos y canales apropiados para que su propuesta llegue a las instancias de toma de decisiones. Un aspecto importante en este punto es identificar tambin a la acci6n preventiva como parte de la evaluacin. Como se discutir en el Captulo V. las distorsiones que han estado presente en la evaluacin han llevado. entre otras cuestiones, a circirnscribir S ~ Jpapel y utilidad en acciones ya ejecutadas; por lo tanto, la accin preventiva no ha sido considerada conlo un aspecto integrante de los procesos evaluativos. La accin preventiva es una f o m ~ ade dar respuesta por anticipado a los problenlas que pueden surgir en los procesos de tonia de decisiones. En muchos casos. la accin preventiva es mLis inlpoitantc que la correctiva porque implica evitar el desperdicio de recursos por decisiones equivocadas o el exacerbamiento innecesario de conflictos interpersonales. Sin embargo. como ya se ha sealado, las prcticas institucionales -por regla general- no han incluido a la acci6n preventiva como parte integrante de su instruniental de trabajo. Es comn encontrar que se acta frente a los problemas cuando stos han llegado o estn llegando a los lmites mximos de sus manifestaciones y, en ocasiones, ya se requiere mayor esfuerzo y recursos para actuar sobre ellos. El adagio que dice "es mejor prevenir que lamentar", se cumple a cabalidad con la accin preventiva. En cambio, la accin correctiva es una forma de reorientar

los procesos, cuya consideraci6n es necesaria ante cursos o evoluciones de la situaci6n no esperados. por factores varios, entre los cuales se puedcn considerar: -La presencia de factores coyunturales no prcvistos y de dificil o casi imposible predicci6n. por ejemplo, daos causados por terremotos o inundaciones. -La presencia de factores no previstos que. por diversas razones, no fueron considerados, por ejemplo, falta de conocimientos especficos sobre el problema, presiones polticas, urgencia de ofrecer soluciones y otros. -La presencia de efectos no esperados y no buscados. La accidn correctiva puede ser mhs conipleja que los problemas evaluados. Sin embargo. eliminar la raz dcl problema no siempre puede fonnar parte de sta. ya que su viabilidad estar determinada por el accionar de los actores con capacidad de incidencia en los procesos de tonla de decisiones. De tal manera que la accin correctiva no siempre se puede expresar como cambio de estado del problema, de una condicidn negativa a .una positiva, ya que en ella inciden las oportunidades y la capacidad para movilizar recursos (humanos. financieros, de infraestructura y de tiempo. entre otros). en favor de la toma de decisiones. Toda accibn, tanto preventiva como correctiva, debe surgir del proceso de evaluacin, para lo cual los problemas y sus componentes tienen que estar claramente delimitados en un objeto de evaluacin cuya consideracin, tanto desde el punto de vista n~etodolgicocomo practico, es desarrollada en el Captulo VI11 de este libro.

J. LA EVALUACION EN EL CONTEXTO DE LA

INTERVEN CION PLANIFICADA.

4.1 LA EVALUACTON COMO ACTITUD Y LA PLAN~FICACION

COMO ME'TODO DE TRABAJO.

Entender a la evaluacin como una actitud de conocimiento de la realidad para orientar los procesos de toma de decisi~ne~ nacionales o institucionaies, que peniliten la construccidn del futuro, implica ubicarla conlo parte integrante y centm-dl de la intervencin planificada. Sin embarzo, para explicar esta ubicacin, son necesarias al-mas aclaraciones previas. Toda accin implica una decisin. Sin embareo, no toda decisin es precedida y presidida por una intervencin planificada. Ms aun, no toda intervencin planificada es adecuadamente planiiicada. Lo anterior se deriva del hecho de que la Planificacin d: los procesos de toma de decisiones, no consiste solamente en definir una noma, fijar objetivos y sealar los recursos necesanos para lograrlos. Es algo m i % . Supone la transformacin progresiva de la situacin inicial para ir creando condiciones que favorezcan la ejecucin de acciones capaces de conducir hacia la imagen-objetivo buscada, tal como se pretende ilustrar en el grfico siguiente.
GRAFICO N V V

SITUACIONES POR CONSIDERAR EN LA INTERVENCION PLANIFICADA

Si tuaci6n inicial

Situacin futura Situacin deseada

El grfico anterior, tal vcz merece un poco mrs de explicacin. En un proceso de intcrvcncin planiiicada, sienipre se parte de una situacin inicial. que actia como el r-efercnte en el cual la Planificacin pretende introducir mejoras, cambios o modikicaciones. Tal sitaacin es originada y explicada por una serie de acumu!acioncs de hechos anteriores que constituyen la situacin histrica cn que se sustenta la situacin inicial. La interpretacin de la interrelacin entre ambas siluaciones se aborda, desde el punto de vista tecnico, por medio de la elaboracin de un diagnstico. La situacin inicial diagnosticada, independimtemente de si hay o no intervencin y de si dicha interverici6n es planificada o no, evolucionar, de manera tendencial, hacia una situacin futura. Tal evolucin, en algunos casos. podr ser involucin; !ya que la tendencia " ~ ~ a i ~ c / Ilan~rida ~ a / " , as por falta de un nombre mejor, podr ser movida por la sirilple inercia que convierte al presente histciric:, en futuro. Por lo taniu, en esa situacin fi~turaes itluy alta la probabilidad dc que lo que se observe sea el traslado de !os problemas diagnosticados en la situacin iniciai, o ms an, en la mayora de los casos, esos problenlas podrn aparecer ms yravados quc cn la situacin inicial. Esta situacin futura as definida, sc estudia por medio de lo que tcnicariiente se denoriiina prondstlco. Una constmccin ms elaborada del grfico anterior, pemiite ilustrar la ubicacin de las tres situaciones anteriornlente mencionadas (histrica, inicial y futura) de la fomla siguiente:

CURSO DE LAS SITUACIONES HISTORICA, INIC'Ii1L Y FUTURA

Situacin

Iiistrica

inicial

"natural"

futura

El inters de la intervencin planificada es crear condiciones que pcniiitar: alcanzar una situacin futura distinta a la prccosticada, en que los problemas diagnosticados en la situacin inicial considerada puedan ser superados. Lo cual significa considerar dos aspectos de inters:
La definicin de los elementos centrales que desean ser a) alcanzados en la situacin deseada. por medio de la configuracin de una imagen-objetivo en que stos sean expresado^,^ y b) La definicin de un curso o trayectoria de accin diferente a la tendencia "natural" que pem~ita ir avanzando, progresivamente, desde la situacin inicial considerada en el diagnstico, hasta la situaci6n deseada definida en la imagen-objetivo.

Con la consideracin de los aspectos anteriores (situacin deseada, imagen-objetivo y trayectoria) el grfico que se ha venido presentado adquiere una configuracin diferente y es posible expresarlo de la forma siguiente:

GRAFICO N ' 1V - 3 INCORPORACION DE LA TRAYECTORIA EN EL CURSO DE LAS SITUACIONES CONSIDERADAS EN LA INTERVENCION PLANIFICADA

Ahora bien, cuando se hizo referencia al hecho de que la trayectoria de accin pemiite ir avanzando, progresivamente, desde la situacin inicial hasta la situacin deseada, se alude a que ese paso no es autom8tico. MAS bien, ni siquiera se da en un proceso progresivamente lineal en que se avanza mediante una regla aritmtica o geomtrica, desde una situacin inicial

definida como 1 hasta una situacin deseada deiinida conlo 10, 20 6 100. El curso de una trayectoria no es continuo en su dircccin ni constante en su velocidad: sino ms bien, es un proceso irregular que puede basarse en: a) AVANCE. que es cuando en una situacin especiijca se introduce una accidn preventiva o correctiva, cuyo aporte es significativo para el logro de la imagen-objetivo.

b) RETROCESO, en que se introduce una accin con fincs preventivos o correctivos. que supone anular niorncntneanlente la transfom.iaci6n que se haba generado con una accin previa. Esto puede ser requerido cuando se presentan obstculos que impiden con su sobrevivencia; continuar con el proceso y que an~enayan
c)
CONSOLIDACION. cuando sc ii~,>rporauna acci6n
preventiva u correctiva cuyo aporte en el avance hacia la situacin deseada no es signiticativo, pero que se traduce en

una mayor estabilidad de lo nuevo construido;

d ) SALTO ADELANTE, es el caso en que se incorpora anticipadamente una accidn preventiva o correctiva de gran signiiicado para el logro de la situacin descada y que acorta el recomdo hacia sta.

As. la lgica bsica dc una trayectoria de transfomlacin se resume del modo siguiente: "El arte dc unir, sumar y avanzar, eti el tienipo pl-eciso es, siitesis, el arte de corlducir. conlo lder una deterniiriada estrategia. Unir para corrsolidar el apoyo loy raab, sumar agregarrd~ Iiuellas fuerzas sociales favorables al proceso perseguido Y avanzar hacia tzuevas metas sobre la base del nzqor podel. obtetrido, es fa esericia de la crrestibn que plantea el c~mtplinziento de ulla estrategia. (Matus, 1977: 337, negritas de A.P.M.)

En ese contexto, es quc se ubica a la evaluacin como el proceso mediante el cual se espera dtem~inar el grado en que las situaciones logradas o por lograr in~plican un avance de la situacin inicial diagnosticada. hacia la situacibn deseada postulada conlo iniagen-objetivo. En el grSfico que sigue, se intenta ilustrar cmo se incorpora la evaluacin en el esquema que se ha venido presentando.

GRAFICO iUVV - 3
LA EVALUACION EN EL CONTEXTO DE LA INTERVENCION PLANIFICADA

S ituaciii
histrica

IMAGEN - 0 BJET1VO

A estas alturas. conviene desarrollar un poco ms cl contexto de la intervenci6n planificada cn que se ha venido ubicando el proceso evaluativo. El concepto de Planificaci6n planteado como nitodo de trabajo, a su vez. redefine el mbito de lo que -normalmentese ha entendido y practicado conio evaluacin. Este concepto es disculido por la autora en su libro Pla~i$caci~i y Proy?-amaciti Social (1985 y 1988) y se encuentra ms elaborado y enriquecido por la prctica institucional. en su prximo libro "Actores sociales y cotistl+rrccitir del firturo" ya citado. De manera tal que, para los fines de este trabajo, no interesa repetir esa discusin; sino que se trata de retomar aquellos elementos que permitan ubicar al concepto de evaluacin propuesto en el contexto de la Planificacin. El papel de la Planificacin en el siglo XXI ya no es el que henios co~ocido en el pasado: instrumento concebido para s~stihir 13 I_oica de funcioiumierito del n~crcadoeri los pases socialistas; mecanismo para coniplenientar al niercado como instrumento asi_onadorde recursos, por excelencia, cn el capitalismo desarrollado; o bien, lo quc sc ha denominado en Anirica Latina el plan-libro, docuniento para justi*icar emprstitos ante organismos internacionales de tinancianiiento. La Planificacin en el siglo XXI es. hndanienlalnlente, un nitodo de trabajo. Y, como tal. un instruniento al servicio de la construccin del pensamiento y accionar de los sujetos protagnicos del futuro. En este sentido, su papel consiste en:

Contribuir a crearle viabilidad a la construccin de procesos de desarrollo, que se constituyan en una verdadera alternativa y que, aun cuando se realicen en el nivel micro, logren tener trascendencia social, en funcin de una direccionalidad que busca ante todo el desarrollo con impacto social.

El desafo para la evaluacin es, entonces: identificar, desarrollar y perfeccionar procedimientos. tcnicas e instrumentos de trabajo que pcm~itanmedir el impacto social (positivo o negativo) y vincularlo con el proceso de tonla de decisiones, para ubicar. seleccionar y utilizar espacios estratgicos donde actuar. Definiciones renovadas de la Planilicacibn y la evaluacin, conlo las aqu planteadas, iniplican superar las concepciones distorsionadas acerca de stas, que prevalecen en los mbitos institucionales y organizativos. Un breve examen del quehacer de las instituciones y de las organizaciones de la sociedad civil muestra que, por lo regular, prevalecen concepciones acerca de lo que es la Planificacin. que pueden agruparse en dos comentes las cuales. con frecuencia. pueden aparecer conlo las dos caras de la misma moneda y que. a su vez. han ido detemiinando las concepciones de evaluacin. a) Para algunos la Planilicacin es un proceso rgido, inflexible, producto de la imaginacin de una o vanas personas que escriben un docun~ento,que pueden denominar plan. progranla o proyecto. El producto as obtenido contiene las niedidas que deben ponerse en prctica, sin que niedie una evaluacin_ para dctcmiinar si existen condiciones reales para la ejecucin de las mismas. Esta definicin encierra en s niisnia una contradiccin. ya que si es proceso no puede ser rgido. En esta concepcin, el criterio para evaluar el "xito" de esa Planiticacin est dado por la capacidad de predecir. entendida como sin6nimo de adivinar el futuro. Mientras que el indicador para evaluar el "fracaso" es la falta del cumpliniiento de las acciones. tal como se haban propuesto en el docuniento inicial. Pero como las propuestas incluidas en los documentos de trabajo, generalmente carecen de un anlisis de viabilidad, por regia general, no se cumplen. Lo que hace a la evaluacin carente de significado o temida por los responsables de la ejecucin; t d como se desarrolla en el Captulo VI.

b) Para otros plai-iificar consiste en elaborar. con niuctia anticipacin, una exhaustiva lista de actividades; sin que. necesariamente. esas acciones estn orientadas por ob-jetivos de desarrollo claraniente definidos. En esta concepcibn, el criterio de evaluacin del "xito", es el detalle logrado al identificar las actividades. El indicador para evaluar el "fracaso" es la falta de previsin, entendida sta como la incapacidad para advertir con mucho tiempo de anticipacin, los recursos que se requieren en la ejecucin de las actividades. La evaluacin conio actitud y la Planificacin conio mtodo de trabajo, plan~eanque Planificar es algo riis que escribir un docuniento o detallar actividades. Y evaluar no es sdlo emitir juicios valorativos sin mayor fundanlentacidn. La Planificacin como mtodo de trabajo es un proceso de anlisis d c la realidad y de clculo de las probables evoluciones de csa rcalidiic. que se auxilia de la evaluacin y de cbatro componentes ms interactuantes:' Pron~ocin.Investigacin, Pro~ramaci6nv Organizacin, cuyas fundanlentaciones bhsicas son las siguientes:
1 ) Promocirn: consiste en la creaci6n de condiciones para generar el mayor apoyo posiblc, por parte de los grupos ms representativos inscritos en la esccna poltica que constituye la situacin inicial de la intervencin planificada.

2) Investi~acin: es el conjunto de actividades realizadas de mera sistemtica y con rigor cientfico que permiten clarificar situacin inicial en que tiene lugar la intervencin planificada, lo cual implica no s61o conocer la naturaleza y magnitud de los problemas. sino tambin las posibilidades de actuar en esa realidad.

3) Pro-ramacibn: supone identificar y seleccionar con criterio de prioridad y viabilidad (tecnica. jurdica, financiera, iristitu-

ciond, socioeconn~icay poltica) las acciones necesarias para el cuniplin-icnto de los propsitos buscados. As como disear las acciones con criterios tcnicos, de tal manera que se garantice que sean operativas.
4) Organizacicn: implica asignar responsabilidzdes especficas y velar por la ejecucin de las acciones. Lo que supone cun-iplir con dos funciones: coordinar y administrar. El criterio fundamental para evaluar el "xito" de la PlaniIicacin, as entendida, est dado por el cumplinliento de los objetivos buscados, en funcin de las directrices de desarrollo establecidas; y, el "fracaso" de sta se mide por la distancia entre la situacin deseada y la situacin lograda, y el tiempo necesario para acercarse a esta

4.2 LA EVALCTACION COMO ETAPA

Y COMO CU3lPONENTE DE L A INTERVESCION PLASIFICADA.

En el contexto que se ha venido describiendo, la evaluaci6n aparece conio un componente con dinmica y vida propia dentro del proceso de intervencin planificada y, a su vez, conio una etapa. La evaluacin como etapa supone realizar un balance para determinar la necesidad y conveniencia de introducir acciones preventivas y correctivas en el proceso de toma de decisiones. surgidas a partir de la realizacin de actividades Iomiales de evaluacin. La evaluacin como componente de un proceso y parte del concepto renovado de Planificacin propuesto, implica una actitud de permanente vigilancia sobre el transcurrir de los componentes de la Planificacin: promocin, investigacin, programaci6n, organizacin y la propia evaluaci6n, que identitica infomlacin para darle contenido a las medidas preventivas y correctivas que rene.

4 . 3 El, PAPEL DE LA EVALLACION EN ,A PLANII~ICACIOK

COMO METODO DE TRABAJO.

El componente de Promocin implica. entre otras tareas, identificar iniciativas. contactar pcrsonas claves. proniover la constituci6n de una base social de apoyo: por tanto, la evduacin debe enfocarse hacia dos aspectos centrales: a) La argunientacin en que sc basan los proccsos de toma de decisiones y la claridad con que sta se exprese. b) La validez y pertjnencia de las estrategias de vinculacin y negociacin. En el componente Investigacin. el papel de la evaluacin es ir examinando 4 e manera continua- el proceso seguido para delimitar. obtencr, elaborar e intcqretar las infomiaciones requeridas, con el fin de garantizar la validez y confiabilidad de las mismas. En el conqmnente Programacidn, que implica establecer prioridalies de intervencibn. detinir objetivos. disear actividades, establecer plazos, asignar recursos. etc., la tarea de evaluar puede verse. bsicamente. en dos niveles: a) Interno, para garantizar la lgica y coherencia interna de las propuestas que se Iornlulcn. b) Externo, en relaci6n con las condiciones del medio para fom~ularobjetivos que sean viables, oportunos, convenientes. coniprensiblcs, rnensurables a travs del tienipo; y que puedan hacerse operativos en acciones especficas. de acuerdo con la disponibilidad y capacidad de movilizacin de los recursos. En el componente Organizativo, quc involucra la constitucin de grupos de trabajos, definir procedimientos de trabajo, establecer formas de comunicacin y control y propiciar la motivacin desde el punto de la funcin de coordinar, el papel de la evaluacin es mantener un control efectivo y permanente del cumplin~ientode las responsabilidades asignadas. Asimis-

mo. de la Som~a en cdmo stas se ilcvan a la prctica. Por otra parte. ayuda a detectar los estilos personalistas de direcci6n. al favorecer fornias de conduccin colectiva que estintulen a los nticnibros de los grupos de trabajo a participar, de acuerdo con sus capacidades, potencialidades, intereses y expectativas,Por el lado de la funcin administrativa que incluye realizar gestiones, controlar el uso de los recursos y dar cuenta de la utilizacin de los mismos, el proceso evaluativo muestra su utilidad en el balance entre los requerimientos y las disponibilidades de recursos. Sin embargo, el papel fundaniental de la evaluacin en los procesos. es aportar criterios que pem-iitan hacer flexible a la programacin inicial y adecuarla, si es necesario, a nuevas circunstancias. De igual niodo, aunque parezca tautol6gico. el componente de evaluacin tambin es sujeto de un proccso evaluativo. Al igual que en la prograniacin, este proceso puede plantearse en dos niveles: a) Interno. para evaluar la validez y coniiabilidad de las tcnicas e instrumentos utilizados en la evaluacin. as como de las fucntcs de inforniacin. b) Externo. en relacin con las acciones preventivas y correctivas identificadas. su gado de aplicacin y los resultados obtenidos, en correspondencia con las condiciones del medio en que tienen lugar los procesos de tonia de decisiones.

NOTAS DEL CAPITULO IV 1. Vase, por ejeinplo, Musto (1975), que defiiie a la evaluaciii coino "rryi~cllr rtrnru (le lcr C ~ L ' I ~ qrre C ~stl L? OC.M/JUciel rriOlisis d ~ '1 c ~ eficicnci(i". Siguiendo la iiiisina lzica, Rolqiido Fraiico sealii que: " L ? ~ ' ( ~es I I fijar ( ~ I . cl villot. de 1rirn cosi; P(II.(I licfcerlo se 1-eq~ricrr efictrrnr /ir/ p ~ ~ o c e dnlcliiraife i i el cri(~/ se conlpcrrci ciqiielln ci ev(r/rrcrr rcspct-to e k e iln o-itcpt-ioo pcitrrr ~lcterr!iirrciio" (Fraiico, 1971: 3). Carl We iss. eii su libro. que coiistituye uii "clisico" e!i Iiivestigaciii Evaluaiiva. entieiide a la evaluacio~iconio: "Conilx:~-rit!os cfenos de I I ~ I pro:;rnrii(r coir Ins nte!lls y11e sc pr.r?~~iso r11rauz;ii-. corl {al J7n dc ronvibrrir ti lcr ronw tic decisiones srlhsigrtic~.~:~ (icCrc.cl ric! r~lisnio y pcrrrr rttejore~rris Icr y rogl-cinrrrcirijiitlrr(i" (Weiss, 1981: 16). Para otros auLores, el caso de Baiiiiers, Docsrors y Gordoii: "Lu c\wlllnciri niitic ircistci qrl piirr~o rrrl prc>gi.nrr cilccrrrzci cio-tos c:tg>jetivos"(1975: 13). Eii docuiiieiitos oficiales de la ONU, la evaluaciii sc eiitieiide coirio: "El 17rc1cc~so c~rccrnlirr(~clo ci ticicr-nrirrcir sistr~riltircr.v ohjctii.rin~err!cIrr l7ci.ri11crrcic1, cficicrlcin L ~ % - c del IL~ ir~iptrctc~ til forirrs lcis cicrit.i~itlics a lri Irtz (le srrs ohjeri\.os. Sc rrcitrr de 1 1 r 1 proceso or~tilliztrtivopu-ri nrejorur ltrs clcri\~idt~dt>s todcr\.rr CI? r~rcrrcl~i y riyiuic~ru ICI ~ ~ ( i r ~ ~ i r r i srn f ~Ici ~~ Plcri-iificciici~~ cin, pi.ogl-rirllc~t:ic5rr tonla cie decisiorius ficlirrs" (1984: 18). Eii el caso de u i i orgaiiisino del Sistema de las Nacioiics Uiiidas, la O.M.S., la evaluaciii es definida coino: "Urr rricdio ~IStcr~iNtico de (LIJ~-olricr cntpl-iccinicnlc y de maltr(rr lcis leccioric~s ciprel-iditi(rs p(u(r el n~ejarcrnrienio dt~ 1 ~ c~cti~:icicides s crrrso y p(rre1 el fortiento de rincr planijicacicin nicis scrti~fc~ctoria rricdiculte uno stik.ccibn rigro-osa er~tr-e l m distintas posibi1i;iades c i C I C C ~ O I ~Jltrrras. L~S Ello sirpone 1 1 n ancilisis crtico de los liifererrtcs uspeclos del esrablecin~it~nto la ejecilcin tle un progrumci y de lus ucrii+ities yrre consiifiryen el progruniu, srr pertiriericic, sir formirlucin. sic ejciencirr y eficacia. su costo y sir aceptabilidud /Jara todas las partes irrteresci~icls"(198 1: 1 1). 2. Uiia discusin sobre el procedimieilto iiormativo eii los procesos de

plaiiificaciii y el "deber ser" conio la gua orieiitadoi-a para la acciii y, por lo tanto, piuiinetro Fuiidnniciital para la evaluiici!i, puede encoiitrarse eii Picliardo (1985 y 1988, 53-54). 3. Lo cual no sigiiifica clac no debe binarse eii cuenta, siiio q u e lo trascieiide. 4. Una discusiii sobre la construcciii del f ~ t u r upue& !eeitcoi>trarseen Picliardo. .4rlette: Aciorcs sociofcs S consrrrtccin dcl firritro. (Eii proceso da elribriiciii). 5. Toina de dccisioiies eii el nivel iiistituciolial, se eiitietide eii el seiitido iris ainplio y iio restringido al inbito de las institucioiies pblicas y se rehere taiito a los niveles gereiiciales conio operativos. 6 . Sobre el coticepto, eleinentos y fomias de definir la in-rageii-objetivo, ver Picliardo. 1985: 173-125. 7. La iiociri de coinpoiieiite alude a las partes interactuaiites de u11 sisteina y. por lo taiito, no debe coiifuiiduse o Iiacerse siiiiiiitio de etapa. que lleva iiiiplcita la idea de avance eii el desarrollo de una acciii p a r pasar a otra. 8. La riociii de tieinpo i?O se usa aqu el: sentido croiiolgico, siiio de existeiicia de condiciones para garaiitizar el inicio. coiitiiiuidad. rel'orzainieiito y permaneiicia de los procesos eii que se desea incidir por niedio de la iii terveliciii plaiiificafia.

LA CONSTRUCCIN DEL OBJETO PARA EVALUAR EL IMPACTO SOCLAL

1. Qu entender por objeio de evaluacin del impacto socid?

2. Consideraciones bkicas para constmir el objeio de evduacibn del impacto social.

3. Cmo construir el objeto de eva3uacin

de\ iinpacto social.

l . QUE ENTENDER POR OBJETO

DE EVALUAClON DEL IMPACTO SOCIAL?

Como ya se ha sealado. la evaluacin del inipacto social tiene que asumir una serie de desafos importantes. Uno de ellos tiene que ver con sustentar los procesos evduativos. En tal sentido, evaluar el impacto social no puede ser una "suerte de opiniones" de cxpertos sobre una poltica. programa o proyecto. Tiene que basarse, en lo fundanlental. en una investigacin sena y rigurosa que respalde los planteaniientos que en ella se hacen. La busqueua de rigurosidad cientfica en el proceso de evolucin del impacto social plantea que sta, necesarian1en:c. tiene que desarrollarse sobre la base de un componente investigativo. Ello. a su vez. plantea considerar dos aspectos bsicos que deben atcnderse y que fornlan parte de cualquier intento o aproximacin investigativa de la rcalidad social: La construccion de un objeto que. para este caso. se a) concreta y delimita en un objeto para evaluar el impacto social. b) La determinacin de una estrategia para su tratamiento metodoloyico que se ordena y sistematiza en el DISENO EVALUATIVO. En este capitulo, se tratar lo referente a la constmcci6n del objeto para evaluar el impacto social que, para los fines de este trabajo, se entiende como:

La estructura terica de explicacin lgica que se construye teniendo conlo base el problema por evaluar y que orienta el ejercicio evaluativo.

En Ili ,ocncralidad dc las evaluacione~, identificar el problc~iii por evaluar cs relaiivaniente sencillo, pues norri-ialmente se asume como un dato al dar inicio al proceso en funcin de quines convocan la evaluacin y con qu propsitos lo hacen. Estas premisas, casi siempre. llevan -implcito o explciteun planteaniiento del tipo de problemas que se espera. resolver por la va de la evaluacin. En otros casos, es labor de quienes evalan promover condiciones para que se desarrolle una "suerte dc negociaciones" entre los actores involucrados en el proceso, que pern~itadelimitar, precisar y acatar el Arnbito de accin de los problemas que interesa evaluar. A este respecto. es til sealar que en una evaluacin pueden existir diversos aspectos que se constituyan en el centro dc la sta. Con base en experiencias prcticas, es posible identificar, ai mcnos, cinco reas de inters. Ellas son:

de toma de decisiones? Quines toman las decisiones? Con qu criterios lo hacen? ,Qu resultados se obtienen? ,Cn-ioello incide en cl desarrollo de los procesos evaluados?
3) iCr110 se cumple la programacin inicilriiente cstablccida'! i,E.uiste desfase entre lo programado y lo ejecutado? Cu;les son los resultados obtenidos'? Cul cs la validez y pertinencia de tales resultados?

1) ;De qu fornia se lleva a cabo el 'roceso

3) Cul es el diseo organizativo vizente? Cmo se nimejan los criterios de autoridad y delegacin de responsabilidades? Cul es el estilo gerencia1 de trabajo? ;De qu nianera el diseo organizativo favorece u obstaculiza el cumplimiento de los objetivos propuestos?
4) Cmo se ejecuta el presupuesto inicialmente prograrnado? Cul es el esquema de asignacin y distribucin de recursos? Existe desfase entre lo programado y ejecutado?

5 ) i,Curl cs cl grado dc idoneidad y adecuacin dcl personal responsable dc e-jecutar los procesos? i,Cuics son los niecanis-

rnos de reclutaniiento. seleccihn. capacilacin. desarrollo y evaluacin dc personal'? j,Cules son los sistemas de incentivos y los prosrariiris de compensacin de beneficios'? cules sor, los n~ecanisriiosde sanciones por obligaciones no cuniplidas? Cul es el grado de aporte del personal para el cumFlimiento de los objetivos prc~puestos'? En una evaluacin puede interesar el abordaje de dos o mas dc los clcnicntos anteriorniente sealados. Inclusive de todos los elementos mencionados, en cuyo caso se trata de una evaluacin glbal. Dc ih que la mayor dificultad estriba en delimitar c! objcto por evaluar y sus componentes explicativos. En funcin del intcrks dl: la evaluacin. sc define y delimita la estrdtegia investigativa. Ello implica seleccionar las tcnicas c instnin!enios mris adecuados y acordes con Jri especificidad del objeto por evalar. Por cjeniplo. para evaluar cl personal, su rendimiento y productividad, existen tcnicas de insirunientos de evaluacin del desen~pco,cuyo contenido dilicrt: dc los instmmcntos que pucden utilizarse para evaluar la valoracin de los dcstinatanos sobre los resultados esperados de una deternlinada poltica. prozrania o proyecto.

2. CONSIDERACIONES BASICAS PARA CONSTRUIR EL OBJETO DE EVALUACION DEL IMPACTO

SOCIAL.
2.1 COMPOSENTES DEL OBJETO DE EVALUACION.

Conlo ya se ha sealado, la importancia de construir el objeto para evaluar el impacto social radica en la posibilidad de elaborar una estructura terica de explicacin lgica que se constituya en el "norte" del proceso evaluativo. Dado que ello

constituye un csfuucrzo de investigacin ngurosa y cientfica, aplicando la nietodologa de investigacin social a la evaluacin del impacto social y adaptando la propuesta de Am~ando Canip~s(1987: 85-86), es posible distinguir tres componentes dentro de esa estructura lgica que se ha conccptualizado conio objeto por evaluar. Tales elementos estn interrelacionados entre s y son: a) La elaboracin terico conceptual del. problema para evaluar el impacto social. que involucra:
i) ~ O u se va a evaluar? Es decir. deliniitar y funda-

mentar el problema como necesidad de conocimiento, qu es lo que interesa evaluar? En otras palabras. cul es el mbito de la evaluacin? Por ejemplo, toma de decisiones, presupuesto, personal, etc. ii) j.Cub1 es el sirrniticado del ~roblemaque se va a evaluar, desde el punto de vista terico- conceDtual? Es decir. cul es la interpretacin que puede darse al problema por evaluar, seleccionando para ello un referente terico, que se constituya. a su vez. en el referente explicativo. iii) ;Para uu se va a evaluar? Es decir, jcules son los ob.jetivos de la evaluacin, en funcin de quines la convocan y a quines van dirigidos sus resultados? Estos tres aspectos sealados, son partes indisolubles de un todo. Para efectos didcticos y con el solo propsito de facilitar el anlisis, es posible enunciarlos en tres apartados. b) La formulacin hipottica del problema por evaluar, mediante la construccin de un sistema de hiptesis o de un modelo te6rico evaluativo.

La aperativizacin del problema por evaluar, es dccir, c) hacerlo accesible a la experiencia investigativa-evaluativa.

Para efectos de clariiicar la presentaci6n de los componentes del objeto por evaluar, con los riesgos inherentes a todo tipo de simplificacin que se pretenda hacer en aras de facilitar la coniprensin, es posible presentar el s i g m t e grfico:

GRAFICO NWVII

-1

LA CONSTKUCCION DEL OBJETO POR EVALUAR

Este proceso, por supuesto, no se realiza en una secuencia lineal. Es un proceso iterativo, realizado por medio de aproximaciones sucesivas que permiten ir afinando, cada vez ms, la

coristruccicn dcl objcto por evduar, en liincin dci conociniicnto acuniulativo.

2.2 L O S PROBLEkIr1S EPISTEJIOLOGICOS QUE SE PKESEYTAN

AL COR'STRUIK EL OBJETO POR EVALLAR.

El proceso de construccin del ob-jcto por evaluar iniplica considerar dos elementos tundamentales presentes en todo proceso de investigacin social, que tambin han sido sealados por Canlpos ((1983: 57) y se indicaron ariteriom~ente:

que I r iri1~esri,qaci6lr .so:-rol "tro sienlpre" pllcde lo~l-ut. liiia ~ i e ~ ~ t i . n l i a~vio1dgii.a ~lad o rdeoldqlcrr. - /rr e lu itr11esri;:rrcidir snciul 110 rien1pr.e pltede ~.epl.odrrritlos /~l.oc,edin~ie~itc~s dc lus cierlc.ia.s e.\-crctus o uslrn~it. m a jo~.nru e \ ~ ? ~ . j i ? ~ ~.~ / ~ t l l "
"

El prinicro de los clcnientos n~encionadosya fue considerado al anaii7ar la conveniencia o no de la evaluacin externa o interna, en cl Captulo V: y el se-pndo, en el Captulo VI, a i sealar las limitaciones que dcbc cnfrcritrir lri evaluacin ciel ~rnpacto social. Sin cnibargo. dada la importancia que estc llirno tiene cn l a tarea dc construir el ob-jeto para ?valuar cl impacto social. conviene aadir algunos elenientos adicionales. Uno de los dcsafos rnetodol~icosms importantes para la evaluacin del inipacto social, cubyace en la posibilidad real y efectiva de construir niodelos evalu~itivosque reflejen - d e la mejor manera posible- la niultiplicidad de Iactores asociados con la produccin dcl impacto y , al mismo tiempo. que pem~itan determinar hasta qu punto la aparicin de stos pucde ser atribuible a la intervencin de polticas, programas y proyectos fom~uladoscon tales fines. Este desafo es un elemento inherente a la naturaleza, especificidad y condicin intrnseca al objeto de estudio de las

Ciencias Socialcs que. por sus caractersticas propias no puede ser soriletido a procesos de experimentacin y cuantiiicacin como se realizan en las Ciencias Naturales y Exactas. Sin embargo. ello no significa --de ninguna manera- la imposibilidad de abordar el objeto de estudio dc las Ciencias Sociales con rigurosidad cienttica y seriedad profesional. Por ello en la consideracin del impacto sociai. pueden ser tiles algunas nociones bsicas: a) L a consideracin de que los fenmenos sociales obedecen a mltiples condicionantes y cleterminaciones. Por lo tanto, los enfoques unicausalcs, que postulan que "X produce a Y", no pucdcn ser aplicados, so pena de abandonar la rigurosidad cientkica. b) La consideracin de mtodos comparativos, inter penodos histricos, inter situaciones y entre polticas, progranlas o proyectos con conienidos similares. Lo anterior sibp%ficaque construir el objeto para evaluar el impacto social. debe abordarse por niedio de una estrategia multidimensional. En tal sentido. un punto de partida interesante, que ya ha sido sealado. puede ser cl rcconocimicnto y aceptacion de la siguiente premisa bsica: El principio metodolgico que concibe a la realidad social corno unitaria o totalidad en auto-desarrollo; en la cual es posible apreciar expresiones y manifestaciones susceptibles de ser seleccionadas y aprehendidas como problemas especficos que se constituyan en el objeto por evaluar. En s e ~ u n d o lugar, un elemento de inters puede ser identificar los hechos sociales de inters como punto de partida para entender las relaciones, condicionantes, detemlinaciones y su ubicacin en el contexto que origina y explica las tendencias observadas. Para identificar los hechos basta con referirse al plano de los fenmenos, de la apariencia, dado que es en ese plano donde aparecen las acumulaciones concretas, por eso se manifiestan directamente y con mayor transparencia. Por ejem-

plo, la desnutricin scvera cn menores, puede apreciarse por los scnticlos. El hanlbre se le ve en la cara a los nios; aunque para riiayor precisin, es posible soiisticar el modo dc captar esc t'cnmeno. utilizando indicadores aritropomtricos, tales como el retraso estatura1 y el dficit pondcral. Ahora bien. de acuerdo con la naturaleza del problema estudiado. su manifestacin fenomnica ser ms o menos dificil de percibir a travs de los sentidos. As el subempleo, a diterencia de la desnutricin, no se le ve en la cara a la gente; sin embargo, para tener un indicador del crecimiento de lo que PREALC ha denoniinado el Sector Infomial Urbano (SIU), slo hay que recorrer las calles cntricas de una ciudad. A la identiiicacidn de los hechos sociales de inters. debe continuar la interrelacin e interpretacin de los mismos. En lo cual cs posible distinpir con iincs analticos- tres niveles ntiniamente vinculados entre s: a) Relaciones o vinculos simples entre los hechos. b) Condicionantes o rticulaciones mas complejas establecidas entre los hechos, C ) Determinaciones estructurales de los hechos sociales que se evalan.
Las relaciones o vnculos sin~ples entre los hechos, como su nombre lo indica, es el grado de asociacin que puede estableccrsc entre dos o mas variables de inters. Mientras que, los condicionantes o articulaciones nis complejas tienen un mayor nivel de arraigo en las estructuras existentes. Por su parte, las detem~inaciones estructurales son las que, en ltima instancia, sustentan el signiilcado estructural de los hechos sociales de interes, ya que son las acun~ulaciones esenciales vinculadas con el auto-desarrollo del proceso histrico que se expresan en las leyes bsicas que rigen la sociedad. Por otra parte, para el anlisis de los hechos sociales de inters es necesario, adenliis, ubicar la situaci6n en el contexto

del cuai forman partc. Este se considera como el anlbicntc externo a la situacin. en el cual pueden ocurrir hechos que influyan en la misma. El srPico de la pgina siguiente intenta recoser la lgica del reconocimiento de la situacin, al identiiicru y analizar los hcc hos sociales de inters:

CRAFICO N V I I

-3

RECONOCER 1,A SITUACION: IDENTIFICAR Y tlNriLlZAR LOS HECHOS SOCIALES DE INTEKES

r
1

Idea tificar los 11ecI;os socinles de iitterCs

perinite

caracterizar la probleint~ca circunscrita e n su 5rribito

I
I

ESCENARIO

REL4CIOhIS

3.
C0hDICIC>N..L\TES

I v
DETERXinfAVTES

I
S ~ ~ A C I ~ N

ACVB1UL4CM),VES
ESENCIALES
1

ARllCULACIONES L A S COMPLEJAS EST.ABLE(1ID.4S ENTRE LOS HECHOS

4
VNCULOS SLUPLES L T H LOS HECHOS

AMBIENIE EXTERVO A LA SITU.4CION

3 . ;COMO CONSTRUIR EL OB,TETO DE

EVALUAC'IOh DEL IICIPACTO SOCIAL'.'

3.1 PASOS I'REVIOS EX LA CONS''RCrCCION DEL OH,JETO P A R A FEYtILUtlR EL IMPACTO SOCIAL.

Como se ha sealado. el proceso de construccin del objeto por evaluar no es una secuencia lineal e irreversible. Por el contrario. es un proceso iterativo dc aproximaciones sucesivas, cn el cual puede scr til considerar dos pasos previos que consisten en: a) deiifiir los alcances del proceso evaluativo, y b) seleccionar la fomia y naturaleza de la evaluacin. El primero dc ellos. implica elaborar respuestas para tres rdenes de i n t e m g ~ ~ t c s :
a) ;Quines convocan la evaluacin?: dependiendo de si la rx-;:lacin es cor.:,cicacia por 105 niveles de ~ ; alta s decisin institucional, las agencias financieras, los responsables de la ejecuci6n o los grupos destinatanos, cl centro del inters de la nlisnia puede cambiar y ello incide cn la constmccin del ob-jeto por evaluar.

c) Por qu lo hacen?: ya sea en seguiniiento a rccomendaciones anteriores. en evasin a evaluaciones externas, para responder a conilictos internos organizacionales, por desacuerdo con la conduccin de los procesos o resultados obtenidos, por el inters de reproducir las experiencias adquiridas en otras instancias o niveles para adelantar la capacidad de respuesta a los procesos de toma de dccisiones. etc., puede influir en la construccin del objeto por evaluar. d) ;Cul ser el destino de los resultados de la evaluacin?: Si se trata de incidir en la tonla de decisiones (manteniendo, can~biando,reforzando o modificando decisiones ya tomadas), para retroalimentar los procesos de ejecucin o bien

dil'unrlir los rcsullridos concretos del proccso o de las cstrategias ulilizadas. lambin inlluyc cn la construccin del ob-jeio por evaluar. El seyundo, seleccionar la fornla y naturaleza de la cvaluacin. se reficre a escoger los tipos dc evaluacin que heron cxplicodos en el Captulo V: externa. interna, mixta, iutoevaluacin o evaluacin-participantes, segn la fonila que asuma la evaluacin; exploratoria-descriptiva o analtica, cn funcin de la naturaleza de la misma. Por su parte. el proccso n~ismode reconstruccin del objeto por evaluar, implica considerar las siguientes preguntas: a) ;Cul es la idea central de las polticas, programas o proyectos que se van a evaluar?, en cunto a sus contenidos, orientaciones ideolgicas, intereses particulares, dc los grupos que los inipulsan, etc. ~~S 13s coordenadas bsicas de la situacin b) ~ C U A son inicial que da origen a las polticas, progranlas o proyectos que se van a evaluar?
C) ~ C U ~ son ~ C las S coordenadas bsicas de la situacin deseada buscada con la intervencin quc es evaiuada?

En el proceso de construccin del ob-jeto por evaluar, es necesario rcconfigurar las situaciones: inicial, futura y deseada, en que se inscribe la poltica. programa y proyecto por evaluar. Para el caso de cvaluaciones concurrente y ex-post, e n tal proceso, hay que incorporar tanlbin la (o las) situacin (es) lograda (S). En este sentido, es til recordar el griico presentado en el Captulo IV, sobre la lgica de la evaluacin en el marco de la intervencin planificada.

LA EVALUACIOK EN EL CONTEXTO DE LA INTERVENCIN PLANIFICADA

Situaciii histrica

S i t uac111

IMAGEN-OBJETIVO

3.2 PtiSOS EN L.4 CONSTRUCCION DEL OBJETO PARA EVALUAR EL IMPACTO SOCIAL.

Partiendo de las consideraciones episteniolgicas que fueron planteadas en su oportunidad, y siempre en la lnea de conferirle rigurosidad cientfica a la investigacin que genera los

insunlos bsicos para el desarrollo de la prictica evaluativa, es posible sealar algunos elementos que deben considerarse en los componentes del objeto por evaluar.

3.2.1 En relacin con la elaboracin terico-conceptual del problema para evaluar ef impacto social.

Como ya se ha sealado, en la construcci6n de1 objeto para evaluar el impacto social, una cuestin fundamental es delimitar el problema por evaluar y los mbitos de incidencia de ste. Lo que supone. en primera instancia, un elenlento de gran relevancia: que es requisito bdsico para evaluar una slida fomlaci6n terica en el campo cienttico correspondiente, de tal manera que el planteamiento del problema por evaluar se enmarque en un encuadre tednco adecuado y no represente el nuevo enunciado dz juicios valorativos sin mayor fundarnentacin cientfica ya sea por parte de quienes convocan o de quienes realizan la evaluaci6n-. La delimitacin del problema por evaluar implica la reconstruccin *analtica del mismo, lo que supone tanlbien identificar los mltiples factores de incidencia y los centros o reas criticas de ste: es decir, aquellos factores que condicionan con mayor fuerza el problema que da origen a la evaluacin.
3.2.2 Con respecto a la formulacin hipotetica del problema para evaluar el impacto social.

La fonulacin hipottica del problema, como su nombre lo trata de indicar, supone -por un lado- realizar un esfuerzo por encontrar proposiciones comprobables que puedan constituir la respuesta al problema de evaluacin planteado y -por el otrun elemento mediador entre ste, el proceso para hacerlo operativo y la estrategia para su tratamiento metodolgico.

Uc esta nianer;i, la tom~ulacinhipot~icadcl problcni:i por evdluar supone disear un sistema de hiplesis quc scrin pucitas a prueba en el proceso de investigacin evaluativa, con el lln de validar, invalidar o rclom1ul3r al refcrentz tecrico en que las nlisnias sc enniarcan o senrir de puente explicativo cntre los conocimientos cientlicos existentes y los probienlas encontrados en la realidad social. Tal sistema de hiptesis debe constituir un recurso para l a explicacin comprensiva de la contribucidn de una poliicri, programa o proyecto a la generacin del inlpacto s ~ c i aevalual do, que puede estructurarse por medio del estableciniiento de relaciones cnlre variables o por la articulacin de un modelo tc6rico.' En ocasiones, y dependic~dode la naturdeza de la evaluacin, es posible que cslas se vayan n~olde~uido y cspcciticando en el trariscurso de la invcstigacin evaluativa.

3.2.3 En cuanto a hacer operativo el problema para evaluar el impacto social.

En eslo es importante recordar que hacer operativo el problepor evaluar significa identificar los referentes observables del riiisnlo, de tal manera que pucda hacerse accesible a Ia experiencia invesli_gativa y permita su interpretacin y anlisis tlcnlro tlc los parimetros de validcz y contiabilidad definidos por las Ciencias Sociales. dc acuerdo con la naturrilcza de su objeto de estudio. En este esfueno, es de utilidad la tipologri de impactos sociales presentadas en el Captulo 111. Siguiendo de nuevo a Canlpos (1982: 98-104) y haciendo un estuerzo por adaptar su propuesta metodolgica para aplicarla en la evaluacin del impacto social, es posible diferenciar tres vas principales para hacer operativo un problema para evaluar el impacto social. Estas son:
riia

a ) 1dcntil'ic:ir de manera directa las dimensiones del prob1em:t. b) Establcccr un sistcnla de variables. c) Elaborar un modelo torico-explicativo.

La sclcccin de cualquiera de las tres vas anteriores, estar cn relacin con el nivel de abstraccin que se maneje en el proceso investi,oativo en que se sustenta la evaluacin.

a ) Identificar de manera directa las dimensiones

del problema.
En el primer caso, identificar de nianera directa las dimensiones dcl problema, implica traducir los conceptos clavcs del problema por evaluar cn variables. susceptibles de ser respaldadlis eriipricamcGe. Partiendo de las consideraciones anteriores es posible plantear una cstrtcpi riiiiy simple para el planteaniientn del problenia por evaluar y su correspondiente operacionalizacin:
ti)

Enunciar el problema que se dcsea cvalurir.

b) Realizrir un listado de las caractersticas que dan cucnta de

la existencia del problenia y que se constituyen en retle-jos de Cste, por niedio de la elaboracin de un cuadro de conceptos claves y conceptos secundarios. C ) Establecer un listado de los mltiples factores que determinan el problema. tratando de establecer e ilustrar -aunque sea provisonamente- las relaciones entre ellos. ch) Establecer los indicadores cualitativos que pemiitan abordar la explicacin del problema, desde el punto de vista terico. d) Expresar en tmiinos numricos los indicadores seleccionados, tratando de detern~inarla frecuencia de ocurrencia del problema y los mltiples factores identificados asociados con el mismo.

b ) Establecer un sistema de variables

Una segunda lnea para hacer operativo un problema para evaluar el inipacto social, es mediante el establecin~iento de un sistema de variab1es.l Entendiendo por stas: propiedades o atributos sujetos a un rango o margen de variabilidad, segn las condiciones y circunstancias en que se manifiesten. En el caso de la evaluacin del impacto social, no basta con establecer un listado o relacin de variables vinculadas con el problenla por evaluar, sino que, la niayor labor consiste en identificar el tipo de relacin de las variables entre s (por ejemplo: asociacin, iluencia o causalidad) y el grado de significacin o ponderacin de stas con el conjunto explicativo. En el caso del establecimiento de relaciones de causaidad, el esquenia nias conocido y utilizado es el que sigue:

GRAFICO N V T I

-4

ESQUEMA PARA EL ESTABLECI;\IIENTO DE RELACIONES DE CAUSALIDAD

VARIABLES [NDEPEMDIENTES

Se asunieii conio crusales dctemiinmtes de Y

VARIABLES

VARIABLES DEPENDIESTES

(y)

Se asmien coiiio etectos de X. Por lo tanto, sus variaciones depndeii, en alguna medida. de Irs variacicaes observables en X

Se asunien conio factores que inciden d e dgn modo- en las iehcicmes propuestas entre X e Y

INTERVINIENTES

Pl

A partir del esquema anterior y, en funcin de la ponderacin

establecida entre las variables -es decir, del peso asignado en la produccin del impacto social- es posible identiticar varios n~odelos de interaccin entre las variables.

GRAFICO N9 VII - 5
MODELO DE ESTABLECIMIENTO DE RELACIONES ENTRE

VARIABLES INDEPENDIENTES EQUIPONDERADAS

Los supuestos bsicos de este modelo son los siguientes: a) Todas las variables independientes tienen el mismo grado de incidencia sobre la variable dependiente. b) Las variables independientes no tienen relacin entre ellas. c) Los cambios observados en la variable dependiente, no se revierten sobre ninguna de las variables independientes.

>lODEI,O DE ESTtiBLECIMIENTO DE RELACIONES ENTRE VARIABLES INIlEPENllIEiVTES DESIGUALAlEh i'E POSDERADAS

El supuesto biaico de este s e ~ u n d o modelo cs que: Las variables independientes tienen diferente nivel dc incidencia cn la variable dcpendicntc. La ponderacin desigual debe ser expresada en el modelo.

&lODELO DE ESTABLECIiMIEXTO DE RELACIONES

EXTRE VARIABLES ISDEPENDIESTES, QUE SON ESTADISTICAiVII~NTEDEPENDIKKTES

El supucstc; bisico dc cste niodclo es que. a diferencia de las anteriores, las variables independicntes tienen relaciones entrs s, den~ostrables empricamente. Ello hace que un inipacto en la variahlc dcpcndiente se revierta en las variables independientes, generando un efecto multiplicador con encadenamientos hacia atris.

En este caso, todas las variables consideradas tieneri relaciones entre s. Una condicin dada, en las variables independientes, impac ta en la variablc dependiente (situaci6n objetiva buscada) que, al misnlo tiempo, genera modificaciories en las variables independientes, las cuales, entre s, tambin muestran niveles de incidencia.

c ) Elaborar un modelo terico-explicativo.

La tercera .va que se puede utilizar para hacer operativo un problema para evaluar el impacto social, es mediante la cons-

tmccin de un modelo terico-explicativo. Ello es posible cuando el problema planteado est respaldado por un cierto nivel de solidez terica, con respecto a su contenido conceptual y a su fornmlaci6n hipotktica y su explicacidn se pretende en un alto nivel ds abstraccin. Un niodelo terico-explicativo implica el manejo de una compleja red de relaciones hipotdticas de causalidad en el que se involucren conceptos de diferente nivel que deben ser traducidos en un sistema de variables. Por ejemplo. en el caso de la evaluacin del impacto social de una deterniinada poltica. niediante el establecimiento de un modelo terico-explicativo, ello implica la consideracin de tres niveles de accin de la poltica, cuyas dimensiones se resumen en el cuadro de la pgina siguiente. Una operativizaci6n del problema poi evaluar mediante la elaboracin de un modelo terico-explicativo y estableciendo una cornpleja red de causalidad, in~plica utilizar un modelo para la recoleccin. ordenamiento e interpretacin de los datos tambin coniplejo, como se analizari en el captulo siguiente. Finalnlente, y para cerrar este captulo, conviene sealar que, independientemente de la va que se utilice para hacer operativo el problema por evaluar, el marco de la referencia tiene que ser la constmccin de una tipologa de inipactos sociales, deseables o no, al estilo de la ejemplificada en el Captulo 111. Este hecho se constituye en el vnculo para construir el sistcrna de indicadores sociales que pem~iten medir el in~pacto social.

DIMEXSIONES QUE DEBES ABORDARSE EN LA EVALUACIOR' DEL IMPACTO SOCIAL DE UNA POLITICA ESTiillLEClENDO UKA LOi+IPLEJA RED DE CAL'SALIDAD

DIMENSION
DE LA FORMULACION

SE REFIERE A:
la expresiii de la poltica, por niedio de nieca~iisi~ios e iiistrunieiitos de ncciii, tales conio leyes, reglainrntos o plaiirs.

CONDUCE AL: exairien de los documentos i~orinativos (leyes. decretos, reglaiiieiitaciones) y prograiiitico\ (plaries de desarrollo, prograiiias y otros) para evaluar el grado de colierencia iiiterna de los niisriios. aiilisis de las accioiirs reali7~d;is o en ~ ~ proceso de ~ realizacin para evaluar el iiivel de cunipliinieiito de las iiilsriia.;, su articulaciii coi1 el forniulado y su viiiculaciii con los resultados obteiiidos. anlisis de los cainbios observables/observados eii los destinatarios de la poltica. programa o proyecto evaluados, que se viiiculan coii la accin de estos. Taks cariibios tambin pueden registrarse eii el nivel institucional o bieii, reflejarse eii la socicdd en su conjurito, a travs & la sei.isibilizacin de los indicadores inacroeconmicos o macrosociales.

DE LA

Las medidas toiiiadas para~poiier ei; pric:icii ~ las polticas y los iiistruniriitos a que se recurre para su e~cuciii.

DEL IMPACTO

La acci~i conjunta de las decisionrs forinuladas. [arito eii el nivel iiomiativo coitio programtico. y las operacioiies reales ejecutadas para poner rii prctica tales decisiones.

NOTAS
l. U n a clasificacin de las variables sepii diversos cr~terios, puede consultarse en Caiiipos. 1982: 103. 2. Existc uiiti amplia liieritturn sobre la defiiiicin dc Iiip6tcsis. Ver. ciiti-e otros, Col-ien y Nsgel (1977). Burige (197h), Goode y Hnii (1970). Para uiia relriciii sobre i ! : clasificaciii de las hiptesis, scgri criterios diversos. cfr. Coinpoi;. 1982: 90-94.

CAMPOS. A-: Obi-Uclrcrcla BLALOCK. H.: Inrr~odnccitia lcr i ~ i \ ~ s t i ~ u c j SOCIUI, tr BUCI~OS Aires (ilrgeii tiiiii). Amorrortu editores, la. edicin en e~;paioI.197 1. BUNGE. M.: L itli~~strsucrli clftrt~?cn. Barcelotia (Espalia). Edicioncs h i e l , Coleccin Convivium. 1969. COHEN. M. y NAGEL. E.: It~trodi;ccrfin la Igiccr y (;1 mitodo cre~ifvico. Buei~osAires, Amorrortu Editores, 1977, S volinenes. DE GORTz4RI, Eli: In:crcccr~la o Igictr.. Mxico. Editorial Gri.jalho. 263. edici:; , !969. DUVERGER, M.: M6toc1os de las Crencrus Socitr2es. Mrtdrid (Espria). Editorial Ariel. 93. ediciii, 1970. GOODE. W. y HATT. P.: Mktoclos y rc5c~ifcas cie lu i1r\~~strgcdci6ti sorrul Mxico. Editorial Trillas. 1970. PARDINAS. F.: Metodo2ogcr y te'cilicc;~ de rtii.cstigucitr rri Crr~iri~rs Soc.ia~s,Mxico, Si210 X X I editores. 16a. ediciil, 1976. PICHmDO. A.: Plcr~iificoc.ictiy Pt-ogt.crmacidn Soc*ictl.op. cit. SELLTIZ. J. y otros: MPtndos y rl;c~~icrrs de la ~TII-rstiycrciii socr~d, Madrid (Espaa), Editorial Rial.

ESTRATEGIA METODOL~GICA PARA EVALUAR EL IMPACTO SOCIAL

1. Fases en el desarrollo de una estrategia metodol5gica p a n evaluar el impacto social.
2. Fase de diseo: Definir cmo se va a evaluar cl impacto social.

3. Fase de anlisis: Recolectar, ordenar, analizar e interpretar las informaciones requeridas para evaluar el impacto social.
4. Fase de decisiones; identificar, proponer e incorporar las medidas pteventivas y comctivas.

l. FASES EN EL DESARROLLO DE UNA ESTRATEGIA NIETODOLOGICA PARA EVALUAR EL IMPACTO SOCIAL.

IncieAwndientenit=ntc dc la va que se uti!ice en hacer operativo un problcrna para evaluar cl inipacto social, el paso sigwiente es disear y poncr en prictica una estrategia p a n darle tratamiento iiictodolgi~oa dicho problenia. Se entiende por tal estrategia el prc'ccso riicdiantc el cual se ordena y sistcrn ati7a cl proc.zdimicnto cluc se va a seguir en el desarrollo de la evaluacin y que se concreta cr;. un tliseu cvaluativo. De tal fomia que. la estrategia mt.todol6gica implica una hmla dctcni~inad:~ dc tratar un conjunto cle situaciones probleni8ticas, basnclosc en ciertos supuestos tericos. utilizando ttcnicas auxiliares y, S I es del caso. incorporando los avances cientfico-tecnol6gicos de diversas disciplina5 (por ejemplo. el uso de la cibemticai para la riicdicion dcl impacto social y de mtodos prospcctivos) para abordar dc manera consistente el objeto por cvaluar. En este sentido. el diseo y puesta en practica dc 1 cstratcgia riietodolgica para evaluar el iriipacto social implica desarrollar un procedin-iiento de traba-10,' en el cual es posible delimitar tres fases vinculadas entre s: a) Fase de diseo: que como su nonlbre lo indica. supone la elaboracin del diseo evaluativo. b) Fase de anlisis: en que a partir del diseo evaluativo, se lleva a cabo el proceso de recoleccin e interpretacin de informaciones. c) Fase de decisiones: en la cual se identifican, proponen e incorporan' las medidas preventivas y correctivas consideradas oportunas, convenientes y viables.

Aunque para efectos didcticos las fascs mencionadas sc enuncian y desarrollan en fornla separada y lineal, en la prictica no necesariamente- se realizan de esa manera, sino que las mismas interactan en funcin del grado de conwiniiento quc se vaya adquiriendo de la realidad. Por ejemplo, a partir de las infom-iaciones preliminares que se van obteniendo es posible identificar algunas medidas preventivas y correctivas que pueden irse poniendo en prktica, especialnlente cuando las nlismas van destinadas a evitar la profundizacin de problemas enconlrados. En el cuadro siguiente. se explican los elementos centrales por considerar en cada una de las fases de la evaluacin del impacto social mencionadas.
CUADRO NVVIII

-I

FASES EN EL DESARRO1,LO DE UNA ESTRATEGIA METOBOLOGICA PARA EVALUAR EI, IMPACTO SOCIA,
FASES DISEO CONSISTE EN Uiia descri~ioiio bosquejo general en el cud se defiie coi1 mayor iiivel de precisioii cino se va I evaluar el inpicto social. Eii otras palabras, es el tnarco estratgico que le coiiiiere unidad a los objelivos de la evaluaciii, eii coliereiicia coi1 el o b ~ t o por evaluar. En el diselio evaluativo se definen las actividades prcticas que debern ser einprendidas para darle coiiteiiido a la investigaciiievaluativo. A partir de las iiidicncioiies coiiteiiidas eii el diseio de evaluaciri, eii esta fase se trata de desarrollar el proceso para recolectar, ordenar, analizar e iiiterpretar las iiifonriacioiies que pennitati incdir el iiiipacto social y sustentar con rigor cieiitfico, lgica y coherencia los plaiiteamieritos que se liacen eii la evaluaciri.

DE LA
EV ALUACION

ANALISIS

EVALU ATIVO

TOMA DE DECISIONES

A la luz del anlisis realizado. en esta fase corresponde propoiier e incorporar las niedidas preventivas y correctivas necesarias, consideradas oportuiias para hacer viable el iinpacto social buscado.

Esquemticaniente. la 16:ica del procedimiento de evaluaci6n. putsdrw~irnirsed d a f o m ~ a siguiente:

GRAFICO N V I I I

-1

PROCEDI~IIENTOPARA EVALUAR EL IMPACTO SOCIAL

\
\

1 1 \
\

\
\

1 1 1
\ \

Detiiiir cmo se va a evaluar el impacto socid.

'\
\ \

1 1 1 Recoger, orderix, analizar

i'

e interpretar las informacioiies que permitan evaluar el impacto social.

Identificar. proponer y adoptar las medidas preveiitivas y correctivas oportuiias y viables para alcanzar el impacto social buscado.

2.

I:ii\SE DE DI S E N O : Definir cino se va a evaluar el impacto social.

Un diseo dc evnluacidn, coriio ya se ha sc:illido. consislc cn un bosqucjo o esqucriia gcncral que sirve de pauta de oiicnllici611 para desarrollar el proceso cva1ii:itivo. Para elaborarlo. cs iniportanie identificar y contnctitr pcrsonas claves, qiie puedan brindar inlorniliciones accrca del proccso que sc va a .valuar o sobre procesos con caractersticas siriiilres; as coriio tener claridad sobre la naturaleza d e 1:i maluacin. Eri cstc sentido, cs t'undluiicntd definir si sc tcita dc una ev:iluricin exploratoria-descriptiva o analtica, ya quc dc cilo depender cl alcancc dc la invesligaci,n cvalualiva y la cor~iplejidadde las tcnicas e instruriicntos cluc se utilicen. En el prirncr caso, una cvaluacicri cxploratoria-dcscripi.iv;i. coriio su nonibri: lo inciica, ceritrrin su inters cn los diseos dc investigacin cxploratorio y descriptivo. En ciimbio, una dc tipo analtica teridrr conio objetivo estr~blcccr las reliicioncs dc c:iusrtlidad. idcntific:intlo la cornple.ja rcd dc 1':ictores quc iricidcn en la aparicin y pcmiancnci dc iri1p:ictos socialcs. Esro llirno rcquicre de procctliniicntos nis coniplicados par;\ c3pt:ir Iri riiultiplicidad dc f'rictores prcscntcs cn I r t rcalidd social y cl cst:ihlcciriiien~o de rellicionei; l6gicas entrc ellos. Eri lo quc sc rcl'iere al control dc variables. ello planlcli Iii consideracin dc los nlodclos expcrinienlales, cuasi cxpcriiiicntiilcs y no cxpcriii-ientales. quc scrn tratatlos nis ;iticlantc.

fSL~~;,h.lliS~I'OS POK C~0NSII)EKAK EN El, EVAI,Ut\CIOS IIEL IMPACTO SOCIAL

D ~ S E N OD E

USA

' i FUENTES DE 1;UFORMACION

1

UBICACION TEhZPORAL

11

TECNICAS E INSTRUMENTOS DE EVALUACION

'

PARTICIPANTES EN LAS ACTIVIDADES EVALUATIVAS

En el cuadro que aparece en la pgina siguiente, sc intenta cxplicar el significado que se le atribuye a cada uno de esos elementos.

CUADRO N V I I I - 2

E1,E:MEN'I'OS DEL DISESO DE EVALUACION DEL I$IPALTO SOCIAL ELEMENTOS PARAMETROS CONSISTE EN...
Criterios geiierales que onentaii, conceptual y riietodolgicanierite. el proceso de evaluacin del iinpacto social y que se coristituyeii en el priiicipal inarco de referencia de la situacin deseada, corisigiiada en la iiiiageii-objetivo buscada.

INDICADORES

Se entienden coino seales, signos, muestras o

inarcas de algn suceso. aconteciinieiito o proceso; que ponen eri evidencia la niagiiitud e intensidad de un probleina o el grado de iiripacto alcaiizado en su atericiii y que cons~ituyen 21 eje centriil de la rvaluaciii del iinpacto social.

FUENTES DE INFORMACION

Corno su rioinbre lo indica. se reherc a lds fueiites que seriii utilizadas para acudir en busca de las iiiforinacioiies necesarias. que constituyen el referencinl einprico de la evaluaciii. Coino su rioiribre lo indica, se trata del establcciinieiito de los inoineiitos coiisiderados oportuiios para desarrollar actividades forinales de ev;iluacin y retroalii-rientaciii. Elcmeiitos auxiliares que facilitan el proceso de recolecciii de las irii'orori-i-i:iciones requeridas para la evaluacin del impacto social.

UBICACION TEMPORAL

TECNICAS E INSTRUMENTOS DE EVALUACION PARTICIPANTES

Es la definicin de quieiies participarn en las actividades forinales de evaluacin, as como el establecimiento de los niveles de responsabilidad en las distintas fases evaluativas.

La ulilidad del diseo evaiuativo consiste en que, como ya se ha sealado, provee una gua que orienta el proceso evaluativo. Por lo tanto, se considera oportuno ampliar un poco ms ci significado y contenido de los elementos enunciados.

2.1 PARtlhIETROS: CKI'TERIOS GENERALES QUE ORIENTAN

LA EVALUACIO8 DEL KVlPACTO SOCIAL.

Los parn-ietros se pueden definir como los criterios generales quc orientan. conceptual y rnetodoldgicamcntc, el proceso de evaluacin del inipacto social y que, por lo tanto. se constituyen en cl principal niarco de referencia acerca de los canibios o variaciones que el ejercicio evaluativo pretende ubicar. Al seleccionar los parn~etros, debe considerarse el nioniento evaluati~rque se trate. As, en la evalriacin ex-ante e! p a r h e tro principal es la viabilidad de Senerar inipacto social por n-iedio de la intervencin planificada. Mientras que en la evaluacin concurrenle cl parmetro fundamental es cl rendimiento. entendido como cl avance logrado en la realizacin de las actividades y cl cumplin~iento de los objetivos, en aras de alcanzar el impacto social postulado. En la evaluacin ex-post, los parn~etros principales son la eficacia. la eficiencia y el impacto real y esectivaniente alcanzado con la intervencin realizada. En los Captulos TX, X y X1, se dcselosan los elementos que deben considerarse al definir parhetros para la evaluacin del impacto social. Para hacer operativos los parmetros. stos deben traducirse en criterios ms especficos. los cuales se constituyen en los indicadores del impacto social buscado. Ello se aborda seguidamente.

2.1 I;\L)IC,II)ORI7S: ST?S~II.ES.SIGSOS, IICESTRtZS O 31RKLtIS

D E A L G C S SCCESO. ACO;\'SI.:CIIlIES~i'O O PROCESO QUE: I'OhEh E3 EVTDl<SClr$ Id:\ hlA(;-r'I7'UD O IS1'ESSIDAI) DE U.\ PR(3LiLE>lr\ O EL GK:\1)0 1)E J&fPAC'I'O I\LC.-\N%I\DO E.\ SI. A'i'Ei%CIO\'.

Los inlicadores constituyen el medio a travs dcl cual se puede ev:~luar. d e nianera objetiva, los cambios o variaciones buscados con el desarrollo de un proceso de intervencin planihcada. En otras palabras. constituyen la va para captar al impacto social. Dc ah que su construccin, verilicaci6n y validacicin reviste particular in-iportanci. La racionalidad en quc se lundanicntan los indicadorcs est dcterniin;ida. priniordialnientc. por el inters de quicncs impulsan la eviiluacin. A su vcz, en ello influye el enloque dc evaluacicin seleccionado. Por qjeniplo. en el enloquc de la evaluacicin los indicadorcs utili;:x!dos para cvaluar la fiiclibilicrlaci de los proyectos, son fundanien~alnicnteel TIR y el V A N . En 111 experinicntd. es el cunipliniienlo de las nietas preestablccidris. Para la cvriluacin del inipacto social, los indicadorcs deben cstablcccrsc en funcin de1 tipo y caractersticas dc los procesos, as conio dcl nicdio en cl cual istos sc inscriben. Vale decir que, la identificacin dc indicridorcs para cvaluar el inipricto social no puede hacerse pcr se. Es la naturaleza dcl proceso evaluado y la concepcion dcl probleriia que sc niancje. lo que orienta tal identificacin. Dc ati quc. slo a partir de la capacidad de anilisis de la redidad y d e las experiencias acuniulaclas en la intervencin cn ella. se podrn adquirir los conociniientos y desarrollar las habilidades y destrezas que le pem~itan elaborar sistenlas de indicadores acordes con las caractersticas de los procesos evaluados. Por ejemplo, cmo valorar los cambios en los hbitos alimenticios, al niarsen de los factores culturales. En el sentido anterior, el proceso de seleccin de indicadores

dcbc rca1iz:irse [le rnancrn la1 que pcmlita, a1 menos. cl cuniplimicnlo dc los ruquisilos sipisntes: validez, cant'iabilidad, et'ccto dcmostraci6n. objclividad y pertinencia. En el cuadro de la pl;ina sipienle. se explica el significado atubuido a los trniinos anteriorniente mencionados.

CUADRO N? VI11

-3

REQUISITOS Q U E DEUEN LClII'LIH LOS IXDICADORES PARA EVAI,UAK ICL I.\IIPACTO SOCIAL
-

KEQCrISIT9S
VALIDEZ

SJGCIIFICA QUE ...

Los indiciidores dcbttii ret1c.j;ir !os iiiipictos sociales buscados. de tal iriancra que scoc se puedaii coiiiprc~bary no I.r coniundaii con Factores es,';110s.

CONFIABLID4D

L;is 1;icdicioiics que sc 1iag;iii rcrilizadas por diferente5 pcrsoiias. utilizando Icis iiiistnos indicadoi-cs. debeii arroJ:ir rcsuli:idos coinpar;ibles.
Debeii dar evideiicias de inuestriis coiici-eias de los caiiibios que se descaii iiiedir.

EFECTO
DEMOSTKACION

ORJETIVID4D

Viiiculridri coi1 lo anterior. los iiidicadores deheii ser objetivaineiitc verit'icahlcs.

PERTINENC [A

Los iiidiclidores dcbcri yuardar corrcspondciicia coii los objetivos y la naturaleza del proceso evaluado; as coiiio dc las coiidicioiies del inedio social eii que stos st: desarrolIaii.

Para medir el impacto social, es posible identificar diferentes tipos de indicadorcs. cuya seleccin depende de la naturaleza de la evaluacin; a partir de las disponibilidades de infomiaciones.

As entonces, cs posible distinguir 10% siyuicntcs tipos dc indicadores: cil'ras absolutas. porcen;+ics, promcdios y olris nicdid:is de estadsticas de tendencia central y tasas tie creciniicnto. Por supuesto que es posible y. niAs an, reconicndabte la utilizacin conibinada de varios tipos de indicadores.

'TIPOS I)E ISDICADOKES PARA EV.ALUAK EL 13PACl'O SOCIill,

TIPOS
CIFRAS ABSOLUTAS

DEFINICION
Geiiesaliiieiitc, he utili~aiip:ira rellcjiir. eii iCrriiinos absolutos. el [>roblciririevciliiado o cl grado dc ;iv:iiicc cii su rcsolucioii. cuii el prolxsito de dnr Liiiii idei~ de ! i i iiii~giiitud tlc l i i situaciii. I'or cjcii~plo. iilricio de iriujzrcs iiicorporadas eii la I'uc~~ii de t rcibnjo o I'EA !pobliiciii c~oiiiiiicii~riciitc actiuii) cii uii aio coiisiderndo dc iiitcrcs par;i uiio o ins pases. Uestacciii. Fuiid;iiiiciit~iliiic~~te. cispcctos de disiribi~ciii e11 i-elaiiviznr los valore:, nbsoluios. I'or cjeiriplo. porcciitic de 121 PEA fciiieiiiiiii coii respecio 211 totril dc la I'E.4. f3eprescnt:in coiiiportaiiiiciitos iipicos. ubic:iiida los tkiiirieiios rii iilguiii~esc;ilii iiuiiiericii. Por ejeiriplo, el iiisreso per-cp~iii.1ii incdiaiia de los s ~ l i i rios de las niujeres. los prol'esioi~iiles y tCciiiciis.

POKCENTAJ ES

PROhlEDIOS Y OTRAS kTEDIDAS ESTADISTICAS DE TENDENCIA CENTRAL' TASAS DE CRECIMIENTO

Prriiiitcn iiiostrir la cvoluciii o coiiiportairiieiito de uii kiiiriciio eii el ticiiipo. Por ejeiiiplo. la tdba de creciiriieiito del PIB eii uii perodo dado o li< r;is;i global de participnciii feiiieiiiiia eii el iriercado de trabajo.

Por otro laclo, cs convcnienie destacar quc en el proccso para constniir, veriIicar y validar indicadorcs, es neccsario enfrentar alsunos problemas nietodolgicos que puedcn agruparse cn dos rdenes: a) Requerin-iientos de infomiaci6n, en cuanto a la necesidad de contar con registros adecuados y actualizados; as como las posibilidades de acceso a los mismos. b) Di ticultad para operaiivizar aleunos conceptos y traducirlos en hechos verikicables: Por ejen~plo, los niveles de conciencia alcanzados ante la existencia de problemas especficos. la participacin y orcanizacin populares, entre otros. Para el cnlrcntrimiento de eslos problemas. es tundaniental la forma cn cmo sc oriente la investigacin que sirve de base al proccso evaluativo. Es necesario que el proceso para recolectar, ordenar, maliza: e interpretar las infomiaciones. se realice con el intcrs de rccupcrar las experiencias desarrolladas, con el fin dc incorporarlas al proceso de elaboracin de sisten-ias de indicadorcs que den cucnta del impacto social buscado.

3.3 FUENTES I>E ISFOK~MI\CION:VEKIFILA1)ORES PAKrI EVALUAR EL KVIPACTO SOCIriL.

Las fuentes de inforniacin a las que se puede rccunir para evaluar cl impacto social. tambin se pucden dcnoniinar ven ficadores. dado que constituycn el medio a travs del cual se pueden conlprobar las seales, signos, muestras o marcas de algn suceso, acontecimiento o proceso. que ponen en cvidencia la magnitud o intensidad de un problema o el grado de avance en su atencin. Es decir, pem~itenreconstruir los hechos sociales de inters para la evaluacin del impacto social, por medio de los indicadores seleccionados. En la evaluacin del impacto social, las infom-iaciones prove-

nientes de iina solii l'uentc resultan ins~ificicntes. Por eso. cs iniportanrc considerar inloi-macioncs provenientes de varias i'ucntes a 13 vez. Esto pcmiite no s6lo un mayor cmulo de inlon~~acioncs. sino tiimbin, comparar opiniones provenientes dc las diversas fuentes consideradas, de tal manera que pueda contarse con un nlayor sustento pira la evaluacin. Con respecto a seleccionar las iuentes de infom~acin.ello depende tanto de las caractersticas del proccso evaluativo que se trate, conlo del tipo y las condiciones en que se desarrolle Ia evaluacin. Especialmente. en lo que se refiere a los rccursos y el tiempo disponible, de tal mancra que sea p s i b l e cunipiir con los rccpisitos de oportunidad y prcticabilidtid sealados cn el C21,phllo V. Es posible distinguir dos tipos de fuentcs de inlornlacioncs, dc acuerdo con la procedencia de stas, los cuales son: a) Externas: produvidss por agentcs que no cstlri dircctmlcntc vinculados con el proccso evaluado. b) Intcrnris: producidas por agentes que estn directamente vinculados con el proceso evaluado. En el iriterior de esas categoras, es psiblc identificar liicntes orales y cscrilas, las cualcs se pueden desglosar dc la Lornla que aparccc en cl cuadro siguicntc.

I;UEN'I'ES ISFOK%IA'I'IVhS P:IKA I3VALUAH EI, IMPACTO SOCIIIL

l . ORALES:
l . 1 Infornlantes claves vinculados, directa o indirccta-

nientc con e1 proccso evaluado, pertenecientes a grupos: a) Gestores de la intsrvencin planiiicada, b) Ejeculores, c) Destinatanos. ch) Orgariisn~os financieros y d ) Otros interesados.
2. ESCRITAS:
3.1 Docuriientos-basc a) Diseo dc planes de desarrollo, institucionalcs o departamentales. b) Progranias o proyectos. C) Planes de trabajo, ch) Inforn~cs dc evaluaciones anteriores, d) Meniorias institucionalcs e) Agcndas y actas de reuniones: dcl equipo ejecutor, dc reuniones niul ti partilas, entrc representantes de diversas instituciones y organizaciones involucradas. ctc. 1') InIom~esde actividades de supcrvisiones peridicas: realizadas por personal de alto nivel de la institucin ejecutora. E) Infomies de actividades de seguimiento o nionitorco. por medio de visitas de campo, a los grupos destinatarios, etc.
u

C'ONTIKUIICIOS DEL CUADRO i\'\ VIU:

-5

h) Infornlcs de inspeccin y auditona Lcnicas, realiza-

dos con fines de control administrativo por personal ajeno a la ejecucin.

2.3 Docun~entosproducto de las actividades de programas o proyectos especficos. a) Materiales didcticos. b) Estudios o investi;aciones. c) Artculos, folletos o libros publicados sobre el desanuIlo y alcance del proceso de interks para la evaluacin.

2.3 Docunientos audiovisualcs. a) Video-documentales o pelculas. b) Fotos. c) Grabaciones.

2.4 Docunicntos producidos por destinatarios de pro-

-ramas o proyectos de inters para el proceso evaluativo.

2.5 Iniorniaciones estadsticas, obtenidas a travs de Censos, Encuestas y otras vas.

2.6 Investigaciones, estudios y otros tipos de documentos sobre problen~asrelativos al que se dcsea atender en el proceso evaluado. 2.7 Bibliografa especializada sobre evaluacin del impacto social e infornles de evaluaciones del impacto de procesos similares.

Para hacer una seleccin de las fuentes de informacin ms adecuadas, es preciso identificar los componentes evaluativos que demandan infomlacin. su grado de alcance y necesidades de profundizacin.

3.1 UUICACION TI1:kIi'OKA 1 , D E 1,AS ACTIVIDADES FORk1.IALES DI3 EVALLACIOK.

En cl diseo de evaluacin del impacto social, es preciso especikcar los momentos ms oportunos y propicios pars el desarrollo de las actividades fom-iales dc evaluacin. La seleccin de tales momentos, no debe basarse en la-fijacin arbitraria de fechas. sino en la identificacin de momentos significativos en el estado de desarrollo de los procesos evaluados. Algunos de los monientos convenientes para realizar una actividad evriluativa, pueden ser: a) La identificacin de la idca de una poltica. b) La concrecin dc la idca de esa poltica en el disefo de progran-ias o proyectos especficos. c) La negociacin con la fuentc financiadora. d) La instalacin de un proyecto. e) L a finalizacin de una actividad. un bloque de actividades. una fasc dc desarrollo de la poltica o del progrania o proyecto en su conjunto.
Sin enibargo, en ocasiones, tambin hay que toniar en considcraci6n norn-ias institucionales preestablecidas o bien, haccrlas coincidir de la me-ior nianera posible.

2.5 TECSICtiS E INSTHU&l.II.:NTOS DE IYVESTIGACION PARA EVALUAR EL M P A C T O SOCIAL.

Las tcnicas de evaluacin del impacto social son las mismas que se utilizan durante la fase de indagacin emprica de cualquier investigacin social. De tal manera que las tcnicas que pueden utilizarse en la evaluacin del impacto social, se pueden clasificar de acuerdo con el tipo de datos que se pretenden recopilar, sean stos priniarios o secundarios.

/\I,GUX/\S 'I'ITChICAS 1',\Kt2 LA RI;COLECCTOX \')E DATOS

E> LA EVALC'ACION DEI, l.\.lPACTO SOCI.AL, SEGUN PROVESGtZ& DE ICUEh"1ES PRIMARIAS O SECC'SDARIAS

TECSILAS PARtI RECOPILIZR DATOS DE FLENrI'ES PRT>IhRIAS

Entrevistas (cortas, intensivas. etc.) Tests o nlediciones: estandari~adas(pre-tcst y post-test) Observacin (directa o indirccla, partiCiprinlco no pariicipantc) Encuestas klttodo Dcllos t-iistorias dc vida Dinmicas dc grupo Panel dc opinin Dcbrites dirigidos Opinin cxpcrta'

Infornics cstndslicos Docunientos personales Archivos pblicos Infornlacioncs dc prensa

El uso de las tcnicas anteriores, y de otras que no tucron mencionadas, requiere de la utilizacin de instrunlentos para la recoleccin de infornlacin, entre los cuales pueden citarse:

ciIJC.LISOS I.\:S'TKU>I1;h"1'OS PARrA KICCOIAISC:CIOS DE ISFOH?II:ICIOXES YAKA I,A EV,II,UACIOS DEI, IllPr~C'I'O S0CI:IL
--

-Cucstionririo (cstnicturado, serniestructurado, abicrlo) -Gua para cntrevistas (c~tnicturadil, scniicstructurlida y no estructurada) -Gua de obscrvacin (estructurada, serniestructurada y no estniclurada) - Gua para cl anlisis de contenido -Fichas: bibliogrfica, catalogrifjca y de anllisis -Diario dc canipo -Lisl;i dc chequeo -Escilri esliniativa

El uso dc los instrunicnlos sciirilados no cs cxcluyentc. Por cl contrario, es rccomendable la utilizacin de varios a la vez. tle tal toniia que los rcsuIlados obtenidos se puedan coiiiplcmentar adccuadanicnic. Por c-jemplo, la claboracion dc jnfoni~csevalualivos pucdc cstar prececiidri dc otras insttincias clc cvaluacin, lalcs como consultas, reunioncs, asaniblcris. ctc. Asiniismo, los resultados dc iina evaluacin vcrbal. sc pueden ~ranscribiren docutiiencos. La selecci6n dc 10s instrunicntos cva1u:ttivos se hace de acuerdo con 13s tcnicas identificadas en cl diseo dc cvaiuacin. Para ello cs fundamental no pcrdcr de vista los indicadores previanicnlc identificados. Sin embargo. no debc verse como un proceso lineal; niuchs veces a la luz de las inforniacioncs recolectadas, sc pueden introducir variaciones en los indicadores selcccionados.

2.6 PAH'I'ICIPtISTL<S EN L.4 EVAl,UAClO;\j DEL IMPACTO

SOCIAL: NIVEI,ES Y RESPONSABIL1I)ADES.

Conlo se ha venido insistiendo en otras partes de estc documento, en la evaluacin del impacto social pueden y debcn participar diferentes grupos y personas relacionados, de manera directa o indirecta. con la accin evaluada. Entre esos grupos o personas, se puedcn considerar los sipientes: a) Responsables de los niveles de decisin de mis alta jerarqua. b> Asesoras (es) y consultoras (es) especiriles. C) Directoras (es) de programas y proyectos. d) Ejecutoras (es) de actividades y/o tareas cspeciics relativas al proceso evaluado. e) Personal dc enlace. i) Destinatarias (os).
Cada uno de estos grupos o personas puede jugar un papel importanle en la evaluacin del impacto social. Sin embargo, su participacin en el proceso de toma de decisioncs ocurre en diferentes nivcles de accin. por lo Lanto su papel cn el proceso de evaluacin tambin puede ser distinto. A continuacin, se prcscntan alpnas delinicioncs bsicas para definir el papel de los parlicipantcs cn la evaluacin del inipacto social. Estas se consi,nnan s61o a ttulo ilustrativo; por lo tanto, no debcn considerarse como reglas o nornlas.

PAPEL DE LOS I';~RTILIPIISTESES LA EVAI,UACION DEI, IAIPACTO SOCIAL

PARTICIPANTES NIVELES DE DECISION POLITICA

1'APEL QUE PUEDEN JUGAR a) Toniar la decisiii de iriiciar o dar por fiiinl izadas las actividacics forniales de u11 proceso de cvaluiiciii del iiiipactu social.
b) P'irticipar eii lac actividades iorniales de

evaluaci~ique se coiisidcrcii iieceslinas, sieinpre y cuarido ello iio altere cl flujo de iiiforiiiacioiies y Iiis relncioiics iiitcrpcrsoiinles.
c) Apoyar a los rcspiisables de los riiveles opera~ivoseii la bsqucdn dc las inedidas preveiitivas y carrcctivac; ins conveiiieiitcs. oporruiiiis y viiibles.
d) Recibir lo\ iiiforiiies dc evdluiiciii y

iiprobtirlos. cu:iiido as lo detiiiaii las iiornias y reglaiiicntacioiics vigeiites. e) Coiltribuir a iii:iiiteiiei uii cliiiia iiistitucioii;il propicio para la cvaluaciil del iiiipiicto social. que periiiita eiifreiitar los probleiiias sciialados eii su oportuiiidad y iiiiiiiiiiizar los coiifiic~usy esprcsioiies de personalisiiio que puedeii obsteculizar los procesos evaluativos.

ASESORAS (ES) Y/O CONSULTORAS (ES)

a) Briiidlir asesoria ticiiica para las defiiiiciones conceptual y nictodolgica de la evaluaciii del iinpacio social, especial-

CON'fISUACIOY DI<L CUADRO S? VI11 - 8

ineiiie en lo que se relierc a: deliiiiit::cit31i del objeto por evslui-u-.ciaboraciii del discio evaluativo, preparacin de los iiistruine~itosde recolccciii dc iiiforinacioties y aiiilisis de los resultados.
h) Elaborar propestas. ofrecer opiiiioiics. coii5qos o su~ereiicias para dcfiiiir y p i i r r eii prictica l a 5 !~ieilidas prevciitivas y correciivas ii16x idneiis.
C)

Participiir eii 13s :t-tivirii!des hiriale> dc cviluiiciii, ciiniido se colisidcre oportuiin y su prrscncia iio coiirte In p:uticipacibii.

RESPONSABLES DE KEALIZAK LA EVALUACION

a ) Elaborar el diseo dc evnluiciii del iiiipiicto social. veliir por su qjccuciii y. si cs dei caso. busc;ir la iisesorii requerid21 parii su eliboraciii e iiistrunieiitaciii.

b) Maiitciicr iiiforiiiados a los iiiveles de iiis iiliii decisiii. sobre el dcsai~ollo y resultridos de las activid:ides f'orinnles de evaluaciii renl~z:i(i;is.

c) Coiivocx, dirigir y procurar el apoyo logstica iieccsririo para re:iii~:ir las sesioiies. reuiiioiies. jornadas y otros inecanisinos de evaluaciii, iisi coiiio solicitar. cuando sca iiecesario. la asesora tciiica requeridi.

d) Supendisarel rcgislro ordeiiado. sisteiritico y coiitiriuo de las iiifoririiicioiies iircesarias piil-a 1;i evaluaciii del ii-iip.:icto. .

EJECUTORAS (ES) DE ACTIVIDADES

a j Coiiocer y/o pruticipar eri el disciio de evaliinciii.

b) Kegistrar y suiiiiiiistrar las iiifoririaciol:es reciueridas; as coilio eln'mrar docuniciitos que swtiii dc base a los ii~foriries evaluativos.

Y10 TAREAS
ESI'ECIFICAS DE LA

EVALUACION

d) kI;iiicciier iiiforiiiados ii los rcspiisiibles de realizar la evaluacirjii 5obre

los probleinas ciicoiitrndos eii la evaluaciii.

PERS0N.a

DE ENLACE

21) Actuar coiiio iiitcrinediririos eiitre Las iiistaiiciiis rcspoiisables de la evaluiiciii y otnih uiiidades i~ivolucradas. b) Cooperar coi1 las tareas ev;iluativus que le seaii sulici~adas.

DESTINATARIAS

(0s

a) Participar eii Ins actividades foririales de evaluaciii. de acuerdo coii las defiiiicioiies conteiiidas eii el diseio evaluativo.
b) Aportar opiiiioiies sobre la contribu' * a 3

cin de las accioiies evalua&.al iiiipacto buscado.

Por olro lado. las rcspons~ibilidadcs para el ordcnari-iicnlo y iinlisis de las inloniiacioncs, sc cstablcccn dcpcndicndo dc la Som-ia de evaluaci6n quc sc utilicc. Asimisn-io. cl papcl de los destinritarios dcpcnde del carctcr que asuma la participacin dc stos en el proccso evaluativo. En el caso de una evaluacin participante, sta se convierte en cenlral.

3. FASE DE ANALISIS: Recolectar, ordenar, analizar e interpretar las informaciones requeridas para evaluar el impacto social.
La segunda 1'ase en la estratceia nletodolrjgica para cva1u:ir el inipacto social es la dc anlisis. que se rcfierc al proceso para rccolcctar. c~rtIcn:ir. ~inalitar c interpretar las infomiaciones necesarias para sustentar con ngor y lgica. los plantemicntos que se lomiulcn en la cvaluaci6n. De tal ~ ! i ~ d quc o sc pucdiin rccogcr las intomiacioncs tiles quc pcmiitan rcconslmir. iravs dc los indicadorcs. los procesos en los cuales sc cncucntran las relaciones dc signiticacin que dan cucnta dc la intcrprctiicin dc los hcchos obscnlados. Como ya sc ha seiilacio, en esta I'asc el diseo dc cvaluacin cumple con una funcin oricntadora. en cl \entido cluc ofrcce las pautas gcncralcs de proccdiniiento para la labor cvaluativa. En la lasc dc anrlisis, se pueden distinguir tres pasos operativos iundanientalcs:

a) El registro de los hechos sociales de inters, quc consiste cn la indagacin cnipirica por medio de la cual. sc busca recuperar los elementos que pemiitcn darle contenido :i la cvaluacin.
b) El anlisis crtico de los hechos observados, que inlplica

el procesaniiento de las inforniacioncs y su interpretacin, a la

luz dei enfoque te6rico utilizado.

c) La sistematizacin de los resultados obtenidos para alinicntar a la fase de decisiones.

A continuacin, se presentan algunos elementos por considerar en los trcs pasos enunciados para la fase de anlisis de la evaluacin del inipacto social.

3.1 REGISTRO D E LOS HECHOS SOCIALES DE INTERS.

El registro dc los hechos socirilcs de inters se hace utilizando las tcnicas de investigacin social identificadas en el

diseo, con base cn los instmnientos de recoleccin de infomiacionrs elaborados. El diseo debe constituir el "norte" que orienta el proceso para evitar recolectar infomiaciones de escasa utilidad y obviar recolectar las infomiaciones de inters. Por su parte. el ordenamiento de las inforniaciones requiere del auxilio de una serie de tdcnicas como las que se rilencionan a conlinuacin:

CUADRO S V I I I

-9

ALGu'NrIS TECSICAS PARA EL PROCESO DE ORDENA,MIENTO DE 1SI;ORMACIOSES E S L.4 EVALUACIOS DEL MI'ACl'O SOCIAL

l . Tabulacin (manual y electrnica). 2. Matrices de datos (cuantitativos o cualitativos). 3. Sipnosis en cuadros y grficos. 4. Diseo de mapas, planos, croquis y otros. 5. Arbol de problemas.

Asimisri:~. cri el rcgistro tic los hcctios socialcs cle inlcrs, cs rccori-icnd:iblc, corno ya sc ha scrilacio. ulili7ar mc:odolog~is conip;ir:itivns o de contrastc, con base en las cuatro siliiacionc~ itlentif'icadas al ubicar la cvaluacicjn cn cl coritcxto de la intcrvcncin planiliclida: Situacin inicial Situacin tu tura Situaci61.i deseada Situacin lograda o por lograr

En lo anterior, es de utilidad cl uso de los rnodclos expcrimentales, cuasi-cxpcrinicntalcs y no cxpcrimcntliles, cuyo con-

tenido se expone ms adelante.

3.2

AS:.\I,ISIS CKII'ILO :lI: 1,OS HECHOS OBSEHV:\I)OS.

3.2.1 Procesamiento de las informaciones.

Para el anrlisis de los Iicchos sociales observados, es ncccsario, por un lado, reconstruir su ocun-cncia por ri-icdio dc la utilizacin dc los cnliiqucs bsicos dc cstndsticri aplicridii o de cnloqucs ccononiCtricos. que pcmiiten cuantificar los Iicchos socirilcs, conio base para cl iinrlisis dcl impacto social. Por cl otro. interpretar los hcchos observados. es dccir. descntraar su sigiiicdo para los propsitos de la evaluacin del impacto social. En el campo dc la estadstica aplicada. existen diversas tcnicas de utilidatl cspeclica que pueden aplicarse cn la evaluacin clel inipacto socid, tanto provenientes de la estadstica descriptiva como de la estadstica inferenciai.

[.tl

L"TZI.I%hCIO.S 1)E 1,A ESTADISTILil. I':lRti 5IEIlICIOS l)I<I, I M P r l C r ~ O SOCIAL

1.1 P:esentacrfi de datos nuniricos en forn-ia:

21)

Tabular b) Critica

1.2 blcdiclas descr!ptivas a) DC tendencia central o locali~acin:mcdia, nicdiana y ~iioda, que pcrniiten localizar cl centro de los datos para consider:irlc como el valor riis rcpcscntlirivo dcl cu;ijunto dc los zisriios. b) Dc dispersin o variabilidad: Recorrido o rango. desviacin estnciar vari:tnz;i y coeiicienle tic variacin. que complcnienlan a las mcdidas tlc tcndcncia ccntral y pcrniilen tcncr una imagen mrs clara de la cscncia de los datos. .

3.1 Anllisis dc inforn~aciones para obtener conclusiones acerca de un3 poblacin. a partir dc una muestra.

2.2 Anlisis dc corrclacin y re,vresion.

La seleccin de las tcnicas estadsticas est ntimamente vinculada con la naturaleza de la evaluacin (ya sea sta exploratoria o analtica), con el tamao de la poblacin informante y los rccursus humanos, tinancieros. nialeriales y de

tienipo disponiblcs parii realizar el ejercicio evaluat ivo. Estos factorcs ayudarAn a detcrnlinar s es neccsririo recurrir a lri seleccidn de una muestra y al uso de tcnicas estadsticas dc mcclicin ms sofisticadas, tales como el anlisis de correlacin y regresin. Por otro lado, conviene sealar que, tanto en cl caso que se trabaje con el total de la poblacin o con una muestra, es posiblc utilizar las medidas de estadstica descriptiva. Esta ltima decisin depender, eri lo fundanlental, de los elementos mencionados anteriormente (naturaleza de la evaluacin, tamao de la poblacin infomiante. etc.) Para el caso en que se mrinejcn cantidades relativanicntc grrindes de inforniaciones. es recomendable utili~arpaquetes estadsiicos, quc tienen incorporados cl uso de la microcomputadora. tales como el SPSS (para calcular estadsticas). el REDATAM (para rccuperar in)rn~acioncs sobre poblaciones pcclueas en Censos o Encuestas) y otros. Es til recdidar que. la aplicaci6n de tdcnicris estadsiic~s para la medicin, no puedc sustituir e l anlisis de interpretacin dc los fenmenos medidos, a la luz de un detemiinado enfoquc terico. Con respecto a la utilizacin de enfoques econon~tricos. stos pueden constituir un importante auxiliar para la mcdicidn del impacto social. La economelra. en csenciri. signi i'ica med ici6n. y pcrniitc realizar estiniacioncs practicas de las relaciones cconnlicas, utilizando la tcora econmica y haciendo un uso retinado de las tcnicas estadsticas para explicar los hechos. Aunque, en principio. desde sus orgenes la econoniclra ha estado ms orientada hacia la econon~a, cl enfoque economtrico puede ser aplicado en otras disciplinas. en especial a oiras ciencias socialcs como la Sociologa y la Historia, para mcdir relaciones especficas en campos talcs conlo salud, cducacion, vivienda, niedio ambiente, entre otros. Sin embargo, es conveniente destacar que para que un estudio economtrico muestre su utilidad en la evaluacin del impacto social, siempre debe estar basado en una teora. Existen

diferentes tipos de modelos: fsicos, tericos y matcniSticos. El niodelo econumtrico, que es un modelo matenitico. resumc la tcora relevante como marco explicativo de los hechos considerados y permite hacer mediciones prcticas y pruebas. de gran significado para evaluar el impacto social, particularnlente en el nivel de polticas. Intriligator (1990: 16) resume en un esquema conlprensivo la esencia de los niodelos economtricos. El cual puede ser aplicado a la construccin de un modelo para evaluar el impacto social.

id:\ CONSTRUCCION DE GX MODELO ECONOiVIE'I'RICO PARA I,A KVALLACIOS DEL 131PACTO SOCIAI,

Teora Hechos Tdcnicas Modelo Datos estadsticas Modelo Datos Tcnicas economtrico selectos economtricas Estiniacin del n~odeloeconomtrico con los datos selectos utilizando tcnicas economC.tricas Anlisis Evaiuacin estructural Prediccin de polticas

LA CONSTRUCCINDE UN MODELO ECONOMTRICO PARA LA EVALUACION DE EFECTOS E IMPACTOS DE POLITICA.

1

Hechos

-1
estadsticas

- I 1
Datos

r 1
I

Modelo economtrico

selectos

Tcnicas economtricas

Estimacin del modelo economtrico con los datos selectos utilizando tcnicas economrricas Anlisis estructural

'II

Prediccin

de polticas

Uriii p:irlc csciiciri! dc ciialquier estudio econoni2t:ico es conslruir y cliitx~rarun niodelo que reprcsentc adccuadariicntc los Iennienos, cuyo con-iportiiniicnlo inlercsa evaluar. El otro clerncnto bisico cs la consideracin de cules son los hechos cluc scrn cvaluridos. lo cluc a su vez- conduce al estableciriiicnto de cuAlcs son los datos que reportan o dan cuenta de los hechos observables. En gcneral, los datos seleccioncfos deben ser sornelidos a un proceso de "rcconiiguracin" (no dc manipulacin). tales c o m o ajustcs estacionales u cclicos. cxtrapolacicn. intcrpo1:icin. ctc., para adecurirlos al uso requeiido por el csludio econonitrico. El resultado de tal labor cs, conio sc indica en cl _rJico linierior, un conjunto de dalos sclectos cluc alinicnlrin la construccin dci modelo. La csliriiacin clcl nlodclo ccorior~~trico con los datos sclcctos. sc tiacc utilizando tkcnicas ccononitricas, Ins cuales coris tituyer! cxtcnsioncs de las ticnicas convenciondcs dc la Estridstica, cspcci:ilnicnte dc la Estridslic inferencia1 quc, con-io se seal6 anleriornicntc, p31-l~' del USO dc infoniiacin niues~rtil p:ira inScrir sobrc I;is cnrnctcrslicas dc una poblctcin dcternlinada. Los c!:itos provici-ien dc diversas Iucntcs y aunque por rlcl'inicicn son cuantilati\~os.representan hechos tanto cuantitalivos conio cualilitivos. expresados en forniii de nriicros absoluLOS. nmeros rc1;llivos. lasas. ctc. El niodclo ccononiCtrico as concebido tienc, 1'undarncnl:ilnienre. [res propsilos: c l iinhlisis estructural, la prcdiccin y la cvaiuacin dc polticas.' Aunquc los tres propsilos pueden vincularse con la evaluacicn del impacto social, el nis cercano es el ltinio. cl clc cva1u:icin de polljcas. En la medida cluc cl criloquc ccononiCtrico pcnnitc csludiar opcioncs de intervencin de uso alterno, al presentar explcitaniente una funcin ob-jetivo por riiaxiniizar niediante la clcccin dc polticas alternas, considerando al modelo estimado conio una restriccin del proceso d e optimiz;icin. Otro aspecto irilportante del enloque cconorntrico. espccialnlcnte para los procesos de evaluacin de inipacto direclanlente vinculados con la toma de decisiones. es

la posibilidad de usar simulaciones para la elcccin del curso de polticas 0ptativas.j

3.2 INTERPRETACION DE LOS HECHOS SOLIA1,ES OBSERVADOS.

En la evaluacin del impacto social, el anlisis de los hechos observados es de vital importancia. En la realizacin del mismo es necesario retornar las tipologas de impactos sociales construidas para efectos de la evaluaci6n realizada, de la manera en que fueron definidas al construir el objeta de evaluacin. De tal fornla. quc se cuente con un parrnetro referencia1 (que puede expresarse en la conlorniacin de un sistema de hiptesis) para la interpretaci6n de las infornlaciones. El anlisis de los datos implica descomponcr la totalidad concreta en sus partes constitutivas p a n profundizar en el conocimiento de cada una de ellas. En este sentido, la construccin y uso de modelos de anlisis,, como los que se describen seguidamente. es de vital importancia. Por modelo se entiende una representacin siniplificada de la realidad. Existen diferentes tipos de niodelos que han sido aplicados en diversos campos de la ciencia. Los nis utilizados son los modelos verbales/lgicos y los modelos fsicos. Los primeros se utilizan en cualquier canipo de la investigacion cientlica y emplean <amo su nombre lo indica- analogas verbales, tales como la metfora y el smil. y a menudo se les denomina paradiynla. Los modelos fsicos se obtienen mediante un ajuste a escala apropiada, hacia arriba o hacia abajo, en ocasiones pueden ser construcciones tangibles, tipo maquetas. Los modelos geomtricos, conio su nombre lo indica, representan geomtricanlcnte las relaciones entre las variables consideradas, que se expresan mediante diagramas. Los modelos algebraicos que, para efectos del enfoque economtrico, son los ms importantes. representan el sistema de relaciones entre

variables n-icdisinte el estableciriiicnto de ecuacioncs. As. un modelo econon~itricoes un tipo de modelo algebraico, que incluye una o mhs variablcs aleatorias, por lo que es un rnodclo estocstico y no dctcrniinstico. el cual puede ser lineal en sus parnietros o no lineal. Para efectos de los modclos de anfilisis, es posible identificar los siguientes:

CUADRO SWIlI - 11

-_

TII'OS DII: MODELOS PARA EVALUAR EL lJ1PACTO SOCIAL

1.

Modelo cxnerimen~al clsico: a. Con grupo experiniental y grupo de control.

Modelos cuasi-experi mentales a. Sobre la base de series teniporlcs o scrics de tienipo. b. Con grupos dc control no equivalentcs.
Modelos n o exrxrinientales a. Con mediciones mtcs y despus de la intervencin. b. Con medicin slo despues dc la intervenci6n y utilizando un grupo de coniparacin. c. Cnn medicin slo despus de la intervencin.

2.

3.

A continuacin, se presenta una descripcin de la tipologa

de modelos presentados.

>IOI.lELOS I'tlHrI E V I ~ I ~ C T A 61, R 1:VII'ACI'O SOCTtjL Segin caractersticas y limitaciories

1. Modelo e ~ p e i - i -

mental clisico

Parte dc la coiiforinaciii de dos poblacioiics que son e l e ~ i d x altatoriaiiiciite: Uii sriipo expcriinentel que recibe cstiiiulo (para este c2so. se considera coiiio la poblaci6ii d c ~ t i iiiitni-ia de In pltica. proei'~iiii;i o proyectoj. L'ii ~ r u m coiitrol o tesque reiie caractcrsticris siiiiilares <iI iiiiterior. j x r o que iio es sujeto de iiiterveiici6ii (para este caso, iio se coiisidera Ceiitro dc la pobliiciii dcstiiiiirriria dc la poltica, prosriiiiia O proyecto).

La principiil liiiiilacin para aplicar este inodelo radica eii la iiripcsibilidad de eiicontrai dos pobliiciones huiiianas idiiticits, o al nieiios, coi1 ciira~tersticasmuy parecidas.

2. $ I d e l o s cuasiexperimentales

La diferciicia coi1 respecto al inoctcio e ~ p ~ r i l l i e i i tal clisico es que los gmpos (experiinental y de coiitrol) iio sc seleccionaii aleatoriaineiite.

Los iiiodclos cuasi espcriiiieirtalcs 110 periiiiieii aislar los efectos atribuible~ a uiia accin iiitencioriada de iiquellos que no lo soii. Por lo tanto, las conclusioi~es a las que se puede arribar sobre el impacto de las acciories iio pueden ser categri-

cas.

COKTIh'U.4C:TOS DEI, CUADRO S V r l T I

12

a. Serics iciiiporales

Se coiistruyeii sobrc la . Ticiieii la Ii!iiiiaci,ii y;i brise de i~iedicioiics pc- aiiotada para el coiijuiito ridicas efectuadas "aiidc los iiiodclos cuasi-estes", "duraritc" y "desperirueiiiales. ya cltic auiipus" de la iiiterveiiciii. que se registre11variacioiies eii los periodos iiiteriiiedios. &sios p d r ~ i i i ser efecto de variables exgeniis y. por tniito, iio iniputables a la intcrveiiciii evaluadn. El iiiodelo cii cucstin, iio peri~iite aislar rales efecios.
El inodclo se e1;ibor:i coiisidcraiido a grupos. cuyos iriieiribros tieiieii caractersticas scinejaiites al srupo experii~iciiial y se efecta11 nicdicioncs ;iii!es y despu6s de iiitrodiicido el cstirnulo.

b. Grupos de coiiti-ol iio ccluiviileiites o de coiriparaciii.

La 1111sirr:i que cl ;iiitt'rior.

3. %lodelosno
experimentaies

La priiicipal difereiicia de La pi-iiicipal liiriiiiici6ii cii 13 r~plicii~ibii dc C S ~ O S estos inodclos en reliiciii coi1 los ~iiiici-iorcs iiiodelos es la iniputaci6ii es cluc iio se coliiparrlii ciusll. los s r u p s experiiiieirtales coii otros grupos considerados coiiio coiitrol.
Coiiio su iioiiibre lo iiidica este inodelo coiisiste eii aplicar iiiedicioiies CII las poblacioiies objetivo aiites y despus de la inteneiiciii.

a. Modelos "aiites" -despus-

El iiiodelo iio pcrinite eliniiiiar los factores cxOSeiios para dtiteririiii,ir coii iiiayor precisiii eii qu6 iiicdida los cainbios obsenados so11 atribuidos a la iiiterveiicin.

CONTINCIAClON DEI, CUADRO NVVIII

12

b. Modelo "slo despuCs" coi1 grupo de coiiiparaciii

Esie niodelo coiitrasta los

resultados obteiiidos coi1 las i-iiedicioiiesrealizadas cii la poblliciii-objetivo coi1 las de uii grupo de coniparaci61i que se coiisidera coi-iio testigo. Coino su iioinbre lo iiidica este iiiodelo se liiriita a rgalizar iiiedicioties de resultados eii las pobliicioiies-objetivos y variiiblcs de iiiters "despiis" de 11i ii~terveiiciii

Sus resultados slo puede11 iiidicar aproxiiiiaciones, que si bieii puedeii ser de utilidad, no puedcii ser coiiclusioiies categricas.

c. Modelo "sOlo des pues"

Adeiii6s de las limitacioiies ya aiiotadas, este iiiodelo slo se puede aplicar en evaluacioiies es-post y sus coiiclusioiies iio penniteii cstablecer iinputacioiies causales de las varlacioiies observadas.

El niodelo ertpcrinientril clsico parte del supuesto de que sc puede ejercer un control adecuado para establecer coniparacioncs fiablcs entre las dos situaciones contrastadas. Por eso, el clcmcnto aleatorio para la configuracin de las poblaciones, se convierte en fundamental para este niodelo que proviene de las Ciencias Exactas y Naturales y se ha aplicado bastante en Psicologa y Educacin. La Isica de este nlodelo es que la magnitud de los canibios producidos en el grupo experimental (X - X'). en una situacin 1 con respecto a una situacin 2, en relacin con el grupo expcrinicntal (Y -Y') son la medida del impacto del proyecto (2).de donde: (Y' - Y) > O donde Z > O es lo esperado si el impacto 'es positivo.

z = (X' - X) -

Cohcn y Frrtnco ( 1988: 138- 139) resumen la lgica tiel niotlclo cxperin~cntaiclSsico (le la fornla sizuicnte.

ANTES

DESPUES

EXPERIMENTAL

X'

DE CONTROL

Y'

GRAFICO N V L I I - 5

RELACIOKES LOGICAS EN EL MODELO EXI'ERIMEN'I'AL-CLASlCO

TIEMPO ANTES
EXPERIMENTAL GRUPOS

DESPCTES X'

DE CONTROL

Y'

ID.

DI

D, = (IX' - XI)

represcnta los cambios que se han prociucido en el grupo experimental. como consecuencia de los efectos del proyecto (variables endgenas) y de niodificacionss contextuales (variables exgenas) no atribuible~ al mismo. represcnta los cambios producidos en el grupo cic control, conio resultado de la incidencia de variables exgenas al proyecto. son las diferencias iniciales entre el grupo expcrinicntal y el cfc control, que deben ser nllnirniz3das C, incluso. i2e:ilmente deberan no exisiir. En esta situacin ideal, los p p o s diliercii, solamente. porque en una de las poblcioncs se iniplcmenta el proyecto, mientras que en la otra, no. es la distancia Tina1 entre el grupo expenriicntal y el dc control. quc se deriva de los cambios cridccnos (proyccto) en X' y excigenos (contexto) en Y'.

D, = (iY'

Yi)

DI = (IX

Yl)

D , = (IX' - Y '1)

En los modelos cuasi experimentales, para cl caso de la serie de tiempo. la lgica del niodelo se expresa de la sizuiente forma: a partir de la organizacin de las infom~aciones estadsticas. y de acuerdo con la f o m ~ aque adopten las curvas. es posible identificar la presencia de impactos y la magnitud de stos. Aunque, no necesariamente. es posible detem~inar,a

Lra~~Cs dc tales ri-iediciones, los Pactores que han generado el impacto. El grAfico sipiente ilustra un anlisis dc series de tiempo o tendencia histrica.

GRAFICO N V I I I - 6
ANALISIS DE SERIES DE TIE;LIPO

ANALISIS DE SERIES DE TIEMPO

Magnitud

del cambio

Tieni po

TI

T2

T3

T4

T5

T6

Intervencin planificada Para el caso de la curva jl), la tendencia s i y e un curso lineal, por lo que resulta difcil explicar su comportariliento por la presencia de la intervencin planificada; es posible que, con o sin ella, el curso de accin observado hubiera sido el mismo. En la curva (2) se observa un cambio concomitante a la intervencin planificada; sin ernbarxo. el comportamiento observado antes y despus es errtico, por lo que no puede al impacto de la intervencin. atribuirse el can-~bio En la curva (3) puede observarse una tendencia al aumento. al rnonlento de iniciarse la intervencin planificada y de disrni-

nucin al terminar sta; en este caso, es posible asociar el cambio observado al impacto de la intewenci6n; sin ernbarso, se dice asociar no -necesariamente- atribuir, ya que este modelo no permite aislar los resultados atribuibles exclusivrimente a la intervencin. Los datos de series de tiempo miden una variable particular durante perodos de tiempo sucesivos o en fechas diferentes. En cambio los datos de seccin cruzada miden una variable particular en un perodo de tiempo dado, para diferentes entidades. Por su parte, los datos en panel o datos longitudinales son un tipo especial de datos en que se combinan seccin cruzada con series de tiempo y tratan de mostrar a travs del tiempo la misma seccin cmzada. Este tipo de datos se denominan niicrodatos porque. generalmente, pertenecen a familias, empresas o agentes econmicos individuales, por lo que su utilidad en la evaluacin del impacto social puede verse en el nivel de estudiz:; de casos o no as en poblaciones grandes o como muestras inferenciales de poblacin. Aunque evitan problenias en la desagregacin de los datos. el costo y tiempo requerido para su recoleccin puede ser grande. En los estudios de series de tiempo, es posible tipificar varios modelos de anlisis que se presentan a continuacin.

MODELOS DE ASALISIS BASADOS EN SERIES DE 'TIEMPO

1 . Seleccin del componenie (variable X) cuyo comportamiento en funcin del tiempo se desea analizar.

Tendencia Iiis~iirico

Siiunriri iiiicial

Situacin lograda

2. Dctemiinac;6n (por nitodos grficg:, o dc anlisis cstdstico) del coniponcnte tendencial:

'IICII JCIICI;~ histrica

11 Siiu;iciiin iriicinl

r2 Si~unciO~li 10g r:icl;i

3. Definicin de componentes cclicos:

Tendencia histrica

Situacin inicial

Siruacin lograda

4. Consideracin de cori~ponentesestacionales:

Teiideiicia Iiistncn

Siiuacirii iniciiil

Situacin lograda

5. Detem~inacinde componentes exrraordinarios:

Tirni DO
f

Tende~icia h~strica

t1 Situ;ici6ii inicial

t2 Siiuacin logrida

6. Especificacin de coniponentes dispersos:

Tienipo Tendencia histrica

Situacin inicial

Situacin lognda

Proyeccin y suma de conipnentcs:

Tendencia hstdrica

Situacibn inicial

S i tuacibn
1ograda

UENTE: Tomado y adaptado de Miklos y Tello (199 1: 22-

n los niodclos no expcrinientales, la lligica de la niedicin

xpresa de la fomia siguiente:

ANTES

r m EXPERIMENTAL

DESPUES

GRAFICO NqVIII - 9 MODELO SOLO DESPUES C O N GRUPO DE COMPARACION

TIEMPO
ANTES GRUPO EXPERIiMENTAL DESPUES

GRUPO DE COMPARACION

GRAFICO N" VD1

- 10

MODELO SOI,O DESPUES

ANTES GRUPO EXPERIMENTAL

DESPUES

Cualquiera de los modelos anteriom~entepresentados (experimental clsico, cuasi experimental y no experimental) puede dar indicaciones tiles en la medicin del impacto social, pero su utilizacin debe estar precedida de una clara conciencia de las limitaciones de los mismos, para medir con precisin la naturaleza de las situaciones humanas y no abusar de su uso.

Mts un. el esfuerzo dc niedicin dcbc respaldar, no suplantar al c s l u c r ~ ointerpretlitivo. Dc mariera tal. que cl anlisis de las inlorn~acionesiriipllca la configuracin dc un sistenia dc hiptesis cxplicritivo del impacto social, tal como serA amanalizado en los captulos correspondientes a evaluaci6n ex-ante, cvaluacin concurrente y ex-post. La seleccin de los instrumentos para recolectar inl~rnlaciones, el proceso seguido para la sistematizacin de stas, as conio el alcance y profundidad buscado en el anlisis depende dc la naturaleza de la evaluacin. En esta labor es tundarncntal la capacidad para discernir. cntrc las inforniaciones que pueden considerarse conio relevantes y las que asumen carcter accesorio.

Los rcsultados de esta labor deben pernlitir elaborar conclusioncs y reconicndacioncs vlidas y oportunas para ser prcscntatias y discutidas en los niveles de inforniacin y decisin correspondientes y constituyen la base para elaborar los informes de evaluacin. tal conio se desarrolla en el Captulo XII. Aunque este punto se trata con detalle cn cl captulo i d que se hizo referencia, es convenientc mencionar que la presentaciri de los resultados de un proceso evaluativo debe hacerse con la niayor claridad posible, utilizando grficos y cuadros que pemlitan captar con ms Iacilidad el niensaje que se desea trasniitir.

4. FASE DE DECISIONES: Identificar, proponer e incorprar las medidas preventivas y correctivas.

i

Sobre la base de los resultados de la fase de anlisis. se

idcntilican y proponen las niedidas prcvcntivas y corrcctivas. cuya atlopciii se considere convsriicnte, oportuna, viable para los propsitos tiel inipacto social buscado. En el caso de evaluacioncs ex-ante y concurrente, las n-iedidas preventivas y correctivas pucden incorporarse en el curso dc los procesos. Cuando se trata dc evaluaciones ex-post, las medidas identificadas tienen carcter de reconiendaciones para procesos que se inicien con caractersticas similares. As cntonccs, la fase de decisiones implica el cumplimiento de dos tipos dc metris, sezn se trate de evaluaciones cx-ante o dc evaluacioncs concurrentes o ex-post:

a) En el primer caso, de la evaluacin ex-,ante, la meta consiste en identificar las ~iledidas preventivas, oportunas y adecuadas. La pregunta vital es: ;Qu rerluisitos deben curuplir las acciones incluidas en la trayectoiia, para lograr un acercamiento progresivo mtre las situaciones por lograr y la situacin deseada?
b) La segunda meta, cn el caso de las evaluaciones concurrcntcs y cx-post. es identificar y proponer las medidas preventivas y correctivas necesarias. Para la evaluacin concurrente son medidas que deben ser introducidas en los procesos de ejecucin y evaluadas nuevamente para valorar su pertinencia y oportunidad. En la evaluacin ex-post las medidas correctivas propuestas se acumulan en el expediente de la recuperacin de experiencias para procesos de intcnrencin planificada que se inicien posteriom-ienk.

LOGICA DE LA FASE DE DECISIONES EN EL PROCESO DE EVALUACION DE DIPACTO SOClAL

Identificar las nledidas preventivas y correctivas.

REALIZAR LA EVALUACION

Incorporar las nledidas

preventivas y correc tivas.
Evaluar los resultados de la aplicacin dc las nledidas preventivas y correctivas incorporadas.

decisiones, con base en los resultados de la aplicacin de las nledidas preventivas y

En muchas ocasiones, la decisin de adoptar las medidas correctivas no est en n-ianos de quienes realizan la evaluacin. Esto significa que las conclusiones y recomendaciones deben canalizarse hacia los niveles de ms alta decisin poltica. En ello es fundamental considerar la oportunidad y viabilidad de las recomendaciones propuestas, as ,.como-. la validez y adecuacin de las estrategias de comunic~+Gjn e informacin . . - 2 , utilizadas. ,Y.
*

En los casos en quc existen canales institucionalizadus de coniunicacin. stos deben ser respetados. Dc lo contrario. debe procurarse la creacin de los niisrnos, pero siempre dentro de lus mrgenes dc institucionalidad existente.

decir. ii c,iiio be rcal!zii 1;) cvn1unc:ii y iin : i 1'1 foriiiii eii cbino se prescntnii los ir.htillado\ de I:i i:iisin:i. Esio Itiinv se iihorda cii cl Captulo XII. 7 T:?ics coino iiicldiaiia. inod:~y o!r:t,. :. L.) ol'iiliii tizpcrtn es c l eiifoLl:!c' tr;idicioii;iliiieiire utiliziidu eil 13 c~\:iliiriciciiU : I pr:!iiic;!s Chi\1r31i \~ste!:i;is co~iipu~:idoriz:ldo~ que tr:it:i!i dc ii!oclcrii:~;!r ~i [fJf;llllleillO i i i ~ 1 0 d 0 1 6 ~ i de ~ :~ i st3 ticiiic'i. -4 Sobrc l,i ei:iluaci~jii de puliic:rb ciriplcniid i i i i i~iodcloccoiioinGti-ico. ~ t ' ,i L I ~ I I C oir(>s.TIi<Il ( 1 064). HICLI:;::;I\ 1965). Kieiii 1'1971). 5 . Eii c : cLi50iic 1,i c~~iluiiciii dci iiii~~;icto hocini, ,I iiiciiudo c! cn!cicliic de ,. ,iii~ii5!\ hc vucivc 1,111 coiriplcjo -1" e" ~icce~;~r recurrir iu ,i 1'1 siiriu1,iciii i~!i!i;,.li:(i~) i1.i:~ii!.15 ~ ~ ~ i i i ~ ~ ! ~ , i c ! ~ ) i / ' ! d < ~ \
7

'

BOTERF. G.: Ltr i i i \ ~ ~ . s r i : , l i ~ ( ~ i d ~ i - ~ ~ ~ i ~ccinio ~ t i ~ ~ ipi.or'c'so ~ ~ c ~ ~ i ~ t rd:' pdiil.(~c-icil r . 1 i'/i(:~~. Proyccro Re~ioii~il PhXJD/L%'ESCO: "Red de sisteinas educritivos p:u~i cl ile.sai~-o~io de Ceiitroain6ricri y Paiirtin~i". 1979. DEhpIO, P.: frii.c~sti;<ctciii pm./ic~ipoil/r. Milo J i.coliiltr:/. Buei~us.Aires (Aigeiiiiii:~). Ediroi-ial Kapelusz. 1985. FR.4NCO. R. y COHEN. E.: Obrlt cit:idn. GOODE. W. k ' HATT. P.: Obra cir~ida. GUERRERO. V.M.: Es~uilsrii.cibsic-cr pcircr c.si~~diar~r~~s iii? rli,i~~/oni(; :* o/l.trs Cierii,io.\ .So:~i(iios, hI6xico. Foiirlo de Culiui':~ E~otiiiiii;;i. hl6xico. 1980. HICKbIAN. B. (cds.). Qrrcr~iijtoii\.c P/ar~r!ii:s ($'Ec.o~;onr~ iJo/irjr.T1ic Brookiiigs li~stitutior:.Wasliiii~toii. 196.5. HYk1,4N. H.: Disr~iio (iirtjlisis (/e los orrcirc.zlu.$ .$or.~al~*.s. Buciios Aircs (Argciiliii~i). Ainoii-ortu Ediiores, 197 1. INTRlLIGATOR. M.:iMorir'/os c~coiiomc;tr~iros, ~l:rtli[~l.z \. (r/)/i(.(l(.~oI I P S . MCxico. ~ o i i d o de Cultura Ecoii6rnica. 1990. KLEIN. L. R. "Aii Ecoiioinerric Aiialysis oi' ilic Reiievuc aiid Expeiidilurc Coiiti-ol Act of 1968 - 1969". Eii Smitli y Butxrison (cds.). Pirhlic Fillririce (nid Srtrhili:(rli~i Po/icy. Anis1crd;irn (HoI;iiidit), Noi-tli-Ho1l:iiici Publishiiig Co., 1973. MAGDE. G.: itlL:/odos tic iil~~esri~c!cihri socic11. Bueiios AUCS.(Ar~eiitiii:~). Editorial Paids, 1970. SELLTIZ. J. et al: M6rotlos rle iii\.esrigc~cirl eii lcis r.clac,iotirs socirri~s.~ a d r i d (Esp,ui:i), Editorial RIALP. 1985. THEIL. H.: Li~~eo,. Decisiot~ Rlrfes fol. ~ober.ri&trr cttirl Iiiclitsrt-T. Amsterdrim (Holarida). Raiid Mc Nally aiid Compaiiy Chicago: ;!-.Nortli-Hc!land Publishiri~ Co.. 194. '%GISS. C.: Obra citada.