59

METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS REVISTA POLITEIA, N 38, VOL. 30. INSTITUTO DE ESTUDIOS POLTICOS , UCV, 2007:59-85

Metodologa para la evaluacin de polticas pblicas de salud Methodology to evaluate public health policies
Pasqualina Curcio Curcio

Resumen
En este trabajo desarrollamos una metodologa para evaluar polticas o programas pblicos, que combina la evaluacin retrospectiva con la prospectiva y se centra en la definicin y estructuracin del problema pblico a solucionar. Proponemos tres componentes en la metodologa: 1) elaboracin del marco conceptual de la evaluacin, en el cual se define y estructura el problema pblico, 2) evaluacin conceptual, orientada a revisar la coherencia externa de la poltica (con respecto al marco conceptual) e interna (la relacin de los objetivos generales con las metas y actividades) y 3) evaluacin emprica, orientada a conocer la efectividad de la poltica mediante la medicin del cumplimiento de las metas de desempeo y de resultados. Palabras clave: Evaluacin; Polticas pblicas; Problemas pblicos

Abstract
This work presents a methodology to evaluate public programs, which combines retrospective and prospective evaluation. This methodology centers on defining and determining the structure of the public issue to be addressed. The proposal behind this process encompasses three components: 1) preparation of conceptual framework of evaluation, to define the public problem and determine its structure; 2) conceptual evaluation, aimed at reviewing the external coherence of policies (with regards to the conceptual frame) as well as the internal coherence (relation between the general purpose and the goals and activities); 3) empirical evaluation, to assess the efficiency of the policies by measuring performance and results. Key words Evaluation; Public programs; Public issues

Recibido: 26-02-2007 Aprobado: 13-03-2007

Politeia 38

Politeia 38

60
PASQUALINA CURCIO CURCIO

INTRODUCCIN La evaluacin es considerada parte esencial del proceso de anlisis de polticas pblicas. En primer lugar, provee informacin sobre el desempeo de la poltica y ofrece informacin acerca del cumplimiento de sus objetivos y metas. En segundo lugar, contribuye a la clarificacin y crtica de los valores en la seleccin de metas y objetivos en la medida en que, como resultado de la evaluacin, se observa que algunos objetivos y metas de acuerdo con determinadas acciones que pretenden influir sobre los factores asociados del problema no generan los resultados esperados. En tercer lugar, permite la aplicacin de otros mtodos del anlisis de polticas y se convierte en un insumo para la reestructuracin del problema y la recomendacin de polticas. La informacin sobre el inadecuado desempeo de la poltica induce a la redefinicin y reestructuracin del problema de poltica, o a la revisin de polticas alternativas para la solucin del problema (Dunn, 1994). Se trata de una rama en rpido crecimiento de la investigacin social y por este motivo se evidencian en la literatura conceptualizaciones diferentes de esta actividad (Browne y Wildavsky, 1983:285). Los autores sistematizan los diferentes tipos de evaluacin de polticas pblicas e identifican, en cuanto al momento de realizacin de la actividad, la evaluacin retrospectiva, prospectiva y continua. La primera de ellas se realiza luego de la implementacin; la prospectiva se realiza antes; y la continua durante el proceso. En cuanto a los tipos de evaluacin que tratan de responder la pregunta de qu se evala?, Browne y Wildavsky (1983) identifican la pseudoevaluacin, la cuasievaluacin, la evaluacin concentrada en metas, extensa, inferencial, exenta de metas, de metas mltiples, cierta, terica de decisiones y la metaevaluacin. Todos estos tipos de evaluacin se caracterizan por ser retrospectivos, es decir, intentan medir la efectividad de la poltica o del programa una vez implementado, ya sea en cuanto a resultados, comparando los objetivos y metas planteados con los obtenidos, o en cuanto a procesos y desempeo de la implementacin.1 Tomando en cuenta este marco terico-conceptual, expondremos nuestro planteamiento acerca de cmo entendemos y definimos la evaluacin de las polticas
1

No es objetivo de esta investigacin analizar las diferentes definiciones acerca de la evaluacin de polticas pblicas. Para profundizar en esta materia, el lector puede revisar Browne y Wildavsky (1983); Dunn (1994); Weiss (1998).

61
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

y programas pblicos y su interdependencia con el resto de las fases de un proceso de anlisis de polticas pblicas para, posteriormente, sistematizar una metodologa y un instrumento general para la evaluacin de polticas pblicas de salud. Todas las definiciones y tipos de evaluacin presentados en la parte anterior se caracterizan por ser retrospectivos, cuyo centro es justamente la poltica o el programa pblico, por lo que siempre la evaluacin se inicia despus de la implementacin. El objetivo de estos tipos de evaluacin es conocer si se cumplieron las metas establecidas y en qu proporcin, ya sea en el desempeo o en los resultados. Por ejemplo, en cualquier programa de salud, con este tipo de evaluacin se trata de contrastar si se adquiri la cantidad de medicamentos prevista en las metas, si se alcanz la cobertura deseada y, en el menor de los casos, si se obtuvo el impacto esperado en cuanto a condiciones de salud. Consideramos, y es el centro de nuestra investigacin, que estos tipos de evaluacin pueden inducirnos a conclusiones limitadas y en algunos casos erradas, ya que parten de dos grandes supuestos que no siempre se cumplen: el primero es que, desde el punto de vista conceptual, la poltica o el programa estn coherentemente diseados en funcin de dar la solucin correcta a un problema pblico. El objetivo de la evaluacin es conocer el cumplimiento de las metas, sin importar si sas son las metas que realmente garantizaran la solucin del problema pblico. No obstante, en estos casos pudiese ocurrir que las metas estn orientadas slo a influir sobre los sntomas en lugar de las causas del problema pblico, lo que reduce, as, el mbito de accin de la poltica o programa. De la misma manera, pudiese ocurrir que la poltica o programa omita acciones orientadas a afectar causas o determinantes con un peso relativamente alto sobre el comportamiento del problema pblico. El segundo supuesto es que el problema al cual se intenta modificar y dar solucin mediante una poltica o programa es el correcto. Sin embargo, no siempre nos encontramos con programas y polticas que en su proceso de diseo se centraron en una buena estructuracin del problema pblico, estructuracin que, entre otras cosas, considere los mltiples factores que los afectan. Se trata, en este caso, de la evaluacin de una poltica o programa que desde el punto de vista conceptual pudiese estar bien diseado, pero que no da respuesta al problema correcto y, por consiguiente, no tiene el impacto esperado.

Politeia 38

Politeia 38

62
PASQUALINA CURCIO CURCIO

Cuando un problema pblico no ha sido bien definido y por consiguiente no est bien estructurado, pudisemos caer en el error de disear polticas y programas, que aunque conceptualmente sean correctos, no resuelvan el problema en cuestin. A este error se le conoce como tipo III y son aquellos en los cuales se resuelve el problema incorrecto (Raiffa en Dunn, 1994:151). De acuerdo con lo planteado por Aguilar (1993), la historia de las decisiones pblicas es una coleccin del error de tercer tipo (p. 66). Existen cuatro posibles combinaciones entre la manera, buena o mala de estructurar el problema pblico y la presencia de una poltica o programa correcto o incorrecto: la primera combinacin es aquella en la que el problema est bien estructurado pero la poltica no es conceptualmente correcta; es el caso del primer supuesto. La segunda es aquella en la que el problema est bien estructurado y la poltica es correcta; en este caso deberamos evaluar mediante mtodos empricos la efectividad de la poltica, tanto en su desempeo y proceso como en sus resultados e impacto. La tercera combinacin es aquella en la que el problema est mal estructurado y la poltica es correcta; es el error tipificado como III. Por ltimo, la cuarta combinacin posible es aquella en la que el problema est mal estructurado y, adems, la poltica est conceptualmente incorrecta; es el peor de los escenarios. Al no cumplirse los supuestos mencionados (que la poltica o el programa est bien diseado desde el punto de vista conceptual y que de estarlo demos solucin al problema correcto), las evaluaciones empricas orientadas a conocer la efectividad de las polticas y programas y medir sus metas tanto de procesos como de resultados, pudiesen arrojar conclusiones no slo limitadas, sino tambin equivocadas. Nuestro planteamiento se basa en el hecho de que antes de iniciar la evaluacin emprica es necesario revisar la coherencia conceptual de la poltica o programa, as como descartar un posible error tipo III. De esta manera, se complementan la evaluacin emprica orientada a conocer y medir la efectividad de la poltica o programa, con la evaluacin conceptual orientada a revisar si estamos ante la presencia de una poltica o programa correctamente diseado para dar solucin a un problema pblico correctamente estructurado. En la literatura que hemos consultado se reconoce la existencia del error tipo III en muchas de las polticas pblicas, as como la necesidad de partir, en el

63
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

proceso de anlisis, de una buena definicin y estructuracin del problema pblico. El planteamiento que hace Dunn (1994) se basa en la necesidad de centrar el anlisis y formulacin de las polticas pblicas en la estructuracin del problema. Sin embargo, no se ha considerado la necesidad de que tambin para la fase de evaluacin la estructuracin del problema pblico sea el centro y punto de inicio.2 Ovretveit (1998) plantea diferentes modos de evaluacin en salud, ya sea en cuanto a tratamientos, servicios, intervenciones organizacionales e incluso polticas, pero todas ellas se centran en los insumos, procesos y resultados y no consideran ni parten del problema pblico. ste es uno de los principales planteamientos y aportes de esta investigacin: centrar la evaluacin de polticas pblicas en la definicin y estructuracin del problema pblico como manera de descartar la presencia de un error tipo III en el diseo de la poltica y como marco conceptual de la evaluacin. Por todo lo anteriormente presentado, entendemos la evaluacin de polticas pblicas no slo emprica, orientada a conocer la efectividad y el cumplimiento de metas a travs del desempeo en el proceso de implementacin y los resultados, sino tambin conceptual, orientada a revisar su diseo. No se trata de una evaluacin exclusivamente retrospectiva, sino complementada con una de carcter prospectivo asociada al proceso de diseo y formulacin. El centro e inicio de la evaluacin as planteada es la definicin y estructuracin del problema pblico y no la poltica o el programa pblico. La metodologa de evaluacin que planteamos tiene tres grandes componentes: 1. Elaboracin del marco conceptual de la evaluacin 2. Evaluacin conceptual de la poltica o programa 3. Evaluacin emprica
2

Esto nos conduce al hecho de que no podemos entender el proceso de anlisis de polticas pblicas compuesto por partes aisladas: la evaluacin es parte del ciclo completo del anlisis de polticas pblicas, al igual que el resto de las fases, a saber, estructuracin del problema, pronstico, recomendacin, monitoreo y evaluacin. Por este motivo, tambin la evaluacin debe centrarse e iniciarse en la estructuracin del problema pblico. De alguna manera este planteamiento ha estado implcito en autores como Dunn (1994), quien reconoce el proceso como un todo cuyas partes son interdependientes, sin embargo, no existen metodologas que de manera explcita incorporen la estructuracin del problema pblico como centro y punto de partida de la evaluacin de las polticas pblicas.

Politeia 38

Politeia 38

64
PASQUALINA CURCIO CURCIO

1.

ELABORACIN DEL MARCO CONCEPTUAL DE LA EVALUACIN

Se fundamenta en la definicin y estructuracin del problema pblico, lo cual no es una tarea fcil debido a que stos se caracterizan por ser complejos, interdependientes, subjetivos, conflictivos; no estn dados, sino que son el producto de construcciones sociales y polticas. Los problemas pblicos no son condiciones objetivas en las cuales los hechos son casos dados, por el contrario, el mismo hecho puede ser interpretado de manera diferente por los diversos actores debido a las mltiples concepciones acerca de la naturaleza humana, gobierno y oportunidades sociales (Dunn, 1994:137). Los problemas pblicos son aquellas necesidades insatisfechas o valores no alcanzados que afectan a un colectivo y que deben contar con una solucin y una intervencin factible desde el punto de vista legal, econmico, administrativo y poltico por parte del gobierno. La solucin debe formar parte de la definicin del problema. As lo plantea Wildasvsky, en Dunn (1994), al referirse que la creatividad en el anlisis de polticas pblicas consiste en encontrar problemas sobre los cuales debe y puede hacerse algo. Dunn (1994) identifica cuatro caractersticas de los problemas pblicos. En primer lugar, la interdependencia, mediante la cual los problemas pblicos de un rea afectan otras reas, planteando de esta manera una nocin de sistema de problemas, los cuales no pueden ser resueltos por aproximaciones analticas, es decir, descomponindolo en sus mltiples partes para resolver cada una de ellas de manera independiente. Los problemas pblicos, entendidos como sistemas, requieren una aproximacin holstica y deben ser tratados de manera inseparable. La segunda caracterstica es la subjetividad. Los problemas pblicos no son datos externos, sino construcciones sociales y polticas de la sociedad que dependen de los valores de los sujetos que lo definen y estructuran. La artificialidad es la tercera caracterstica que Dunn (1994) identifica en los problemas pblicos debido a que stos son posibles slo cuando las personas tienen juicios acerca de alterar alguna situacin problemtica. Por ltimo, la cuarta caracterstica es la dinmica de los problemas pblicos, en la medida en que existen tantas soluciones como definiciones. Otro elemento importante que se debe tener presente en el momento de la definicin del problema pblico es su condicin de valor especfico final o general final (MacRae, 1985). Se trata de aquellos problemas asociados con mejoras

65
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

en la calidad de vida del individuo y de la sociedad en su conjunto. Constituyen la gua y el norte de las polticas pblicas; entre ellos podemos mencionar la salud, la libertad, la equidad. Sobre este tipo de problemas existen otros que lo afectan y determinan y son los que se denominan problemas intermedios. Siempre que nos referimos a los problemas pblicos como valor especfico final hacemos referencia a aquellos que afectan directamente a la sociedad y no a las instituciones, es decir, los problemas pblicos en el sector salud, como las enfermedades, las muertes, las necesidades de calidad de vida, que afectan a un colectivo o al individuo; stos son problemas tipo fin. Los problemas intermedios en el sector salud, entre otros, pudiesen ser la escasez de recursos financieros o humanos, la baja cobertura de la atencin ambulatoria u hospitalaria, la escasez de medicamentos. Esta diferencia es importante tenerla presente en el momento de la identificacin del problema pblico debido a que nuestro objetivo ltimo o final es disminuir, prevenir o erradicar las enfermedades, segn sea el problema, o disminuir y evitar las muertes; en definitiva, mejorar la calidad de vida de la poblacin mediante mayores y mejores niveles de salud. Enfocar de esta manera los objetivos es diferente que plantearlos como mejorar la infraestructura hospitalaria o ambulatoria, aumentar el nmero de camas, incrementar el nmero de enfermeras, realizar compras mayores de insumos y medicamentos. Todos stos son objetivos intermedios, y son importantes en el marco del efecto que tengan sobre los resultados del objetivo final, entre muchos otros objetivos de este tipo, y que en definitiva determinan el problema pblico identificado. Incluso, en algunos casos mejoras en los problemas intermedios no necesariamente resuelven el valor especfico final.3 De acuerdo con lo expuesto por Aguilar (1993), plantear un problema es un ejercicio lgico y cientfico muy depurado. Se trata nada menos que de la formacin de los conceptos sociales (su identidad y diferencia, su clasificacin) y de la formacin y prueba de los enunciados causales (teoras y modelos), (p. 66).
3

Si bien pareciera evidente esta diferencia, la recalcamos porque en el proceso de anlisis de polticas pblicas en salud tendemos a identificar problemas pblicos que se asemejan ms a los de tipo intermedio que a los de valor especfico final. En la medida en que desde el inicio de la identificacin del problema cometemos este tipo de errores, el resto del proceso de anlisis de polticas pblicas estar errado. Por tal motivo, la identificacin del problema es uno de los aspectos ms importantes, ya que de all se desprende la formulacin de la poltica pblica y su evaluacin.

Politeia 38

Politeia 38

66
PASQUALINA CURCIO CURCIO

La estructuracin de problemas pblicos puede realizarse mediante la construccin de modelos, que no son ms que la representacin artificial de la realidad. Estos modelos pueden ser expresados como conceptos, diagramas, grficos y ecuaciones matemticas que, a su vez, pueden ser utilizados no slo para describir, explicar y predecir los elementos de un problema, sino tambin para recomendar cursos de accin para resolverlo. Los modelos producto de la estructuracin de problemas pblicos pueden ser descriptivos o normativos, y cada uno de ellos puede ser, verbal, simblico, procedimental o sucedneo (Dunn, 1994). Depender de las caractersticas del problema el que se presente su estructuracin en uno u otro tipo de modelo. Los problemas pblicos de salud se caracterizan por estar determinados por mltiples factores, no slo del mbito de salud, sino tambin del rea econmica, poltica, otras reas sociales como educacin y ambiente, as como aspectos individuales y biolgicos o clnicos. Estos mltiples factores asociados conforman las partes del sistema del problema pblico definido por Dunn (1994) que, a su vez, estn interrelacionados. Por esta razn, consideramos que un modelo esquemtico mediante el cual se visualicen los mltiples factores asociados al problema y la interrelacin entre ellos es de gran ayuda para garantizar la buena estructuracin de problemas de este tipo, por lo que para efectos de la metodologa de evaluacin de polticas pblicas a desarrollar en esta investigacin, consideramos que la estructuracin de los problemas pblicos de salud debe expresarse mediante un modelo procedimental. El modelo procedimental nos permite, en primer lugar, expresar de manera esquemtica y sistematizada los mltiples factores asociados al problema pblico de salud, as como su interrelacin; en segundo lugar, tener una visin general del problema, as como de los detalles ms especficos. En tercer lugar, diferenciar las causas de los sntomas del problema. El que podamos diferenciar las causas de los sntomas del problema nos permitir contar con polticas de relativa mayor o menor amplitud. En la medida en que identifiquemos las causas de raz del problema y las acciones estn dirigidas a ellas, podemos garantizar un mbito ms amplio de la poltica y un mayor impacto sobre el problema. Por el contrario, si las acciones slo se dirigen hacia los sntomas del problema, las probabilidades de tener un impacto sobre ste se reducen (Moore, 1976).

67
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

La distincin entre causa y sntoma es un elemento importante en la estructuracin del problema como marco conceptual para la evaluacin: las polticas pblicas deben actuar tanto sobre las causas como sobre los sntomas. Esto garantizar acciones ms equilibradas y un mayor impacto en el corto y largo plazo sobre el comportamiento de los problemas. En el caso de los problemas pblicos de salud, las acciones de polticas dirigidas a los sntomas estn asociadas al mbito de la atencin y asistencia; se desarrollan cuando el problema est presente y se ha hecho manifiesto, es decir, atender a la persona ya enferma o con discapacidad. Las acciones dirigidas a las causas de los problemas estn asociadas al mbito de la prevencin de las enfermedades o de la promocin de la calidad de vida. Para tratar de explicar de manera pedaggica este aspecto, pudisemos hacer una analoga con una situacin muy comn como es la fiebre. La fiebre es una manifestacin y un sntoma de alguna enfermedad viral o infecciosa. Si bien se deben tomar acciones para controlarla o disminuirla mediante la indicacin de antipirticos, no solucionaramos el verdadero problema si no identificamos cul es la causa de la fiebre. En el momento que identifiquemos qu ocasiona la fiebre e intervenimos sobre esta causa, en ese momento resolvemos efectivamente, tanto la fiebre como la enfermedad que la est ocasionando. De la misma manera sucede en el proceso de diseo y evaluacin de polticas pblicas. Si no identificamos las causas que ocasionan el problema pblico, pudisemos dedicar mltiples recursos y esfuerzos en disminuir los sntomas, pero sin resolver de manera efectiva el problema pblico. Una efectiva poltica pblica en salud es aquella que complementa las acciones dirigidas a las causas con aquellas orientadas a modificar los sntomas. Con respecto a los mtodos para estructurar problemas pblicos, Dunn (1994), tomando como criterios el propsito, los procedimientos, la fuente de conocimiento y el desempeo, identifica ocho tipos de mtodos: bondad de anlisis, anlisis de clasificacin, anlisis de jerarqua, cintico, lluvia de ideas, anlisis de mltiples perspectivas, anlisis de supuestos, mapa de argumentacin. La metodologa de anlisis jerrquico planteada por Dunn (1994) es la que consideramos nos permitira cumplir con el objetivo que nos trazamos en cuanto a la estructuracin del problema pblico como marco conceptual de la evaluacin

Politeia 38

Politeia 38

68
PASQUALINA CURCIO CURCIO

de las polticas y programas, es decir, el de reconocer sus mltiples factores asociados y diferenciar las causas de los sntomas. El anlisis jerrquico es una tcnica que tiene como propsito identificar las causas posibles, plausibles y accionables de un problema pblico. Este tipo de anlisis tambin contribuye a descubrir consecuencias anticipadas de las polticas pblicas. El procedimiento utilizado es mediante la divisin lgica y clasificacin de las causas, basndose en la consistencia lgica de la estructuracin, cuya fuente de conocimiento es el analista de manera individual (Dunn, 1994). Avanzar en esta tcnica para la estructuracin del problema pblico como marco conceptual de la evaluacin, requiere partir del problema definido y construir un rbol de decisin que responda a la pregunta del porqu. Por ejemplo, si nuestro problema es la alta tasa de mortalidad por enfermedades del corazn en Venezuela, construir el marco conceptual de este problema pasa por responder porqu las personas mueren por enfermedades del corazn y tratar de responder con la mayor cantidad de factores que podran influir, factores no slo de tipo clnico o biolgico, sino tambin ambientales, educacionales, sociales, econmicos, culturales, entre otros. Por lo tanto, la estructuracin de los problemas pblicos en salud es un ejercicio que trata de dar respuestas lgicas a los porqu en la medida en que se trata de identificar los mltiples factores que podran afectar al problema. Entender que los problemas de salud son multifactoriales es un aspecto clave para el anlisis de polticas pblicas en salud. No podremos desarrollar polticas pblicas efectivas si no consideramos los mltiples factores, incluso de otros sectores, que determinan el problema. En ocasiones es posible que la solucin de los problemas pblicos de salud dependa en mayor medida de otros sectores ms que del de salud, por lo tanto, ser limitada la poltica en salud si no identifica en la estructuracin de los problemas pblicos los mltiples factores que intervienen sobre ste. La construccin del marco conceptual de la evaluacin, caracterizado por la definicin y estructuracin del problema pblico, es el insumo para los siguientes dos componentes de la evaluacin de polticas y programas pblicos en salud. Este marco conceptual es la base para descartar la presencia de un error tipo III en

69
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

la poltica y para construir el modelo de referencia en la evaluacin conceptual y emprica.

2.

EVALUACIN CONCEPTUAL DE LAS POLTICAS Y PROGRAMAS

La evaluacin conceptual de la poltica o programa pblico tiene como objetivo revisar su diseo terico y analizar su coherencia. Esta evaluacin se puede realizar independientemente de que se haya implementado la poltica y, por consiguiente, que se hayan obtenido algunos resultados. Por tal motivo, se trata de una evaluacin prospectiva. La coherencia de la poltica o el programa la entendemos desde dos perspectivas: una externa asociada a la presencia o no de un error tipo III, y otra interna que relaciona los objetivos planteados con las actividades a desarrollar para alcanzarlos. Para evaluar ambas coherencias debemos contrastar la poltica con un marco de referencia o un deber ser, construido a partir del marco conceptual de la evaluacin, es decir, de la estructuracin del problema.

2.1. Construccin del deber ser Weiss (1998) plantea que la evaluacin como la valoracin sistemtica de los resultados de un programa o poltica comparada con un conjunto de estndares explcitos o implcitos requiere, al inicio, de un marco terico conceptual que oriente al evaluador en cuanto a dnde enfocarse y a qu buscar, de manera de tener alguna nocin acerca de cmo suceden los hechos y sus razones. La metodologa propuesta consiste en que a partir del marco conceptual y de la estructuracin del problema pblico, elaborado bajo la concepcin de que se trata de problemas tipo fin y determinados por mltiples factores, identifiquemos los objetivos y acciones que se deben llevar a cabo para solucionarlo, los cuales deben estar orientados a garantizar un equilibrio entre la intervencin sobre las causas y los sntomas. Debemos disear lo que debera ser una poltica o programa pblico para la solucin del problema. Esta construccin terica del deber ser nos permitir

Politeia 38

Politeia 38

70
PASQUALINA CURCIO CURCIO

contar con una referencia para contrastarla de manera conceptual con la que evaluamos.

2.2. Coherencia externa Para evaluar la coherencia externa y revisar si se incurre en un error tipo III debemos constatar, por una parte, que los objetivos generales y especficos planteados en la poltica estn asociados y pretendan dar solucin al problema definido como valor especfico final. Por otra parte, que las actividades de la poltica estn dirigidas a actuar sobre las causas y sntomas identificados previamente en la estructuracin del problema pblico. Si los objetivos y actividades que se plantean en la poltica o programa sometido a evaluacin no coinciden con el valor especfico final, con los mltiples factores asociados, con las causas y con los sntomas identificados en la estructuracin del problema y recogidos en el deber ser, pudisemos estar ante la presencia de un error tipo III. En caso contrario, podemos descartar la presencia de un error tipo III y proceder a evaluar la coherencia interna de la poltica o programa.

2.3. Coherencia interna La evaluacin en cuanto a la coherencia interna de la poltica debe incluir el anlisis de los objetivos generales y especficos con respecto a las metas o productos de la poltica, las estrategias, las actividades y, en general, todas las acciones y contenidos de las polticas. Es importante realizar este tipo de evaluacin desde los objetivos hasta las actividades debido a que en ocasiones observamos que puede existir un buen planteamiento de los objetivos generales, en el cual se evidencia que estn orientados efectivamente a la solucin de un problema final, pero al revisar los objetivos especficos, las metas, y particularmente las actividades y estrategias que se supone garantizarn el cumplimiento de esos objetivos generales, nos encontramos con que no tienen relacin con el planteamiento inicial del objetivo general ni con el problema final, y mucho menos con sus factores asociados, mostrando de esta manera una gran incoherencia a lo interno de la poltica o programa.

71
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

3.

EVALUACIN EMPRICA DE LAS POLTICAS Y PROGRAMAS

El tercer componente de la metodologa es la evaluacin emprica, la cual est orientada a conocer la efectividad de la poltica o programa, medir el cumplimiento de las metas de desempeo, relacionado con el proceso de implementacin, y las de resultado, relacionadas con el impacto y modificacin del problema pblico. Este tipo de evaluacin requiere de informacin que nos permita analizar, ya sea de manera descriptiva o analtica, mediante la formulacin de modelos, los resultados obtenidos con la ejecucin de las polticas.4

3.1. Operacionalizacin del modelo La evaluacin emprica, al igual que la conceptual, parte de la estructuracin del problema pblico. Este tipo de evaluacin requiere de la construccin de un modelo en el cual se identifiquen las variables presentes en el problema, ya sea la dependiente asociada al valor especfico final como las independientes expresiones de estos mltiples factores asociados. Las fases propuestas para la construccin de los modelos son, en primer lugar, la operacionalizacin del modelo conceptual del problema, es decir, la identificacin de las variables, tanto independientes como dependientes, y la construccin de los indicadores. Los factores asociados constituirn las variables independientes del modelo, incluyendo las acciones de la poltica o programa sometido a la evaluacin, mientras que el valor especfico final ser, en el modelo, la variable dependiente. En segundo lugar, debemos proceder, por una parte, a buscar la informacin, y por la otra a emplear las herramientas que nos arrojen los resultados sobre la asociacin entre las variables y sobre la determinacin que las independientes ejercen sobre la dependiente. La evaluacin emprica, de acuerdo con la metodologa que planteamos, la podemos subdividir en evaluacin descriptiva y analtica.
4

No pretendemos en esta parte realizar planteamientos tericos acerca de mtodos y herramientas estadsticos; nos centraremos en los aspectos relacionados con la construccin de los modelos estadsticos y elementos de validez que debemos tener presentes.

Politeia 38

Politeia 38

72
PASQUALINA CURCIO CURCIO

3.2. Evaluacin descriptiva Consiste en la revisin, anlisis y descripcin de los indicadores que, de acuerdo con la operacionalizacin del modelo conceptual, nos reflejan el comportamiento, en el tiempo, de las variables que hemos identificado como dependientes y que en definitiva miden los cambios del problema. Debemos tener presente que el comportamiento de la variable dependiente, es decir, del problema, est asociado a diversos fenmenos en el transcurso del perodo en estudio. Estos fenmenos son tanto los factores que lo afectan como tambin la implementacin de la poltica o programa que evaluamos. En ese sentido, es de esperar cambios en el comportamiento del problema a lo largo de la serie de tiempo, particularmente en los momentos de implementacin de la poltica. La evaluacin descriptiva podra resultar limitada, ya que no incorpora, aunque las hayamos identificado, las mltiples variables independientes que pueden influir sobre el comportamiento de la variable dependiente, incluyendo la intervencin mediante polticas y programas pblicos. Sin embargo, resulta de gran utilidad y referencia para la evaluacin analtica, particularmente cuando se nos presentan inconvenientes con la obtencin, calidad y confiabilidad de la informacin para analizar los modelos multivariados a travs de mtodos estadsticos. 3.3. Evaluacin analtica La evaluacin analtica nos permite medir, mediante el diseo de modelos, si la implementacin de la poltica o programa ha tenido algn efecto en el comportamiento de la variable dependiente. Como parte de la metodologa de evaluacin de polticas y programas pblicos de salud que desarrollamos en esta investigacin, proponemos realizar dos tipos de evaluacin analtica: 1. Anlisis de series de tiempo, incluyendo variables dicotmicas que indiquen el perodo con implementacin del programa, mediante regresiones instrumentales.5
Las regresiones instrumentales son modelos matemticos que permiten estimar el efecto de una o ms variables independientes sobre otra variable dependiente. Las regresiones pueden ser lineales, en las que

73
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

2.

Anlisis multifactorial mediante regresiones lineales de modelos multivariados.6

3.3.1. Anlisis de series de tiempo para variables dicotmicas Para analizar el efecto que la implementacin de la poltica o programa pudiese tener sobre el comportamiento de la variable dependiente, proponemos realizar un anlisis de series de tiempo para variables dicotmicas mediante la utilizacin de una regresin instrumental. La variable dependiente ser aquella definida en la operacionalizacin del modelo y se definirn dos variables independientes: 1) el tiempo medido por un contador del nmero de aos de la serie y 2) la implementacin del programa medida por una variable dummy, es decir, aquella a la que se le asignan dos valores. En este caso con valores de 0 en los aos anteriores a la implementacin y valores 1 en los aos de la implementacin. Los resultados de la regresin instrumental de este modelo nos permiten analizar, en primer lugar, si la variable dependiente mostr una tendencia ascendente o descendente a lo largo de los aos: si el signo del coeficiente de la variable tiempo es positivo significa que la variable dependiente mostr una tendencia ascendente, y si es negativo, descendi. En segundo lugar, la regresin instrumental nos muestra si la implementacin de la poltica o programa, medido por la variable dummy, tuvo efectos sobre el comportamiento de la tendencia de la variable dependiente, es decir, nos muestra si hubo un cambio en la pendiente de dicha variable luego de la intervencin: si la probabilidad del coeficiente de la variable dummy es menor de 0,05, podemos decir que la pendiente de la variable dependiente sufri cambios luego de la implementacin del programa pblico; si por el contrario, es mayor de 0,05, el programa no gener cambios en el comportamiento de la variable dependiente. Recordamos el hecho de que los anlisis de series de tiempo para variables dicotmicas slo nos muestran el comportamiento de la variable dependiente y el
se estima el efecto de una variable sobre otra, y mltiples, las cuales permiten estimar el efecto de dos o ms variables independientes sobre una dependiente (Hernndez et al., 1995). Los modelos multivariados son aquellos en donde se analiza la relacin entre varias variables independientes y al menos una dependiente (Hernndez et al., 1995).

Politeia 38

Politeia 38

74
PASQUALINA CURCIO CURCIO

efecto que las polticas o programas pblicos implementados tienen sobre ese comportamiento. Estos modelos no incorporan en el anlisis los otros factores asociados al problema pblico y aunque nos permite llegar a algunas conclusiones, es necesario complementarlo con un anlisis multifactorial.

3.3.2. Anlisis multifactorial El anlisis multifactorial incorpora los factores que fueron identificados en el marco conceptual y que podran estar asociados al problema pblico. Nos proporciona una evaluacin ms completa y coherente con la concepcin multifactorial de los problemas pblicos que hemos desarrollado a lo largo de esta investigacin. Dadas las caractersticas de los problemas pblicos de salud, este tipo de anlisis no debemos concebirlo como un experimento de laboratorio en el cual identificamos algunas variables que contrastamos con un experimento de control. Se trata de evaluaciones que llevan implcitas mltiples variables que escapan del control del evaluador, por tratarse de variables que dependen del comportamiento de los individuos, de la sociedad y del Estado (Campbell y Stanley, 1966). Nos referimos a evaluaciones que son producto de diseos cuasiexperimentales en los cuales es imposible controlar todas y cada una de las variables. En este tipo de experimentos debemos tener presente, en el momento de disear el modelo de evaluacin, algunos factores que nos garanticen unas condiciones mnimas sin las cuales no podramos interpretar el modelo. Es lo que Campbell y Stanley (1966) denominan validez interna del modelo. Adicionalmente, deberamos garantizar que los resultados obtenidos pudiesen ser generalizados, en el entendido de que se trata de variables que reflejan condiciones y situaciones muy especficas del problema y del momento, lo que se denomina validez externa. De los diferentes tipos de diseo cuasiexperimental planteados por Campbell y Stanley (1966), consideramos que el que se ajusta a las necesidades y condiciones de la evaluacin propuesta en esta investigacin es el denominado diseo cuasiexperimental de serie cronolgica, el cual pretende medir el nivel del indicador de la variable dependiente antes y despus de la implementacin de la poltica o programa.

75
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

Una opcin para aplicar el diseo cuasiexperimental de serie cronolgica es realizar el anlisis mediante la introduccin en el modelo estadstico de una variable dummy que mida la presencia de la poltica o programa. Se trata de una regresin bivariada, en la cual tendramos un indicador que mida la variable dependiente o valor especfico final, mientras que la independiente sera la variable dummy (con los siguientes valores: con programa 1 y sin programa 0). Se trata de un diseo con estas caractersticas: O O O O O O O O O X O1 X O1 X O1 X O1 X O1 Donde: X: Poltica o programa pblico O: Observaciones antes de la implementacin de la poltica o programa O1: Observaciones despus de la implementacin de la poltica o programa Sin embargo, y como ya mencionbamos para el caso del anlisis para variables dicotmicas, este tipo de diseo no es el ms recomendable, particularmente para la evaluacin de polticas orientadas a problemas pblicos que ya hemos definido como multifactoriales. Este diseo presenta problemas de validez interna, es decir, no tendramos certeza de que la variacin del indicador de la variable dependiente se deba exclusivamente a la implementacin de las polticas o, por el contrario, que influyen otros factores. En este caso la historia es una hiptesis rival no controlada (Campbell y Stanley, 1966), es decir, desde la primera observacin de la variable dependiente hasta la segunda medicin pudiesen ocurrir, adems de los efectos de la implementacin de la poltica, muchos acontecimientos que influyen sobre las observaciones o mediciones. Entre dichos acontecimientos podemos mencionar, por ejemplo, el comportamiento de alguna de las mltiples causas que afectan el problema, motivo por el cual con este tipo de diseo no sabramos qu acontecimientos son atribuidos a la poltica o programa y cules a otros factores. Una manera de superar esta limitacin es mediante la incorporacin de un grupo de control; sin embargo, resulta muy difcil contar con grupos equivalentes que sirvan de control en evaluaciones de este tipo, en las cuales la especificidad del problema y de sus condiciones es muy importante y difcil de replicar. En

Politeia 38

Politeia 38

76
PASQUALINA CURCIO CURCIO

primer lugar, porque si se trata de evaluar una poltica en el nivel nacional resultara muy difcil contar con un pas equivalente a Venezuela al cual no se le hubiese aplicado ninguna poltica para resolver el mismo problema. En segundo lugar, si realizramos la evaluacin en los estados de Venezuela, no contamos con algn estado similar al cual no se le hubiese aplicado una poltica parecida. En tal sentido, para poder subsanar esta limitacin proponemos ampliar y considerar el rango de factores que podran influir sobre la variable dependiente y, por lo tanto, sobre el valor especfico final. Esto nos permitir, a su vez, medir cul de ellos determina en mayor o menor grado la variable dependiente, incluyendo, por supuesto, la variable dummy que mide la presencia o no del programa. Por tratarse de estudios estocsticos,7 no llegaremos al nivel en el que se consideren el total de factores que influyen sobre las variables dependientes, sin embargo, estadsticamente mediante una regresin mltiple esta diferencia u omisin es considerada a travs de la variable error. El hecho importante y a resaltar en este diseo es que se disminuira el rango de incertidumbre para, en trminos relativos, conocer qu tanta influencia tiene la implementacin de la poltica o programa. Proponemos como metodologa realizar un diseo cuasiexperimental de serie cronolgica, cuya unidad de anlisis sean los aos, y en el cual se incluyan los mltiples factores conceptualmente identificados y operacionalizados como determinantes del problema pblico, conjuntamente con una variable dummy, que mida la presencia de la poltica o programa. Con respecto al control de las otras hiptesis rivales que podran afectar la validez interna y externa de nuestro diseo, debemos decir lo siguiente. Maduracin. En el caso de este tipo de evaluacin, la maduracin como hiptesis rival no tiene efecto debido a que las unidades de anlisis son los aos, por lo que la medicin no se dirige a comportamientos o actitudes de los individuos, sino a indicadores que miden problemas de salud para cada ao. En tal sentido, los cambios psicolgicos producto del paso del tiempo no influiran sobre nuestro diseo, y si lo hace sera de manera general o en promedio, por lo que no alterara los resultados.
7

Los estudios estocsticos son aquellos que incorporan elementos de aleatoriedad, los cuales deben ser explicados en funcin de probabilidades o mrgenes de error.

77
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

Administracin de la prueba. Esta hiptesis rival no afectara debido a que el diseo no se basa en administracin de pruebas o pretests a individuos, por lo que no se esperara un cambio de actitud individual. Nuestras mediciones seran los indicadores de los problemas de salud, por ejemplo, promedios de los niveles de las tasas de mortalidad o morbilidad, antes y despus de la implementacin de la poltica o programa. Esta medicin inicial no tendra porqu influir sobre los resultados de la segunda; si influyese, seran razones ms asociadas al diseo del instrumento de recoleccin de informacin. Instrumentacin. Depender del diseo del instrumento de medicin, como se trata de la recoleccin de la informacin registrada acerca de indicadores de salud, muertes o enfermedades, al ser el instrumento de registro y recoleccin ms concreto sin posibilidad de un cambio autnomo por parte del personal encargado de la labor; sta ser una hiptesis rival ms controlada. Mientras que si existe posibilidad de cambiar la informacin por parte del observador y la no posibilidad de verificacin de la misma, esta hiptesis rival afectara en mayor grado. Otro aspecto importante a considerar en esta hiptesis rival es la metodologa de recoleccin y procesamiento de la informacin. Es conveniente que dichas metodologas sean similares en cada uno de los perodos estudiados, es decir, que la metodologa de registrar las muertes o morbilidades especficas en la dcada de los cincuenta sea la misma que la actual. Regresin. No aplica debido a que est asociada a la seleccin del grupo de observacin antes y despus de la intervencin; en nuestro caso sern perodos antes y despus de la implementacin. Seleccin. En nuestro caso no aplica debido a que se trata del mismo grupo, por ejemplo, nacional o regional, el cual ser observado antes y despus de la implementacin. Mortalidad. En nuestro caso no aplica, ya que no se trata de individuos que sern intervenidos y observados. En cuanto a las hiptesis rivales que influyen sobre la validez externa del diseo y su posibilidad de generalizacin, podemos identificar en nuestro cuasiexperimento la que Campbell y Stanley (1966) denominan interaccin entre

Politeia 38

Politeia 38

78
PASQUALINA CURCIO CURCIO

la seleccin y X. Esta hiptesis est relacionada con la posibilidad de poder generalizar los resultados obtenidos en nuestro cuasiexperimento a otras poblaciones. En tal sentido, algunas variables experimentales podran ser sensibles a las caractersticas de nuestra muestra, mientras que a otro tipo de muestras no, por lo que la generalizacin no podra ser muy exacta. Este problema de validez externa se presenta cuando existe un sesgo en el muestreo. En nuestro caso, si aplicramos el cuasiexperimento a toda Venezuela, la pregunta sera hasta qu nivel podramos suponer que los resultados obtenidos en Venezuela son aplicables o extrapolables a otros pases con condiciones distintas. Resumiendo, podemos decir: 1. La evaluacin emprica descriptiva nos permitir contar con una referencia del comportamiento del valor especfico final o variable dependiente a lo largo del tiempo. La evaluacin emprica analtica nos permitir medir el efecto que la poltica o programa pblico tienen sobre el comportamiento de la variable dependiente. Proponemos realizar dos tipos de evaluacin analtica: 1) de series de tiempo para variables dicotmicas, mediante regresiones instrumentales y 2) multifactorial mediante regresiones multivariadas. El anlisis de series de tiempo para variables dicotmicas nos permite conocer el comportamiento de la variable dependiente y el efecto que las polticas o programas tienen sobre su tendencia. El anlisis multifactorial incorpora los factores asociados al problema pblico y nos permite conocer el efecto que tanto los factores como el programa ejercen sobre la variable dependiente.

2.

3.

4.

5.

A continuacin sistematizaremos en un cuadro la metodologa propuesta para la evaluacin de polticas pblicas en salud, en la cual se entiende el problema como pblico y como un valor especfico final, determinado por mltiples factores y donde las acciones sobre las causas y sobre los sntomas deben hallar un

79
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

equilibrio que garantice un mbito de accin de la poltica idneo y un verdadero impacto sobre el problema pblico. El cuadro se divide en tres grandes componentes, los cuales, a su vez, se subdividen en grandes actividades. La metodologa que se propone es secuencial, es decir, los resultados del primer componente son requisitos para el segundo, y as sucesivamente; de la misma manera las actividades. En el cuadro tambin se muestran cules son los objetivos de cada componente y actividad, cul es la metodologa a aplicar en cada uno de ellos y cules son los resultados esperados en cada actividad.

Politeia 38

Politeia 38

80

Cuadro Instrumento general para la evaluacin de polticas o programas pblicos de salud Objetivos Elaborar una definicin y estructu- Anlisis jerrquico racin del problema que sirva de marco terico para la evaluacin Definicin del valor especfico final Modelo procedimental de la estructuracin del problema pblico Metodologa Productos

Componentes/ actividades

PASQUALINA CURCIO CURCIO

I: Marco conceptual de la evaluacin

1. Definicin del proble- Plantear el problema como un valor es- Definir el problema de manera que sea Problema definido como valor especfipecfico final el objetivo ltimo y final ma pblico co final

Mtodo de anlisis jerrquico 2. Estructuracin del pro- Construir un sistema de problema Modelo procedimental de la estructublema pblico racin del problema pblico Identificar los mltiples factores Plantear la pregunta Por qu?, para asociados identificar las causas hasta llegar a la de Causas y sntomas identificados Establecer las relaciones lgicas entre raz Causas y sntomas manipulables por el los factores asociados, y entre stos y el gobierno y responsables del programa problema Diferenciar los sntomas de las causas Identificar las causas que pueden ser manipuladas mediante acciones del Estado Revisar la coherencia entre la polti- Construir, a partir del modelo concep- Modelo terico de referencia: el deca y el problema definido tual del problema, el deber ser de la ber ser de la poltica Descartar un posible error tipo III poltica Conclusiones acerca de la presencia de error tipo III Revisar la coherencia interna Contrastar la poltica con el deber ser Conclusiones acerca de la coherencia interna de la poltica Elaborar un marco de referencia teri- Disear el deber ser en funcin de las Modelo terico de referencia acerca del co sobre lo que debera ser la poltica causas y sntomas identificados deber ser de la poltica, en funcin de la definicin y estructuracin del probleen funcin de la definicin y estructu- Disear acciones orientadas a causas y ma pblico racin del problema sntomas Descartar un error tipo III: revisar si se Comparar los objetivos generales y es- Conclusiones acerca de si la poltica es trata de la poltica correcta para el propecficos de la poltica con los planteala solucin al problema correcto blema correcto dos en el deber ser

II: Evaluacin conceptual

1. Construccin del deber ser.

2. Coherencia externa

Cuadro (continuacin) Instrumento general para la evaluacin de polticas o programas pblicos de salud Objetivos Revisar si a lo interno la poltica es co- Comparar las actividades de la poltica Conclusiones acerca de la coherencia inherente, si las actividades y estrategias terna de la poltica con los objetivos especficos y stos con los generales planteadas dan respuesta a los objetivos generales y especficos Analizar y medir la efectividad de la Describir el comportamiento del in- Indicadores que midan el comportapoltica miento del problema y sus causas dicador que mide la variable depen Modelo estadstico cuasiexperimental diente o problema Construir un modelo estadstico de serie cronolgica y multivariado Metodologa Productos

Componentes/ actividades

3. Coherencia interna

III: Evaluacin emprica

1. Operacionalizacin del Traducir el modelo de la estructuracin Identificar las variables e indicadores que Modelo estadstico que incorpore todas del problema en variables e indicadores las causas del problema modelo mejor miden el problema y las causas Indicadores que midan las variables de Construir el modelo estadstico pendientes e independientes del modelo

2. Evaluacin descriptiva Describir de manera referencial el com- Construir la serie cronolgica de la va- Tendencia de la variable dependiente portamiento, a lo largo del tiempo, de la Conclusiones acerca del comportamienriable dependiente variable dependiente to de la variable dependiente o problema Describir su comportamiento, especialpblico mente en los momentos que se conoce de intervenciones a travs de la poltica o programa Analizar el comportamiento del proble- Anlisis de serie de tiempo para va- Tendencia de la variable dependiente ma pblico ante la implementacin de riable dicotmica mediante regresin Comportamiento ante la implementacin polticas o programas de polticas o programas instrumental Medir el efecto de la poltica sobre el Anlisis multifactorial mediante un mo- Efecto de los factores asociados y de la delo cuasiexperimental de serie cronocomportamiento del problema pblico poltica o programa sobre el comportamiento del problema pblico lgica y multivariado

METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

3. Evaluacin analtica

Politeia 38

81

Politeia 38

82

Cuadro (continuacin) Instrumento general para la evaluacin de polticas o programas pblicos de salud
PASQUALINA CURCIO CURCIO

Componentes/ actividades Objetivos Metodologa Productos

3.1. Anlisis de serie de Analizar la tendencia de la variable Anlisis de serie de tiempo para va- Tendencia de la variable dependiente riable dicotmica mediante regresin Comportamiento ante la implementacin tiempo, incluyendo dependiente variables dicotmicas Analizar el comportamiento del probleinstrumental de polticas o programas que indiquen el peroma pblico ante la implementacin de do con implementapolticas o programas cin del programa Medir el efecto de la poltica sobre el Anlisis multifactorial mediante un mo- Efecto de los factores asociados y de la comportamiento del problema pblico delo cuasiexperimental de serie cronopoltica o programa sobre el comportalgica y multivariado miento del problema pblico

3.2. Anlisis multifactorial

Fuente: Elaboracin propia.

83
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

REFERENCIAS BIBLIOGRFICAS AGUILAR V., L. (1992). Estudio introductorio, en Aguilar, L. La hechura de las polticas. Mxico: Miguel ngel Porra. _______ (1993). Estudio introductorio, en Aguilar, L. Problemas pblicos y Agenda de Gobierno. Mxico: Miguel ngel Porra. BROWNE, A. y A. WILDAVSKY (1983). Qu debe significar la evaluacin para la implementacin?, en Pressman, J. y A. Wildavsky. Implementacin. Cmo grandes expectativas concebidas en Washington se frustran en Oakland, 1998. Mxico: Fondo de Cultura Econmica. CAMPBELL, D. y J. STANLEY (1966). Experimental and quasi-experimental designs for research. Boston: Houghton Mifflin Company. DUNN, W. (1994). Public policy analysis. An introduction. 2nd edition. Englewood Cliff, NJ.: Prentice Hall. ELMORE, R. (1979). Diseo retrospectivo: la investigacin de la implementacin y las decisiones polticas, en Aguilar, L. La implementacin de las polticas. 3 edicin, 2000. Mxico: Miguel ngel Porra. GONZLEZ, M. (2001). Desarrollo y uso de modelos de polticas pblicas: anlisis de la experiencia docente en el Postgrado de Ciencia Poltica de la Universidad Simn Bolvar (1998-2001). Caracas, Venezuela: USB. _______ (1999). Evaluacin del impacto del Proyecto de Control de Enfermedades Endmicas (PCEE). Caracas, Venezuela: Funindes-USB. _______ (1998a). A policy-oriented framework to evaluate determinants of child health conditions: conceptual foundations and empirical analysis. PhD dissertation, Universidad de Pittsburgh, Estados Unidos. _______ (1998b). Formulacin del sistema de seguimiento y evaluacin en reas prioritarias para el desarrollo social: sector salud. Caracas, Venezuela. _______ (1997). Evaluacin del Sistema Intergubernamental de Venezuela (19901996): una aproximacin inicial, Caracas, Informe elaborado para el Proyecto Salud (MSAS-Banco Mundial-BID).

Politeia 38

Politeia 38

84
PASQUALINA CURCIO CURCIO

HERNNDEZ, R.; C. Fernndez y L. Baptista (1995). Metodologa de la investigacin. Bogot: McGraw-Hill. MACRAE, D., Jr. (1985). Policy indicators. Link between social science and public debate. North Caroline: The University of North Caroline Press. MAJONE, G. (1999). Programas de investigacin y programas de accin, o puede la investigacin de polticas aprender de la filosofa de la ciencia?, en P. Wagner; C. Weiss; B. Wittrock y H. Wollmann, comps. Ciencias sociales y estados modernos. Experiencias nacionales e incidencias tericas. Mxico: Fondo de Cultura Econmica. _______ (1997). Evidencia, argumentacin y persuasin en la formulacin de polticas. Mxico: Fondo de Cultura Econmica. _______ (1978). Los usos del anlisis de las polticas, en Aguilar, L. La hechura de las polticas, 1992. Mxico: Miguel ngel Porra. _______ (1975). La factibilidad de las polticas sociales, en Aguilar, L. Problemas pblicos y Agenda de Gobierno, 1993. Mxico: Miguel ngel Porra. MOORE, M. (1976). Anatoma del problema de la herona: un ejercicio de definicin de problemas, en Aguilar, L. Problemas pblicos y Agenda de Gobierno, 1993. Mxico: Miguel ngel Porra. OVRETVEIT, J. (1998). Evaluating health interventions. An introduction to evaluation of health treatments, services, polices and organizational interventions. Buckingham, Philadelphia: Open University Press. WAGNER, P.; C. Weiss; B. Wittrock y H. Wollmann (1999). La orientacin hacia las polticas: legado y promesa, en P. Wagner; C. Weiss; B. Wittrock y H. Wollmann, comps. Ciencias sociales y estados modernos. Experiencias nacionales e incidencias tericas, 1999. Mxico: Fondo de Cultura Econmica. WEISS, C.H. (1999). La investigacin de polticas: datos, ideas y argumentos?, en P. Wagner; C. Weiss; B. Wittrock y H. Wollmann, comps. Ciencias sociales y estados modernos. Experiencias nacionales e incidencias tericas, 1999. Mxico: Fondo de Cultura Econmica.

85
METODOLOGA PARA LA EVALUACIN DE POLTICAS PBLICAS

WEISS, C.H. (1998). Evaluation: Methods for studying programs and policies. Upper Saddle River, New Jersey: Prentice Hall. _______ (1990). Investigacin evaluativa. Mtodos para determinar la eficiencia de los programas de accin. Mxico: Trillas.

Politeia 38