https://ladiaria.com.

uy/articulo/2016/5/experimentos-y-evaluacion-de-politicas-publicas/

Experimentos y evaluación de políticas públicas

24/05/2016 | Escribe: Santiago López Cariboni en Nacional.

Una de las formas más eficientes para mejorar la calidad de las políticas públicas es
aprender de sus efectos. Por este buen motivo, la evaluación de políticas se ha tornado
un aspecto importante tanto en la confección de los programas del Estado como en su
estructura burocrática. Es común ver que cuando se presupuesta un nuevo programa o se
reciben créditos internacionales para implementar determinadas acciones, se asignan
recursos asociados para desarrollar evaluaciones de impacto. En tono con estos cambios,
el Estado uruguayo ha venido mejorando y expandiendo sus equipos de profesionales
dedicados a investigar sobre los efectos de la política pública, así como los recursos
económicos para generar datos e información útil para esos fines.

Un desafío frecuente al que se enfrentan los evaluadores es el de que las intervenciones

de política pública ocurren junto con muchos otros cambios que también afectan el
resultado de interés. Por ejemplo, imaginemos que durante algunos años se implementan
estímulos que reducen el costo de regularizar el acceso ilegal a la energía eléctrica en
zonas socialmente vulnerables. Esta intervención podría ocurrir al mismo tiempo que
ocurre un “shock” económico positivo. Tanto la política pública como los cambios en la
economía pueden aumentar la voluntad de las personas de consumir energía en forma
regular y segura. Aun cuando se analicen las diferencias en el consumo irregular de
energía antes y después de la intervención pública, es difícil aislar y estimar si la política
sirvió de algo y, en ese caso, de cuánto sirvió.

Otro desafío para los evaluadores es el modo en que los individuos se autoseleccionan en
los programas públicos o, por ejemplo, el modo en que las propias políticas tratan a
distintos individuos o grupos de individuos. Por ejemplo, la extensión horaria en la política
educativa (introducción de centros de tiempo completo) podría realizarse con la
esperanza de mejorar los resultados de aprendizaje. Pero puede ser difícil saber cuál es
la contribución de la política al aprendizaje cuando los criterios de selección de los centros
educativos para este plan son desconocidos. Los centros pueden tener características
que los hagan muy particulares, como pertenecer a zonas rezagadas o tener una
predisposición institucional favorable a los cambios que propone la política. Más aun, los
centros elegidos por la política podrían atraer un determinado tipo de alumnos cuyos
padres tienen mayor predisposición a fomentar el logro educativo en sus hijos. Aunque
estos desafíos no imposibilitan realizar evaluaciones de calidad, ciertamente las hacen
mucho más difíciles e intensivas en datos.
Existe un creciente interés, entre investigadores y expertos en evaluación, en fomentar el
uso de diseños experimentales para estimar los efectos de las políticas. ¿Por qué? Lo que
quisiéramos saber es “qué hubiera sucedido si la política no se hubiera implementado”. La
intuición es que la diferencia entre aquella realización del mundo y la que efectivamente
observamos, luego de que la política se implementa, es el efecto de la intervención.
Aunque esto es imposible de observar (yo, al menos, la única vez que lo vi fue en la
película Volver al futuro), sí se puede estimar. ¿Cómo? Con aleatorización.

La solución que ofrecen los diseños experimentales es asignar a los individuos (o grupos
de individuos, instituciones, etcétera) aleatoriamente el “tratamiento” que genera la política
pública. El mecanismo permite hacer comparaciones adecuadas para estimar el efecto
causal de la intervención. Esto requiere afectar el diseño de la política, no montar un
sistema de evaluación paralelo a esta. Para lograr los beneficios de la evaluación
experimental es necesario modificar sustancialmente el modo en que se piensa y diseña
la mayor parte de las innovaciones de política pública que se hacen en Uruguay.
Normalmente la evaluación es organizada como un “componente” de los programas y no
como un aspecto del diseño de la política de intervención. Naturalmente, se trata de un
requisito más exigente, porque puede entrar en contradicción con criterios de justicia, con
preferencias programáticas de quienes implementan el programa o con políticos que
priorizan los beneficios de corto plazo entre sus “constituencies” frente a los beneficios
generales de largo plazo que genera la evaluación científica de los programas. Dejemos
de lado las preferencias por no evaluar.

En efecto, muchas veces los evaluadores de política pública se enfrentan a

constreñimientos que no les permiten manipular a los ciudadanos como si se tratara de
ratones a los que se puede asignar a la pastilla con droga o al placebo. Y muchas veces
esto ocurre por buenos motivos, y ciertamente ello tampoco representa el fin de las
posibilidades para la evaluación. Después de todo, los experimentos controlados no son
la única forma de generar conocimiento útil sobre las políticas (pero me ahorro la lista de
métodos no experimentales sobre los cuales también deberíamos avanzar en Uruguay; no
son el punto de esta breve nota).

Sin embargo, existen numerosas circunstancias en las que los criterios de justicia, o las
definiciones programáticas de quienes deciden sobre la implementación de las políticas,
son perfectamente consistentes con algún tipo de asignación aleatoria que permite una
evaluación de los resultados en forma sólida y creíble. Esto requiere imaginación y, sobre
todo, compromisos virtuosos entre investigadores y decisores de política pública. Uruguay
tiene un largo camino para andar en este sentido.

Por ejemplo, un preconcepto difícil de eliminar es que la aleatorización es un tecnicismo

injusto (regresivo). Cuando los recursos de la política son insuficientes para la población
objetivo, contemplar algún tipo de mecanismo de asignación aleatoria no necesariamente
choca contra criterios de progresividad. Lo que asegura la progresividad de la política es
precisamente su definición de la población objetivo. En algunas ocasiones, incluso la
aleatorización puede ser vista como un criterio de justicia a los ojos de los potenciales
beneficiarios.

Hay diversas áreas de política donde se requieren cambios marginales en forma

constante, tales como en la educación, la salud, los programas de asistencia, los servicios
básicos (agua, electricidad), el transporte, etcétera. La inversión en ensayos controlados
para el test de esas innovaciones hace más eficiente la implementación de reformas
futuras. Típicamente es el caso de los programas “piloto”. Desde el punto de vista del bien
común, existen pocos motivos para no diseñar programas con componentes de
asignación aleatoria que permitan analizar su impacto. Aunque ya existen algunas
experiencias importantes en Uruguay, son aún muy escasas.

Todo esto no debería sonar como un debate tecnicista, sino como un tema relevante para
la rendición de cuentas a los ciudadanos. En la era de big data no sólo importa el acceso
a inmensas cantidades de datos desagregados sobre la gestión del gobierno, sino
también a información creíble y precisa sobre sus logros.

Una versión previa de esta columna fue publicada en el blog Razones y personas.