Herramientas de Evaluación en Proyectos de Innovación Social

Santiago, del 23 de abril al 14 de mayo de 2014

Guía: Uso de Evidencia en el Diseño de Proyectos

En el proceso de diseño de un programa, producto o servicio es importante incluir la evidencia que

ya tenemos al respecto. Nuestro diseño puede parecer excelente, pero podemos estar olvidando
algunos aspectos relevantes que podrían hacerlo fracasar, ya sea en términos de rentabilidad,
como de un impacto social distinto del pronosticado. En este sentido, es importante recolectar
evidencia sobre cómo han resultado iniciativas parecidas antes, sobre el contexto en el que
queremos operar, etc. Esta evidencia puede agruparse en las siguientes categorías:
 Evidencia entregada por la Experiencia: basada en la experiencia profesional, el
entendimiento del problema, vivencias, habilidades, etc. tanto de uno mismo como de los
demás, conocido como conocimiento intuitivo o tácito.
 Evidencia sobre el Contexto: basada en la información que podemos recolectar sobre
nuestros potenciales beneficiarios (sus preferencias, necesidades, limitaciones), su
comunidad, el marco regulatorio del país, nuestra competencia, el contexto socio-
político, etc.
 Evidencia Científica: basada en la mejor evidencia rigurosa disponible relevante para el
problema en cuestión.
Existen diversas formas de recoger esta evidencia, entre las que está la experiencia, la
observación, y diversas herramientas de análisis cualitativo y cuantitativo, el primero enfocado en
entender en profundidad las razones del comportamiento humano, y el segundo introduce
herramientas y análisis estadístico al mismo problema. Todas estas fuentes son igual de útiles, y
debieran ser incluidas en nuestro diseño. Esta guía busca profundizar en el uso y selección de
evidencia científica, y es un apoyo a los contenidos del curso, y será complementada durante las
clases y talleres.

¿Cómo revisar la mejor Evidencia Científica Disponible?

Continuamente escuchamos lo importante que es incluir “evidencia científica” en nuestros
diseños. No obstante, existen numerosos estudios académicos sobre la eficacia de intervenciones
sociales, y resulta difícil diferenciar entre “buena” y “mala” evidencia. Este documento pretende
servir como una guía no-técnica para evaluar la calidad de evaluaciones de impacto de programas
sociales, y para determinar cuándo se puede aplicar sus resultados al diseño de un programa
nuevo, aun cuando el contexto y la localidad sean distintos que la evaluación original.

1
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014

Validez Interna y Validez Externa

Para determinar que evidencia debemos usar, es crucial asegurarnos que el estudio que estamos
revisando tiene tanto validez interna como validez externa.
La validez interna se refiere a que la evaluación sea metodológicamente consistente y que los
resultados, dentro del contexto específico de la evaluación, sean científicamente legítim0s. Para
el propósito de este documento, vamos a asumir que los estudios publicados en revistas
académicas tienen validez interna, dado que tiene que pasar por el proceso de revisión de pares.
A diferencia de la validez interna, que podemos confiársela a los pares de los investigadores,
quiénes revisan el estudio antes de que éste sea publicado, la validez externa, o generalización,
es más difícil de determinar. Para evaluar cómo los resultados de un estudio se aplicarían a un
contexto diferente, hay que revisar cuidadosamente el contexto en que queremos aplicar los
resultados, y si acaso estos se debieran mantener en el nuevo contexto. Estas suposiciones
pueden ser más o menos razonables, y por eso es importante hacerlas de manera responsable.

¿Cómo evaluar Validez Externa?

El diseño de una evaluación a veces permite fácilmente generalizar los resultados. Por ejemplo, si
los participantes de una evaluación fueron elegidos aleatoriamente de un grupo bien definido (ej.
distritos de una región, o hogares de una aldea), se puede generalizar seguramente los resultados
al grupo entero sin tener que hacer un
Revisando evidencia científica a primera vista
juicio. Sin embargo, si quieres usar los
Evaluar la calidad de un artículo académico puede ser
resultados de una evaluación fuera de
complicado. No obstante, hay varios indicios que
pueden ayudarte antes de empezar a leer: su contexto original, hay que estimar
Calidad de la revista: El proceso de publicar un que tan generalizable sería el estudio
artículo en una revista académica es muy competitivo, en el contexto distinto. Para hacer
por regla general las mejores revistas publican los esto, hay que tomar en cuenta lo
mejores artículos. Si no sabes cuales, puedes consultar siguiente:
esta lista: http://www.scimagojr.com/journalrank.php
Y para artículos en economía:  Diseño de la intervención:
http://ideas.repec.org/top/top.journals.all10.html Ciertas estudios fueron diseñados
Universidad o institución de los autores: para ser más generalizables que
Generalmente, instituciones académicas eligen a sus otros. Para analizar estas diferencias,
investigadores por la calidad de su investigación. Si el hay que enfocarse en el diseño de la
autor de una publicación es de una institución buena, intervención. ¿Cómo funciona en
es probable que su evaluación sea rigurosa. Puedes teoría?
encontrar las mejores instituciones en economía acá: Por ejemplo, si un medicamento
http://ideas.repec.org/top/top.inst.all.html
nuevo ha sido testeado en un lugar y
Citas: Si un artículo académico ha tenido un gran
ha resultado eficaz, es muy probable
impacto en el mundo académico y de políticas
públicas, es probable que haya sido citado mucho. Se que el medicamento tenga un
puede averiguar cuantas citas tiene un artículo resultado muy parecido en cualquier
buscando aquí: http://www.scholar.google.com lugar del mundo donde exista la

2
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014

enfermedad. Obviamente, el contexto siempre es importante. No tendría sentido

implementar un programa de anti-malaria en un lugar donde no existe la malaria.
En contraste, otr0s estudios están diseñados para contextos muy específicos, y cómo
funciona la intervención depende mucho del implementador, el contexto institucional, y
la población específica que recibe el programa, entre otros variables. Por ejemplo, en una
evaluación de un currículo escolar nuevo, influyen muchas variables como la calidad de los
profesores y las escuelas, el sistema institucional de la educación del país y otras variables
similares, y puede resultar difícil aplicar los resultados de la evaluación a cualquier
contexto. Mientras más variables afecten la intervención, más difícil será generalizar una
evaluación.

 Contexto de la evaluación y contextos en los que te gustaría usar los

resultados: Aun si una evaluación tiene un diseño que no resulta muy generalizable, a
veces es posible usar los resultados en un contexto nuevo si ambos contextos son
¿Dónde puedo encontrar evaluaciones de
impacto rigurosas?
Numerosas organizaciones han hecho esfuerzos
por reunir la evidencia en sitios web más
accesibles. Revísalas acá:
Abdul Latif Jameel Poverty Action Lab*:
http://www.povertyactionlab.org/evaluations
Innovations for Poverty Action:
http://www.poverty-action.org/work/publications
Development Impact Evaluation, World Bank:
http://www.worldbank.org/dime
Social Science Registry, American Economic
Association:
https://www.socialscienceregistry.org/
* El sitio tiene también versión en español.
También puedes encontrar artículos desempeño de los estudiantes, entre
especializados en revisiones de literatura, y los
puedes encontrar enfocando la búsqueda en
“literatura review” o “review”, incluyendo el
tópico que te interesa. Puedes encontrar algunas
aquí:
Abdul Latif Jameel Poverty Action Lab:
http://www.povertyactionlab.org/publications
Annual Reviews:
http://www.annualreviews.org/
suficientemente parecidos en
términos de los factores que pueden
afectar la implementación del
programa. En el ejemplo de
educación de la sección anterior,
podría ser posible usar los resultados
de la evaluación de un currículo
nuevo en el caso de que el contexto
donde se desea implementar un
currículo similar sea suficientemente
parecido al contexto de la evaluación
original (sistema de educación del
país, tipo de escuela donde se
implementará el programa, nivel de
educación de los profesores, grado y
otros). Se puede hacer esta
comparación utilizando datos
cualitativos y cuantitativos. Cuanta
más información tengas sobre el
contexto de la evaluación y el
contexto en el que quieres usar la
evidencia, más puedes confiar en
que esos resultados se aplican en tu
contexto.

3
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014

Cuándo diseñes un programa, o cuando ya lo estés desarrollando, no olvides consultar

regularmente nueva evidencia. El proceso de producción de evidencia es dinámico, y así como tu
proyecto va cambiando, la evidencia relevante también, y cada día se terminan nuevos estudios,
van cambiando los contextos, van cambiando las necesidades de la gente, la gente va conociendo
tu proyecto, etc. No dejes de recoger información, y de generar tu propia evidencia: qué funciona
en tu proyecto, que no, y porqué. Es fundamental que puedas identificar los factores, los
procesos, los componentes, etc. que están generando los resultados, para mejorar lo que no está
funcionando bien, y hacer más de lo que si funciona.

Ten especial cuidado cuando leas sobre estudios en la prensa, internet, redes sociales, etc.
Asegúrate de revisar las fuentes, con la misma rigurosidad que revisarías un estudio que
encontraras tú mismo.