Documente Academic
Documente Profesional
Documente Cultură
Contenido
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
Diseos cuasi-experimentales...................................................................................... 23
1.9
1.1
El Estudio de Lnea de Base (en adelante, ELB) es una investigacin aplicada, realizada con la
finalidad de describir la situacin inicial de la poblacin objetivo de un proyecto, as como del contexto
pertinente, a los efectos de que esta informacin pueda compararse con mediciones posteriores y de
esta manera evaluar objetivamente la magnitud de los cambios logrados en virtud de la implementacin
de un proyecto. Por lo tanto, un ELB constituye una forma de investigacin dirigida a obtener los
referentes bsicos de evaluabilidad del proyecto y, al mismo tiempo, un instrumento esencial para
mejorar los procesos de gestin del conocimiento y toma de decisiones en el mbito de una institucin
de promocin del desarrollo y del pas en su conjunto.
Una lnea de base, esencialmente, est constituida por los valores de un conjunto de variables
directamente relacionadas a los resultados esperados de un proyecto. Por lo tanto, representan la
primera evaluacin de la situacin de la poblacin beneficiaria o, extensivamente, de los beneficios
privados y sociales que conforman la razn de ser del proyecto. El objeto especco de un ELB es
determinar la situacin inicial de los indicadores de efecto e impacto del proyecto, levantando su primer
valor, mediante tcnicas estadsticas y utilizando fuentes primarias y secundarias de informacin.
Adems, los ELB deben mostrar evidencias cualitativas de la situacin de la poblacin objetivo al inicio
de la intervencin, recogidas a travs de entrevistas, talleres, grupos focales y cualquier otro tipo de
tcnicas cualitativas y participativas de recopilacin de informacin. La contraparte de una lnea de
base es la lnea de salida, que muestra el valor de los mismos indicadores luego de concluida la
intervencin. La comparacin de la lnea de base con la lnea de salida es el fundamento de la
evaluacin de un proyecto.
Para que la informacin sea lo ms precisa y objetiva posible, y se superen las limitaciones usuales de
los anlisis descriptivos, se utilizan indicadores de desempeo. Desde esta perspectiva, los indicadores
utilizados en el contexto de una intervencin tienen dos aspectos: lnea de base y lnea de salida, valor
actual y valor futuro deseado, situacin previa y situacin posterior.
1 El presente documento ha sido elaborado bajo la direccin tcnica del Economista David Medianero Burga y la
participacin del equipo tcnico de Cempro, encabezado por la Arquitecta Mara del Carmen Martua e integrado
por los economistas Raquel Gutirrez y Alfredo Rondn. Participaron, igualmente, Yazuri Alvites, Stephanie
Oscanoa y Jorge Saldaa, en calidad de asistentes de investigacin.
3
La lnea de base es la situacin anterior a la intervencin, por lo que constituye el punto de partida
en los procesos de seguimiento y evaluacin.
La lnea de salida es la situacin que se prev se lograr al final del periodo de ejecucin de la
intervencin. Es, en cierto modo, la situacin posterior a la gestin pblica.
La lnea de base de un proyecto debe brindar informacin sobre los aspectos siguientes:
En sntesis, la primera consideracin a tener en cuenta es que los ELB son estudios muy acotados,
pues slo recogen informacin que pueda ser comparada posteriormente con los resultados del
proyecto, para determinar el antes y el despus. Como se sabe, un principio inherente en la evaluacin
es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto
a los indicadores de evaluacin. Por ello, la informacin al respecto debe estar estrechamente
vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo anlisis ha de
repetirse en la evaluacin intermedia y evaluacin final.
1.2
El presente estudio, por otra parte, debe considerarse parte de la aplicacin del enfoque general de
gerencia por resultados o gestin basada en resultados. Este enfoque parte de la nocin de que el
empeo en alcanzar los resultados debe guiar la asignacin de recursos, la realizacin de las
actividades y el conjunto de los esfuerzos de una organizacin. El sistema de gestin por resultados
comprende un conjunto de procedimientos relativos a la gestin del ciclo de una intervencin pblica
en todas sus fases: planificacin, organizacin, direccin y evaluacin. Este sistema permite estructurar
la gestin de modo que ella se oriente al logro de tres niveles de resultados 2:
Bajo el enfoque de gestin por resultados, la gestin pblica es concebida como un sistema en el que
los procesos por definicin, de carcter interno- generan determinados productos. Estos, a su vez,
contribuyen al logro de determinados cambios en el bienestar de la poblacin o resultados
propiamente dichos, que pueden ocurrir inmediatamente despus de culminada la intervencin
(resultados inmediatos) o algn tiempo despus (resultados intermedios) hasta alcanzar los impactos
deseados en el desarrollo (resultados finales). Mientras que los procesos corresponden al mbito
interno de una entidad ejecutora, los resultados se ubican claramente en su mbito externo. Por su
parte, los productos constituyen el punto de encuentro entre las acciones del mbito interno y el medio
externo. Desde esta perspectiva, el desempeo de una institucin puede ser evaluado, en principio, por
la cantidad y calidad de los productos entregados a la sociedad, especficamente a su correspondiente
poblacin objetivo. Puede ocurrir, sin embargo, que los productos no generen los resultados esperados
en las condiciones de vida de la poblacin objetivo. Este tipo posible de situacin es, precisamente, lo
que hace indispensable incluir en el anlisis no solo a los procesos y productos, sino tambin y sobre
todo a los resultados.
Concepto de resultados. Los resultados son los cambios, previstos o imprevistos, positivos o
negativos, deseados o indeseados, de una intervencin pblica. Pueden referirse a los productos o
resultados inmediatos o finales. Los resultados deben ser mensurables, a travs de indicadores
cuantitativos o cualitativos, obtenidos mediante el uso de fuentes primarias o secundarias.
El sistema de gestin por resultados es el enfoque principal de gestin de las intervenciones para el desarrollo
promovida por el Comit de Asistencia al Desarrollo de la Organizacin de Cooperacin y Desarrollo Econmico
(OCDE).
5
Definicin de procesos
La conduccin de una intervencin pblica implica, ante todo, la administracin de los procesos de
produccin; es decir, la realizacin de las actividades que permiten transformar los insumos en
productos. De las definiciones de proceso ofrecidas en la literatura especializada, una de las ms
lgicas, sencillas y actuales es la que lo conceptualiza como una secuencia de actividades que tienen
la finalidad de lograr algn resultado Un proceso implica el uso de los recursos de una organizacin
con la finalidad de obtener un determinado resultado3. Ningn producto puede elaborarse y ningn
servicio puede suministrarse sin un proceso, y ningn proceso puede existir sin un producto o servicio.
En consecuencia:
1. Los procesos sostienen toda actividad de trabajo y se presentan en todas las organizaciones y
en todas las funciones de una organizacin.
2. Los procesos se encuentran anidados dentro de otros procesos a lo largo de la cadena de
valor de una organizacin. La cadena de valor, conocida tambin como cadena de suministro,
es un conjunto de eslabones, conectados unos con otros, que se establecen entre proveedores
de materiales y servicios, y abarca los procesos de transformacin mediante los cuales las
ideas y las materias primas se convierten en bienes y servicios terminados para proveer a los
beneficiarios de un proyecto.
Una tarea esencial consiste en coordinar los enlaces entre los procesos. Ya sea que los procesos sean
internos o externos, la gerencia debe prestar especial atencin a las interfaces entre procesos. La
necesidad de lidiar con esas interfaces pone de manifiesto la necesidad de contar con una
coordinacin interfuncional. La administracin de procesos comprende la seleccin de los insumos, los
flujos de trabajo y los mtodos que transforman los insumos en productos. La seleccin de insumos
empieza con la decisin respecto de los procesos que debern realizarse internamente y de stos
cules sern suministrados por proveedores externos.
Grfico 1. Cadena de resultados y gestin basada en resultados
Procesos
Actividades
1.1 Interconexin de puestos de
control.
1.2 Mecanismos de continuidad
del servicio en puestos de
control.
1.3 Implementacin de..
Productos
1. Acceso a redes de
comunicacin.
2. Acceso a equipos mviles.
3. Acceso a sistemas de control
integrado.
4. Implementacin de sist. de
Resultados
Inmediatos o Especficos
Recursos
procedimientos.
6. Implementacin de programa
S/. 5,050431.04
Final
de entrenamiento.
institucionalidad de la Sunat.
3 Esta seccin est basada en Lee J. Krajewski y Larry P. Ritzman. Administracin de Operaciones.
6
Definicin de productos
El segundo nivel del sistema est constituido por los productos de un proyecto. En el contexto del
enfoque de gestin por resultados, los productos son los bienes y servicios que un proyecto u otro tipo
de intervencin pblica prev producir a fin de lograr un determinado resultado en el seno de la
poblacin beneficiaria. Los productos son las entregas o trminos de referencia de un proyecto,
respecto de los cuales se debe observar las siguientes consideraciones:
Resultado
Productos
Definicin de resultados
Los resultados propiamente dichos corresponden a los efectos de una intervencin en las condiciones
de vida de la poblacin4. La entidad ejecutora de un proyecto debe garantizar que los productos
conduzcan a la mejora de los servicios para la poblacin y un cambio de comportamiento de los
propios beneficiarios. Por lo general, es ms difcil evaluar estos resultados, ya que requieren un
sistema de medicin e informacin diferente y ms complejo. Este nivel de resultados con frecuencia
requiere que la informacin cuantitativa se complemente con evaluaciones cualitativas, lo cual muchas
4
En determinados organismos, como el FIDA, los resultados son conocidos como resultados de tercer nivel.
7
veces es difcil de lograr. Por otro lado, los resultados suelen ser menos numerosos, pero son decisivos
para evaluar y controlar la calidad de los servicios, elemento clave para la toma de decisiones del
proyecto.
Los resultados, cuando no estn referidos a los productos, pueden ser de dos tipos bsicos: resultados
inmediatos y finales. Los resultados inmediatos se refieren a los efectos directos de un proyecto.
Corresponden a qu pasa despus a las familias, personas, grupos, comunidades o instituciones
luego de la ejecucin de las actividades del proyecto y la entrega de los productos. Medir los efectos
directos significa analizar los cambios producidos en el comportamiento de las familias y personas, as
como los cambios en el desempeo de los grupos e instituciones. Estos cambios son muy especficos
en cada contexto y dependen de las caractersticas y los objetivos del proyecto. Se puede recurrir a
diversos mtodos para medir esos cambios: estudios, enfoques participativos, encuestas basadas en
cuestionarios, debates temticos en grupo, etc. Por su parte, el resultado final corresponde al nivel
superior de una intervencin, guarda estrecha relacin con los objetivos de mayor jerarqua de un
proyecto y se refieren a los impactos esperados en el mediano y largo plazo.
Cadena de resultados
En el contexto de la gestin pblica, particularmente de la gestin de proyectos de desarrollo, el
concepto de cadena de resultados es un elemento fundamental. La cadena de resultados muestra la
relacin causal entre recursos, procesos, productos y resultados a lo largo del tiempo. La razn en que
se sustenta la gestin basada en los resultados es que la estrategia de gestin se centra en los
resultados, tanto mediatos como inmediatos, y los productos previstos. A continuacin se determinan
los recursos o insumos y los procesos o actividades necesarios para alcanzarlos2.
Grfico 2. Cadena de resultados
Actividades
Productos
Resultados
inmediatos
Resultado
final
Recursos
Como se muestra en el grfico 2, la jerarqua de los resultados est alineada con la cadena de
resultados del proyecto, lo cual facilita el trabajo ulterior de diseo del sistema de monitoreo y
evaluacin de un proyecto y su contribucin a la gestin basada en los resultados. Cabe destacar el
hecho que el nmero de eslabones o niveles de la cadena de resultados debe tomarse con flexibilidad,
8
Insumos. Recursos financieros, humanos y materiales necesarios para realizar las actividades y
conseguir los productos previstos de un proyecto. Puede ser expresado nicamente como metas
financieras o costos.
Procesos (actividades). Medidas adoptadas o tareas realizadas respecto de un proyecto para
conseguir un producto especfico empleando los recursos asignados.
Productos. Bienes pblicos tangibles o intangibles que se producen gracias a la ejecucin de las
actividades.
Resultados inmediatos o especficos. Efectos directos o cambios generados por los productos
entregados por el proyecto a la poblacin beneficiaria.
Resultados finales. Impactos, en trminos de efectos positivos y negativos a largo plazo, producidos
por un proyecto en el bienestar de la poblacin.
Tomando como punto de partida el marco lgico de un proyecto, su propsito y dems elementos de
un proyecto que pueden ser visualizados y conceptualizados en forma interrelacionada. As tenemos
que los resultados se encuentran localizados en las filas del propsito y fin del marco lgico. Los
resultados tambin se encuentran, en parte, localizados en la fila correspondiente a los componentes
del marco lgico. Se refieren a los productos entregados por el proyecto a la poblacin beneficiaria.
Finalmente, los procesos estn localizados en las actividades del marco lgico, pues, se refieren al uso
de insumos para la realizacin de actividades generadoras de los productos.
Grfico 3. Marco lgico, evaluacin y lnea de base
Objetivos
Fin
Indicadores
de impacto
Propsito
Indicadores
de efecto
Productos
Indicadores
de producto
Actividades
Costos
(Insumos)
Resultados
Procesos
Indicadores
Medios de
Verificacin
Supuestos
Las actividades, sin embargo, estn asociadas a los componentes y pueden conformar el referente
principal para las acciones de monitoreo en la etapa de ejecucin de un proyecto.
Asimismo, de conformidad con el marco lgico del proyecto, los indicadores seleccionados para medir
el logro del propsito del proyecto son los siguientes:
Por otro lado, siguiendo la estructura del marco lgico, el proyecto comprende seis componentes o
estrategias para el logro del propsito. Estos son los siguientes:
1.
2.
3.
4.
5.
6.
Proyecto de Inversin Pblica (estudio a nivel perfil) Optimizacin de la Infraestructura Informtica de la SUNAT.
SUNAT 2009.
10
En cada componente del proyecto, teniendo en consideracin el logro del propsito planteado, se
han trazado determinadas metas globales, tal como se detalla a continuacin. As se tiene que:
Para el logro de las metas antes reseadas, se ha considerado la implementacin de una serie de
actividades que buscan concretar los componentes y que contribuirn en alcanzar el propsito y el fin
del proyecto. Entre las principales actividades destacan las siguientes:
1.
2.
3.
4.
5.
6.
7.
11
Propsito
Facilitar la validacin, en tiempo real,
de documentos sujetos a control y
fiscalizacin en los puestos de control
a nivel nacional.
Indicadores de desempeo
Indicadores de impacto
Medios de verificacin
Fuentes secundarias
Nivel de contrabando.
Indicadores de efecto
Factores externos
Fuentes primarias
12
Cuadro 3. Matriz de Marco Lgico del proyecto Optimizacin de la infraestructura informtica de la SUNAT (Cont.)
Componentes
Fuentes primarias
Actividades
1.1 Interconexin de puestos de control.
1.2 Mecanismos de continuidad del
servicio en puestos de control.
1.3 Implementacin de redes wifi/wimax.
Fuentes primarias
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
Informes de ejecucin
13
1.3
Pertinencia. Grado en el cual el objetivo del proyecto es consistente con las prioridades de
desarrollo de la poblacin objetivo y las polticas de la entidad ejecutora y el organismo donante
o financiador.
Eficacia. Grado en el cual se logran los objetivos especficos y el propsito del proyecto.
Eficiencia. Anlisis de los resultados con relacin al costo; es decir, un anlisis de la
transformacin de los insumos en producto mediante la realizacin de determinadas
actividades.
Impacto. Valoracin socioeconmica global, incluyendo los efectos positivos y negativos, tanto
aquellos que son deseados y estaban previstos, como los no previstos y no deseados.
Sostenibilidad. Apreciacin de la capacidad para mantener los impactos positivos del proyecto
por un largo periodo de tiempo. Anlisis sobre si el efecto global en trminos, por ejemplo, de
empleo e ingresos es positivo tambin en el largo plazo.
Estos aspectos estn estrechamente relacionados al enfoque del marco lgico. As, la pertinencia
alude a la relacin del propsito con las prioridades de desarrollo; la eficacia a la relacin entre los
productos y el propsito; la eficiencia es una comparacin de los insumos con los productos; el
impacto establece relaciones entre las variables controlables por el proyecto y el fin; y, por ltimo, la
sostenibilidad analiza la interaccin entre el fin y los supuestos al mismo nivel.
Evaluacin de impacto. Las evaluaciones de impacto permiten determinar con mayor certeza la
relacin causa-efecto de un proyecto dado y sus resultados en la poblacin beneficiaria. Por lo general,
la metodologa de evaluacin consiste en la construccin de un escenario contrafactual, a travs del
cual se compara la situacin con proyecto versus la situacin sin proyecto y, de este modo, se estima
tanto la magnitud de los cambios como la proporcin de dichos cambios atribuible al proyecto. El
escenario contrafactual se puede construir usando diversas metodologas que se clasifican en dos
categoras generales: diseos experimentales y no experimentales. Tambin se pueden usar mtodos
cualitativos y participativos para evaluar el impacto. Estas tcnicas con frecuencia proporcionan
informacin decisiva sobre las perspectivas de los beneficiarios, el valor que los proyectos tienen para
ellos, los procesos que pueden haber afectado los resultados y una interpretacin ms profunda de los
resultados observados en el anlisis cuantitativo.
1.4
Esta seccin est basada principalmente en los trabajos del ILPES sobre evaluacin de impacto. Sin embargo,
pueden encontrarse magnficos trabajos en el Banco Mundial, especialmente los de Judy Baker y en la OIT, sobre
todo el trabajo de Abdala. En el Per, los trabajos de GRADE, especialmente el de evaluacin de impacto del
programa PROJOVEN constituye una excelente aplicacin del mtodo.
15
De manera ideal, el cambio en las variables atribuibles al proyecto se podra determinar de manera
exacta si fuera posible observar a un individuo despus de haber participado en el proyecto y al mismo
individuo en el estado contrafactual, es decir, sin haber participado en l. Conceptualmente, estos dos
estados posibles para un individuo se reflejan en un primer grupo llamado Grupo Beneficiario y un
segundo llamado Grupo de Control, donde el primero est integrado por individuos que tienen una
participacin directa en el proyecto, a diferencia del segundo grupo, que est conformado por individuos
que por alguna razn no participan del proyecto. Lo crucial es lograr que el grupo de control y el de
beneficiarios sean los ms similares posibles.
Para construir un escenario contrafactual que simule la situacin de los beneficiarios en el escenario de
no participacin en el proyecto, se pueden utilizar tres tipos de diseos de evaluacin: experimentales,
cuasi-experimentales y no experimentales. La diferencia entre los dos primeros diseos radica en la
forma como se asignan los participantes a los grupos de tratamiento y control. As:
En el diseo experimental los participantes son asignados aleatoriamente antes del inicio del
proyecto. Ello permite conformar grupos que sean, en promedio, similares en todas sus caractersticas,
excepto por su participacin en el proyecto.
En los diseos cuasi-experimentales la asignacin es no aleatoria, de modo que el grupo de control
puede conformarse una vez que el proyecto ha empezado. En estos diseos el mtodo de asignacin
dificulta la conformacin de grupos similares, lo que hace necesario el uso de tcnicas estadsticas y
economtricas para corregir el sesgo de seleccin generado.
Los mtodos no experimentales conforman intencionalmente el grupo de control con personas que
quisieron participar en el proyecto pero que llegaron tarde o al ltimo a la inscripcin y, por tanto, no
pudieron hacerlo; o bien con individuos que siendo elegibles para el proyecto, por cualquier otro motivo,
no pudieron participar del mismo.
Asimismo, la evaluacin de impacto, al igual que cualquier otra evaluacin, puede realizarse antes (exante) o despus (ex-post) de la ejecucin del proyecto. En trminos generales, es conveniente realizar
evaluaciones de impacto ex-ante cuando se quiere escoger el proyecto o la combinacin de los mismos
que pueda contribuir de forma ms efectiva a un determinado objetivo de desarrollo; y evaluaciones expost cuando la evaluacin de impacto puede retroalimentar la efectividad del proyecto en cuestin.
En esencia, una evaluacin de impacto tiene el objetivo de medir el cambio observado por los
beneficiarios al haber pasado de una situacin sin proyecto a otra denominada situacin con proyecto.
La evaluacin de impacto del proyecto, en consecuencia, busca responder tres interrogantes
fundamentales:
Ahora bien, mientras el Escenario A, que por definicin expresa la situacin que hoy presentan las
unidades beneficiarias, es obviamente una situacin observable; en cambio, su situacin posterior,
Escenario B, podr ser observado recin a la conclusin del proyecto, asumiendo que ste
efectivamente ser ejecutado. Sin embargo, la situacin posterior de las unidades beneficiarias bajo el
supuesto de que el proyecto no sea ejecutado, Escenario C, nunca podra ser observada, habida
16
cuenta de que no se puede ser y no ser al mismo tiempo; es decir, no se puede haber pasado por el
tratamiento y presentar las caractersticas de una unidad no tratada. Es, por lo tanto, una situacin no
observable. Para superar este problema, se construye un escenario contrafactual, recurriendo a la
observacin de las caractersticas de las unidades no beneficiarias en la situacin posterior a la
ejecucin del proyecto. Tal como seala la teora relevante, para la construccin de este escenario
resulta til la seleccin de un conjunto de unidades no beneficiarias que tengan caractersticas
similares a la poblacin beneficiaria y que se diferencien de sta nicamente en el hecho de que no
participan en el proyecto.
Grfico 4. Lgica de la evaluacin de impacto
Antes
Variables de inters
(Escenario A)
Despus
Intervencin
Variables de inters
y control (Escenario B)
Unidades beneficiarias
(Unidades no beneficiarias)
Antes
Despus
Variables de control
Variables de inters
y control (Escenario C)
En este contexto, es decir en el contexto de una evaluacin de impacto, el ELB permite describir en
detalle la situacin inicial de las unidades beneficiarias, en lo que se refiere a las variables de inters
(por ejemplo, nmero de acciones de fiscalizacin, tiempo de duracin promedio de cada accin y
productividad fiscalizadora de un puesto de control). Conjuntamente con la medicin de las variables
de inters y los indicadores relacionados, es necesario tomar en consideracin las variables de control,
a los efectos de que cualquier comparacin posterior de la situacin de las unidades beneficiarias con
las unidades no beneficiarias tenga validez interna y confiabilidad. Se entiende por variables de control
a aquellas que podran tener influencia sobre la variable de inters, especialmente las variables de
efecto e impacto, sin ser parte del campo de intervencin del proyecto.
De conformidad con la representacin grfica presentada, la importancia de la lnea de base radica en
la informacin que aportar al proceso de evaluacin de impacto. De esta representacin debe quedar
claro que el impacto real del proyecto sobre las unidades beneficiarias es igual a (B C). Sin embargo,
dado que la situacin de los beneficiarios despus del proyecto en estado de no-tratamiento no es
observable, se puede inducir el impacto del proyecto comparando la situacin de los beneficiarios
despus del proyecto en estado de tratamiento (que es su estado natural) con la situacin de los no
beneficiarios, igualmente despus del proyecto, en estado de no-tratamiento (que es, tambin, su
estado natural). La diferencia representara el impacto del proyecto.
Existen tres estimadores ampliamente usados para evaluacin de impacto de un proyecto
intervencin: el estimador antes y despus, el estimador de diferencia en diferencias y el estimador
de corte transversal.
17
Estimador: Antes y Despus. En trminos del grfico 5, el estimador antes y despus resulta de
comparar la situacin de los beneficiarios del proyecto antes del proyecto (E) con su situacin despus
de haber pasado por el proyecto (A). En este caso se usa como grupo de control a los mismos
beneficiarios en su situacin anterior al proyecto, siendo el estimador de impacto el equivalente a (A-E).
El supuesto detrs de la utilizacin correcta de este estimador es que (E) logra aproximar bien la
situacin de los beneficiarios en caso no hubieran participado en el proyecto (B), lo cual requerira que
no se hayan producido cambios en la situacin econmica en general durante ese lapso. El problema
de este mtodo radica en que tpicamente, la simple comparacin antes y despus puede llevar a
atribuir errneamente al proyecto cambios que se hubieran dado en ese grupo de beneficiarios
independientemente de su participacin en el proyecto.
Estimador: Diferencia en Diferencias. El estimador de diferencia en diferencias resulta de comparar
las situaciones antes-despus de los beneficiarios con aquella de los controles. As, el impacto del
proyecto se estima mediante la siguiente frmula (A-E) (D-F). El supuesto detrs de este estimador es
que el cambio en la situacin de los controles (D-F) entre el momento previo al proyecto y el momento
posterior al proyecto es una buena aproximacin del cambio que hubiesen experimentado los
beneficiarios durante ese mismo perodo de no haber pasado por el proyecto (B-E).
Estimador: Corte Transversal. El estimador de corte transversal slo toma en cuenta la situacin de
beneficiarios y controles despus del proyecto. Directamente el impacto se estima a travs de A-D.
Aqu, el supuesto es que D es una buena representacin de B. Esta metodologa se utiliza en los casos
en los que no hay informacin acerca del proyecto al inicio del mismo (lnea de base) y slo se puede
recoger informacin luego del proyecto. Ntese que si las situaciones de los beneficiarios y controles
son similares en el perodo anterior al proyecto, el estimador de diferencia en diferencias es equivalente
al estimador de corte transversal.
Grfico 5. Estados posibles para beneficiarios y controles
Beneficiarios
E: Situacin antes
del proyecto
Controles
F: Situacin antes
del proyecto
C: Estado de tratamiento
D: Estado de no tratamiento
Situaciones observables
Situaciones no observables
18
1.5
El trabajo estadstico involucrado en el presente estudio se asienta sobre tres elementos bsicos: las
unidades de anlisis (poblacin y muestra), las variables o caractersticas de la poblacin o muestra y
sus correspondientes indicadores y, finalmente, los datos o valores que tomarn cada uno de los
indicadores. Estos tres elementos constituyen la matriz tripartita de informacin del ELB. Como
en todo estudio, en el ELB del proyecto el investigador (sujeto) observar sistemticamente
fenmenos o hechos de un campo de la realidad (unidades de anlisis), sobre la cual interesa analizar
determinadas caractersticas (variables), con el propsito de dimensionar o cuantificar determinados
cambios (valores en las variables o datos). A tal efecto, se elabora una muestra de las unidades de
estudio, se transforman las variables e indicadores en preguntas de un cuestionario y, finalmente, se
recopilan los datos mediante una encuesta. Esta es, en sntesis, la metodologa operativa del presente
ELB.
Las unidades de anlisis son, principalmente, los puestos de control de la SUNAT. Estas
unidades tienen una caracterstica comn, en cuanto constituyen el objeto de anlisis del
presente estudio. Toda poblacin tiene "N" elementos o unidades de anlisis, y una
muestra de "n" elementos, donde n<N.
Las variables son las dimensiones o caractersticas que se desea conocer en relacin
a las unidades de anlisis, tales como equipamiento, software, conectividad,
productividad, satisfaccin, etc. Las variables se definen e identifican en funcin de los
objetivos del estudio y stos, a su vez, estn relacionados con los objetivos del
proyecto mismo.
Los datos o valores que alcanzan las unidades en las variables estudiadas son las
respuestas o resultados que se obtienen cuando las unidades de anlisis son
encuestadas o interrogadas, o alternativamente, son observadas. Habr tantos datos
como elementos tiene la poblacin en estudio.
19
Variables de estudio
Pregunta
Pregunta
Pregunta
Unidades de anlisis
Registro 1
Registro 2
Registro 3
Datos
1.6
Nombre o denominacin.
Definicin operativa.
Categoras o niveles de los valores de la variable.
Procedimiento para recopilar los datos desde las unidades de anlisis.
Indicadores o medidas de resumen de los datos recopilados.
Veamos, a modo de ejemplo, los elementos de la variable Satisfaccin del usuario interno, que es
una variable cualitativa.
Nombre
Definicin operativa
y unidad de medida
Categoras y escala
de medida
(04) Insatisfactorio.
20
(02) Satisfactorio.
(03) Indiferente.
Obtencin de datos
Indicadores
Porcentaje de aprobacin.
Veamos el caso de una variable cuantitativa, como por ejemplo la variable Ingreso.
Nombre
Ingreso.
Definicin
Categoras
Por intervalos
(03) 401-600;
(04) 601-800;
(05) 801-1000;
(06) 1001-1400;
(07) 14pl-1800;
(08) 1801-2200;
(09) 2201-2600;
(10) 2601-3000;
Ingreso promedio.
Coeficiente de Gini.
El nombre de una variable debe ser breve y de fcil recordacin. Debe ser inequvoco, evitando
que se le confunda con otras variables. Una variable es un atributo o caracterstica susceptible de
medicin, pero que sin una adecuada definicin operativa no podra ser medida. La definicin operativa
es su forma de clculo, que en unos casos puede ser una frmula, pero en otras simplemente una
especificacin de los elementos que debern considerarse. Para obtener los datos (cuando se trata de
variables de fuente primaria) se elabora una encuesta, cuyo ncleo est constituido por las preguntas
del cuestionario y sus respuestas, las cuales para su procesamiento sistemtico son agrupadas en
categoras y a las cuales se aplican distintas escalas de medida.
Finalmente, obtenidos los datos, hay que resumirlos, a cuyo efecto se crean indicadores. Por
ejemplo, luego de recopilar datos sobre el nivel de ingresos de la poblacin del pas, stos son
resumidos en dos indicadores: Ingreso promedio e ndice de Gini. Estos indicadores son los que se
anotan en la lnea de base, pues resumen la situacin de las unidades de anlisis, que en este caso
estn constituidos por toda la poblacin del pas.
La mayor parte del presente seccin y las siguientes han sido tomadas de las publicaciones del ILPES,
especialmente de las siguientes: Manual para la Evaluacin de Impacto de Proyectos y Programas de Lucha contra
la Pobreza (Hugo Navarro, 2005) y Pauta Metodolgica de Evaluacin de Impacto Ex ante y Ex post de Programas
Sociales de Lucha contra la Pobreza (Hugo Navarro y otros, 2006).
21
22
1.8
Diseos cuasi-experimentales
La segunda alternativa para construir el escenario contrafactual son los diseos cuasi-experimentales,
mtodo cuya caracterstica esencial es el carcter no aleatorio de la seleccin de los grupos de
beneficiarios y no beneficiarios. Al proyecto puede ingresar cualquier individuo interesado en participar,
que cumpla con los criterios de elegibilidad y focalizacin del proyecto, y al cual el proyecto pueda
atender. En el diseo cuasi-experimental una de las alternativas para seleccionar el grupo de
comparacin es el mtodo de pareo. El objetivo de este mtodo es encontrar o identificar un grupo de
individuos que no participaron en el proyecto pero que cumplen con los criterios de seleccin del
proyecto y son similares a las personas que conforman el grupo de tratamiento en aquellas
caractersticas observables que podran incidir en la variable de impacto y en la decisin de los
individuos de participar o no en el proyecto.
El pareo se puede realizar por individuo o por grupo. Cuando se utiliza el pareo por individuo se busca
que cada beneficiario del grupo de tratamiento sea comparable con un no beneficiario en el grupo de
comparacin. Por su parte, el pareo por grupo es menos exigente, requiere que el grupo de tratamiento
y comparacin sean en promedio iguales. El pareo por individuos es ms preciso y arroja resultados
ms confiables que el pareo por grupo. Sin embargo, aunque el pareo por individuo es
estadsticamente ms deseable que el pareo por grupos, en general las evaluaciones de impacto
utilizan ms el mtodo agregado. Debido, en parte, a la disponibilidad de informacin, es difcil
encontrar siempre un individuo de comparacin para cada beneficiario que se encuentra en el grupo de
tratamiento. Esto conlleva a que un nmero significativo de observaciones en el grupo de tratamiento
no puedan ser utilizadas en las evaluaciones, disminuyendo la representatividad de la muestra.
Adicionalmente, el pareo por individuo es ms costoso en trminos de dinero y tiempo.
El mtodo de pareo es un procedimiento relativamente sencillo de aplicar cuando slo unas pocas
caractersticas de los individuos afectan la variable de impacto y la decisin de participar en el proyecto.
Sin embargo, en general los problemas que buscan resolver los proyectos sociales estn determinados
por ms de dos variables, lo cual dificulta la aplicacin del mtodo de pareo. Cabe sealar que cuando
el pareo no incluye todas las variables que determinan la variable de impacto y la participacin en el
proyecto podra existir sesgo en la estimacin del impacto. Esto debido a que los grupos (tratamiento y
control) no seran estadsticamente comparables.
Para facilitar la aplicacin del mtodo de pareo se han desarrollado modelos economtricos que
permiten controlar los efectos de n variables observables e identificar aquellos individuos que son
similares a las personas que conforman el grupo de tratamiento. Estos modelos estiman la probabilidad
de los individuos de participar en el proyecto a travs de modelos probit o logit, utilizando como
variables independientes una serie de caractersticas socioeconmicas de los individuos relevantes al
problema que se evala. Los individuos que no son beneficiarios del proyecto y que su probabilidad de
haber participado en el proyecto es similar a la de los beneficiarios conforman el grupo de comparacin.
Uno de los mtodos ms utilizados es el propensity score mactching method8.
La utilizacin del mtodo de pareo ofrece al menos dos ventajas En primer lugar, los grupos de
tratamiento y comparacin no tienen necesariamente que conformarse antes de iniciar la operacin del
proyecto. Utilizando estimaciones de la probabilidad de participacin en el proyecto, estos grupos se
pueden conformar a partir de informacin sobre la situacin con proyecto de los individuos que
participaron y no participaron en el proyecto.
8
La segunda ventaja es que el mtodo de pareo no exige que se prohba el ingreso al proyecto a
individuos que hacen parte de la poblacin objetivo de la intervencin. Los individuos que conforman el
grupo de pareo generalmente son personas que por restricciones de cobertura o tecnolgicas no
hubieran podido tener acceso al proyecto bajo ninguna circunstancia. Por ejemplo, usualmente se
seleccionan reas geogrficas en donde el proyecto no se ejecut o ejecutar.
Por su parte, la principal debilidad del mtodo de pareo para cuantificar el impacto de un proyecto social
es la existencia de diferencias no observables entre los grupos de tratamiento y control, que generan un
sesgo de seleccin. Este sesgo se genera por el hecho que el ingreso al proyecto es una decisin del
beneficiario y no de un proceso aleatorio. Esto implica que las personas que deciden ingresar al
proyecto podran tener caractersticas no observables por el evaluador que influyen en su decisin de
participar y, a su vez, determinan la variable de impacto del proyecto.
Un ejemplo clsico es la motivacin. Generalmente, las personas que deciden ingresar al proyecto
tienen una mayor motivacin de mejorar sus condiciones socioeconmicas y, por lo tanto, aun sin haber
participado en el proyecto, las condiciones de vida de estos beneficiarios hubieran mejorado debido a
que su motivacin les hubiera permitido encontrar otras alternativas de solucin. Si al proyecto ingresan
todas las personas con motivacin, implica que en el grupo de comparacin slo hay personas sin
motivacin. Esta diferencia hara que los dos grupos no sean equivalentes y, por lo tanto, se sobre
estime el impacto del proyecto.
Finalmente, otra alternativa usada en diseos cuasi-experimentales para seleccionar el grupo de
comparacin es comparar la situacin de los beneficiarios antes y despus de la intervencin. Como ya
se mencion este es el mtodo de comparaciones reflexivas. La lnea base conforma el escenario
contrafactual contra la cual se contrasta la situacin de los beneficiarios despus de haberse ejecutado
el proyecto. El supuesto general de este mtodo es que las condiciones de vida de los no beneficiarios
no cambiaran en la ausencia del proyecto, lo cual es difcil de suponer en muchos proyectos sociales.
Este diseo es principalmente utilizado en el caso de proyectos de cobertura total en los que no es
posible construir un grupo de control o comparacin. Por ejemplo, en un proyecto nacional de
alfabetizacin que tiene la infraestructura para beneficiar a todas las personas analfabetas del pas, no
es posible encontrar una muestra representativa de personas analfabetas que no estn siendo
capacitadas por el proyecto. En este caso, se evaluara el impacto del proyecto comparando la tasa
promedio de analfabetismo del grupo de beneficiarios antes y despus del proyecto, controlando los
factores externos que pudieran haber incidido en el resultado.
1.9
Diseos no experimentales
1.
Anlisis de datos.
10
25
26
fuentes de carcter secundario. Para determinar los indicadores que en cada caso especfico sern
utilizados, se recomienda el procedimiento siguiente:
Las variables claves estn relacionadas con los objetivos de la intervencin. Para ello, los objetivos
deben ser claros, especficos y mensurables. Cuantificar un objetivo consiste en asociarle patrones que
permitan hacerlos verificables. En el caso del presente estudio, se han identificado un conjunto de 23
variables, divididas en 5 variables de fuente secundaria y 18 de fuente primaria. Para el caso de estas
ltimas, el sistema de informacin deber considerar el desarrollo de un cuestionario que permita
obtener datos para estas variables y el resumen de los mismos a travs de los indicadores
seleccionados.
Muestra dirigida
Subgrupo de la poblacin en la que la
eleccin de los elementos no depende de la
probabilidad sino de las caractersticas de la
sistematizacin.
Cuando una encuesta se realiza slo a una parte de la poblacin, se trata de un estudio muestral. Una
muestra es un conjunto de elementos de una poblacin o universo del que se quiere obtener
informacin. A efectos de que la informacin obtenida de una muestra sea vlida, sta debe ser
representativa de la poblacin; es decir, que en su estructura se reproduzcan exactamente las
caractersticas y comportamientos de la poblacin de la que ha sido obtenida. Aunque la precisin o
exactitud de los datos obtenidos a travs de una muestra es menor que en un estudio censal, las
ventajas de coste y tiempo superan con creces tal inconveniente.
El proceso de muestreo supone llevar a cabo las siguientes etapas:
1.
2.
3.
4.
5.
En el muestreo por conglomerados o reas lo que se elige al azar no son unos cuantos
elementos de la poblacin, sino unos grupos de elementos de la misma previamente formados,
de los que se irn obteniendo al azar otros grupos de elementos, y as sucesivamente, hasta
llegar a la unidad muestral primaria.
La muestra puede tambin seleccionarse por alguno de los mtodos no probabilsticos siguientes: por
conveniencia, de forma discrecional y por cuotas.
El muestreo por cuotas es un caso especial del anterior. La muestra se selecciona de manera
que sus caractersticas (de sexo, edad, lugar de residencia, ingresos, etc.) se ajusten a las
establecidas como de control.
A fin de calcular el tamao de la muestra, generalmente, se asume un nivel de significancia del 95%,
28
un error de muestreo del 8% y una probabilidad de ocurrencia de 0.5. En base a dichos parmetros, la
muestra queda conformada de acuerdo a los resultados obtenidos con la aplicacin de la frmula
siguiente:
Donde:
p
q
N
EM
M
Traslada el objetivo de la investigacin a preguntas concretas que sern respondidas por las
personas encuestadas.
Homogeniza las obtencin de informacin, ya que todos los encuestados responden a las
mismas preguntas del cuestionario.
Si su diseo, estructura, ordenacin y aspecto es acertado, el cuestionario contribuye
eficazmente a que las personas proporcionen informacin
29
Ayuda a que el tratamiento de datos se haga ms rpido, porque facilita las tareas de
codificacin de datos, pues figuran en el propio cuestionario, y su grabacin en los equipos
informticos, especialmente cuando se trata de cuestionarios que se pueden leer con un lector
ptico.
Las preguntas que contiene un cuestionario estn determinadas por los objetivos de la investigacin
que se desea realizar, que pueden ser medir comportamientos, actitudes u opiniones. Una
investigacin se disea globalmente. Se fijan unos objetivos de conocimiento, los cuales determinan
qu informacin debe recogerse y cmo va a medirse. Paralelamente, debe seleccionarse la tcnica
idnea para tratar la informacin. Cada tipo de datos exige una tcnica de anlisis, y cada estudio
necesita aplicar la tcnica idnea.
Un cuestionario puede estar muy bien diseado y el encuestador ser excelente. No obstante, siempre
existe la duda sobre la veracidad de la informacin que se obtiene. Tres son las fuentes de
incertidumbre.
Quien responde tiene dificultad para expresarse o para comprender el cuestionario. Puede ser
por razones culturales o intelectuales. En general, los cuestionarios con preguntas cerradas
son los ms aconsejables para personas que tengan estas caractersticas en grado medio o
bajo. Cuando se trata de preguntas abiertas es ms difcil obtener respuestas, ya que obligan a
un ejercicio mental. A veces el nmero de tems o de categoras puede resultar excesivo,
especialmente con personas mayores o muy jvenes.
Quien responde tiene mala memoria. Este problema aparece con frecuencia cuando se trata
de personas de edad, pero tambin puede aparecer aisladamente en cualquier otra. Para
conseguir informacin fiable se puede acudir a listas u otros elementos visuales (fotos,
catlogos, etc.) que ayuden a recordar. Tambin se puede invitar a que la persona escriba un
diario.
Quien responde puede ser reacio a contestar. Las razones pueden ser de diversa naturaleza.
Pueden ser inconscientes o irracionales pues tal vez el encuestado no pueda dar argumentos
sobre su negativa a responder. Otras veces pueden surgir barreras sociales o de
inadmisibilidad. Otras veces las personas tienden a dar respuestas socialmente aceptadas,
aunque internamente piensen lo contrario. Es posible que contesten en un sentido por
educacin, o para acabar la entrevista o encuesta cuanto antes.
Una vez que se haya diseado el cuestionario, ste debe ser aplicado a un grupo de personas para
30
efectuar una prueba. En una primera confeccin, es posible que no se acierte con aspectos semnticos
en las preguntas. Es decir, la redaccin del cuestionario puede no ser del todo correcta o que no se
comprenda bien. Es posible, tambin, que algunas preguntas importantes no se hayan incluido, o no
estn bien matizadas, o que haya un exceso de preguntas y algunas no sean significativas.
Los defectos de contenido y/o forma que pudieran aparecer en el cuestionario se detectan mediante
pruebas piloto, dirigidas a pequeos grupos. Una vez subsanados los errores o perfeccionado el
cuestionario se podr dirigir a la totalidad de la muestra. De esta manera se evita tener que repetir la
investigacin por haber difundido un cuestionario confuso o errneo.
En resumen, la prueba piloto del cuestionario persigue,
Eliminar ambigedades.
Eliminar preguntas superfluas.
Aadir al cuestionario preguntas relevantes.
Simplificar preguntas difciles.
Cambiar el orden de las preguntas para agilizar el flujo de respuestas.
Corregir la redaccin.
Eliminar faltas de ortografa.
Comprobar que los cdigos para grabar los datos ms adelante sean correctos.
En la prueba piloto se mide la consistencia interna del cuestionario, a travs del coeficiente a de
Cronbach. Las pruebas piloto se repiten las veces necesarias hasta conseguir la mayor validez del
cuestionario.
campo es poco atractiva o descuidada. Una excepcin a esto sera la investigacin etnogrfica, en la
cual el entrevistador debe vestirse de acuerdo con el grupo que se estudia.
El objetivo de la capacitacin es asegurar que el instrumento de recoleccin de datos se administre de
manera uniforme por todos los trabajadores de campo. La meta de estas sesiones es que cada
participante sea dotado de informacin comn. Si los datos se obtienen de manera uniforme por todo
los que participan, la participacin habr tenido xito.
Es probable que la mayora de los programas de capacitacin extensos abarque los siguientes temas:
Por lo comn los entrevistadores reclutados registran las respuestas en un cuestionario de prctica
durante una entrevista de capacitacin simulada. Entrevistar es una ocupacin calificada, as que no
todos pueden hacerlo y menos an hacerlo extremadamente bien. Un buen entrevistador observa
determinados principios bsicos, los cuales son resumidos en la tabla adjunta.
Cuadro 5. Principios bsicos del trabajo de campo
Principios bsicos
Descripcin
Prestar atencin a la
precisin y al detalle.
Mantener confidenciales
la consulta y las
respuestas de los
participantes.
No platique los estudios que est realizando con parientes, amigos o asociados.
Es inaceptable tanto para la entidad de investigacin como para sus clientes.
Ante todo, nunca cite las opiniones de un participante con otro, esa es la mayor
violacin a la intimidad.
32
La entrada y grabacin de los datos es el registro de los cdigos y valores de las variables en
un sistema informtico para su posterior tratamiento y anlisis. Se entiende por dato un valor
especfico de una variable. Por ejemplo, 35 aos es un dato de la variable edad.
La edicin de datos es la inspeccin de las respuestas de los cuestionarios, con el fin de
asegurar que estn suficientemente contestados y que las respuestas sean consistentes. De
ser necesario, se efectuarn las correcciones oportunas o se rechazarn los cuestionarios mal
o insuficientemente contestados.
La codificacin de los datos consiste en asignar cdigos numricos a las respuestas dadas a
un cuestionario para poder efectuar el tratamiento estadstico de los datos. En las preguntas
cerradas los cdigos estn preestablecidos en el cuestionario, pero en las preguntas abiertas
(variables tipo texto) deben asignarse cdigos a las respuestas obtenidas. Para ello debe
procederse a agrupar las respuestas obtenidas por su similitud, y asignarles un cdigo y su
correspondiente significado en una nueva variable categrica.
Los datos codificados se recopilan sistemticamente en un fichero o matriz de datos que permite el
tratamiento estadstico posterior. Cada fila del fichero recoge las respuestas o la informacin recogida
en un cuestionario. A cada pregunta o variable se le asigna una o ms columnas del fichero. La
interseccin de la fila i con la columna j recoger la respuesta codificada del individuo i a la pregunta
asignada a la columna j. Las primeras columnas se suelen reservar para la identificacin de la
observacin o individuo.
Para el anlisis se debe definir la naturaleza de cada variable, cualitativa mtrica o textual. El fichero de
trabajo puede contener la siguiente informacin:
variable en un registro informtico. Comnmente, en un fichero los registros de datos son las filas de la
tabla y los campos estn representados por las columnas.
De otro lado, el anlisis de casos se basa en estudios de detalle de un determinado grupo o individuo
relacionado con el contexto bajo evaluacin. El alto nivel de detalle obtenido puede proporcionar
informacin valiosa para evaluar la calidad de los procesos, resultados e impactos del proyecto. Los
procesos de recopilacin y anlisis de los datos se llevan a cabo en forma simultnea, puesto que los
evaluadores realizan observaciones mientras recopilan la informacin.
Este aparatado se basa en el texto de Miguel Santesmases Mestre, Diseo y anlisis de encuestas en
investigacin social y de mercados. Editorial Pirmide, Madrid 2009.
34
Al redactar el informe final del estudio, debe tenerse en cuenta que la lnea de base de un proyecto
debe brindar informacin sobre los aspectos siguientes:
En sntesis, la idea fundamental a tener en cuenta es que los ELB son muy acotados, pues slo
recogen informacin que pueda ser comparada posteriormente con los resultados del proyecto, para
determinar el antes y el despus. Como se sabe, un principio inherente en la evaluacin es la
posibilidad de establecer comparaciones, disponiendo de valores y valoraciones iniciales respecto a los
indicadores de evaluacin. Por ello, la informacin al respecto debe estar estrechamente vinculada a
los indicadores de efecto e impacto del proyecto, puesto que el mismo anlisis ha de repetirse en la
evaluacin intermedia y evaluacin final. Finalmente, cabe indicar que los informes de lnea de base se
deben programar como parte de una estrategia de difusin, que puede incluir, adems del informe
tcnico propiamente dicho, la realizacin de presentaciones ante diversos pblicos y la difusin en los
medios de comunicacin de los resmenes ejecutivos sobre los hallazgos de la evaluacin.
35
La determinacin del mbito del estudio implica precisar las unidades de anlisis, que pueden
ser sujetos u objetos. El tipo de unidades de anlisis depende del objetivo de la intervencin.
2. Determinacin de
los objetivos
Por lo general, el objetivo de un ELB es ofrecer una referencia slida para la medicin de los
cambios que se lograran gracias a la ejecucin del proyecto. Adems, los ELB deben mostrar
evidencias cualitativas de la situacin de la poblacin objetivo al inicio de la intervencin.
3. Seleccin de
variables e
indicadores
4. Determinacin del
marco muestral
5. Diseo del
cuestionario
Una vez que se ha elaborado el cuestionario conviene hacer una valoracin del mismo, para
ello, debe ser sometido a un grupo de personas para efectuar una prueba. Lo cual nos ayudar
a detectar los defectos de contenido y/o forma que pudieran aparecer en el cuestionario. Una
vez subsanados los errores o perfeccionado el cuestionario se podr dirigir a la totalidad de las
personas que se considere oportuno.
7. Realizacin del
trabajo de campo
8. Construccin de
la base de datos
9. Anlisis de datos
La redaccin del Informe del Estudio de Lnea de Base es, obviamente, el paso final. Los
informes de lnea de base se deben planificar como parte de una estrategia de difusin, que
puede incluir, adems del informe tcnico propiamente dicho, la realizacin de presentaciones
ante diversos pblicos y la difusin en los medios de comunicacin de los resmenes
ejecutivos.
Elaboracin propia.
36
Proyecto
Objetivos
del estudio
Variables
de estudio
Unidades
de anlisis
Puestos
de control
Recopilacin
de datos
Variables de fuente
primaria
Variables de fuente
secundaria
Variables
cuantitativas
Variables
cualitativas
Priorizacin
de poblacin
Diseo del
cuestionario
Estratificacin de
poblacin y cuoteo
Prueba piloto
Tamao y marco
muestral
Trabajo de campo
Base de datos
Indicadores
y anlisis
Redaccin
de Informe
37
Unidad de control
Provincia
Encuesta presencial
N de
puestos de
control
(N
personas)
41
111
Piura
42
IA Paita
42
Alamor
Puesto de control
Sullana
El Guineo
Puesto de control
Ayabaca
Terminal martimo
Puesto de control
Paita
Aeropuerto
Puesto de control
Paita
La Tina
Agencia aduanera
Ayabaca
Talara
Talara
Piura
Lima
Base de operaciones
32
IR Lima
32
Lima
Lima
10
Lima
11
Lima
16
Puno
IA Puno
16
12
Cabanillas
Puesto de control
San Romn
13
Kasani
Puesto de control
Yunguyo
14
Tilali
Puesto de control
15
Ojherani
Puesto de control
Puno
16
Desaguadero
Puesto de control
Chucuito
17
Aeropuerto
Puesto de control
San Romn
11
Callao
IA Aerea
18
Puesto de control
Callao
19
Swissport - Exportacion
Puesto de control
Callao
20
Rampa
Puesto de control
Callao
38
21
Vuelos nacionales
Puesto de control
Callao
22
Garita 3
Garita
Callao
23
Garita 6
Garita
Callao
IA Postal
24
Serpost Lima
Puesto de control
Callao
IA Maritima
25
Puesto de control
Callao
26
Puesto de control
Callao
27
Huacho
Puesto de control
Huaura
28
SINI
Puesto de control
Arequipa
IA Arequipa
29
San Jos
Base de operaciones
Arequipa
30
Serpost
Puesto de control
31
Aeropuerto
Puesto de control
Arequipa
Caman
IR Arequipa
32
Caman
IA Mollendo
33
Ceticos
Puesto de control
Islay
34
Terminal martimo
Puesto de control
Islay
Tumbes
IA Tumbes
35
Control de Rgimen
Puesto de control
Zarumilla
36
Puente Internacional
Puesto de control
Zarumilla
37
Carpitas
Puesto de control
Cont. Villar
38
Aeropuerto
Puesto de control
Tumbes
39
Spondylus
Puesto de control
40
Zarumilla
Puesto de control
24
24
Zarumilla
IR Tumbes
41
Carpitas
Encuesta virtual
La Libertad
IA Salaverry
Terminal martimo
Puesto de control
Trujillo
Aeropuerto
Puesto de control
Trujillo
Tacna
IA Tacna
IR La Libertad
3
El Milagro
Subtotal
Puesto de control
La Libertad
Vila Vila
Tacna
Terminal terrestre
Puesto de control
Tacna
Tomasiri
Puesto de control
Tacna
10
ZofraTacna
39
IR Tacna
Ica
IA Pisco
Terminal martimo Pto. San
12
Martn
13
Aeropuerto de Pisco
Puesto de control
Pisco
Puesto de control
Pisco
14
Puesto de control
Nazca
Junn
IR Junn
15
Quilla
16
Casaracra
Amazonas
IA Tarapoto
11
Tomasini
Tacna
Yauli
17
Jazn
Puesto de control
Bongar
18
Aeropuerto
Puesto de control
San Martn
Cusco
IA Cusco
19
Sicuani
Puesto de control
Canchis
20
Aeropuerto
Puesto de control
Cusco
Hunuco
OZ Hunuco
21
Ambo
Ucayali
IA Pucallpa
22
OZ Ucayali
23
Subtotal
Madre de Dios
IA Pto. Maldonado
24
Subtotal
Ambo
40
Nombre de
la variable
Cadena
de resultados
Unidad de
anlisis
Escala de
medida
Tipo de
fuente
Indicador
Unidad de
medida
Procesos de
fiscalizacin
virtualizados
Impacto
Usuario
interno
No aplicable
Fuente
secundaria
Tasa de
virtualizacin de
procesos de
fiscalizacin
Porcentaje
Duracin de la
gestin tributaria del
contribuyente.
Impacto
Usuario
interno
No aplicable
Fuente
secundaria
tiempo promedio de
la gestin tributaria
del contribuyente
Horas al ao
Incumplimiento de
pago del IGV.
Impacto
Usuario
interno
No aplicable
Fuente
secundaria
Tasa de
incumplimiento de
pago del IGV.
Porcentaje
Presin tributaria.
Impacto
Usuario
interno
No aplicable
Fuente
secundaria
Tasa de presin
tributaria.
Porcentaje
Nivel de
contrabando.
Impacto
Usuario
interno
No aplicable
Fuente
secundaria
Monto total de
contrabando
Nuevos Sol
Tiempo de
verificacin de
documentos sujetos
a control y
fiscalizacin, para el
caso de
transportistas con
guas de remisin
no mayor a 5.
Tiempo de
verificacin de
documentos sujetos
a control y
fiscalizacin, para el
caso de
transportistas con
guas de remisin
mayores a 5 y
menores a 10.
Efecto
Usuario
interno
Intervlica
Fuente
primaria
tiempo promedio
Minutos
Efecto
Usuario
interno
Intervlica
Fuente
primaria
Tiempo promedio
Minutos
41
Percepcin del
usuario interno con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario interno con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario interno con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario interno con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Percepcin del
usuario externo con
respecto a la
prestacin de
servicios de control
y fiscalizacin en
puestos de control.
Puestos de control
interconectados
Efecto
Usuario
interno
Intervlica
Fuente
primaria
Vehculos
intervenidos en
promedio por da
Nmero
Efecto
Usuario
interno
Nominal
Fuente
primaria
Vehculos
intervenidos en
promedio por clase
Nmero
Efecto
Usuario
interno
Nominal
Fuente
primaria
Consultas
realizadas
Nmero
Efecto
Usuario
interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin
Porcentaje
Efecto
Usuario externo
Intervlica
Fuente
primaria
Promedio de gua
de remisin
verificadas
Nmero
Efecto
Usuario externo
Intervlica
Fuente
primaria
Tiempo promedio de
demora
Minutos
Efecto
Usuario externo
Intervlica
Fuente
primaria
Tiempo promedio de
espera
Minutos
Efecto
Usuario externo
Nominal
Fuente
primaria
Porcentaje de
personas
informadas de los
procedimientos de
verificacin y control
Porcentaje
Efecto
Usuario externo
Nominal
Fuente
primaria
Medios utilizados
por clase
Nmero de
medios
Efecto
Usuario externo
Nominal
Fuente
primaria
Porcentaje de
aprobacin
Porcentaje
Efecto
Usuario externo
Nominal
Fuente
primaria
Factores crticos
Nmero
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
42
Puestos de control
interconectados
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
puestos de control
con tipo de
comunicacin
apropiados
Porcentaje
Puestos de control
interconectados
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Aprobacin de la
conexin
Porcentaje
Puestos de control
interconectados
Producto 1: Acceso
a redes
Usuario interno
Intervlica
Fuente
primaria
Promedio de
computadores
personales en
puesto de control
Nmero
Puestos de control
interconectados
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Personas que
consideran
suficiente el nmero
de computadoras
Porcentaje
Puestos de control
interconectados
Producto 1: Acceso
a redes
Usuario interno
Intervlica
Fuente
primaria
Tiempo promedio de
antigedad de las
computadoras
Aos
Puestos de control
con mecanismos de
continuidad.
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Nmero de
personas de
acuerdo a la
calificacin de la
conexin
Nmero
Puestos de control
con mecanismos de
continuidad.
Producto 1: Acceso
a redes
Usuario interno
Intervlica
Fuente
primaria
Promedio de
consultas sin tener
problemas con la
red
Nmero
Puestos de control
con mecanismos de
continuidad.
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Personas que
manifestaron que el
puesto de control
cuenta con
mecanismos de
continuidad
Nmero
Puestos de control
con tecnologa Wi -fi
implementada
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Puestos de control
con tecnologa Wi -fi
implementada
Nmero
Puestos de control
con tecnologa Wi -fi
implementada
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin del
tiempo de respuesta
de la tecnologa wifi
Porcentaje
Puestos de control
con tecnologa Wi
max implementada
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Puestos de control
con tecnologa Wi max implementada
Nmero
Puestos de control
con tecnologa Wi
max implementada
Producto 1: Acceso
a redes
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin del
tiempo de respuesta
de la tecnologa
wimax
Porcentaje
43
Intervenciones con
uso de Wi-fi
Producto 1: Acceso
a redes
Usuario interno
Intervlica
Fuente
primaria
Promedio de
intervenciones al
da
Nmero
Intervenciones con
uso de wi-max
Producto 1: Acceso
a redes
Usuario interno
Intervlica
Fuente
primaria
Promedio de
intervenciones al
da
Nmero
Puestos de control
con equipos mviles
adecuados
Producto 2: Acceso
a equipos mviles
Usuario interno
Nominal
Fuente
primaria
Personas que
respondieron
afirmativamente
Nmero
Puestos de control
con equipos mviles
adecuados
Producto 2: Acceso
a equipos mviles
Usuario interno
Intervlica
Fuente
primaria
Promedio de
equipos mviles
Nmero
Puestos de control
con equipos mviles
adecuados
Producto 2: Acceso
a equipos mviles
Usuario interno
Nominal
Fuente
primaria
Personas que
consideran
suficiente el nmero
de equipos mviles
Nmero
Puestos de control
con equipos mviles
adecuados
Producto 2: Acceso
a equipos mviles
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin de la
calidad de los
equipos mviles
Porcentaje
Puestos de control
con equipos mviles
adecuados
Producto 2: Acceso
a equipos mviles
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
puestos de control
con tipo de
comunicacin
apropiados
Porcentaje
Sistema de control
integrado
implementado
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
puestos de control
con tipo de sistemas
de informacin
apropiados
Porcentaje
Sistema de control
integrado
implementado
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Frecuencia de uso
de sistemas de
informacin
tributaria
Porcentaje
Sistema de control
integrado
implementado
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Frecuencia de uso
de sistemas de
informacin
aduanera
Porcentaje
Sistema de control
integrado
implementado
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Respuestas
afirmativas
Porcentaje
Sistema de control
integrado
implementado
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin
Porcentaje
44
Procesos de
fiscalizacin
integrada
Producto 3: Sistema
de control integrado
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Puestos de control
con video-vigilancia
Producto 4:
Implementacin de
solucin de cmaras
IP
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Puestos de control
con video-vigilancia
Producto 4:
Implementacin de
solucin de cmaras
IP
Usuario interno
Nominal
Fuente
primaria
Nmero
Puestos de control
con videofiscalizacin
Producto 4:
Implementacin de
solucin de cmaras
IP
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Puestos de control
con videofiscalizacin
Producto 4:
Implementacin de
solucin de cmaras
IP
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
aprobacin
Porcentaje
Puestos de control
con videofiscalizacin
Producto 4:
Implementacin de
solucin de cmaras
IP
Usuario interno
Intervlica
Fuente
primaria
Promedio de casos
ilcitos ocurridos
durante el mes
Nmero
Procedimientos de
operacin de la
solucin IP
implementados.
Producto 5: Normas
y procedimientos de
operacin de la
solucin
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Procedimientos de
operacin de la
solucin IP
implementados.
Producto 5: Normas
y procedimientos de
operacin de la
solucin
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Personas
capacitadas en uso
de nuevas
tecnologas
implementadas
Producto 6:
Entrenamiento
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
respuestas
afirmativas
Porcentaje
Personas
capacitadas en uso
de nuevas
tecnologas
implementadas
Producto 6:
Entrenamiento
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
personas
capacitadas en uso
de nuevas
tecnologas
implementadas
Porcentaje
Personas
capacitadas en uso
de nuevas
tecnologas
implementadas
Producto 6:
Entrenamiento
Usuario interno
Nominal
Fuente
primaria
Porcentaje de
personas segn el
grado a probacin
de los
procedimientos
Porcentaje
Productividad de
fiscalizacin
Producto 6:
Entrenamiento
Usuario interno
Intervlica
Fuente
primaria
Promedio de
acciones de
fiscalizacin
Nmero
A2
Regin:
A3
Provincia
A4
Distrito
A5
Superintendencia Nacional
A6
Nombre de la Intendencia:
A7
Tributos
Aduanas
Fijo
Itinerante
Ubicacin de PC Aduanero
Fronterizo
Intermedio
A9
Martimo
Areo
Terrestre
Fluvial
A10
Ferroviario
Nmero de trabajadores
Primer apellido
B2
Segundo apellido
B3
Primer nombre
46
B4
Segundo nombre
B5
Cargo
B6
B7
Telfono
B8
Celular
Primer apellido
C2
Segundo apellido
C3
Primer nombre
C4
Segundo nombre
C5
Instruccin
Primaria
Secundaria
Superior
C6
Lengua de origen
Espaol
Quechua
Aymara
C7
Empresa
C8
Origen
Nacional
Internacional
Xx
SECCIN 2: VARIABLES DE IMPACTO Y EFECTO
Cul es el tiempo que requiere para verificar documentos sujetos a control y fiscalizacin en el
caso de transportistas con no ms de 5 guas de remisin?
De 0 a 3 minutos
De 4 a 10 minutos
De 16 a 20 minutos
De 21 a 25 minutos
De 10 a 15 minutos
xx
D2
Cul es el tiempo que requiere para verificar documentos sujetos a control y fiscalizacin en el
caso de transportistas con guas de remisin mayores a 5 y menores a 10?
De 5 a 10 minutos
De 4 a 7 minutos
De 12 a 15 minutos
De 15 a ms minutos
De 8 a 11 minutos
47
De 11 a 20
De 31 a 40
De 41 a ms
De 21 a 30
xx
E2
De los vehculos que interviene diariamente, Cuntos de los siguientes tipos de vehculos
interviene?
Tipo de vehculo
0-5
6-10
11-15
16-20
21 a ms
Naves areas
Naves martimas
Ferrocarriles
Vehculos de carga
Vehculos menores
Buses de pasajeros
xx
E3
0-50
101-300
301-600
601-999
1000 a ms
Naves areas
Naves martimas
Ferrocarriles
Vehculos de carga
Vehculos menores
Buses de pasajeros
xx
E4
Cmo calificara la calidad de los servicios de control y fiscalizacin brindados en los puestos de
control de la SUNAT?
Muy baja calidad
Baja calidad
Buena calidad
Regular calidad
xx
F1
En promedio, cuntas guas remisin verifica durante un viaje en este puesto de control?
Menos de 5 guas
De 6 a 10 guas
De 11 a 15 guas
xx
F2
De 4 a 7 minutos
De 12 a 15 minutos
De 15 a ms minutos
De 8 a 11 minutos
xxF3 Cunto tiempo espera en cola antes de la verificacin en este puesto de control?
48
De 0 a 15 minutos
De 16 a 30 minutos
De 46 a 60 minutos
De 60 a ms
De 31 a 41 minutos
Xx
F4
No fue informado
xx
F5
Cules fueron los medios por lo que se inform acerca de los procedimientos de verificacin y
control?
Avisos de SUNAT en
vas
Avisos en peridicos.
Avisos en televisin
xx
F6
Cmo calificara la calidad de los servicios de control y fiscalizacin brindados en los puestos de
control por SUNAT?
Muy baja calidad
Baja calidad
Buena calidad
Regular calidad
Xx
SECCIN 3: VARIABLES DE PRODUCTO OBJETIVAS
G. Componente 1: Acceso a redes
G1
No est conectado
xx
G2
Internet/Pendiente F5
Satelital asimtrica
Wireless 802.11 g
Satelital 28 k simtrico
Internet Speedy
xx
G3
Baja calidad
Buena calidad
Regular calidad
xx
G4
No cuenta
xx
G5
49
Permanente
Temporal
Frecuente
xx
G6
Cul es el nmero de consultas que logra realizar de manera contina sin tener problemas con la
red?
De 0 a 1
De 2 a 3
De 5 a 10
De 10 a ms.
De 4 a 5
xx
G7
No cuenta
xx
G8
De contar con tecnologa WIFI, Cmo calificara el tiempo de respuesta al usar dicha tecnologa?
Inadecuado
Poco adecuado
Adecuado
Muy adecuado
xxx
G9
No cuenta
xxx
G10
De 11 a 20
De 31 a 40
De 41 a ms
De 21 a 30
xxx
G11
De 11 a 20
De 31 a 40
De 41 a ms
De 21 a 30
xx
G12
De 6 a 10
De 16 a 20
De 21 a ms
De 11 a 15
xx
G13
Insuficiente
xx
G14
1 a 2 aos
2 a 4 aos
50
De 5 a ms
Xx
H. Componente 2: Acceso a equipos mviles
H1
El puesto de control cuenta con equipos mviles adecuados para la verificacin de documentos
durante las acciones de control?
Si cuenta
No cuenta
xx
H2
De ser afirmativa su respuesta, Con cuntos equipos mviles cuenta el puesto de control?
De 0 a 1
De 2 a 3
De 5 a 10
De 10 a ms
De 4 a 5
xx
H3
Considera que el nmero de equipos mviles con los que cuenta el puesto de control es:
Suficiente.
Insuficiente
xx
H4
Baja calidad
Buena calidad
Regular calidad
xx
H5
Cul es el tipo de equipos mviles con los que cuenta actualmente el puesto de control?
Equipos mviles IP tipo
Headphone.
Dispositivos PDA.
Telfonos celulares
convencionales
Otros. Especifique:
Sistemas de control de
informacin aduanera
No cuenta con
sistemas de control de
informacin
xx
I2
Baja
frecuencia
Regular
frecuencia
Alta
frecuencia
Aplicativos internos
Xx
13
No cuenta
I4
Baja
frecuencia
Regular
frecuencia
Alta
frecuencia
Control vehicular
Seleccin de vehculos
Portal de registro vehicular
Acciones de puestos de control
Control de cuenta corriente (importaciones)
Control de precintos.
Portal de Sunat
Aplicativos internos (intranet, recursos
humanos, normas legales, circulares)
SIGAD (todos sus mdulos)
SIGEDA
SIGED
Sistema de Gestin de Riegos SISCA MARITIMO
SISCA AEREO
xxx
I5
Baja calidad
Buena calidad
Regular calidad
xxx
I6
No realiza ambos
procesos
No cuenta
xx
J2
Si el puesto de control cuenta con un sistema de video vigilancia, Cmo califica el nivel de
seguridad que ofrece el sistema durante la intervencin?
52
Xx
J3
No cuenta
Xx
J4
Si el puesto de control cuenta con un sistema de video fiscalizacin, Cmo califica el nivel de
calidad que ofrece el sistema durante una intervencin?
Alto nivel de seguridad
xx
J5
De 6-10
De 11 a ms
xx
K1
Existen normas sobre los procedimientos de operacin de los sistemas tecnolgicos actualmente
disponibles?
Si existen
xx
K2
No existen
Si existe una norma, Permite realizar una adecuada operacin del sistema tecnolgico?
Si permite.
No permite.
xx
K3
Regular
Inadecuado
No ha sido capacitado
xx
L2
Acceso a sistemas de
control integrado
Acceso a sistemas de
control mediante videos
Acceso a equipos
mviles.
xx
L3
Baja calidad
Buena calidad
Regular calidad
Xx
L4
De 11 a 20
De 31 a 40
De 41 a ms
De 21 a 30
De 101 a 1000
De 2001 a 3000
Ms de 3000
De 1001 a 2000
xx
M2
Respecto del tipo de mercadera, establezca un orden jerrquico segn la frecuencia de flujo por el
puesto de control.
Alimentos y bebidas
Electrodomsticos
Insumos productivos
Animales en pie
xx
M3
Cuntos trabajadores formales o informales tiene actualmente la empresa para la que usted
actualmente trabaja?
De 1 a 5
De 6 a 10
De 11 a 50
De 51 a ms
xx
M4
xx
M5
De 4 a 5 personas
Ms de 5 personas
Qu otra actividad econmica adems del transporte y/o comercio realiza usted?
Agricultura y ganadera
Artesana
Minera
Servicios pblicos
o del hogar
Pequea industria
54