Auditora y evaluacin

Sigen, 2012

Temas de inters pblico

Cmo es administrado el programa? Qu se hace realmente? Qu resultados produce? Alcanza los objetivos? Los resultados valen lo que cuestan ? Llega a todos los que va dirigido? El programa debe mantenerse, aumentarse, recortarse o abandonarse?

Cmo seguir los resultados de la gestin pblica?

Auditora Evaluacin

Auditora
Auditora es el proceso que consiste en reunir y evaluar de manera objetiva y sistemtica las pruebas relativas a hechos de manera de garantizar la correspondencia entre estos hechos y los criterios establecidos.

Segn su alcance
Hay tres tipos bsicos de auditora: financiera, cumplimiento y operacional (o de valor por el dinero, desempeo). A las dos primeras se las encuadra dentro de la auditora tradicional.

Juntos, estos tres tipos forman el marco de la auditora integral que ofrece una visin completa de una organizacin o funcin.

Auditora financiera

La auditora financiera tiene por objetivo determinar si los estados financieros del ente auditado presentan razonablemente su situacin financiera, los resultados de sus operaciones y sus flujos de efectivo, de acuerdo a principios contables generalmente aceptados.

Auditora de cumplimiento
La auditora de cumplimiento tiene por objeto comprobar que las operaciones efectuadas por el ente estn adecuadas a las leyes, normas y procedimientos aplicables a la entidad.

Cuando lo que se audita es la gestin

Recibe varias denominaciones : de gestin, operacional, de valor por el dinero, de las tres E (economa, eficiencia y eficacia), operativa, de resultados, de desempeo, administrativa, de rendimiento, etc.

Auditora operacional o de gestin

Su objetivo es evaluar el grado de economa, eficiencia y eficacia en el manejo de los recursos pblicos, as como el desempeo de los servidores y funcionarios del Estado, respecto al cumplimiento de las metas programadas y el grado en que se estn logrando los resultados o beneficios previstos

Evaluacin

Es el tipo de investigacin aplicada que intenta determinar el valor de un esfuerzo, de una innovacin, una intervencin, algn servicio o enfoque determinado (Robson, 1993)

Evaluacin

Es el anlisis sistemtico de la operacin y/o de los efectos de una poltica o programa , comparndolos con un grupo de estndares implcitos o explcitos, como medio para contribuir a mejorar el programa o la poltica. Carol Weiss

La evaluacin es un juicio de valor. La evaluacin es un proceso sistemtico. La evaluacin es una medida de algo. La evaluacin es una herramienta investigativa.

Evaluacin formativa: produce informacin que se aplicar durante el desarrollo del programa para mejorarlo. Sirve a las necesidades de los desarrolladores. Evaluacin sumativa: se hace luego de la ejecucin del programa. Aporta informacin sobre la efectividad a los decisores de polticas.

Cuando el cocinero prueba la sopa, sta es evaluacin formativa; cuando el comensal la prueba, sta es evaluacin sumativa. Carol Weiss

Armando una evaluacin

Programa para que la gente deje de fumar

Evaluacin es una palabra elstica que se estira para cubrir juicios de distinto tipo. Lo que todos los usos de la palabra tienen en comn es la nocin de juzgar mrito.

El evaluador usa mtodos de las ciencias sociales para hacer el proceso valorativo ms sistemtico y preciso. La evaluacin determina claramente las cuestiones a indagar. Rene informacin en forma sistemtica de una variedad de aspectos afectados por la implantacin del programa.

Algunas veces traslada la evidencia en trminos cuantitativos y otras convierte los datos en narrativa. Se sacan conclusiones acerca de los modos en que el programa es conducido, de sus consecuencias ms inmediatas o sobre su efectividad en cumplir las expectativas de quienes aportaron los fondos o participaron del programa.

Establece comparaciones entre cambios observados en distintas poblaciones. Examina el contexto externo en el que el programa opera para identificar otras posibles razones que expliquen los cambios observados. Examina cuidadosamente la teora de cmo se supone que trabaja el programa y compara con lo que realmente se observa

Cundo es importante practicar una evaluacin?

Cuando los resultados a evaluar son complejos, difciles de observar, compuestos de varios elementos que reaccionan de diversas maneras Cuando las decisiones que se tomarn son importantes y onerosas Cuando hace falta contar con evidencias para convencer a todos de la validez de las decisiones sobre un programa

Fortalezas de la auditora

Su credibilidad: Se espera que diga la verdad en un mundo de ambigedad y enfoques sesgados. Est apoyada por sociedades profesionales fuertes Est muy bien establecida y sigue estndares que son ampliamente conocidos y usados.

Fortalezas de la auditora

Son estndares que tienen status legal o cuasi legal.

Las prcticas de auditora han sido capaces de establecer criterios claros y valorar el desempeo contra esos criterios de una forma ms definitiva y objetiva que la evaluacin.

Fortalezas de la evaluacin

Puede explicar el porqu las cosas funcionan o no. Reconoce expresamente complejidad e incertidumbre. Usualmente no reclama bsqueda de la verdad sino comprensin de lo sucedido. Flexible en diseo y prctica. Puede encarar respuestas sobre aspectos atributivos.

Algunas diferencias

El rol que la evaluacin juega depende de quien es el cliente. La auditora exige independencia. Cuando la responsabilidad de rendir cuentas slo significa cumplimiento con las normas, ah la evaluacin tiene poco lugar. Las preguntas para ser respondidas por una auditora son usualmente normativas en lugar de causales o descriptivas como en la evaluacin.

Algunas diferencias

La existencia de criterios es una precondicin para auditar pero no para evaluar. En auditora el anlisis toma en consideracin que las evidencias procedan de fuentes autorizadas y en lo posible oficiales. Usualmente, slo en auditoras de gran magnitud se aplican algunas tcnicas estadsticas.

Algunas diferencias

En evaluacin se hace uso de diseos experimentales y cuasi experimentales. La auditora de desempeo muestra las cualidades de chequeo de la auditora y es marcadamente diferente de las prcticas de evaluacin y de la ciencia emprica social. El papel de la evaluacin no est tan bien articulado como el de la auditora.

Algunas diferencias

La evaluacin trata de comprender los objetivos del programa pero no requiere la precisin propia de una auditora, para ella la efectividad de un programa no siempre se mide contra objetivos. Hay ms inters en medir cambios observados, establecer relaciones causales y comparar con lo que hubiera sucedido sin ese programa.

Algunas diferencias

Las auditoras de desempeo estn fuertemente ligadas con la evaluacin de la economa y eficiencia de los gastos efectuados para atender la implementacin de polticas, la evaluacin no. Siempre habr necesidad de auditoras del tipo cumplimiento. Responden preguntas que una evaluacin no podra satisfacer por los procedimientos que se siguen.

Algunas diferencias

La auditora toma y debe tomar una perspectiva organizacional cuando analiza sistemas y procedimientos dado que las prcticas auditadas ocurren dentro de la organizacin. La evaluacin, ms rutinariamente toma su programa o poltica como sujeto de anlisis.

Las diferencias clave no son las herramientas y mtodos usados sino los contextos institucionales de cada una. Auditoras de desempeo: son llevadas a cabo por cuerpos de auditora bien organizados y con mandato legislativo. Evaluacin: no tiene una base institucional comparable, usualmente es llevada a cabo en nombre de alguna entidad que la solventa.

Auditora y evaluacin
Similitudes: Ambas pueden ser usadas para valorar el desempeo de programas del sector pblico. Ambas aplican procedimientos bien establecidos y sistemticos. Ambas son practicadas por profesionales.

En comn:

Comparten el nfasis puesto en las evidencias y en una adecuada recoleccin de datos, aunque el tipo de datos es usualmente distinto. Ambas estn asociadas a la idea de rendir cuentas. Prestan atencin a la adecuada difusin de los hallazgos

Ambas actividades se complementan. Las auditoras siempre son una evaluacin independiente que pueden incluir algn grado de anlisis cuantitativo y cualitativo en tanto que la evaluacin implica un enfoque menos independiente y ms de consulta.

En la bsqueda de respuestas definitivas en entramados complejos, el uso de la auditora aumenta el riesgo de que las cosas no vayan bien, que sus hallazgos puedan ser refutados.

Auditora y evaluacin
Tradicionalmente, la auditora se centra ms en las prcticas de gestin, los sistemas y los procedimientos y la evaluacin pone el nfasis en los resultados y el impacto de programas y polticas.

Procesos vs. resultados

En qu se parecen y en qu difieren?

Evaluacin = Rendicin de cuentas + Aprendizaje Auditora = Rendicin de cuentas