Documente Academic
Documente Profesional
Documente Cultură
45
manuales
Este documento fue preparado por Juan Cristbal Bonnefoy y Marianela Armijo, Experto y Consultora del rea de Polticas Presupuestarias y Gestin Pblica del ILPES, respectivamente, en el marco del Programa CEPAL/GTZ Modernizacin del Estado, Administracin Pblica y Desarrollo Econmico Local y Regional (GER/04/002).
Las opiniones expresadas en este documento, que no ha sido sometido a revisin editorial, son de exclusiva responsabilidad de los autores y pueden no coincidir con las de la Organizacin.
Publicacin de las Naciones Unidas ISSN impreso 1680-886X ISSN electrnico 1680-8878 ISBN: 92-1-322800-7 LC/L.2416-P LC/IP/L.263 N de venta: S.05.II.G.163 Copyright Naciones Unidas, noviembre del 2005. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorizacin para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorizacin previa. Slo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproduccin.
N 45
ndice
Resumen ............................................................................................. 7 Introduccin....................................................................................... 9 I. Aspectos conceptuales de la evaluacin del desempeo institucional....................................................... 13 1.1 Especificidad de la evaluacin en el mbito pblico........... 13 1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeo ................................................... 18 II. Indicadores de desempeo: definiciones, tIpologa y metodologas para su construccin............................... 21 2.1 Concepto de indicador de desempeo.................................. 21 2.2 Tipologas de indicadores .................................................... 25 2.3 Integracin de los indicadores de desempeo...................... 37 III. Construyendo los indicadores de desempeo............... 43 3.1 Pasos bsicos para la construccin de indicadores de desempeo............................................................................ 43 3.2 Planificacin estratgica e indicadores de desempeo ........ 62 3.3 Usando y comunicando la informacin entregada por los indicadores ..................................................................... 68 IV. Principales dificultades y desafos en la construccin y uso de los indicadores de desempeo ........................... 71 4.1 Dificultades mencionadas con mayor frecuencia en la construccin de indicadores............................................. 73 4.2 Principales desafos en la construccin de indicadores de desempeo....................................................................... 76 4.3 Evaluacin y gestin por resultados: conclusiones de su aplicacin en Amrica Latina.......................................... 77
V. Casos internacionales de construccin y aplicacin de indicadores de desempeo en instituciones pblicas.............................................................................79 5.1 Casos de indicadores en pases OCDE...............................................................................79 5.2 Casos de indicadores de desempeo en pases de Amrica Latina ....................................82 5.3 La metodologa del Cuadro de Mando Integral y los indicadores de desempeo..............87 VI. Lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.................................................................97 Bibliografa ...................................................................................................................................101 Serie Manuales: nmeros publicados...................................................................................105
ndice de cuadros
Cuadro 1 Cuadro 2 Cuadro 3 Cuadro 4 Cuadro 5 Cuadro 6 Cuadro 7 Cuadro 8 Cuadro 9 Cuadro 10 Cuadro 11 mbito de los instrumentos de evaluacin en Chile ..................................................15 Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/eficiencia del gasto (value for money) de las actividades pblicas? .......22 El costo de las evaluaciones de programas: Chile y Mxico......................................28 Ejemplos de indicadores de eficacia...........................................................................34 Ejemplos de indicadores de eficiencia........................................................................35 Ejemplos de indicadores de economa........................................................................36 Ejemplo de indicadores de calidad .............................................................................36 Criterios de validacin para la construccin de indicadores ......................................59 Tipologa de las categoras de indicadores segn los usuarios o destinatarios ..........69 Ficha de presentacin de indicadores de desempeo de las instituciones pblicas chilenas.........................................................................................................83 Indicadores de gestin de la Direccin Nacional de Vialidad....................................86
ndice de figuras
Figura 1 Figura 2 Figura 3 Figura 4 Figura 5 Figura 6 Figura 7 Figura 8 Figura 9 Figura 10 Figura 11 Figura 12 Figura 13 Figura 14 Figura 15 Figura 16 La medicin del desempeo es parte de un largo proceso de planificacin...............17 Interrelaciones desde la perspectiva del proceso productivo, entre economa, eficacia y eficiencia ....................................................................................................26 Medidas por mbito de desempeo y preguntas que se abordan................................27 Tipo de indicadores de desempeo desarrollados en los pases .................................27 Ciclo bsico del proceso de construccin de indicadores de desempeo...................44 Diagrama conceptual del sistema de informacin para la gestin (SIG)....................48 Tipologa de indicadores segn nivel organizacional y planificacin........................51 Modelo de funcionamiento de una unidad de control de gestin ...............................53 Ejemplo de la ficha de presentacin de indicador de desempeo de las instituciones pblicas chilenas, en su presentacin a la Direccin de Presupuestos .....56 Ciclo del control de gestin ........................................................................................68 Identificacin de procesos y productos estratgicos...................................................70 Modelo lgico programa going global ....................................................................80 Esquema para la evaluacin del desempeo de las bibliotecas municipales. Ejemplo Performance Measures for Councils ...........................................................81 CMI Institucional, Instituto de Normalizacin Previsional ........................................93 Centro de gravedad estratgico, Instituto de Normalizacin Previsional de Chile............................................................................................................................94 Mapa estratgico del patronato municipal de deportes de Granada ...........................95
N 45
ndice de recuadros
Recuadro 1 Recuadro 2 Recuadro 3 Recuadro 4 Recuadro 5 Recuadro 6 Recuadro 7 Recuadro 8 Recuadro 9 Recuadro 10 Recuadro 11 Recuadro 12 Recuadro 13 Recuadro 14 Recuadro 15 Recuadro 16 Recuadro 17 Recuadro 18 Recuadro 19 Recuadro 20 Recuadro 21 Recuadro 22 Recuadro 23 Recuadro 24 Recuadro 25 Recuadro 26 Recuadro 27 Recuadro 28 Recuadro 29 Recuadro 30 Recuadro 31 Recuadro 32 Institucionalizacin de la funcin de evaluacin de resultados ................................. 19 Sistematizacin de las actividades de evaluacin ...................................................... 19 Fomentando una cultura de evaluacin ...................................................................... 20 La medicin de resultados y los problemas de nomenclatura .................................... 24 Fundamentos para la construccin de indicadores de gestin en Chile ..................... 25 Definicin de resultados intermedios y finales .......................................................... 27 Indicadores de desempeo para los entes locales del Reino Unido ........................... 29 Clasificacin de indicadores de gestin en Espaa.................................................... 32 Aspectos a tener en cuenta para la evaluacin de la eficacia en una organizacin.... 33 La meta de mejorar la coordinacin ........................................................................... 38 Preguntas bsicas para la identificacin de misin institucional ............................... 46 Ejemplos de objetivos estratgicos............................................................................. 47 Requisitos de las metas de gestin del SEV de Uruguay ........................................... 49 Ejemplos de metas ambiguas y adecuadas ................................................................. 49 Tipos de benchmarking .............................................................................................. 54 Requisitos de los indicadores a nivel individual ........................................................ 56 Requisitos de los reportes de gestin ......................................................................... 62 Definiciones estratgicas del sistema de control de gestin de Chile ........................ 64 Factores crticos para el desarrollo de un proceso de planificacin estratgica en el mbito pblico ................................................................................................... 66 Integracin entre la planificacin estratgica y la medicin de la gestin en Estados Unidos ........................................................................................................... 67 Uso de la planificacin estratgica en las agencias federales de Estados Unidos......... 67 Factores claves en la aplicacin del sistema de planificacin y control de gestin en la DIBAM.................................................................................................. 70 Dficit de las polticas de compensacin y promocin en Amrica Latina ............... 72 Principales dificultades en el desarrollo de los indicadores de desempeo. Estudio realizado por la OCDE en 1994 en los pases miembros de esta organizacin............. 72 Dificultades para medir los insumos y productos en el desarrollo de indicadores de eficiencia ............................................................................................ 75 Indicadores de desempeo en los municipios locales del Reino Unido..................... 80 Fundamentacin de la evaluacin del desempeo en Chile ....................................... 82 Ciclo de implantacin del sistema de evaluacin de la gestin pblica..................... 84 Misin y objetivos estratgicos de la Direccin de Vialidad Nacional ..................... 85 Caractersticas de un cuadro de mando integral ......................................................... 88 Ajustes al modelo del CMI para su aplicacin en las organizaciones del sector pblico.............................................................................................................. 89 mbitos e indicadores de CMI para los servicios pblicos y la medicin de la productividad del gasto pblico.................................................................................. 90
ndice de grficos
Grfico 1 Tipos de mediciones de desempeo utilizadas por gerentes del Gobierno Federal de Estados Unidos ......................................................................................... 38
N 45
Resumen
Este documento desarrolla de manera didctica tanto los aspectos conceptuales como metodolgicos involucrados en el diseo y formulacin de indicadores de desempeo en el mbito pblico. Asimismo, entrega los elementos que permitan conocer las principales potencialidades, dificultades y lmites de la implementacin de los indicadores. Sus contenidos abordan el uso de los indicadores de desempeo en un contexto de desarrollo institucional de la evaluacin del desempeo, vinculando estos instrumentos a la planificacin estratgica y a la metodologa de cuadro de mando integral (balanced scorecard). En el acpite referido a la construccin de indicadores de desempeo se desarrollan en forma secuencial la identificacin de objetivos, productos, medidas de desempeo y responsabilidades organizacionales. De igual manera, se presenta la construccin de frmulas y algoritmos, diseo de sistemas de informacin, validacin de indicadores y los procesos de anlisis y comunicacin de los resultados obtenidos a partir de los indicadores. Las secciones conceptuales y metodolgicas son complementadas con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales, tanto de pases de Amrica Latina como de la OECD.
Este manual privilegia la sencillez en la exposicin de las ideas sobre la extensin analtica, con el objeto de que se convierta en una herramienta de apoyo para todas las actividades de capacitacin, investigacin y cooperacin tcnica que desarrolla el ILPES. Su objetivo ltimo es promover la instauracin de indicadores de desempeo de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas del sector pblico.
N 45
Introduccin
La evaluacin del desempeo de la gestin pblica est en el centro de las preocupaciones de los tomadores de decisiones de las instituciones gubernamentales, a todos los niveles de la gestin nacional, regional y local. La exigencia por optimizar los niveles de eficiencia y eficacia en el uso de los recursos, as como generar y fortalecer los mecanismos de rendicin de cuentas hacia los ciudadanos y los grupos de inters que rodean la accin pblica son los fundamentos bsicos que han tenido los gobiernos para impulsar el desarrollo de indicadores de desempeo en las instituciones pblicas. Las recomendaciones de polticas econmicas del Consenso de Washington marcaron la agenda de reformas en Amrica Latina durante la primera mitad de la dcada de los noventa. Estas frmulas ponan el acento en los cambios institucionales que se relacionan con la disciplina fiscal, la reforma fiscal e impositiva, la reorientacin del gasto pblico hacia la salud y la educacin, las privatizaciones de empresas pblicas y la desregulacin de los mercados. Sin embargo, la evidencia emprica demuestra que las iniciativas implementadas hasta mediados de los noventa se centraron en el restablecimiento de los equilibrios macroeconmicos y la reestructuracin de incentivos de mercado y precios relativos. Las reformas desplegadas no afectaron sustancialmente la institucionalidad estatal, con la excepcin de aquellas que afectaron a las empresas pblicas, ya sea por la va de las privatizaciones o por la bsqueda de una mayor eficiencia y eficacia en las empresas que continuaron en el mbito estatal (Haggard, 1995).
El proceso de reformas logr reducir el dficit fiscal promedio de la regin de un 2,2% del PIB en 1990 a un 1,1% en 1997,1 pero subsistieron en la mayora de los pases latinoamericanos altos niveles de pobreza y de desigualdad social. En este contexto, en 1998 la CEPAL propuso, a travs del Pacto Fiscal, un redireccionamiento de las reformas del Estado enfatizando el desarrollo institucional y el fortalecimiento de la gobernabilidad. Tambin otras instituciones, como el Banco Mundial, comenzaron a revalorar el rol de las instituciones estatales en el desarrollo y a relativizar la importancia de las "fallas de mercado" en comparacin a las "fallas institucionales". En el mbito poltico estas propuestas se formalizan durante la Cumbre de las Amricas de 1998, denominado Consenso de Santiago (o neo-Consenso de Washington). Este conjunto de proposiciones plantea que las debilidades institucionales constituyen un cuello de botella para transformaciones econmicas ms profundas, reafirmndose que la calidad del gasto pblico es tan importante como el balance fiscal. De este modo, la preocupacin por el funcionamiento del aparato estatal ha vuelto a estar en el centro del debate. La reforma del Estado en Amrica Latina durante la ltima dcada, ha sido enfrentada por los diferentes gobiernos a travs de una serie de procesos de modernizacin administrativa del aparato estatal. Se ha dado especial nfasis a la necesidad transitar desde un modelo de gestin burocrtico-tradicional caracterizado por un nfasis en los insumos del proceso y en el control externo, hacia un modelo de gestin pblica orientada a los resultados. Este modelo releva la preocupacin por la identificacin clara de objetivos a lograr con el uso de los recursos, as como el establecimiento de metas e indicadores de desempeo que puedan medir el cumplimiento de dichas metas. En el marco de estas reformas de segunda generacin surge un conjunto de iniciativas y programas gubernamentales dirigidos a desarrollar mecanismos de evaluacin de la gestin, entre los cuales se cuentan sistemas de indicadores de desempeo asociados en algunos casos a los procesos de planeacin de objetivos institucionales a nivel macro, al proceso presupuestario, y/o al establecimiento de convenios por desempeo como instrumentos de responsabilizacin de los directivos. En este contexto tambin se asume que los propios ciudadanos interesados pueden evaluar la calidad, cantidad y oportunidad de los bienes y servicios recibidos, por lo que en algunos programas se incorpora la evaluacin de resultados por parte de los destinatarios o actores interesados (stakeholders).2 Bsicamente, los indicadores de desempeo al proveer informacin sobre reas fundamentales de la accin de los entes pblicos tales como la eficiencia, eficacia, calidad, y economa de los recursos, aportan al logro de un mejoramiento de la gestin y a una mayor transparencia de la accin pblica. En efecto, contar con una batera de indicadores de desempeo vinculados a la gestin estratgica de las instituciones, apoya la toma de decisiones de los directivos sobre bases ms ciertas, permite mejorar el desempeo y formular el presupuesto sobre criterios ms racionales, junto con posibilitar la rendicin de cuentas a los diferentes grupos de inters. La utilidad de contar con indicadores de desempeo para los gobiernos es indiscutible. No obstante, su incorporacin eficaz en el mbito pblico conlleva una serie de desafos que es preciso tener en cuenta tanto en la fase de diseo como en la de implementacin.
Promedio simple para 19 pases del saldo del Gobierno Central. ILPES, Base de Datos de Estadsticas de las Finanzas Pblicas, http://www.cepal.cl/ilpes/. El trmino stakeholder da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. El derecho administrativo moderno reconoce a stos como los titulares de derechos o intereses legtimos individuales o colectivos, quines pudieren resultar afectados en sus derechos y a los grupos intermedios que la ley reconozca ser titulares de intereses colectivos.
10
N 45
Entre estos desafos se destaca la cultura organizacional presente en las administraciones pblicas, que dificulta transitar hacia una gestin ms comprometida por los resultados y posicionar el tema de la evaluacin de la gestin como eje central de las preocupaciones gubernamentales. Junto a lo anterior, se aade la debilidad de los sistemas de servicio civil que limita la delegacin de facultades y alcanzar mayores niveles de responsabilizacin de los directivos pblicos. Por ltimo, se seala el dbil proceso de consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables, sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados. El objetivo de este documento es desarrollar un instrumento que brinde acceso a la conceptualizacin y metodologa para el diseo de indicadores de desempeo en el mbito pblico, as como entregar elementos que permitan conocer las principales potencialidades, dificultades y lmites del diseo e implementacin de los indicadores. Desde esta perspectiva la parte conceptual y metodolgica ser complementada con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales.3 Este manual est dirigido a directivos pblicos y funcionarios con responsabilidades en las reas de planificacin y evaluacin de la gestin, tanto a nivel de la administracin central del Estado, como en el mbito de las organizaciones pblicas que se desempean en gobiernos subnacionales. Se espera adems que a partir de este manual se acceda a un material que permita realizar labores de capacitacin y cooperacin tcnica, as como promover la instauracin de indicadores de desempeo en la gestin de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas pblicas. La estructura del manual es la siguiente, en un primer captulo se desarrollan los aspectos conceptuales de la evaluacin del desempeo institucional, seguidamente en el segundo captulo se abordan las definiciones, tipologa y las metodologas para la construccin de los indicadores de desempeo. En el captulo III se desarrollan los aspectos bsicos para la construccin de los indicadores, as como algunas referencias acerca de la planificacin estratgica como herramienta metodolgica que se vincula estrechamente al proceso de construccin de los indicadores. El captulo cuatro entrega, de acuerdo a la experiencia de trabajo de los autores, y de la sistematizacin de la bibliografa, las principales dificultades y desafos en la construccin de los indicadores de desempeo. Seguidamente se presentan algunos ejemplos de la construccin y aplicacin de indicadores de desempeo aplicados a casos internacionales, en instituciones pblicas de dos pases de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) y de tres pases de Amrica Latina. Finalmente se sistematizan las principales lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.
En este manual se recogen partes y reflexiones del documento Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES, elaborado por Juan Cristbal Bonnefoy.
11
N 45
I.
En trminos de su operatividad y para contextualizar y delimitar el foco de evaluacin de inters de este manual, podramos clasificar la evaluacin de la siguiente manera: Segn el objeto de la evaluacin esta clasificacin nos permite pronunciarnos sobre diversos mbitos de las intervenciones gubernamentales: Evaluacin de polticas pblicas Evaluacin de programas pblicos4 Evaluacin de gestin y resultados de las entidades pblicas, y Evaluacin del desempeo individual Segn el propsito de la evaluacin:5 En general los fines de a los que se dirige la evaluacin, dependern del objeto de sta, pero en trminos globales tiene que ver con la generacin de informacin para la toma de decisiones, como conocimiento para la accin. En el caso de la evaluacin de polticas y programas el objetivo claro de la evaluacin es el perfeccionamiento de stos, en trminos de maximizacin de eficacia (logro de objetivos buscados), y eficiencia desde el punto de vista de la economicidad de los medios utilizados, en un contexto de escasez de recursos. En el caso de la evaluacin del desempeo de las entidades pblicas, el propsito es un mix entre el apoyo a la toma de decisiones de las estrategias para lograr mejores resultados y gestionar ms eficientemente y eficazmente sus procesos, as como apoyar la rendicin de cuentas a usuarios y diferentes grupos de inters, y para fines de formulacin presupuestaria, asignando recursos a cumplimiento de objetivos. Segn los mandantes de la evaluacin: Evaluacin externa desarrollada por entes independientes de la entidad. Evaluacin interna, desarrollada por la propia entidad ya sea por imposicin de un ente externo como la autoridad presupuestaria, Congreso, Contralora, etc., o bien por propia decisin como instrumento de apoyo a la toma de decisiones.
Segn la etapa de la intervencin de la accin pblica, lo cual considera a la evaluacin como un proceso el cual puede realizarse en las siguientes etapas de la intervencin o accin pblica: Evaluacin ex ante: se realiza previamente a la implantacin de la accin gubernamental, en la cual se encuentra los estudios de diseo de programas, estudios de pre-inversin y similares.
Se entender por evaluacin de las polticas pblicas aquella dirigida a pronunciarse sobre los resultados en el cumplimiento de objetivos generales de "poltica", as como la resolucin de un determinado problema en un rea o sector de la poltica (social, salud, vivienda, etc.). Este tipo de evaluacin requiere integrar metodologas de tipo cuantitativo y cualitativo y el uso de la informacin tiene una mayor relevancia para decisiones de polticas pblicas. Por evaluacin de programas pblicos se entender aquella dirigida a evaluar los impactos o resultados de una intervencin pblica directa, sobre una realidad social. El uso de su informacin tambin involucra decisiones polticas amplias, pero se focaliza ms hacia decisiones que tienen que ver con mejorar el funcionamiento del programa y el impacto hacia la poblacin especfica que sirve. Weiss seala al menos 5 tipos posibles de usos de la evaluacin para la toma de decisiones de los directivos pblicos, en el caso de los Programas: (a) realizar correcciones tempranamente de aspectos claves del proceso, tales como clientes a los que va dirigidos, aspectos organizacionales relativos a los equipos internos, etc., (b) continuidad, expansin o institucionalizacin de un programa, o recorte, finalizacin o abandono de ste (c) probar nuevas ideas para el programa (d) elegir entre dos o ms alternativas diferentes, como currculos, seguros de salud, etc., en la idea de encontrar las mejores alternativas para llegar a los resultados finales, (e) decidir si se continua el financiamiento del programa.
14
N 45
Evaluacin de procesos: se realiza durante el ejercicio de la accin gubernamental y tiene que ver con el uso de los recursos para el cumplimiento de los objetivos, el ajuste a la programacin de la generacin de los productos, entre otros aspectos. Evaluacin ex post: se realiza una vez finalizada la intervencin o accin gubernamental, o la gestin de un determinado perodo, e involucra el anlisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.
No es menor insistir en la necesidad de delimitar el objeto de evaluacin, dado que el foco al cual se dirigirn los esfuerzos de evaluacin tendr distintos propsitos, usuarios, y por supuesto diferentes metodologas para realizar el proceso evaluativo. En efecto, la evaluacin de programas se podra reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizadas para obtener ciertos objetivos, cuyos resultados tienen relevancia a nivel de la gestin del programa. Esta evaluacin intentara responder a cuestiones relativas con la direccin, el funcionamiento y el impacto de un programa especfico en la poblacin a la que sirve. Mientras que la evaluacin de polticas tendra relevancia a nivel de instancias de decisin poltica e intentara responder a cuestiones relacionadas con la generalizacin de una determinada poltica en cuanto que aproximacin a un determinado problema, y que por tanto, podra afectar a un nmero importante de personas, resultar en cambios organizativos de consideracin o en la redistribucin de recursos presupuestarios entre distintos departamentos administrativos (Ballart, 1992). En la evaluacin de polticas y de programas lo que se busca identificar es el efecto final de la intervencin pblica a partir de la aplicacin de un conjunto de programas pblicos, o acciones gubernamentales. La evaluacin de las polticas pblicas requiere de sofisticadas metodologas de evaluacin. En el mbito de los programas pblicos, lo que ms se observa es la aplicacin de metodologas basadas en el marco lgico, rbol de problemas y planificacin por objetivos. En el caso de la evaluacin de los resultados y la gestin de las instituciones pblicas a nivel central, regional o local, observamos en general que las metodologas utilizadas tienen que ver con el diseo de sistemas de indicadores de desempeo los que son apoyados con procesos de previos de planificacin estratgica o de cuadro de mando integral. A modo de ejemplo, a continuacin se sealan los instrumentos de evaluacin que estn en curso en la experiencia de Chile y los mbitos de intervencin a los que se dirigen:
Cuadro 1
Sistema de seguimiento de programacin gubernamental Evaluacin de programas gubernamentales Evaluacin en profundidad Evaluacin comprehensiva del gasto Indicadores de desempeo Programas de mejoramiento de gestin Balance de gestin integral
X X
15
1.1.1
El por qu la evaluacin importa, ya casi es un lugar comn dentro de la literatura alrededor del tema, y su principal utilidad en el marco de la justificacin de la accin pblica, tiene que ver finalmente con que a partir de datos fiables sobre los resultados se abre la posibilidad de informar y rendir cuenta a los ciudadanos sobre el uso de los recursos y el grado de obtencin de los objetivos propuestos. Otra perspectiva sobre la importancia de los indicadores de gestin es que stos hacen posible la rendicin de cuentas, la cual est en el centro del corazn del sistema de gobernabilidad poltica (Schacter, 2002). En el mbito pblico el tema de la evaluacin cobra una importancia mayor en la medida que a diferencia del sector privado los parmetros para identificar el cumplimiento de resultados requiere construir medidas explicitas de lo que se considera un buen desempeo. Las instituciones pblicas, no cuentan con la ltima lnea del balance o bottom line que tienen las instituciones privadas a travs de los beneficios o prdidas de su gestin. En efecto, la justificacin de la existencia pblica de esa entidad gubernamental, est dada por un mandato legal, que la faculta a realizar dicha produccin de bienes y servicios. Sin embargo a diferencia del sector privado, las instituciones pblicas enfrentan un conjunto de dificultades para precisar e identificar claramente el tema del mandato (qu es lo que debe producirse), los usuarios y los parmetros con los cuales se juzgar el buen o mal desempeo. Entre las dificultades ms relevantes se mencionan: Ambigedad de los objetivos que tienen que cumplir los organismos pblicos. Escasa precisin de los productos relevantes o estratgicos (aquellos que son los necesarios para cumplir con la misin institucional), dndose el caso que varias instituciones producen los mismos bienes, o se producen bienes y servicios no relacionados con el quehacer relevante de la institucin. No existe claridad de quines deben responder por los resultados. No se establecen las consecuencias del buen o mal desempeo, haciendo que la evaluacin muchas veces sea un ejercicio intil.
Sintetizando, los beneficios de la evaluacin a travs de indicadores de desempeo son mltiples, entre los cuales podemos mencionar los siguientes: Apoya el proceso de planificacin (definicin de objetivos y metas) y de formulacin de polticas de mediano y largo plazo. Posibilita la deteccin de procesos o reas de la institucin en las cuales existen problemas de gestin tales como: uso ineficiente de los recursos, demoras excesivas en la entrega de los productos, asignacin del personal a las diferentes tareas, etc. Posibilita a partir del anlisis de la informacin entre el desempeo efectuado y el programado, realizar ajustes en los procesos internos y readecuar cursos de accin eliminando inconsistencias entre el quehacer de la institucin y sus objetivos prioritarios: eliminar tareas innecesarias o repetitivas, tramites excesivos o se definan los antecedentes para reformulaciones organizacionales. Aun cuando no es posible establecer una relacin automtica entre resultados obtenidos y la asignacin de presupuesto, contar con indicadores de desempeo sienta las bases para una asignacin ms fundamentada de los recursos pblicos. Establece mayores niveles de transparencia respecto del uso de los recursos pblicos y sienta las bases para un mayor compromiso con los resultados por parte de los directivos y los niveles medios de la direccin.
16
N 45
Apoya la introduccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como grupales e individuales.
1.1.2
El foco de evaluacin sobre el cual nos preocuparemos en este documento ser sobre el desempeo de las organizaciones pblicas.6 Analizado este desempeo desde el punto de vista de los resultados finales o impacto de la accin de la entidad en el cumplimiento de su misin, y tambin de cmo stos fueron logrados en trminos de la eficiencia (uso de recursos para la generacin de los productos), eficacia (capacidad de cumplir con la produccin comprometida y de logro de objetivos7), calidad (capacidad de lograr la produccin de los bienes y servicios de acuerdo a los atributos esperados por los usuarios), y economa (cmo se organizaron los recursos econmicos y presupuestarios para el logro de los resultados).8 Este foco asume que la evaluacin se relaciona estrechamente con el proceso de planificacin y programacin institucional. En este sentido la posibilidad de pronunciarse sobre los resultados (lo que se logr), asume la existencia de objetivos (lo que se esperaba lograr), los cuales deben ser establecidos en trminos de metas concretas posibles y susceptibles de ser medidas a travs de indicadores. Como se grafica en la Figura 1, la medicin del desempeo es parte de un proceso amplio de planificacin, que implica preguntarse cul es la misin, o quines somos, dnde queremos ir, cmo podemos y finalmente buscar mecanismos para saber si hemos llegado al objetivo.
Figura 1
Dnde queremos ir
Medidas de Desempeo
Estrategias
6 7
Estas organizaciones pueden operar en la administracin central del gobierno o en el nivel local. En el caso de la evaluacin del desempeo de las organizaciones pblicas el concepto de eficacia puede aludir tanto a la eficacia de los productos (bienes y servicios producidos, sin pronunciarse an sobre el impacto final sobre la poblacin) o bien eficacia de los resultados finales o impacto. Estos conceptos sern ampliamente detallados en el Captulo II.
17
18
N 45
Recuadro 1
Fuente: Bonnefoy, Juan Cristbal. Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES. Santiago de Chile. 2003
Recuadro 2
Fuente: Promoting the Use of Program Evaluation. Accountability in Public Organizations. Meeting of the Performance Management Network. Paris 24-25 November 1997.
19
Por ltimo, un aspecto clave en la construccin de una institucionalizacin de la evaluacin es la implementacin de un conjunto de buenas prcticas que fomenten una cultura de evaluacin al interior de las instituciones pblicas y del gobierno en su conjunto. Algunas conclusiones a este respecto en los pases de la OCDE se destacan en el siguiente recuadro.
Recuadro 3
Fuente: OCDE/ PUMA (1998), Best Practices Guidelines for Evaluation. Policy Brief N 5. Paris.
20
N 45
21
El concepto de desempeo en el mbito gubernamental normalmente comprende tanto la eficiencia como la eficacia de una actividad de carcter recurrente o de un proyecto especfico. En este contexto la eficiencia se refiere a la habilidad para desarrollar una actividad al mnimo costo posible, en tanto que la eficacia mide si los objetivos predefinidos para la actividad se estn cumpliendo. Adems de estas dos dimensiones del desempeo pblico, recientemente se han incorporado los criterios de desempeo presupuestario, focalizacin y calidad en la prestacin de los servicios pblicos, los que se describen en detalle en la seccin siguiente. Para evaluar el desempeo en los trminos descritos anteriormente, se han desarrollado una gran cantidad de herramientas metodolgicas, pero su uso puede conducir a confusiones dado que distintos autores y expertos utilizan diferente terminologa para referirse a mtodos similares. El campo acadmico de la evaluacin ha incluido dentro de la evaluacin del desempeo a distintos instrumentos tales como: Informacin de monitoreo y seguimiento; Evaluacin de proyectos y programas (tipo ex-ante, de seguimiento fsico-financiero o ex-post); Auditora de desempeo y Auditora financiera. La amplitud de estas metodologas se puede observar, por ejemplo, en una base de datos de prcticas y procedimientos presupuestarios que se encuentra desarrollando desde el ao 2003 la OCDE en conjunto con el Banco Mundial para ms de 60 pases. A la fecha de publicacin de este documento 44 pases han ingresado sus datos, incluyendo siete pases de Amrica Latina: Argentina, Bolivia, Colombia, Chile, Mxico, Per y Uruguay. El Cuadro 2 muestra la extensin del uso de mecanismos para estimar la eficiencia, eficacia y costo-efectividad del gasto de las actividades pblicas. Como se puede observar en el Cuadro 2, la OCDE hace una distincin entre revisin (review) y evaluacin. La revisin consiste en una evaluacin del desempeo de una intervencin, en tanto que la evaluacin se utiliza para una valoracin en mayor profundidad y ms comprehensiva que la revisin.
Cuadro 2
QU MECANISMOS SE UTILIZAN PARA ESTIMAR LA EFICIENCIA, EFICACIA Y COSTO EFECTIVIDAD/EFICIENCIA DEL GASTO (VALUE FOR MONEY) DE LAS ACTIVIDADES PBLICAS?
Total Nmero de Porcentaje Pases (N=38 pases) pases de LA Revisin del xito de los principales programas en el logro de sus objetivos anunciados Revisiones especiales (ad-hoc) sectoriales o de programas Evaluacin sistemtica de la eficiencia, eficacia y economa Evaluaciones especiales (ad-hoc) de la eficiencia, eficacia y de la economa Evaluaciones ad-hoc de costos de efectividad (cost effectiveness/value for money) Acuerdos del desempeo detallando resultados deseados Revisiones realizadas por organizaciones externas (por ejemplo, Banco Mundial, oficina suprema de auditora) 18 29 7 14 10 12 15 47,3 76,3 18,4 36,8 26,3 31,5 39,4 2 3 2 1 0 1 2
Fuente: OCDE / Banco Mundial, Survey on Budget Practices and Procedures, 2005.
22
N 45
Una definicin general de indicador de desempeo, sin entrar an a especificar los mbitos o niveles de su uso, es la siguiente los indicadores de desempeo son medidas que describen cuan bien se estn desarrollando los objetivos de un programa, un proyecto y/o la gestin de una institucin. Un indicador establece lo que ser medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo. La definicin anterior implica que el indicador es una parte del problema y los niveles esperados de desempeo o metas a lograr son otra parte. Otra aproximacin interesante al concepto de indicador es la que permite desagregar las funciones que cumple el indicador: Un indicador es una unidad de medida que permite el seguimiento y evaluacin peridica de las variables clave de una organizacin, mediante su comparacin en el tiempo con los correspondientes referentes externos o internos (Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002). Desde la perspectiva de las funciones que puede tener el indicador se pueden sealar dos: una primera funcin descriptiva que consiste en aportar informacin sobre el estado real de una actuacin pblica o programa, por ejemplo el nmero de estudiantes que reciben beca, y por otro lado una funcin valorativa que consiste en aadir a la informacin anterior un juicio de valor basado en antecedentes objetivos sobre si el desempeo en dicho programa o actuacin pblica es o no el adecuado, en este caso nmero de becas entregadas con relacin a los estudiantes carenciados. Esta ltima expresin nos est dando informacin sobre el logro de la actuacin del objetivo de Aumentar el nmero de becas para estudiantes carenciados (suponiendo que este es un objetivo intermedio). En la misma idea anterior, un complemento interesante es el que aporta Weiss (1998) al diferenciar el concepto de medicin de variable respecto del concepto indicador. Un indicador es una medicin ordinal que tiene siempre una direccin o rumbo esperado. Por ejemplo, nmero de desempleados sera una medicin sobre la cual no podemos pronunciarnos sobre si sta es buena o mala por s sola, sin embargo un indicador de esta medicin es la tasa de desempleo al cual normalmente se espera que tenga una evolucin hacia la baja. Asimismo ocurre con la medicin de crecimiento econmico, respecto de la tasa de crecimiento, a la que siempre esperamos que tenga una evolucin positiva. Weiss explicita el desempeo esperado de la manera siguiente: En evaluacin usualmente sabemos de forma adelantada hacia donde queremos que nuestro indicador se dirija. En efecto si nosotros no sabemos, ni nos interesa de que manera esperamos que el indicador se mueva, entonces es un indicador pobre, (Weiss, 1998). Con la finalidad de incorporar definiciones conceptuales que surgen de la praxis latinoamericana, a continuacin se presenta la definicin utilizada por el sistema de indicadores del Per: Los indicadores de desempeo son instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresin cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo especfico establecido. (...) La evaluacin del desempeo se asocia al juicio que se realiza una vez culminada la accin o la intervencin. Busca responder interrogantes claves sobre cmo se ha realizado la intervencin, si se han cumplido los objetivos (concretamente, la medida en que stos han sido cumplidos), el nivel de satisfaccin de la poblacin objetivo, entre otras. En suma, se busca evaluar cun bien o cun aceptable ha sido el desempeo de determinado organismo pblico con el objetivo de tomar las acciones necesarias para perfeccionar la gestin (Ministerio de Economa y Finanzas del Per, 2000). Las reflexiones anteriores respecto del concepto de indicador lleva a tener en cuenta varios elementos:
23
La calidad y utilidad del indicador (en tanto instrumento de medicin de las variables asociadas al cumplimiento de objetivos) estarn determinadas por la claridad y relevancia de la meta que tiene asociada. El requisito fundamental para el diseo del indicador es el establecimiento previo de los objetivos y metas lo que ser medido. El resultado de la medicin del indicador entrega un valor de comparacin el cual est referido a alguna meta asociada. Por ejemplo, si la relacin que se obtiene entre el gasto de la administracin del programa y el gasto total es de un 15% y la comparamos con la meta fijada previamente de 10%, estaremos en presencia de un mal resultado, en cambio si la meta fijada era de 20%, se habr superado incluso la propia meta. El indicador deber estar focalizado y orientado a medir aquellos aspectos claves, lo cual implica la necesidad de tener claridad cules son los objetivos o propsitos de la institucin, y no todos, sino aquellos ms relevantes que se relacionan con los productos estratgicos, dirigidos a los usuarios externos.
Estos aspectos sern desarrollados con mayor detencin en el punto referido a las etapas para la construccin de indicadores.
Recuadro 4
24
N 45
Recuadro 5
Fuente: Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos, Direccin de Presupuestos, Ministerio de Hacienda de Chile, 1995.
10
En algunos casos, por ejemplo en Chile, y en otros aplicados a las agencias federales de USA, la ltima categora de indicadores de resultado se desagrega en resultado intermedio y resultado final.
25
La primera clasificacin permite referirse a los instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos: cuntos insumos se utilizaron, cuntos productos y servicios se entregaron y cules son los efectos finales logrados. Mientras que la segunda clasificacin se asocia al juicio que se realiza una vez finalizada la intervencin, y las preguntas que se intenta responder son: en qu medida se cumplieron los objetivos, cul es el nivel de satisfaccin de la calidad percibida por los usuarios, cun oportunamente lleg el servicio. Lo que se busca evaluar con las dimensiones de eficiencia, eficacia, economa y calidad es cun aceptable ha sido y es el desempeo del organismo pblico, cuya respuesta sirve para mejorar cursos de accin y mejorar la gestin, informar a los diferentes grupos de inters y tener una base sobre la cual asignar el presupuesto. En forma grfica, en el siguiente cuadro, se puede examinar las interrelaciones existentes entre ambas categoras de indicadores en una lgica de la perspectiva del proceso productivo, integrando adems los niveles de servicio provistos y dimensiones relativas a la utilizacin y satisfaccin de los usuarios.
Figura 2
INTERRELACIONES DESDE LA PERSPECTIVA DEL PROCESO PRODUCTIVO, ENTRE ECONOMA, EFICACIA Y EFICIENCIA
ECONOMA
EFICIENCIA
EFICACIA
COSTO
RECURSOS
PRODUCTOS
RESULTADOS
NIVEL DE SERVICIO
UTILIZACIN SATISFACCIN
POBLACIN OBJETIVO
Fuente: Adaptado de Figura 2.2 Indicadores de Gestin para las Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002.
En sntesis, los primeros indicadores son ms funcionales al objetivo de rendicin de cuentas, en tanto que los indicadores de la segunda clasificacin estn ms orientados al objetivo de mejoramiento de la gestin y toma de decisiones. Un ambicioso programa de gestin por resultados debe tender a ambos tipos de objetivos, por lo que existe una complementariedad e interdependencia entre los dos tipos de indicadores. En las dos subsecciones siguientes, se explican en forma detallada los indicadores segn mbito y segn dimensin de la evaluacin, respectivamente. 26
N 45
2.2.1
En la figura siguiente se observa la relacin entre cada una de las medidas de desempeo, su contribucin a los resultados finales y las preguntas que se intenta responder:
Figura 3
IMPACTOOUTCOME
PRODUCTO - OUTPUT
PROCESO
INPUTS
Indicadores de insumos (inputs): cuantifica los recursos tanto fsicos como humanos, y/o financieros utilizados en la produccin de los bienes y servicios. Estos indicadores generalmente estn dimensionados en trminos de gastos asignados, nmero de profesionales, cantidad de horas de trabajo utilizadas o disponibles para desarrollar un trabajo, das de trabajo consumidos, etc. Estos indicadores son muy tiles para dar cuenta de cuantos recursos son necesarios para el logro final de un producto o servicio, pero por s solos no dan cuenta de si se cumple o no el objetivo final. Indicadores de procesos: se refieren a aquellos indicadores que miden el desempeo de las actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los bienes y servicios, tales como procedimientos de compra (das de demora del proceso de compra) o procesos tecnolgicos (nmero de horas de los sistemas sin lnea atribuibles al equipo de soporte). Estos indicadores son tiles para la evaluacin del desempeo en mbitos donde los productos o resultados son ms complejos de medir, como por ejemplo actividades de investigacin, culturales, etc. Indicadores de productos: muestra los bienes y servicios de manera cuantitativa producidos y provistos por un organismo pblico o una accin gubernamental. Es el resultado de una combinacin especfica de insumos por lo cual dichos productos estn directamente relacionados con ellos. Por s solo un indicador de producto, (por ejemplo nmero de vacunaciones realizadas,
27
nmero de viviendas construidas, nmero de inspecciones, etc.) no da cuenta del logro de los objetivos o de los recursos invertidos en la generacin de dichos productos. Indicadores de resultado final o impacto: miden los resultados a nivel del fin ltimo esperado con la entrega de los bienes y servicios. La informacin que entrega se refiere por ejemplo al mejoramiento en las condiciones de la poblacin objetivo, y que son exclusivamente atribuibles a dichos bienes. Tradicionalmente, los indicadores de insumos (inputs) y productos (outputs), son los ms comnmente usados en las entidades gubernamentales. Parte de las razones tienen que ver con que tales indicadores no son tan complejos de construir como los indicadores de resultado final o impacto, y en algunos casos de eficiencia (cuando no se cuenta con sistemas de costo por centro de responsabilidad). Por ejemplo en el caso de Chile, de un total de 1588 indicadores desarrollados por el conjunto de entidades pblicas, que fueron enviados como informacin complementaria junto con el proyecto de presupuesto para el ao 2005, un 5% de stos constituan indicadores de resultado final, un 13% de resultado intermedio, el 57% correspondan a indicadores de productos, y el 25% a indicadores de proceso (Direccin de Presupuestos de Chile, 2004). No obstante la importante informacin que entregan, el desarrollo de este tipo de indicadores no es suficiente para un adecuado proceso de toma de decisiones, ya que no nos informan acerca de las consecuencias o los resultados del uso de los recursos. Sin embargo, existe un conjunto de dificultades metodolgicas y complejidades que obstaculizan un desarrollo mayor de la medicin de resultados finales o de impacto, entre las que destacan las siguientes: La propia definicin o establecimiento de lo que se espera por resultado final o impacto y cmo la intervencin contribuir a dicho resultado. Por ejemplo, cmo se puede conceptuar operativamente la calidad de vida, o la seguridad para la poblacin? La dificultad de aislar los factores externos que inciden tambin en los resultados finales que son objeto de la intervencin de la organizacin o de los programas, tales como mejoramiento de la calidad de vida, disminucin de la polucin ambiental, etc. Los efectos a largo plazo de las polticas o programas que en general van ms all del plazo en que se solicita la evaluacin. Los costos de la evaluacin, dado que en general requiere del establecimiento de metodologas ms sofisticadas, tales como establecimiento de grupos de control, encuestas de opinin, etc. (Ver Cuadro 3)
Cuadro 3
Fuente: Elaboracin propia en base a Banco Mundial (2005), Meneses-Gonzlez et al. (2005): y Hernndez-Licona (2003). (1): El porcentaje de Chile corresponde al promedio 2002-2003, los costos de ambos programas estn sumados. El porcentaje de Oportunidades corresponde al ejercicio presupuestario 2004.
28
N 45
Recuadro 6
Porcentaje de egreso favorable de nios y nias egresados de programas de proteccin al menor (Servicio Nacional de Menores) Tasa anual de variacin de reclusos con contrato de trabajo (Gendarmera de Chile) Promedio de controversias resueltas por abogado (Superintendencia de Instituciones de Salud Previsional) Porcentaje de crditos de corto plazo recuperados (Instituto de Desarrollo Agropecuario). Fuente: Sistema de Control de Gestin y Presupuestos por Resultados: La Experiencia Chilena.
En el recuadro siguiente se desarrolla un ejemplo respecto de una campaa anti tabaquismo realizada en la televisin, a travs de un modelo lgico para vincular la relacin entre los insumos, procesos (actividades), productos y resultados:
Figura 4
-diseo y pruebas de los avisos Actividades -produccin de los avisos -compra del tiempo de aviso comercial Productos -avisos transmitindose en la televisin -las personas ven los avisos -las percepciones de la gente se ven afectadas Intermedios -el comportamiento se ve afectado -menor incidencia de enfermedades relacionadas
Resultados
Inmediatos
Finales
Fuente: Adaptado de Schacter, Mark (2002). Institute On Governance, Ottawa, Canad. www.iog.ca.
29
Una revisin de la terminologa utilizada en los diferentes sistemas de indicadores de desempeo a nivel de los pases da cuenta de diferentes situaciones. Por ejemplo en el caso chileno se utilizan las dos vertientes de anlisis del desempeo recin sealadas, estableciendo que las instituciones pblicas en el marco de sus Sistemas de Informacin de Gestin desarrollen indicadores segn mbito de control: proceso, producto (outputs) y resultado (intermedios y finales outcome). No incorporan la perspectiva de insumos (inputs). Asimismo se deben desarrollar para cada una de estas categoras, segn sea el caso, las dimensiones de evaluacin referidas a eficiencia, eficacia, economa y calidad.11 En el caso de Uruguay, los indicadores de gestin que se desarrollan como parte del proceso presupuestario, y en el marco de los Planes de Gestin de las Unidades Ejecutoras, contemplan las dimensiones de eficiencia, eficacia, economa y calidad, sin hacer referencia explcita a los mbitos de medicin del proceso productivo (insumo, proceso, producto, resultado).12 Esta misma situacin ocurre en los indicadores de desempeo de las Unidades Ejecutoras en Costa Rica.13 En Estados Unidos las agencias federales deben documentar para su proceso presupuestario indicadores de gestin que incluyen cuatro categoras claramente diferenciadas: insumos (inputs), procesos (process, considerando dentro de estas medidas de eficiencia y calidad), producto (output) e impacto (outcomes). En Canad, las agencias ejecutivas elaboran una tipologa de indicadores que desarrolla los mbitos de insumos (inputs), productos (outputs), process (procesos, en los cuales desarrollan tambin medidas de eficiencia y calidad) y tres niveles de resultados (outcomes), inmediatos, intermedios y finales.
Esta clasificacin de indicadores se ha utilizado en varios gobiernos de la regin y en la mayor parte de los gobiernos de pases de la OCDE. Su eleccin se basa en una serie de ventajas frente a otras tipologas que son ms complejas, stas se pueden resumir en las siguientes: La tipologa se centra en los aspectos bsicos y necesarios para entender el desempeo de la intervencin pblica.
11 12 13 14
Gua Metodolgica. Sistema Planificacin y Control de Gestin. Ao 2003, Direccin de Presupuestos de Chile. SEV Uruguay. www.cepre.opp.gub.uy Indicadores de Gestin en el Proceso Presupuestario, Direccin de Presupuestos, Costa Rica. El concepto de efectividad, se refiere al indicador de impacto o de resultado final, y en este manual se adoptar la terminologa de impacto para referirnos a los efectos finales del producto (bien o servicio) o programa que se est evaluando.
30
N 45
Permite comprender la interrelacin entre el proceso productivo de bienes y servicios y las dimensiones del desempeo. Es la tipologa que por su simplicidad y concrecin ha probado ser til para los usuarios en los pases en que se ha implantado (la mayor parte de los pases de la OCDE, Chile, Uruguay, Costa Rica, etc.).15
En los recuadros que se desarrollan a continuacin, se ejemplifican algunas diferencias en la terminologa y tipologas que adoptan algunos pases para el desarrollo de indicadores en las instituciones pblicas.
Recuadro 7
A su vez las tres dimensiones del desempeo son definidas de la siguiente manera:
Economa: adquisicin adecuada de recursos materiales, humanos en calidad, cantidad y al menor
costo.
Eficiencia: produccin de lo mxima cantidad de outputs (productos) para un conjunto dado de
recursos o el uso de mnima cantidad de recursos para la provisin de servicios en cantidad y calidad requerida.
Efectividad: acciones de la organizacin se encuentran con los requerimientos de los ciudadanos y
dichas acciones del programa o actividad se desarrollan de acuerdo a los objetivos establecidos y metas comprometidas. Es importante notar que si bien el conjunto de estas tres categoras aluden a las mismas desarrolladas para el caso espaol, chileno y uruguayo recin expuestos, varan en los nfasis de las definiciones y en la agrupacin de las categoras. En efecto mientras en el caso chileno y uruguayo las categoras de calidad y eficacia son diferenciadas, en este caso la calidad se incorpora en la dimensin de economa, y la eficacia se conceptualiza en la categora de efectividad como eficacia de los resultados. A estas categoras se seala que algunas organizaciones agregan una cuarta E, referida a Equidad, definida como la dimensin que captura el grado en el cual el acceso a los servicios son equitativos y si los servicios son apropiados a las necesidades y estn en condiciones para hacer uso de ellos. Junto con lo anterior se enfatiza la necesidad de asegurar un balance de los indicadores que represente explcitamente una diferenciacin entre: la calidad, el costo y los plazos u oportunidad en la entrega de los servicios. El costo representa el lado financiero de las actividades de la organizacin, la calidad captura las caractersticas del servicio y su adecuacin para el uso de los servicios, y el plazo es un aspecto que cubre la capacidad de respuesta y la rapidez con la cual los servicios son entregados.
15
31
Recuadro 8
Fuente: Indicadores de Gestin para Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, Espaa. 2002
A continuacin se desarrolla conceptualmente las dimensiones de la evaluacin antes descritas y se presentan algunos ejemplos relativos a estas categoras de indicadores: 2.2.2.1 Eficacia El concepto de eficacia se refiere al grado de cumplimiento de los objetivos planteados: en qu medida la institucin como un todo, o un rea especfica de sta est cumpliendo con sus objetivos estratgicos, sin considerar necesariamente los recursos asignados para ello. La eficacia es un concepto que da cuenta slo del grado de cumplimiento de las metas establecidas. Las medidas clsicas de eficacia corresponden a las reas que cubren las metas u objetivos de una institucin: cobertura, focalizacin, capacidad de cubrir la demanda y el resultado final. Cobertura La cobertura es la expresin numrica del grado en que las actividades que realiza, o los servicios que ofrece, una institucin pblica son capaces de cubrir o satisfacer la demanda total que por ellos existe. El porcentaje de cobertura de los servicios, actividades o prestaciones, es siempre una comparacin de la situacin actual respecto al mximo potencial que se puede entregar. Dependiendo de los objetivos y metas particulares que se plantee una institucin, su cobertura puede tener una expresin en trminos geogrficos, en trminos de un universo o de una demanda potencial a cubrir. Focalizacin Este concepto se relaciona con el nivel de precisin con que las prestaciones y servicios estn llegando a la poblacin objetivo previamente establecida. Un primer paso en la construccin de este tipo de indicadores consiste en verificar si los usuarios reales a los que hoy estamos llegando coinciden con nuestra poblacin objetivo, las llamadas filtraciones en la demanda. Estas filtraciones pueden deberse a la fuga de beneficios del 32
N 45
programa a los usuarios no elegibles (error de inclusin), o bien en la cantidad de usuarios elegibles que no acceden a los beneficios del programa (error de exclusin). Una segunda manera de construir indicadores de focalizacin es el anlisis de cobertura, en que se mide qu porcentaje de esa poblacin objetivo est recibiendo los bienes o servicios pblicos. Capacidad para cubrir la demanda actual Este tipo de medidas de eficacia dice relacin con la capacidad que tiene una institucin pblica para absorber de manera adecuada los niveles de demanda que tienen sus servicios. Este tipo de mediciones son ms restringidas que las de cobertura y focalizacin, debido a que independientemente de cul sea nuestra "demanda potencial", slo nos dicen que parte de la demanda real que enfrentamos, somos capaces de satisfacer en las condiciones de tiempo y calidad apropiadas. Resultado Final El resultado final es otra de las dimensiones del indicador de eficacia y al igual que en la evaluacin de programas pblicos lo que se busca es medir la contribucin del conjunto de la intervencin de la entidad pblica (no as de un programa especfico).16 Como resultado final se entender el efecto final o impacto que las acciones de una entidad tienen sobre la realidad que se est interviniendo.17 La eficacia puede ser considerada tanto del punto de vista tradicional como la comparacin de los resultados obtenidos con los esperados, sino tambin, como una comparacin entre los resultados obtenidos y un ptimo factible, de forma tal que este concepto coincida con la propia evaluacin de programas.
Recuadro 9
previamente definidos y cuantificados los objetivos, ya sea a travs de un proceso de planificacin estratgica, o de alguna metodologa que permita la identificacin de que forma dicha organizacin espera alcanzar sus resultados. Para realizar la evaluacin es fundamental poder analizar la forma y la magnitud en que los resultados obtenidos en trminos de bienes y servicios se ajustan a los efectos previstos.
La medicin de la eficacia lleva de forma inherente la definicin previa de objetivos y el
seguimiento de stos a travs de un sistema mnimo de informacin que permita informar sobre aspectos bsicos del programa o la gestin a ser evaluada, entre los que se mencionan: Productos que entrega el programa o el servicio Usuarios a quienes de dirige (nmero, caractersticas) Objetivos principales o estratgicos (logro que se pretende obtener, mejorar, ampliar, optimizar, etc.) Metas concretas con las cuales hacer el seguimiento (cundo, dnde, en qu condiciones)
Lo importante aqu es destacar que la ambigedad en la definicin de los objetivos y las metas, no permitir posteriormente realizar una evaluacin til y confiable, anulando los esfuerzos y costos incurridos en dicha evaluacin.
16
17
En algunos casos algunas entidades pblicas, o servicios pblicos (denominacin que tiene en algunos pases) coincide con que su mandato es la gestin de un programa pblico, claramente asignado como producto, dando la razn de ser de su mandato. En este caso es posible asimilar la evaluacin de la entidad a travs de la metodologa de evaluacin de programas. En el recuadro de ejemplo de indicadores de eficacia se sealan los que son especficamente de resultado final.
33
En general, lo que se busca medir con los indicadores de eficacia es brindar informacin sobre el grado en que se cumplen los objetivos de la gestin institucional, o de un determinado programa. Este cumplimiento se puede expresar ya sea en trminos de los resultados intermedios (coberturas logradas, grado de focalizacin cumplida, etc.) o de resultados finales (efectos logrados a nivel de la poltica pblica que interviene un mbito especfico: social, econmico, medio ambiental, etc.), los que se relacionan directamente con el proceso de rendicin de cuentas pblicas, dado que son esas variables que interesa conocer finalmente para efectos de asignacin de recursos.
Cuadro 4
2.2.2.2 Eficiencia El concepto de eficiencia describe la relacin entre dos magnitudes fsicas: la produccin fsica de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. La eficiencia puede ser conceptualizada como producir la mayor cantidad de servicios o prestaciones posibles dado el nivel de recursos de los que se dispone o, bien alcanzar un nivel determinado de servicios utilizando la menor cantidad de recursos posible. Un indicador clsico de eficiencia es el costo unitario de produccin o costo promedio, el cual relaciona la productividad fsica y el costo de los factores e insumos utilizados en la generacin de un bien o servicio. En el mbito de las instituciones pblicas existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad fsica, relacionando nivel de actividad, expresado por ejemplo como nmero de subsidios entregados, cantidad de usuarios atendidos, inspecciones realizadas, etc., y nivel de recursos utilizados (gasto en bienes y servicios, dotacin de personal, horas extraordinarias, etc.). Otro grupo importante de indicadores de eficiencia son los orientados a medir la productividad media de los factores: cuantas unidades de producto se obtienen en promedio por cada unidad de factor. 34
N 45
Una vez determinado el valor del indicador de eficiencia, ya sea de producto medio o costo medio, es necesario aplicar un anlisis respecto de los resultados logrados. La idea es detectar cuales son los factores ineficientes que pueden estar generando un valor de indicador que escape a la media de los estndares comparativos, o de las metas que estime razonables de ser obtenidas. Estos factores generadores de ineficiencias pueden ser el personal en la tarea no idneo, o sin capacitacin suficiente que retarda el tiempo de respuesta de un proceso, o la dotacin excesiva de personal en la tarea que hace por ejemplo que el promedio de inspecciones por inspector sea ms baja que los estndares aconsejados. El anlisis de la eficiencia econmica se refiere a la adquisicin y el aprovechamiento de los insumos (inputs), que deben ser adquiridos en tiempo oportuno, al mejor costo posible o al costo aceptable, la cantidad adecuada y con una calidad aceptable. De esta manera el anlisis de los insumos (inputs) debe ser realizada desde los medios humanos, materiales y financieros. Es as como se seala que las tcnicas basadas en la revisin de dichos insumos (inputs) tienen que ver con los siguientes tipos de anlisis, (Asociacin Espaola de Contabilidad y Administracin de Empresas, AECA, 2002).18 Costo de un servicio en relacin al nmero de usuarios Costo por tonelada de basura recogida Costo de la recogida de basura por usuario Costo por kilmetro de carretera construido Costo de la inspeccin por nmero de visitas efectuadas Costo del departamento de economa por habitante Costo del departamento de economa en relacin al presupuesto.
Cuadro 5
2.2.2.3 Economa Este concepto se puede definir como la capacidad de una institucin para generar y movilizar adecuadamente los recursos financieros en pos del cumplimiento de sus objetivos. Todo organismo que administre fondos, especialmente cuando stos son pblicos, es responsable del manejo eficiente de sus recursos de caja, de ejecucin de su presupuesto y de la administracin adecuada de su patrimonio. Indicadores tpicos de economa son la capacidad de autofinanciamiento (cuando la institucin tiene atribuciones legales para generar ingresos propios), la ejecucin de su presupuesto de acuerdo a lo programado y su capacidad para recuperar prstamos y otros pasivos.
18
Para mayores detalles de factores antieconmicos con relacin a los inputs sealadas consultar AECA 2000 pgina 66.
35
Otro tipo importante de indicadores de economa son aquellos que relacionan el nivel de recursos financieros utilizados en la provisin de prestaciones y servicios con los gastos administrativos incurridos por la institucin. En algunos pases por ejemplo, la participacin de los gastos administrativos en los gastos totales del sector pblico se considera como una buena aproximacin a las ganancias globales de eficiencia en el conjunto del sector.
Cuadro 6
2.2.2.4 Calidad del Servicio La calidad del servicio es una dimensin especfica del desempeo que se refiere a la capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus usuarios. Son extensiones de la calidad factores tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega de los servicios, comodidad y cortesa en la atencin. La calidad de servicio se puede mejorar por la va de mejorar los atributos o caractersticas de los servicios que se entregan a los usuarios. Entre los medios disponibles para sistematizar la medicin y evaluacin de estos conceptos se cuentan la realizacin de sondeos de opinin y encuestas peridicas a los usuarios, la implementacin de libros de reclamos o de buzones para recoger sugerencias o quejas.
Cuadro 7
Fuente: Elaboracin propia a partir de: Departamento de Administracin y Finanzas, Australia, Noviembre 2000; varios ejemplos de la rendicin de cuentas del SEV Uruguay, Indicadores de la Ley de Presupuestos de Chile.
36
N 45
37
Grfico 1
TIPOS DE MEDICIONES DE DESEMPEO UTILIZADAS POR GERENTES DEL GOBIERNO FEDERAL DE ESTADOS UNIDOS
(Porcentaje)
60 50 50 40 30 20 10 0 38
54 47 43 35 26 38 32 31 39 32 46 44
55
Producto
Eficiencia
Calidad
Resultado
1997
2003
Recuadro 10
Finalmente, cabe comentar, que en el caso de aplicacin de la metodologa Cuadro de Mando Integral (CMI), se definen indicadores para cubrir diversas perspectivas de actuacin de la organizacin: desde la perspectiva financiera, del cliente, del proceso interno, humanas y de desarrollo. En cada perspectiva hay varias maneras que los indicadores cubran los factores de xito ms relevantes. Por ejemplo deben mostrar, con la extensin deseada, cmo nos vemos a nosotros mismos y cmo nos ven los dems; deben permitir las comparaciones en el tiempo y con otros, estar vinculados por una causa efecto y ser apropiados para describir tanto las existencias como los flujos.19
19
38
N 45
A continuacin se presentan tres ejemplos donde puede observarse el desarrollo de indicadores con la integracin de los mbitos de control y de las dimensiones del desempeo:
Ejemplo 1
20
PRODUCTO
Porcentaje de los usuarios del Programa de Alimentacin PAE que evalan con nota superior o igual a 5,5 la comida entregada por el PAE
20
21
Ejemplo extrado de los Indicadores de Desempeo de la Junta Nacional de Auxilio Escolar y Becas, del Ministerio de Educacin de Chile (las frmulas de clculo y mayores detalles consultar www.dipres.cl/control_gestion/indicadores.asp). Para fines de mejor ilustracin del ejemplo se han incorporado otros indicadores sealados con *, los que han sido adaptados de otros ejercicios. El Programa Puente es un programa de intervencin integral diseado para dar apoyo psicosocial a familias que viven en condiciones de extrema pobreza. La metodologa implementada por el programa promueve en la familia el desarrollo de acciones para el mejoramiento del estndar de vida y la integracin a la red de beneficios y servicios sociales que existen a su disposicin.
39
Ejemplo 2
22
Porcentaje de calles limpias (medidas por encuestas peridicas de inspeccin visual de los ciudadanos)
22
A brief guide for performance measurement in local government. National Center for Public Productivity. Rutgers University. 1997.
40
N 45
Ejemplo 3
PROCESO
PRODUCTO
Final
41
N 45
43
revisin y/o validacin de misin (principalmente cuando es la primera vez que se desarrolla el sistema de indicadores), identificacin de productos, objetivos y metas, cuyo cumplimiento ser medido y evaluado a partir del instrumental desarrollado con los indicadores. Abordar estos requisitos no implica necesariamente redefinir la misin y las definiciones estratgicas de la institucin, si no plantearse los ajustes pertinentes para cumplir lo ms adecuadamente con la provisin de bienes y servicios a los usuarios.
Figura 5
1.
2.
Eficacia Finales
Establecer los indicadores en cada nivel de la organizacin 4. Establecer los referentes comparativos 5. Construir las frmulas 6. Recolectar los datos y generar sistemas de informacin
A partir de la revisin de las principales experiencias de construccin de indicadores tanto en el mbito pblico como privado, se propone el desarrollo de las siguientes etapas, que no necesariamente requieren ser consecutivas, dado que pueden realizarse de forma simultnea y retroalimentarse de forma permanente. a) Identificar y/o revisar productos y objetivos Cules son los productos estratgicos y objetivos que sern evaluados?
44
N 45
b)
Identificar las dimensiones y mbitos de desempeo Qu mbitos y dimensiones del desempeo es conveniente medir? Eficacia, Eficiencia, Economa, Calidad Resultado Final Establecer responsabilidades organizacionales Cules sern los Centros de Responsabilidad, o reas responsables por el desempeo logrado A qu niveles realizaremos la evaluacin? Establecer los referentes para la comparacin Sobre qu comparamos los indicadores para saber si el desempeo es adecuado? Construir las frmulas o algoritmos Cmo relacionamos las variables de medicin? Recopilar la informacin necesaria Qu datos y antecedentes permitirn construir los indicadores? Validar: aplicar criterios de tcnicos y requisitos Cmo sabemos que los indicadores construidos miden efectivamente la gestin y los resultados? Analizar los resultados obtenidos Por qu se produjeron los resultados? Comunicar e informar Quines tienen que conocer nuestros resultados? Organizacin, Usuarios, Ministerio de Finanzas, Oficina de Presupuestos, Congreso, etc.
c)
d) e) f) g)
h) i)
3.1.1
Un aspecto central para asegurar la coherencia y legitimidad de los indicadores que se construyen, es analizar en primer lugar las definiciones estratgicas de las organizaciones a las cuales se realizar el esfuerzo de medicin y evaluacin del desempeo. Lo anterior implica realizar un ejercicio de definicin o validacin respecto de la misin institucional (claridad respecto de su que mandato, los productos y servicios debe proveer y a los usuarios que sirve). Estos elementos debieran estar contenidos en una declaracin simple pero operativa de qu hace la institucin,23 basadas en algunas preguntas claves: Tengo identificada la misin, los productos y los usuarios? Tengo claros los objetivos que debo lograr? Estn los objetivos alineados con las prioridades estratgicas de la organizacin? Los objetivos estn expresados en metas mensurables?
23
En el captulo siguiente se desarrolla una metodologa bsica para emprender un proceso de planificacin estratgica en una institucin pblica.
45
Recuadro 11
Elementos para el anlisis de los productos estratgicos Las caractersticas principales de los productos estratgicos son: Es el principal bien o servicio que la institucin proporciona directamente a un usuario externo. La provisin de un producto estratgico o relevante es responsabilidad de la institucin ya sea en forma directa o subcontratado. La demanda de los usuarios de productos estratgicos es continua, sistemtica, permanente y cautiva. Los recursos que se consumen en la generacin de un producto estratgico son importantes, ya sea como porcentaje del presupuesto destinado a la provisin del servicio, o bien por el porcentaje de funcionarios afectados a la provisin del servicio.
Definicin de los objetivos estratgicos Los objetivos estratgicos son los logros que la organizacin persigue en un plazo determinado. La seleccin de los objetivos estratgicos deber identificar cuales sern las acciones prioritarias para el mejoramiento de la organizacin, teniendo en cuenta el anlisis interno y externo de sta. El diseo de los objetivos estratgicos es una fase clave que define los compromisos y prioridades de la gestin institucional. Surgen como respuesta a una pregunta esencial: Qu debemos lograr en el corto, mediano y largo plazo, para tener un accin coherente con la misin? Estos objetivos son manejados a nivel de la direccin superior de la institucin y como tal deben tener claramente asignados indicadores de carcter tambin estratgico (resultado final o intermedio) que permita identificar el avance hacia los logros. Los objetivos estratgicos debieran tener como consecuencia dado que responden a la razn de ser la institucin un claro impacto sobre hacia el entorno (hacia los usuarios y los productos que se entregan), y tambin debieran tener claras consecuencias sobre los procesos internos claves que generan los productos. Requisitos que deben cumplir los objetivos estratgicos Los objetivos estratgicos deben ser coherentes con la misin y orientaciones de las polticas de gobierno a nivel global y/o sectorial
46
N 45
Deben estar siempre formulados en trminos de los resultados que se persiguen. Para su definicin deben llevarse a cabo un conjunto de anlisis que permitan la priorizacin. En general las entidades se apoyan de anlisis de fortalezas y debilidades (para el anlisis interno) y amenazas y oportunidades ( para el anlisis externo).24 Su definicin debe permitir identificar acciones especficas en mbitos internos y externo con un claro impacto hacia los clientes: En el mbito interno: - Procesos claves para la generacin de los productos - Reestructuracin de la organizacin, que den como resultado mayores niveles de eficiencia, etc. Hacia el mbito externo: - Cobertura de los servicios - Oportunidad del servicio - Accesibilidad
Deben ser pocos y priorizados de acuerdo a orden de importancia teniendo en cuenta los recursos que consumen, la relevancia para el cumplimiento de la misin, etc. Deben ser posibles de asignar a determinadas reas de la organizacin, o centros de responsabilidad, traducidos en objetivos especficos Deben ser factibles de realizar en plazos determinados y con los recursos disponibles.
Recuadro 12
Fuente: Elaboracin propia a partir de diversos informes de rendicin de cuentas de instituciones pblicas de Chile, Uruguay y Estados Unidos.
24
Para mayores antecedentes consultar Gua de Planificacin Estratgica, Direccin de Presupuestos de Chile 1997.
47
Objetivos estratgicos en la estructura de la organizacin Tal como se observa en la Figura 5 que representa el Sistema de Informacin de Gestin que desarrolla como metodologa la Direccin de Presupuestos para los servicios pblicos chilenos, existe una jerarqua de objetivos especficos (o metas) que se desagregan de los objetivos estratgicos.
Figura 6
MISIN
Centro de responsabilidad
Objetivo estratgico
Producto estratgico
Indicadores de desempeo
Medios de verificacin
C.R.1
OBJETIVOS ESTRATGICOS
C.R.2
PRODUCTOS ENTREGADOS
C.R.N
CLIENTES/USUARIO S/BENEFICIARIOS
Soporte
C.R.2
Metas Constituyen la expresin concreta y cuantificable de los logros que la organizacin planea alcanzar en el ao (u otro periodo de tiempo) con relacin a los objetivos estratgicos previamente definidos.
48
N 45
Requisitos para la identificacin de las metas Abarcar el conjunto de dimensiones de desempeo de la gestin: eficiencia, eficacia, calidad y economa Debe estar definida en base a la generacin de compromisos internos, por lo tanto su cumplimiento no debe depender de otras entidades o de factores exgenos Deben tener un componente de realismo, es decir que puedan ser alcanzadas con los recursos humanos y financieros disponibles.
Recuadro 13
Contener el propsito de mejorar en forma significativa el desempeo institucional en alguna de sus dimensiones (calidad, eficiencia, eficacia, desempeo financiero). Ser un compromiso interno, en el sentido que su cumplimiento no dependa de la accin de otras entidades pblicas (Tribunal de Cuentas, Secretara, Contadura General, etc.) o de factores exgenos, como el nivel de actividad econmica, las decisiones que tomen agentes privados, cambios bruscos en la demanda por prestaciones, etc. Ser factible de alcanzar y, por lo tanto, ser realista respecto a los plazos y a los recursos humanos y financieros que involucran. Tener un componente de "innovacin" ya sea referido a los productos que ofrece la institucin, a la calidad de ellos, o a los procesos y tecnologas que se utilizan para generarlos.
Fuente: Gua para la Construccin de Indicadores de Gestin, CEPRE - Comit Ejecutivo para la Reforma del Estado, Uruguay, 1999.
Recuadro 14
Fuente: Elaboracin propia a partir ejemplos de taller de indicadores de desempeo y Audit Comisin (2000).
49
3.1.2
En trminos generales las autoridades centrales responsables por el desarrollo de sistemas de indicadores para las instituciones pblicas definen lo que es relevante medir en trminos de las dimensiones del desempeo. En la mayor parte de los casos revisados en Amrica Latina se desarrollan medidas integrales, que van ms all de los insumos (inputs) y productos (outputs). Sin embargo, por lo general lo ms frecuentemente utilizado son los indicadores de eficacia que relacionan medidas de productos (outputs) respecto de lo programado y logrado, y en menor medida indicadores de eficiencia insumos/produtos (inputs/outputs) o costos /productos. Las medidas de desempeo e indicadores que finalmente se construyan van a depender de los siguientes factores: - Tipo de metas que se monitorean - Prioridades de informacin tanto para fines internos, como externos - Prioridades de evaluacin - Recursos disponibles Cuntos indicadores construir? Los indicadores de desempeo en una organizacin pblica o privada estn presentes en toda la extensin del sistema de control de gestin, y como tal aportan a los tres niveles de decisiones de la planificacin estratgica, control de gestin y operativa, sealados en la Figura siguiente. Desde esta perspectiva son elementos fundamentales para la toma de decisiones directivas y tal como se aludi a su carcter de informacin sobre las variables claves y estratgicas de la organizacin. El nmero y tipo de indicadores a construir depender de los fines hacia los cuales se dirige la evaluacin y de las caractersticas del tipo de institucin de que se trate. En general los criterios para decidir el nmero de indicadores tienen que ver con los siguientes aspectos: Lo ms recomendable es que el nmero de indicadores se limite a una cantidad que permita apuntar a lo esencial que permita captar el inters de los diferentes usuarios a los cuales va dirigido. Que cubran las diferentes reas de la organizacin: estratgica, gestin y operacional. De forma evidente lo ms probable es que los indicadores de carcter estratgico y los ms relevantes del control de gestin sean los que se reporten a las diferentes instancias que los solicitan. Que cubran las dimensiones del desempeo de manera integrada: eficiencia, eficacia, calidad y economa. Tal como se seal en el punto los indicadores de insumos (inputs) o productos (outputs) por s solos no tienen valor informativo para la toma de decisiones, necesitamos saber el costo por unidad producida (eficiencia, costo medio), la oportunidad de esa produccin (calidad), y si los recursos financieros estn correctamente ejecutados (economa). Que permitan conocer el desempeo de los procesos (resultados intermedios) para identificar los cuellos de botella, las demoras y tiempo de cola, y el ciclo de maduracin del servicio (tiempo de resolucin desde el inicio de un trmite hasta su resolucin). Junto con lo anterior, estos resultados intermedios sirven para construir indicadores de calidad que posibiliten tener antecedentes sobre la eficacia y la oportunidad del producto final, o el impacto de la produccin. Por ejemplo en el caso de las devoluciones de impuestos
50
N 45
por exceso de cuota, la medida podra ser sobre la velocidad con que se realizan las devoluciones (AECA 2000). Es importante insistir que los indicadores de proceso, si bien pueden no ser adecuados para ser incorporados en el informe que acompaa al presupuesto institucional que va hacia el Congreso o la autoridad financiera, son muy til para identificar los aspectos centrales de la gestin del servicio pblico. Otro elemento relevante respecto del nmero de indicadores tiene que ver con desarrollar una cantidad tal que seamos capaces de utilizar y controlar, dado que mucha cantidad de informacin puede volverse en contra.
En la figura que se muestra a continuacin se observa el tipo de indicadores que es pertinente construir e informar segn nivel de la organizacin, as como segn el tipo de actividad de planificacin y control que se realiza en una organizacin. Estos tipos de indicadores constituyen una jerarqua aproximada, el control de las actividades se efecta de acuerdo con las reglas de decisin acordadas en el control de gestin, y el control de gestin existe para materializar las estrategias y los objetivos establecidos en la planificacin estratgica (Anthony, 1998).
Figura 7
TIPOLOGA DE INDICADORES SEGN NIVEL ORGANIZACIONAL Y PLANIFICACIN NIVELES ORGANIZACIONALES ACTIVIDAD DE PLANIFICACIN Y CONTROL TIPOS DE INDICADORES
Indicadores Gestin Global de la Entidad o Resultado Final Alta Direccin Planificacin estratgica Resultado Final o Impacto Resultado Intermedio
Indicadores por Centro de Responsabilidad Nivel Directivo Control de Gestin Eficiencia, Eficacia, Economa, Calidad
51
3.1.3
Como fue sealado anteriormente, los indicadores de desempeo se despliegan a lo largo de toda la organizacin, y tienen como objetivo central entregar informacin sobre el grado de cumplimiento de las metas, las cuales estn asociadas a determinados productos que se generan en diferentes reas de la organizacin, los cuales tienen directivos o ejecutivos a cargo y son responsables por ellos. Por lo que el paso siguiente a la identificacin de lo que se medir es establecer las responsabilidades institucionales y organizacionales por dicho cumplimiento. De esta manera un requisito central para operativizar los indicadores tiene que ver con la asignacin de productos, metas e indicadores a cada una de las divisiones o reas que tienen asignado dicha produccin. Esta accin implica desarrollar Centros de Responsabilidad, los cuales tienen las siguientes caractersticas: Los centros de responsabilidad - Tienen productos estratgicos claramente asignables - Tienen objetivos traducidos en metas concretas a alcanzar. - Tienen a la cabeza un directivo responsable con por el cumplimiento de esos objetivos - Dicho directivo no slo cuenta con la responsabilidad sino que tambin con la autoridad y las atribuciones para tomar las decisiones necesarias para el logro de los objetivos - Tienen asignados recursos humanos, materiales y financieros. Unidad de Control de Gestin El rol de la Unidad de Control de Gestin es clave para asegurar que los indicadores construidos fluyan por toda la organizacin y permitan la retroalimentacin sobre los resultados. Tal como est definido el control de gestin es el proceso mediante el cual los directivos influyen en otros miembros de la organizacin para que se ponga en marcha las estrategias de sta. La finalidad del proceso del control de gestin es poner en prctica las estrategias que fueron aprobadas en el proceso de planificacin estratgica y de ese modo, alcanzar los objetivos de la organizacin. Su cumplimiento exige la interaccin de los directivos con otros miembros de la organizacin, incluyendo otros directivos (Anthony, 1998). A continuacin se desarrolla un modelo de una Unidad de Control de Gestin, que es la instancia de la organizacin que se encarga de monitorear el cumplimiento de las metas interactuando con cada uno de los Centros de Responsabilidad y la Direccin. En trminos generales los requisitos para un buen funcionamiento de estas Unidades de Control de Gestin son: - Ubicacin estratgica, cercana a la Direccin y participante de las instancias directivas - Permanente retroalimentacin y empoderamiento para establecer su relacin con los Centros de Responsabilidad - Recursos suficientes para desarrollar un Sistema de Informacin que permita el flujo adecuado de la informacin.
52
N 45
Figura 8
Direccin
Recomendaciones
Medidas correctivas
Evaluacin
Retroalimentacin
Centros de responsabilidad
Informacin de avance
3.1.4
Una vez que se ha acordado el tipo de indicador que medir las dimensiones del desempeo, se han definido los responsables por los resultados, se debern establecer idealmente de forma participativa (el jefe o director del centro de responsabilidad y funcionarios responsables de la produccin de los bienes y servicios involucrados) los referentes sobre los cuales se comparar los resultados obtenidos por el indicador. En la Figura 8, se presentan dos referentes claros de comparacin: la meta para el ao presupuestario siguiente, y el desempeo pasado (aos 2000, 2001, 2002). A estos dos referentes podra agregarse un tercero referido a la comparacin de instituciones similares. A continuacin se desarrolla el anlisis para cada uno de estos referentes. a) Sobre lo planeado o presupuestado Esta referencia implica tener como punto de comparacin las metas que la organizacin establece. En este punto cabe recordar lo sealado respecto de la determinacin de metas: realismo en cuanto a que stas deben financiadas con los recursos presupuestarios sobre los cuales se est realizando la programacin, debe contener una expresin de mejora concreta (ya sea en eficiencia, eficacia, calidad o economa),para lo cual debe haber habido un proceso previo de discusin sobre que implica para la organizacin un buen desempeo, debe tener incorporado un componente de innovacin (previamente se debe haber analizado si es el mejor ptimo posible y si es mejorable a partir de incorporacin de una mejora de procesos, tecnologa, etc.). b) Respecto de otras instituciones similares o comparables Al comparar resultados con instituciones similares se debe tener especial cuidado en seleccionar una institucin que sea estrictamente comparable, en trminos de las variables que tienen mayor 53
incidencia sobre el desempeo, tales como recursos, tecnologa, capacidades instaladas, rea a la cual se dirigen los productos, tipo de clientes, etc. En este punto quizs pueda ser conveniente que la institucin o algn rea de sta participe en un proceso de benchmarking. Un uso frecuente del benchmarking es para la comparacin con jurisdicciones territoriales similares (ejemplo, departamentos de salud de varias regiones), con otras instituciones de otros sectores de similar tamao o complejidad (porcentajes de preinversin ejecutada del ministerio de vivienda y del ministerio de obras pblicas) y contra otras instituciones de otros pases (ejemplo, el costo unitario de recaudacin de las administraciones tributarias)
Recuadro 15
TIPOS DE BENCHMARKING
BENCHMARKING Encontrar una organizacin que sea buena preferiblemente mejor que nuestra organizacin, estudiar intensamente como hace las cosas, hacer planes para lograr que el desempeo llegue a este nivel, implementando esos planes y monitoreando sus resultados. Benchmarking es, entonces, basarse sobre los estndares de desempeo, pero lograrlo por la comparacin de resultados o procesos, identificando la mejor prctica e iniciando procesos de mejoramiento. Tipos de Benchmarking El tipo de benchmarking queda determinado por el tipo de comparaciones que se pretenden realizar. El tipo de comparaciones ms frecuentes son las siguientes: Benchmarking interno. Se utiliza este trmino cuando las actividades de benchmarking se utilizan para comparar unidades similares o que cumplen funciones similares al interior de una organizacin. Por ejemplo: los distintos laboratorios de una universidad, las distintas estaciones de servicio de una compaa distribuidora de combustibles, los distintos tribunales del sistema judicial, etc. Este tipo de benchmarking se aplica por lo general en organizaciones de gran tamao, que tienen una distribucin regional o internacional de sus unidades organizativas. Benchmarking competitivo. El benchmarking competitivo es aquel en que el objetivo perseguido es hacer comparaciones entre competidores directos o cercanos que se relacionan con una misma base de clientes. Como es lgico, este tipo de benchmarking es el ms complejo de realizar, puesto que es el que presenta mayores dificultades para conseguir la informacin, no obstante es el tipo de anlisis que surge de esta modalidad de benchmarking presenta un alto potencial para mejorar el desempeo. Debido a las dificultades para el traspaso de informacin, por lo general el benchmarking competitivo se centra en la comparacin de productos o servicios finales, puesto que en este mbito es posible obtener informacin a travs de encuestas a clientes, focus group, estudios de mercado, etc. Benchmarking funcional. El benchmarking funcional, surge en gran medida como una respuesta a las dificultades que presenta la realizacin del benchmarking competitivo y consiste bsicamente en detectar organizaciones (que no sean competidores), que desarrollen uno o ms procesos de trabajo similares a los nuestros y utilizarlos como referente y fuente de informacin. Recibe el nombre de funcional, porque se utiliza principalmente para comparar funciones similares entre empresas de distintos sectores o mercados; por ejemplo se puede buscar en cualquier rea de la produccin, dentro y fuera del pas, a la organizacin lder en despacho de mercaderas a distancia, a la organizacin lder en capacitacin y reconversin de empleados o a la organizacin lder en sistemas de informacin de apoyo a la gestin y utilizarlas como fuente de informacin para mejorar nuestros propios procesos de trabajo.
c) Respecto de resultados histricos El anlisis de los resultados sobre los estndares logrados en el pasado debe poner especial atencin al hecho que la eficiencia y productividad, en general mejoran a lo largo de tiempo por factores tecnolgicos y no necesariamente por mejoras intencionadas en la gestin. Asimismo pueden haber factores exgenos importantes que pueden incidir en mejoras de los estndares 54
N 45
histricos, tales como una mayor demanda de bienes y servicios derivadas de una emergencia, de una prioridad gubernamental, etc. Frecuencia de la medicin Una vez que se tienen asignados los indicadores que sern evaluados, por centro de responsabilidad, es necesario determinar cada cuanto tiempo es necesario establecer la medicin, la cual puede ser anual, semestral, o mensual. La frecuencia depender del uso de la informacin y de la relevancia de la medicin. Debe tenerse en cuenta que un sistema de control de gestin donde fluirn los indicadores informa de las variables de carcter estratgico o claves para la gestin y la toma de decisiones. Esta informacin puede ser til ya sea para usuarios externos (como el Ministerio de Finanzas, cuyo objetivo principal sea conocer como se utilizaron los recursos presupuestarios asignados), o para los usuarios internos (directivos generales de la institucin y directivos de los centros de responsabilidad). Por lo que puede haber un tipo de indicador de carcter operativo que de cuenta de las tareas realizadas, o ms de tipo administrativo, que no est asociado a elementos estratgicos, pero que s puede aportar como informacin intermedia (Nmero de horas por inspeccin, costo unitario de los expedientes, etc.) relevante a otros productos, por lo que estos indicadores no son necesarios informarlos externamente. En general para los indicadores que se requieren en el proceso presupuestario, la frecuencia de la medicin y evaluacin es semestral (en la mayor parte de los casos). Para aquellos indicadores necesarios para un monitoreo comparativo de costos medios, puede ser necesario llevar un control y evaluacin mensual, pero ser informados semestral o anualmente. Los indicadores de resultado intermedio o final, como por ejemplo, grado de comprensin de la historia de Chile, los estudiantes que visitan la muestra del Museo, si este indicador est construido a travs de una encuesta anual, necesariamente la periodicidad de la medicin estar acotada a la pertinencia y disponibilidad de la informacin. De forma resumida los elementos claves para determinar la frecuencia de la medicin tienen que ver con: - El tipo de indicador (estratgico, de gestin u operativo) - El uso de la informacin (externos, e internos) - Los costos asociados a la medicin
3.1.5
La construccin de las frmulas o algoritmos que permitan construir el indicador es una fase que debe ser realizada una vez que se tenga claridad qu dimensiones sern evaluadas, sobre qu producto y el cumplimiento de qu objetivos estratgicos se est midiendo su cumplimiento. La construccin de la frmula o algoritmo debe asegurar que su clculo obtenga informacin de la variable que estoy tratando de medir, es decir el resultado del indicador.
55
Recuadro 16
medir.
Determinar o cuantificar el objetivo a alcanzar, siendo ste un valor o varios en funcin de cmo se
mida y se defina.
Deben poder identificar al responsable de cada indicador de control de gestin. Deben servir como base de medicin de los objetivos relacionados con los aspectos claves del
negocio.
Deben especificar la frecuencia o periodicidad del indicador Se debe identificar la fuente de informacin de origen de los datos y el responsable de facilitar la
Figura 9
EJEMPLO DE LA FICHA DE PRESENTACIN DE INDICADOR DE DESEMPEO DE LAS INSTITUCIONES PBLICAS CHILENAS, EN SU PRESENTACIN A LA DIRECCIN DE PRESUPUESTOS
Producto Estratgico al que se vincula Orientacin, asesora jurdica y proteccin Indicador Frmula de Clculo Efectivo 2000 Efectivo 2001 Efectivo 2002 Estimado 2003 Meta 2004 Pondera cin Medios de Verificacin Notas
Porcentaje de usuarios satisfechos co n la atencin global prestada por el servicio Orientacin, asesora jurdica y proteccin Tramitacin de reclamos Eficacia/ Producto
Formularios/ Fichas n,c, 77,0 % 87,9 % 85,0 % 88,0% 6% Encuesta de satisfaccin a usuarios 1
Base de Datos/Softwar e Reportes entregados por el Sistema de Informacin Jurdico Judicial Reportes entregados SERNAC
48,0 %
52,0 %
54,8 %
54,0 %
55,0%
4%
56
N 45
En el ejemplo tal como puede observarse se agrega una columna de ponderacin que es el porcentaje de importancia atribuida respecto del total de los indicadores, ajustndose a una de las disposiciones de la Direccin de Presupuestos. Se agrega adems una columna de notas, las cuales entregan informacin general de los indicadores o explicaciones respecto de las desviaciones importantes. Distintas frmulas o algoritmos utilizados para la construccin de indicadores Un indicador puede elaborarse como una razn o un ratio entre dos variables cuantificables eficiencia (insumos-productos), o economa (costos-productos), o solamente una medicin de los productos (eficacia-cobertura): Eficiencia: Costo medio: Gastos programa/ Prestaciones dadas Eficiencia: Productividad media: Total prestaciones/ Nmero de funcionarios en la tarea Eficacia - Cobertura: Produccin realizada/ Produccin programada A continuacin se entregan diferentes tipos de indicadores con sus respectivas frmulas o algoritmos:
Frmula de clculo
Programado Porcentaje pacientes atendidos menores 15 aos Porcentaje de certificados emitidos dentro del plazo Porcentaje de inversin ejecutada
Pacientes atendidos menores de 15 aos ___________________________ Poblacin objetivo a ser atendida Certificados emitidos dentro del plazo _______________________ Certificados solicitados Inversin ejecutada _______________________ Inversin programada Frmula de Clculo Costo Total recoleccin basura _______________________ Toneladas de basura recogida
b) Costos medios
Costo medio por tonelada de basura recogida
2000 71
2001 96
33,9% 2000
35,2% Meta
30 das
25 das
57
3.1.6
La recoleccin de datos tiene que ver con todos aquellos mecanismos que nos permitirn construir finalmente el indicador. La generacin de informacin para la construccin de los indicadores es una tarea que implica asumir un conjunto de desafos, entre los que se cuenta: identificacin de la informacin pertinente, recursos para construir bases de datos y la realizacin de investigaciones o encuestas para construir indicadores de resultado y de calidad, as como contar con los sistemas de informacin adecuados que posibilite apoyar la labor de control de gestin. Los tipos de informacin que se requiere reunir es a lo menos la siguiente: Informacin contable-financiera: relativa a los costos de la produccin, ingresos, gastos, activos, etc. Informacin operacional: nivel de produccin, estadsticas operativas (por ejemplo, kilmetros. construidos, estudiantes matriculados, cargas de trabajo, etc. Informacin sobre resultados finales (impactos): para lo cual generalmente deben realizarse estudios especiales, recurrir a metodologas que permitan trabajar con grupos de control, etc.
En general la tcnica para la obtencin de los datos depender del tipo de indicador que se construya, identificndose tcnicas cuantitativas o mtricas, para establecer las comparaciones estadsticas, realizacin de cmputos, etc. y tcnicas de carcter documentales, que requiere la revisin de los soportes de informacin tales como estudios, investigaciones, etc., y las investigaciones de tipo cualitativo, ampliamente utilizadas para evaluacin de la percepcin de calidad de servicios. En las primeras etapas de diseo de los sistemas de indicadores la recoleccin de los datos se constituye en uno de los principales obstculos para la posibilidad de construir indicadores fiables y legtimos y a su vez es una de las fuentes de desincentivo importantes para las organizaciones en la medida que las enfrenta a sus capacidades por generar datos, construir antecedentes de carcter histrico, dimensionar el nmero de atenciones, el tipo de usuarios, etc. Estas demandas que son bsicas para la construccin de los indicadores, en la mayor parte de los casos se enfrentan en la escasez de recursos financieros para poder construir las bases de datos, desarrollar encuestas, etc. Sin embargo, a partir de las experiencias revisadas, en los casos chilenos, uruguayos, de Costa Rica, y otros de pases de la OCDE, el tema de la construccin de los datos, implica la necesidad de abordarlo desde una perspectiva estratgica. En este punto si bien la responsabilidad principal por la bsqueda de los datos es responsabilidad de la institucin que debe generar los indicadores, la autoridad central que solicita dichos instrumentos y est a cargo del Sistema de Indicadores de Desempeo, tiene un rol central en facilitar los apoyos necesarios. Entre las principales iniciativas que se observan se mencionan las siguientes: Fondos especiales para la construccin de sistemas de informacin a los cuales pueden postular las instituciones con un plan de desarrollo especfico. Priorizacin presupuestaria al financiamiento de estudios, encuestas, etc., como parte del presupuesto de estudios e investigacin de la institucin. Integrar los sistemas de informacin de indicadores como un mdulo armnico de los Sistemas Integrados de Administracin Financiera (SIAF) existentes, de manera tal que se produzca la alimentacin automtica de las variables para la construccin de los indicadores y el clculo de las frmulas. Incorporacin en los planes de mejoramiento de gestin de la institucin (que son parte de la programacin presupuestaria), metas e indicadores vinculados a la construccin de sistemas de informacin, datos y encuestas, etc. para desarrollar los antecedentes necesarios para la construccin de indicadores.
58
N 45
Acuerdos de colaboracin con instituciones de estadsticas nacionales para inclusin de datos en encuestas nacionales. Impulso de procesos de benchmarking entre instituciones similares.
Pertinencia
Relevancia
Homogeneidad
Independencia
Costo Confiabilidad
Fuente: Elaboracin de los autores sobre la base de Bonnefoy (2003), Direccin de Presupuestos de Chile (1995 y 2003), Marcel (1998), National Center for Public Productivity (1997) y Shack (2003).
59
Hay otros requisitos generales que se mencionan tales como la necesidad que los indicadores sean revisados cada ao, dado los cambios en las condiciones tecnolgicas, prioridades estratgicas, etc. Apuntando al mismo sentido de asegurar que la construccin de indicadores sea coherente, confiable y til para los propsitos de informacin para la toma de decisiones, y rendicin de cuentas. En este sentido es conveniente aplicar un cuestionario de validacin que resuma el ajuste a los requerimientos de carcter ms especfico:
El ajuste a las condiciones o criterios bsicos sealados debiera permitir que los indicadores cumplan su funcin de informacin para la toma de decisiones y la rendicin de cuentas, y satisfacer con tres requisitos bsicos que deben cumplirse, respecto del conjunto de indicadores que se construyan: Que informen sobre el desempeo logrado: grado de cumplimiento de los objetivos estratgicos Permitan medir la evolucin de los objetivos o su situacin en un momento del tiempo Entreguen la informacin pertinente ya adecuada a los diferentes usuarios de la informacin: clientes, stakeholders, autoridad financiera, etc.
3.1.8
El anlisis de los resultados obtenidos una vez que se ha realizado la comparacin entre las metas y los efectivamente logrado, implica preguntarse las razones y circunstancias de por qu se obtuvo ese nivel de resultado. La evaluacin que se realiza a partir de los resultados obtenidos, entrega insumos para los siguientes tipos de anlisis: Revisar las metas que fueron definidas, estableciendo si stas fueron o no realistas
Priorizar la asignacin de los recursos hacia determinados programas o productosJustificar la asignacin de mayores recursos, Disminuir o abandonar los programas o la provisin de determinados bienes y servicios por otras alternativas ms eficientes y con el mismo grado de eficacia, por ejemplo a travs de una externalizacin de procesos productivos.No hay una medida nica que demuestre por s sola el desempeo de la institucin. En general se requiere una combinacin de ellas que permita demostrar la eficacia, eficiencia, calidad, economa con que se 60
N 45
llegue a los productos o resultados. En este punto es clave tener en consideracin que los indicadores pueden ser contradictorios entre ellos. Por ejemplo, en el caso que se analice la meta de aumentar la cobertura de raciones alimenticias en un Programa de Alimentacin Escolar, debe traer aparejado el anlisis de s stas se lograron cumpliendo la meta de mantener el mismo nivel de caloras, el costo unitario de stas, as como con los niveles de satisfaccin de los usuarios. El anlisis de las medidas de eficacia aportan informacin til a la rendicin de cuentas desde las siguientes perspectivas: Si los programas son idneos respecto de otras alternativas para conseguir los mismos objetivos Las desviaciones entre los productos que se obtienen y los esperados (medidas de cobertura, focalizacin, capacidad de cubrir la demanda, etc.). A partir de la interpretacin de la evaluacin del desempeo a nivel de eficacia es importante dar explicaciones por que se producen las diferencias. Algunas posibles causas pueden ser: - Se sobre o sub estim la capacidad de proveer los bienes y servicios. - Hubo una mayor demanda por factores exgenos (capacidad de cubrir la demanda, no en focalizacin, ni cobertura dado que previamente se definen los parmetros) La capacidad de obtencin de los efectos esperados o impactos en la poblacin destinataria.
Respecto del anlisis de los indicadores de eficiencia, es pertinente sealar los siguientes puntos que permiten analizar las posibles causas de un comportamiento negativo de este indicador: La disminucin de un cuociente que mide por ejemplo Produccin/Recursos, por ejemplo Nmero de Inspecciones/Nmero de Fiscalizadores, puede haberse debido a una menor cantidad de inspecciones realizadas, manteniendo el mismo nmero de inspectores, o bien una dotacin excesiva de inspectores que generan el mismo nmero de inspecciones. Sin embargo el anlisis pertinente es identificar las razones de la disminucin de la produccin, que puede ser por razones externas por ejemplo una huelga, o razones al interior de la organizacin derivadas de un problema tecnolgico relativo a un proceso previo a la inspeccin, o bien el incumplimiento de la meta de inspecciones a nivel nacional, por una inadecuada programacin de las actividades. En este punto es interesante sealar los tipos de ineficiencias que pueden producirse con la utilizacin de inputs (insumos) inadecuados: ineficiencia asignativa e ineficiencia tcnica. La ineficiencia asignativa se refiere al exceso de costos debido al mantenimiento de una estructura de inputs inadecuada, en cuya composicin (inputs mix) se mantienen por encima de lo necesario unos factores cuyo precio relativo es elevado. Un ejemplo de lo anterior es el escaso uso de equipos informticos, donde se podra estar en presencia de una dotacin del personal excesiva. La ineficiencia asignativa no implica que no se est obteniendo el mximo nivel posible de produccin con los factores que se consumen, sino que el costo total de produccin es excesivo debido a que la composicin de los factores impide asegurar la obtencin de un costo de produccin mnimo. Respecto de la ineficiencia tcnica, esta se refiere a aquellos casos que el consumo de inputs es excesivo respecto del nivel de produccin que se obtiene. Estos niveles de eficiencia tcnica se obtienen de comparaciones de los valores de la unidad que se analiza con los relativos a otra que demuestra una mejor eficiencia (benchmarking) (AECA, 2000).
61
3.1.9
Comunicar e Informar
Respecto a la comunicacin de los indicadores, la experiencia revisada seala tres aspectos bsicos a tener en cuenta: La comunicacin de los resultados tiene que estar focalizada en los aspectos claves de la gestin con mensajes simples, directos y demostrables El contenido de la comunicacin en lo posible debe ser educativo considerando las necesidades de informacin de los usuarios-ciudadanos La informacin debe ser entregada en informes que tengan alguna periodicidad. A continuacin se desarrollan algunas consideraciones respecto de los reportes de gestin:
Recuadro 17
N 45
El uso de la Planificacin Estratgica en el mbito pblico es concebida como una herramienta imprescindible para la identificacin de prioridades y asignacin de recursos en un contexto de cambios y altas exigencias. Las caractersticas centrales de la gestin orientada a resultados son: Identificacin de objetivos, metas e indicadores que permitan evaluar los resultados, generalmente a travs del desarrollo de procesos planificacin estratgica como herramienta para alinear las prioridades a los recursos y establecer la base para el control y evaluacin de las metas. Identificacin de niveles concretos de responsables del logro de las metas. Establecimiento de sistemas de control de gestin internos donde quedan definidos las responsabilidades en toda la organizacin por el cumplimiento de las metas, as como tambin los procesos de retroalimentacin para la toma de decisiones. Vinculacin del presupuesto institucional a cumplimiento de objetivos. Determinacin de incentivos, flexibilidad y autonoma en la gestin de acuerdo a compromisos de desempeo.
Tal como fue sealado anteriormente, la planificacin estratgica es un proceso que antecede al control de gestin, el cual permite hacer el seguimiento de los objetivos establecidos para el cumplimiento de la misin. De manera que el control y la evaluacin posterior de los resultados no es posible realizarla sin un proceso previo de planificacin. Asimismo la planificacin es un proceso amplio que cubre aspectos de carcter macro de mediano y largo plazo, que tiene que ver con la identificacin de temas estratgicos, cursos de accin que fijen las prioridades institucionales. La planificacin estratgica es un proceso continuo que requiere constante retroalimentacin acerca de cmo estn funcionando las estrategias. En el sector privado, el mercado le seala a ste como lo est haciendo a travs de las utilidades, los retornos sobre la inversin, las ventas, a travs de estos indicadores se conoce cuando es necesario realizar un ajuste en dichas estrategias. En el sector pblico, la evaluacin de la gestin (a travs de indicadores) provee al sector pblico con informacin comparable. La planificacin estratgica mira hacia los objetivos deseados, la evaluacin de la gestin mira hacia atrs sobre como stos se estn desarrollando. La combinacin de planificacin estratgica y evaluacin del desempeo forma un crculo un proceso continuo de gobierno por resultados. El plan estratgico define el desempeo a ser medido, mientras que la evaluacin de la gestin provee la retroalimentacin si se estn consiguiendo las metas planificadas. En el contexto de la planificacin estratgica la evaluacin de la gestin, tiene tres especficos propsitos (Liner, Dusenbury y Vinson, 2000): Proveer la lnea de base para valorizar cada uno de los indicadores de desempeo y de esta manera establecer los cursos de accin necesarios. Proveer de datos histricos sobre los cuales los resultados pueden ser proyectados para cada uno de los cursos de accin considerados. Proveer datos sobre los indicadores de impacto clave para ser usados en reportes que den cuenta del logro de los objetivos del plan estratgico. Abordar un proceso de planificacin estratgica, implica a lo menos desarrollar los siguientes pasos:
63
Principales fases de un proceso de planificacin estratgica Identificacin y/o revisin de la misin institucional, a travs de un proceso dinmico que fundamente la existencia de la institucin y de los programas que produce. Este proceso debe tener en cuenta el mbito de productos y servicios, los usuarios, el contexto o entorno en que se desenvuelve, as como el anlisis de los factores institucionales entre los cuales se destacan el marco legal que le define un mandato y propsito dentro de la institucionalidad del Estado, las atribuciones y responsabilidades que de all emanan y las relaciones interinstitucionales que se determinan. Asimismo, deben considerarse los procesos productivos, los recursos con que cuenta y la tecnologa, entre otros aspectos. Identificar objetivos estratgicos (proceso de definicin de estrategias institucionales a nivel de recursos, procesos, usuarios) y metas (que operan las estrategias en dimensiones concretas de acciones en plazos definidos). Identificar estndares de medicin que permita controlar y monitorear el logro de los resultados y posteriormente evaluar el grado de cumplimiento y retroalimentar para la toma de decisiones en los distintos niveles organizacionales.
Aun cuando muchas instituciones construyen indicadores sin tener un previo proceso de planificacin estratgica, la evaluacin de la gestin aparece como la culminacin de un proceso de planificacin estratgica. La planificacin estratgica, como base para la evaluacin del desempeo, se justifica en tanto permite identificar cules son las reas o actividades centrales de un servicio y determinar dnde focalizar los esfuerzos de transformacin y mejoramientos que posteriormente sern evaluados. Este proceso de planificacin estratgica se constituye en la base de la planificacin operativa que consiste en traducir la misin organizacional, los lineamientos estratgicos definidos en objetivos de corto plazo y metas que permitan la identificacin de las principales acciones a desarrollar y los recursos necesarios para ello.
Recuadro 18
previamente: - Los productos estratgicos (bienes y/o servicios) otorgados a los clientes / beneficiarios / usuarios de la institucin. - La estructura organizacional y las funciones especficas. - Los sistemas de informacin utilizados en la institucin.
legislacin que enmarca su misin. La percepciones del equipo directivo y los funcionarios del servicio. Las opinin de los clientes del servicio. La
Fuente: Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico, Direccin de Presupuestos de Chile, 2003.
64
N 45
Desde esta perspectiva la Planificacin Estratgica, se constituye en una excelente herramienta para avanzar en esta gestin por resultados, en la medida que presenta una metodologa para estructurar un proceso de identificacin de objetivos, teniendo en cuenta aspectos dinmicos del contexto (medio externo) y de los factores internos, superando los problemas clsicos de las planificaciones ms normativas. El uso de la Planificacin Estratgica, o de una orientacin estratgica a la gestin ha llegado a ser ampliamente recurrido, no obstante no hay un modelo especfico para ser aplicado a las organizaciones. A pesar de las dificultades de establecer medicin de la gestin en el mbito pblico -dada la complejidad de identificar metas y responsabilizar a los directivos-las experiencias analizadas sealan que justamente estas razones avalan an ms la implantacin de procesos de planificacin estratgica en el mbito pblico. Se seala que la planificacin estratgica ofrece un proceso que permite identificar puntos de vista diversos, debatir, clarificar y resolver, y guan la accin que requiere ser tomada. En trminos de las metodologas utilizadas hay bastante flexibilidad. Por ejemplo, hay gobiernos que solicitan un vnculo exacto entre la Planificacin Estratgica (5 aos), a los planes anuales de gestin, determinando exactamente los objetivos de corto plazo que corresponden a los de mediano plazo. No obstante, debe considerarse que como tcnica creada en el mbito privado y utilizada con metodologas pensadas para dichos efectos, su aplicacin en las instituciones pblicas debe ser adaptada a las necesidades y las circunstancias.
65
Recuadro 19
El proceso de planificacin estratgica, es en s un ejercicio donde se prueba el compromiso y liderazgo de los directivos. El requisito fundamental para que un proceso de planificacin estratgica permita cumplir los objetivos de ser una gua para la accin organizacional, y posibilite la identificacin de los objetivos y metas concretas asignadas a los responsables, es que exista la capacidad del Director de la institucin de involucrase en el desarrollo de las etapas que contempla el Plan, especialmente y de forma obvia en lo que es la identificacin y/o revisin de las definiciones estratgicas: misin (productos, usuarios) y los objetivos, as como las estrategias que permitirn lograrlos. El Plan Estratgico debe ser un factor movilizador para la institucin y constituirse en un referente para su planificacin y programacin operativa anual
El proceso de planificacin debe considerar no slo los niveles superiores de la organizacin, ni slo los niveles de centros de responsabilidad, sino tambin los empleados, los usuarios y los grupos de inters (quienes no participan de la toma de decisiones, pero son quienes afectan dichas decisiones) La planificacin estratgica debe tener una metodologa clara y consistente que permita desarrollar la visin, misin, objetivos estratgicos, metas e indicadores. La Planificacin Estratgica es un proceso continuo no slo un evento que define un Plan
No basta que un Ministerio o Programa elabore un Plan, debe analizarse cuan a menudo ste se actualiza e incorpora informacin relevante para la toma de decisiones en la asignacin de recursos (prioridades acordes con necesidades estratgicas). En este contexto, el horizonte de la Planificacin Estratgica, vara entre las organizaciones dependiendo de las caractersticas y complejidad del quehacer institucional. Por ejemplo en instituciones de asociados con la seguridad o el medio ambiente, que requieren una perspectiva de largo plazo, para la consecucin de sus resultados, el plazo en la determinacin de los objetivos estratgicos es ms amplio. Quines deben participar en el Proceso de Formulacin de la Planificacin Estratgica
Cada organizacin tiene sus propias necesidades y requerimientos respecto de la participacin, no hay recetas. Sin embargo, teniendo en cuenta que la planificacin estratgica tiene que ver con el establecimiento de prioridades y aspectos claves de la gestin institucional, es fundamental que participen la totalidad de los niveles directivos, especialmente los que tienen a su cargo la produccin de los bienes y servicios de carcter estratgico. Ahora bien, independientemente de quienes participen en el proceso, lo importante es que se comuniquen los resultados de ste. Debe tenerse en cuenta que una de las principales utilidades de este proceso es dar cohesin a la organizacin en la perspectiva de lograr los propsitos contenidos en la misin. Capacidad de desagregar los objetivos estratgicos en metas concretas monitoreadas y vincularlo a la planificacin operativa y al presupuesto
Si los esfuerzos de evaluacin de desempeo no estn conectados con lo que la organizacin espera lograr (materializado en un plan que traduzca las metas y la programacin de stas) y con el presupuesto, entonces dicha evaluacin podra estar condenado a ser un fracaso. Esto, porque las medidas de desempeo no tendran importancia y significado para la gestin de la institucin y las personas no se veran afectadas por ellas (National Partnership for Reinventing Government, 1999). Lo anterior implica asegurarse que existe un sistema de control de gestin y de informacin, a travs de tecnologas simples retroalimenten a los niveles directivos (centros de responsabilidad) el nivel de logros de compromisos alcanzados y generen las acciones correctivas. Junto con lo anterior asegurarse adems, que la planificacin estratgica se integra al ciclo presupuestario y se considera como insumo para su formulacin.
66
N 45
Recuadro 20
Una declaracin comprehensiva de la misin de la agencia Objetivos de largo plazo para la agencia en general, y objetivos para las funciones principales y operaciones Estrategias y recursos necesarios para desarrollar los objetivos y metas Descripcin de la relacin entre los objetivos de largo plazo y los objetivos de los planes anuales de desempeo Identificacin de los factores claves externos a la agencia ms all del control que podran afectar significativamente el desarrollos de los objetivos estratgicos Una descripcin de cmo la evaluacin del programa fue usada para establecer o revisar los Objetivos estratgicos y un plan o agenda para futuras evaluaciones.
Fuente: Results Oriented Government. March 2004. Government Accountability Office. GAO.
En el marco de una sistematizacin de los resultados de la aplicacin de esta iniciativa de Planificacin Estratgica en las agencias del ejecutivo en Estados Unidos, se destacan los siguientes impactos para las agencias federales:
Recuadro 21
Fuente: Chris Wye. Performance Management: A Start Where You Are, use What You Have. Guide. Managing for Result Series. IBM Endowment for the Business of Government. October 2002.
67
En trminos generales, cuando una institucin aborda un proceso sistemtico de Planificacin Estratgica posibilita discutir y analizar aspectos claves de su gestin. Los que van desde el tipo de productos que de acuerdo a su misin le corresponde hacerse cargo, hasta la bsqueda de los mejores procesos que permitirn proveer dichos productos con la mayor relacin precio-calidad. En la siguiente figura se observa la relacin entre la Planificacin estratgica y el Control de Gestin.
Figura 10
PLANIFICACIN ESTRATEGIA
METAS / PROGRAMACIN
EVALUACIN
PRESUPUESTO
Medidas correctivas
EJECUCIN
Los indicadores pueden ser utilizados para diferentes propsitos, dependiendo del objetivo o propsito de la evaluacin, el mbito en que se realiza y los usuarios a los que se dirige. A continuacin se desarrolla una tipologa de los usos ms frecuentes de las categoras de indicadores segn los usuarios o destinatarios.
68
N 45
Cuadro 9
Directivos medios
Impacto
Impacto
Resultado Intermedio
Respecto de la utilizacin de indicadores para fines presupuestarios es necesario considerar que no siempre se puede establecer una relacin directa entre el desempeo logrado y la asignacin de recursos. Como seala la Gua de Indicadores de la Direccin de Presupuestos de Chile, los indicadores y sus resultados son utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes decisiones financieras. Adicionalmente, los indicadores no siempre podrn dar cuenta en forma integral del desempeo institucional, requirindose de otros antecedentes complementarios para esto, lo que refuerza un uso prudente de esta informacin. (Gua DIPRES, 2003). Un ejemplo interesante respecto de la utilizacin de los indicadores de desempeo en las instituciones de la administracin pblica es el de la Direccin Nacional de Bibliotecas, Archivos y Museos (DIBAM) de Chile, que est documentado como estudio de caso de la aplicacin de los Programas de Mejoramiento de la Gestin. Tal como puede verse en la Figura 11, las definiciones estratgicas se integraron como parte del Sistema de Informacin de la Gestin y su vinculacin con el presupuesto. Bsicamente la informacin que se obtiene de los indicadores, su sistematizacin y evaluacin de resultados, se considera como un antecedente que complementa la discusin presupuestaria que se realiza en la DIBAM. 69
Figura 11
Procesos (7)
I n d i c a d o r e s
P r e s u p u e s t o
Gestin Interna
Fuente: Estudios de Caso Sistema de Planificacin y Control de Gestin. Direccin de Bibliotecas, Archivos y Museos de Chile. www.dipres.cl
Recuadro 22
La simplicidad de los Informes de Resultados, a la Direccin y Comit Ejecutivo, permite que stos sean validados como instrumentos de reporte oficial para dar cuenta de la gestin institucional, y contribuyan a la rendicin de cuentas de la institucin.
70
N 45
Tal como se seal en captulos anteriores, un sistema de indicadores de desempeo en una institucin pblica debe cumplir con un conjunto de requisitos para constituirse en un apoyo efectivo a la toma de decisiones y a la rendicin de cuentas pblicas. La credibilidad de la informacin entregada a partir de la confianza de los datos entregados en el sistema de informacin es uno de los valores ms importantes que se debe asegurar. No obstante lo anterior, tambin se mencion que existen una serie de dificultades estructurales en la administracin pblica de la mayor parte de los pases de la regin que no generan las condiciones para una evaluacin de gestin con suficiente garanta de calidad. Entre las principales limitaciones se mencionan la debilidad de los procesos de concursabilidad para el nombramiento de los directivos pblicos, los escasos incentivos para asumir mayores niveles de responsabilidad, las escasas consecuencias respecto del desempeo logrado. Junto con lo anterior se verifica en la mayor parte de los pases, que los sistemas de personal no han desarrollado mecanismos de incentivos a los funcionarios, vinculados a los estndares comprometidos en el mbito institucional, tales como sistemas de reconocimiento, remuneraciones vinculadas a desempeo, etc.
71
Recuadro 23
Fuente: Francisco Longo, Diagnstico Institucional Comparado de Sistemas de Servicio Civil: Sntesis de 17 evaluaciones/pas, Red de Gestin y Transparencia de la Poltica Pblica del BID, diciembre 2004.
Aparte de estas complejidades de tipo estructural recin sealadas, en las instituciones se enfrentan una serie de dificultades tcnicas propias de la construccin de los indicadores Estas dificultades de tipo tcnico y operativo en general tambin se presentan en instituciones del sector privado y son parte de las complejidades de los sistemas de indicadores en los pases de mayor desarrollo.
Recuadro 24
PRINCIPALES DIFICULTADES EN EL DESARROLLO DE LOS INDICADORES DE DESEMPEO. ESTUDIO REALIZADO POR LA OCDE EN 1994 EN LOS PASES MIEMBROS DE ESTA ORGANIZACIN
La definicin de objetivos para la misin de naturaleza compleja, con objetivos mltiples y a menudo contradictorias La ausencia de objetivos pertinentes y medibles en materia de productos finales, de calidad y de eficacia La ausencia de correlacin entre los objetivos globales con los objetivos especficos, lo cual disminuye el valor como herramienta de gestin donde evaluar los programas La relativa inexperiencia de los funcionarios tanto en el diseo como en la utilizacin de las medidas de desempeo La falta de competencia de contables ms all de una formacin tradicional La ausencia de inters en la utilizacin de los altos funcionarios La ausencia de medios para llenar los sistemas de informacin necesaria La resistencia del personal y de los sindicatos en la contabilizacin de sus tiempos de trabajo El costo de las medidas de desempeo La complejidad del trabajo consistente en integrar y sintetizar rpida y eficazmente las numerosas fuentes de los datos.
Fuente: OCDE (1996), La Gestion des Performances dans LAdministration. Exemples DActualit. tudes Hors Srie Sur la Gestion Publique N9. Paris.
72
N 45
73
Principales dificultades operativas de implementacin - No se cuenta con una Unidad a cargo del Sistema de Control de Gestin o si existe tiene poca incidencia en el resto de las Unidades de la organizacin - Las capacidades tcnicas y compromiso interno por la evaluacin y la construccin de indicadores radican en unos pocos funcionarios. - No se cuenta con recursos para desarrollar un sistema de informacin que permita la alimentacin automtica de las variables para la construccin de los indicadores y el clculo de las frmulas - No se vislumbra el valor agregado de construir indicadores: a la institucin no le trae ninguna consecuencia presupuestaria, incentivo econmico, etc. - El ejercicio de realizar indicadores se transforma en una carga burocrtica que no estimula el inters por la evaluacin. - Aparte de la autoridad central que demanda los indicadores no existe inters por conocer los resultados. A continuacin se comenta de forma ms extensiva algunas de las dificultades recin enumeradas. Identificacin de los productos Si el proceso de identificacin de productos que sern medidos, no se focaliza en aquellos de carcter estratgico o relevante (aquellos que estn directamente relacionados con lo que la organizacin hace y justifica su existencia y que se dirigen a los usuarios externos, entre otros atributos), todo el esfuerzo de evaluacin de desempeo que emprenda la organizacin se ver afectado. Suele ocurrir que las diferentes unidades, reas, o departamentos de la institucin identifican como susceptibles de medicin no solo a aquellos productos que tienen que ver con la misin institucional, dirigidos a usuarios externos, relevantes desde el punto de vista presupuestario, etc., sino a todos aquellos que contribuyen a la generacin de dicha produccin, tales como procesos de compra, emisin de certificados, reuniones realizadas, etc. Lo anterior implica que se obtiene finalmente como sistema de indicadores, listados de medidas de desempeo de carcter intermedio que no informan sobre lo relevante. Un ejercicio que debe llevar a cabo una institucin que debe mostrar su desempeo es alinear los indicadores hacia aspectos estratgicos de la gestin y hacer un balance si en los objetivos estn efectivamente representadas las prioridades tanto a nivel de gobierno, del sector y de la propia institucin. Construccin de base de datos El diseo e implementacin de un sistema de Indicadores en una institucin pblica, enfrenta muchos desafos, y uno de los ms mencionados tienen que ver con el levantamiento de los datos que permitirn construir los indicadores o establecer los referentes (metas, benchmarking, etc.). Esta dificultad por si sola nos introduce en diferentes tipo de problemticas con que tropiezan las instituciones, que van desde la dificultad de identificar qu datos se requieren, qu sistemas de informacin apoyarn su desarrollo, a la falta o insuficiencia de recursos que muchas veces se enfrentan para desarrollar indicadores de resultados intermedios o finales. Estos a menudo requieren encuestas, estudios de percepcin, costo beneficio, etc.
74
N 45
Recuadro 25
Fuente: Asociacin Espaola de Contabilidad y Administracin de Empresas AECA (2000), Indicadores de Gestin para las Entidades Pblicas. Documento N16, Madrid.
Otra dificultad para la construccin de indicadores es la que se deriva de la intangibilidad del tipo de produccin como por ejemplo la actividad artstica, la diplomacia, las investigaciones. En otros casos en que no es significativo medir los resultados absolutos ya que stos no son controlables por la institucin, por ejemplo: Actuaciones policiales de emergencia o Nmero de incendios apagados, cuyo nmero final depende de factores externos, es relevante medir aspectos tales como:25 - Calidad de los servicios: oportunidad, accesibilidad, etc. - La cobertura - La regularidad del servicio, etc. Respecto de las dificultades que se sealan para la construccin de un Sistema de Control de Gestin, y las resistencias que se crean al interior de las organizaciones, la revisin de la documentacin seala algunas recomendaciones para definir una estrategia de implementacin participativa del Sistema (AECA, 2000). a) Disponer de un sistema contable presupuestario adecuado: la contabilidad presupuestaria clsica no es suficiente, como mnimo se necesita un presupuesto estructurado en lo posible por objetivos. Tambin se precisa tener conocimientos de costos de los servicios prestados. Fomentar la colaboracin del personal afectado: los sistemas de retribucin flexibles, condicionados a resultados, podran ser un modelo a seguir Lograr una voluntad poltica de mejorar de la Administracin Pblica: la voluntad poltica dirigida a conseguir una administracin pblica moderna, gil, eficaz y eficiente permitir impulsar las acciones tendentes a la consecucin de estos objetivos. Buscar el apoyo de personas influyentes y clave dentro de la organizacin que apoyen el proyecto
b) c)
d)
25
Id Pg. 60, 61
75
e) f) g) h) i)
Proporcionar los medios adecuados para el xito de la implementacin de acuerdo con la cultura de la organizacin Procurar asociar el proceso de la implementacin con la resolucin de algunas posibles insatisfacciones de los trabajadores Destacar las ventajas del nuevo sistema y no ocultar los inconvenientes Reducir al mximo los puntos de incertidumbre que pueda generar la implementacin Crear grupos de mejora en el marco de una poltica de calidad.
N 45
Es as como no contar con indicadores que demuestren como la institucin est entregando sus productos a los usuarios y si stos se ajustan a sus necesidades, puede implicar que los esfuerzos institucionales se dirijan principalmente a lo que es ms visible y fcil de mostrar, descuidando un aspecto clave de la evaluacin del desempeo que es la focalizacin a los aspectos estratgicos . Otra de las dificultades observadas est en que las instituciones no cuentan con costos desagregados por productos, lo cual impide construir indicadores de eficiencia. Junto con lo anterior muchas veces se dificulta contar con estndares de calidad de servicio, ya que stos se construyen a partir de datos sobre percepcin de calidad de servicios, o de tiempos de respuesta respecto de la entrega de stos, lo que requiere invertir en estudios adicionales. Tendencia a medirlo todo
De acuerdo a la revisin de los informes de evaluacin que presentan indicadores de desempeo, en varios pases de la regin, se observa que tanto para productos relevantes como de produccin intermedia, en su gran mayora los indicadores informan sobre el cumplimiento de lo que denominan metas fsicas o de produccin, asociados a indicadores de productos. Lo anterior tiene que ver primero con temas de aprendizaje metodolgico, en el que tanto las entidades centrales que demandan la informacin estn en un proceso muy reciente generacin de capacidades, y por otro que el tema de los indicadores y la evaluacin en las instituciones que deben generarlos est escasamente posicionado como elemento para la toma de decisiones. Como consecuencia, la responsabilidad por la generacin de los indicadores muchas veces recae sobre funcionarios que an cuando tengan la mayor voluntad y compromiso no tienen mayor ascendencia para decidir cuales son los aspectos estratgicos que deben ser medidos.
77
Discontinuidad de los liderazgos ejercidos desde la autoridad central (ministerios de finanzas, oficinas de presupuestos) en el desarrollo de las iniciativas para generar Sistemas de Indicadores de Desempeo en el conjunto de las instituciones. Escasez de capacidades en las Unidades Ejecutoras o Programas Gubernamentales para institucionalizar la evaluacin, definiendo responsabilidades internas con insuficiente empoderamiento para desarrollar los indicadores Desarrollo de los indicadores para medir la metas fsicas del presupuesto, y escaso avance de indicadores asociadas a resultados. Aun cuando se construyen indicadores y se aplican metodologas de evaluacin, no se puede hablar de una aplicacin sistmica de stas. Existe una desvinculacin importante entre la informacin que entregan y su utilizacin para la toma de decisiones de los directivos y funcionarios. Escasas consecuencias respecto de los resultados de la evaluacin. Existe una limitada socializacin dentro de los organismos que los desarrollan y raramente son tomados en cuenta como insumo para el proceso presupuestario.
El seguimiento, evaluacin y uso de la informacin es dbil (las rendiciones de cuentas pblicas entregan poca informacin sobre la evaluacin del desempeo institucional). La evaluacin de los resultados desde la perspectiva estratgica: coordinacin de la macro evaluacin o evaluacin estratgica con la evaluacin institucional en general no est articulada.
78
N 45
79
Figura 12
Actividades
Website de ciencia y
tecnologa de Going Global y conserjera Info. para postulantes
Postulantes
seleccionados Postulaciones de proyectos aprobados
Informes de
desempeo
Productos
Informes de
evaluacin o revisin
Estudios especiales
Mejoramiento de la
Resultados inmediatos
administracin del programa Alineacin de las prioridades estratgicas con la unidad de Desarrollo de Negocios Internacionales
incrementa la Se
conciencia de los postulantes respecto de los servicios de ciencia y tecnologa previstos por el Gobierno Canadiense
implementan Se
nuevos proyectos internac. colaborativos de investigacin y desarrollo que tienen un beneficio econmico potencial
Mejoramiento de las
redes relacionadas con oportunidades de negocios en investigacin y desarrollo internacional
Mejora de la
planificacin y administracin del programa Objetivos ms enfocados
Resultados intermedios
y compartido para explorar oportunidades de negocios internacionales aumenta el flujo de conocimiento no disponible Se actualmente en Canad
Resultados finales
servicios canadienses
Reino Unido
Un caso interesante de sistemas de indicadores de desempeo es el del Reino Unido, especficamente a nivel de los gobiernos locales. En el ejemplo que se muestra a continuacin se seala el rol de la Audit Commission en el monitoreo y apoyo a la evaluacin del desempeo de los rganos locales26.
Recuadro 26
Aparte de los indicadores en el mbito local, las agencias ejecutivas, tienen el mandato de enviar indicadores a Audit Office.
80
N 45
Figura 13
ESQUEMA PARA LA EVALUACIN DEL DESEMPEO DE LAS BIBLIOTECAS MUNICIPALES. EJEMPLO PERFORMANCE MEASURES FOR COUNCILS
81
Recuadro 27
Fuente: Elaboracin propia a partir del Informe de Finanzas Pblicas presentado a la Comisin de Presupuestos del Congreso Nacional de diversos aos.
27
Sistema de Control de Gestin y Presupuesto por Resultados: La Experiencia Chilena. Divisin de Control de Gestin. Santiago, Octubre 2003. www.dipres.cl/fr_control.html
82
N 45
Para avanzar en estos desafos la DIPRES plantea el desarrollo del Sistema de Planificacin /Control de Gestin, que contempla el instrumento Programa de Mejoramiento de Gestin28 (PMG) que cubre a las instituciones pblicas, y que incluye la identificacin y elaboracin de indicadores asociados a los principales productos (bienes o servicios) y el desarrollo de adecuados sistemas de recoleccin y sistematizacin de informacin. En la Ficha que se presenta a continuacin, se desarrolla el modelo que la Direccin de Presupuestos de Chile propone a los organismos pblicos de la administracin central del gobierno, para que establezcan indicadores de desempeo.
Cuadro 10
Indicador
Frmula de Clculo
Efectivo 2001
Efectivo 2002
Efectivo 2003
Estimado 2004
Meta 2005
Pondera cin
Medios de Verificac in
Eficacia/ Producto
Porcentaje de llamadas recibidas en centro de atencin telefnica de Oficinas 600 MINEDUC resueltas inmediatame nte Eficacia/ Producto
((Nmero de llamadas resueltas inmediatamente/ Nmero total de llamadas recibidas en centro de atencin telefnica de Oficinas 600 MINEDUC)*100)
n,c,
95,0 %
99,4 %
95,0 %
95,1 %
N total de estudiantes de establecimientos Nmero de subvencionados estudiantes incorporados a la de Red Enlaces/N establecimien total tos computadores subvenciona ao t dos por computador
65
57
54
53
34
Costa Rica
En Costa Rica el Ministerio de Planificacin y Desarrollo tiene la competencia de elaborar el Plan Nacional de Desarrollo (PND, que comprende el perodo de cada gobierno), y su evaluacin. Para dichos efectos desarrolla una matriz de evaluacin donde se vincula el objetivo de poltica, la accin estratgica, los objetivos e indicadores. Desde 1993 Costa Rica, ha desarrollado una interesante experiencia alrededor del Sistema Nacional de Evaluacin (SINE). No obstante la experiencia desarrollada, an existe un conjunto de limitaciones en materia de evaluacin,29 las cuales son bastante similares a las de la regin, entre las cuales se mencionan el escaso desarrollo de sistemas contables financieros que permitan
28
29
El Sistema de Planificacin y Control de Gestin incorporado en el Programa Marco del Programa de Mejoramiento de la Gestin tiene por objeto que las instituciones diseen e implementen un Sistema de Informacin para la Gestin con indicadores de desempeo para apoyar la toma de decisiones. Ms informacin en www.dipres/controldegestion.cl Documento de Presentacin Evaluacin Plan Nacional de Desarrollo 2002-2006. http://www.mideplan.go.cr/Capacidades-I-a2003.doc
83
construir indicadores de eficiencia, las dificultades para emprender evaluaciones de efectividad o impacto, y los escasos recursos humanos y competencias tcnicas para enfrentar los desafos de la evaluacin de la gestin. A pesar de las dificultades, se realizan importantes esfuerzos en orden a coordinar las instituciones que tienen competencias en temas de evaluacin: MIDEPLAN, Contralora y el Ministerio de Hacienda. En este contexto, se dise la estructura bsica del Plan Anual Operativo con el propsito fundamental de contar con un documento uniforme, tanto en su estructura como en el uso de los conceptos a emplear y que a la vez contenga informacin pertinente para cada una de las instancias rectoras de este proceso, de acuerdo con su mbito de competencia. El instrumento busca la incorporacin de informacin de carcter gerencial y estratgico, que facilite a las instituciones y a las instancias responsables de esos procesos, la toma de decisiones y que adems permita vincular los planes operativos institucionales con el presupuesto, ambos en estrecha vinculacin con el PND. Este instrumento constituye el principal insumo para la evaluacin de metas de 2004 vinculado al presupuesto.
Uruguay
Las Unidades Ejecutoras de la administracin pblica de Uruguay, tienen la obligatoriedad de presentar cada ao a la rendicin de cuentas pblicas, la evaluacin de las metas e indicadores de desempeo, las cuales hacen referencia a los resultados de los Planes Anuales de Gestin (PAG) 2002-2004, que son parte del Presupuesto Quinquenal.
Recuadro 28
En la Rendicin de Cuentas 20034 se presentan los Resultados de la Gestin Pblica elaborados a partir de los indicadores de desempeo definidos por las Unidades Ejecutoras e Incisos del Presupuesto Nacional en el Presupuesto Nacional 2000-2004, incluidos en el Tomo VI.1. Programa Estratgico de Gestin y Planes anuales de Gestin por Inciso y Unidad Ejecutora, aprobado por la Ley de Presupuesto Nacional N 17.296 de 21 de febrero del 2001. Los resultados de la gestin pblica desarrollada en el ao 20034 se elaboraron a travs del Sistema de Evaluacin de la Gestin (SEV), articulado al Sistema Integrado de Informacin Financiera (SIIF), que administra la Oficina de Planeamiento y Presupuesto de acuerdo a lo previsto en los Artculos 39, Inciso f, y 41 de la Ley N 16.736 de 5 de enero de 1996.
84
N 45
El Presupuesto Nacional 2000 2004 incorpor en su formulacin una nueva metodologa que supuso la elaboracin de Planes Estratgicos de Gestin (PEG) para el quinquenio, en el mbito de las Unidades Ejecutoras, los que contienen los Productos Estratgicos de las mismas, que se desprenden de su Misin y cometidos. Los Objetivos Estratgicos se expresan a travs de Metas anuales contenidas en Planes Anuales de Gestin (PAG), definidas en funcin de los Productos y la Poblacin Objetivo o Usuarios de los mismos (enfoque cliente/usuario). En los tomos correspondientes al Sistema de Informacin Presupuestaria (SIP), se incorporan las modificaciones realizadas a las metas e indicadores de gestin del ao 2004. Las mismas buscan adecuar las metas anuales a los nuevos desafos estratgicos de la Administracin Pblica y a las posibilidades presupuestarias actuales. La definicin de Productos, Usuarios, Metas e Indicadores de Gestin se realiza al nivel de los Centros de Actividad de las Unidades Ejecutoras. Los Centros de Actividad de las Unidades Ejecutoras informan el grado de satisfaccin que tienen en relacin al logro de cada una de las metas que se propusieron. Si bien es escueta la respuesta posible (s, no, relativamente) la misma inicia un proceso de reflexin sobre los resultados alcanzados que se espera ampliar en futuras presentaciones. A continuacin se presenta el formulario para la evaluacin de la metas e indicadores de gestin desarrollados en los Planes Anuales de Gestin (PAG), y presentados como Anexos a la Rendicin de Cuentas a partir del ao 2001. En este caso se utiliza la Direccin Nacional de Vialidad (en adelante DNV) del Ministerio de Transporte y Obras Pblicas. La DNV es la empresa constructora ms grande del Uruguay; cuenta con ms de 1.900 funcionarios, organizados administrativamente en diez regiones en el interior del pas y la oficina central, con ms de 400 funcionarios, ubicada en Montevideo.
Recuadro 29
1. Misin La Direccin Nacional de Vialidad (en adelante DNV) es responsable de estudiar, proyectar, conservar, construir y promover la estructura vial nacional, potenciando sus caractersticas, para adecuarse a las exigencias del trfico internacional de los corredores viales de conexin con los pases integrantes del MERCOSUR, en el marco de una estrategia de apertura y globalizacin de la economa, considerando su impacto en el medio ambiente. 2. Objetivos, Productos, Metas e Indicadores Objetivos Estratgicos Mantener la red vial nacional consistente en 8.770 km de carreteras, 750 puentes, y la red ferroviaria nacional cuya utilizacin se habilite por ser econmicamente sustentable, comprometiendo resultados y estndares de calidad del servicio. 3. Ejemplo de Indicadores de Gestin En el Cuadro siguiente se muestran los indicadores de gestin de la Gerencia de Programacin de la DNV, la cual tiene como funcin planificar, programar y controlar desde el punto de vista presupuestal financiero las inversiones en la red vial y evaluar los resultados obtenidos en el cumplimiento de los objetivos estratgicos de la DNV.
Fuente: Rendicin de cuentas 2004, CEPRE - Comit Ejecutivo para la Reforma del Estado.
85
Cuadro 11
Fuente: www.cepre.opp.gub.uy
86
N 45
87
Recuadro 30
N 45
No obstante las ventajas sealadas anteriormente, su aplicacin en el mbito pblico no est exenta de detractores. Tal es el caso de Hatry (2000), quien considera que el CMI podra significar un retroceso, pues tras aos de enfatizar en los resultados y el desempeo de las instituciones pblicas, el CMI vuelve a poner un nfasis excesivo en los procesos internos. De igual modo, el trmino en ingls de balanced scorecard, implica que todas las reas o perspectivas sobre las cuales se desarrolla el CMI son de igual valor. Por otra parte, Schick (2001) enfatiza que el CMI busca evaluar la capacidad organizacional, estableciendo un vnculo explcito entre el desempeo global y las entidades que proveen los servicios. Segn Schick, ms all de la implementacin amplia en el sector pblico, lo importante del CMI es que trae el mensaje que los procesos importan, tanto como la capacitacin y moral del personal, los controles internos y los intereses de los usuarios. En el mbito latinoamericano diversos autores han propuesto adaptaciones del CMI empresarial para su uso en el sector pblico. A modo de ejemplo, Bstidas y Ripoll (2003) hacen nfasis en que la alta gerencia de las instituciones pblicas debe integrar lo mejor posible la potencialidad de conflictos de intereses entre los stakeholders, proponer un equilibrio adecuado entre los requerimientos a menudo contrapuestos de los distintos actores y traducir esta ecuacin en objetivos de carcter estratgicos que sean monitoreables en el tiempo. En el Recuadro 22 se detallan las modificaciones al CMI que estos autores estiman convenientes para darle viabilidad a su implementacin en las instituciones pblicas.
Recuadro 31
AJUSTES AL MODELO DEL CMI PARA SU APLICACIN EN LAS ORGANIZACIONES DEL SECTOR PBLICO
Para que el CMI sea la herramienta idnea para gestionar, medir y evaluar el logro de los objetivos estratgicos de la institucin, debera plantearse en estas organizaciones, para ser excelentes en satisfacer a: nuestra comunidad (por la contribucin que hacemos a su bienestar), los usuarios (por el servicio suministrado), los empleados y la proteccin del ambiente, as como para dar una buena imagen ante los rganos fiscalizadores, por el manejo de los recursos asignados. 1. Proponer tres perspectivas paralelas que ocuparn la principal jerarqua en la estructura del CMI; stas son: la Perspectiva del Usuario, la Perspectiva de la Comunidad y la Perspectiva Medioambiental. 2. Integrar la planificacin estratgica como un proceso indispensable para la identificacin de los stakeholders, sus intereses, potencialidad de conflictos e influencia de poder. 3. La Perspectiva de Aprendizaje y Crecimiento ser sustituida por la Perspectiva Humana e incluir los objetivos concernientes a la propuesta de valor para los recursos humanos de la organizacin. 4. La Perspectiva Financiera ser un medio para alcanzar los fines de las perspectiva anteriores y se medir en trminos de economa, eficiencia, eficacia y efectividad. 5. Dado que la Perspectiva Interna define los factores crticos del xito, la entrega de valor a sus proveedores se considerar una variable clave; y la comparacin con sus rivales ms inmediatos, podr servir de mtodo para impulsar la mejora y la innovacin en los procesos.
Como se puede observar, con las adaptaciones propuestas en el Recuadro 22, los indicadores de desempeo de las cuatro E, descritos en detalle en los captulos anteriores, pasan a constituir la esencia de la Perspectiva Financiera del CMI pero con una visin ms amplia de la que se utiliza en los resultados financieros de las empresas privadas. Es preciso sealar que si bien la base la constituyen los indicadores de eficacia, economa, eficiencia y efectividad, dependiendo del tipo de 89
organizacin se puede ampliar a incluir medidas de equidad, tecnologa y evolucin sostenible (ver Recuadro 7 de la seccin 2.2.2). Otro tipo de adaptacin se circunscribe no necesariamente a modificar las perspectivas de anlisis, sino ms bien a cmo disear los sistemas de informacin requeridos para levantar un cuadro de mando. Figueroa (2002) plantea que el monitoreo de la productividad del gasto pblico en el largo plazo puede ser provisto por un sistema integrado de informacin financiera (SIAF), delimitando de esta manera la perspectiva del control de gestin donde se separan las variables externas que condicionan la gestin de aquellas variables que son controlables por los gestores pblicos. En el Recuadro 23 se propone un conjunto de indicadores de un CMI que deben incorporarse en el diseo de un SIAF.
Recuadro 32
MBITOS E INDICADORES DE CMI PARA LOS SERVICIOS PBLICOS Y LA MEDICIN DE LA PRODUCTIVIDAD DEL GASTO PBLICO
a) El cuidado por el inters de los mandantes, es decir, los administradores polticos y ejecutivos, en cuanto representantes de los ciudadanos, requerirn informacin de: i. Rentabilidad social de los proyectos ii. Aditividad del gasto pblico iii. Niveles de cobertura y focalizacin de los programas iv. Grado de eficiencia del gasto v. Comparacin con estndares internacionales o sistemas pares. b) El cuidado por el inters de los usuarios o destinatarios de los servicios, requiere de disponer de informacin tal como: i. Calidad del servicio: cantidad, oportunidad, calidad intrnseca. ii. Niveles de satisfaccin de los usuarios. iii. Exploracin de nuevas necesidades c) El cuidado por el desarrollo del sistema y de la relacin con los empleados o funcionarios pblicos, requiere monitorear lo que pasa en. i. Expectativas de desarrollo ii. Calidad de entorno laboral iii. Retribuciones comparadas. iv. Capacitacin y Entrenamiento d) El cuidado por los procesos internos requerir disponer de indicares tales como: i. Eficiencia en la entrega ii. Costos internos de produccin. iii. Estndares de costo
Fuente: Figueroa, Ramn (2002), Sistemas Integrados de Administracin Financiera (SIAF): Avances y Requerimientos para Mejorar la Productividad del Gasto Pblico, ponencia presentada en el XIV Seminario Regional de Poltica Fiscal de la CEPAL, CEPAL, Santiago de Chile.
90
N 45
valor en una organizacin, y que era necesario aadir otras perspectivas de anlisis. Su adopcin en el sector privado norteamericano fue muy rpida: en 1998 un estudio del Gartner Group estimaba que para el ao 2000 por lo menos un 40% de las empresas pertenecientes al Fortune 1000 implementaran el CMI en el desarrollo de sus estrategias empresariales (Procurement Executives Association, 2005). Su adopcin en las organizaciones pblicas ha sido mucho ms tmida, con un nfasis mayor en instituciones de salud o universidades. Dado la influencia de los autores seminales, Kaplan y Norton, se asume generalmente que el uso de esta metodologa sera de uso generalizado en las instituciones pblicas de los Estados Unidos. Sin embargo, un estudio reciente a gobiernos locales de jurisdicciones con ms de 25.000 habitantes revela que un 44% de ellos en los ltimos cinco aos han realizado un proceso amplio y formal de planificacin estratgica y que tan solo un 22% utiliza las medidas de desempeo para monitorear metas y objetivos estratgicos (Poister y Streib, 2005). Si se considera que el CMI es la culminacin de un sistema de gestin estratgica, donde el punto de partida necesariamente est en un ejercicio de planificacin estratgica de revisin continua, entonces se puede concluir que una proporcin muy baja de los entes locales de EE.UU. implementan algn tipo de CMI. Los autores del estudio concluyen: aunque la gestin por resultados ha constituido la piedra angular del movimiento de reforma de la gerencia pblica en los ltimos 15 aos, la planificacin estratgica formal an requiere transformarse en una prctica regular y estndar en las jurisdicciones municipales de los EE.UU. Los pases escandinavos han mostrado un mayor activismo en el mbito pblico, Ax y Bjrnenak (2005) sealan que organismos pblicos de alto perfil en Suecia han desarrollado sus CMI, difundindolos en diversas conferencias profesionales. Entre estos organismos destacan el Servicio Nacional de Polica, el Servicio Nacional de Impuestos y la Autoridad Nacional de Administracin Financiera. La fuerza observada en Suecia se explicara parcialmente por las adaptaciones que en forma temprana formularon Olve et al. (1997 y 2000), en que se incluye ms que una perspectiva de los accionistas una perspectiva de los stakeholders, como se resea en la seccin anterior. Por ejemplo, el CMI desarrollado en una escuela estatal sueca incluye una perspectiva financiera, perspectiva de los estudiantes, profesores y paradocentes, perspectiva de desarrollo y perspectiva de la administracin escolar. Olve et al. afirman que las cuatro perspectivas de Kaplan y Norton no son apropiadas para el sector pblico y argumentan que los CMI de organizaciones pblicas deben incluir perspectivas y mediciones relativas a stakeholders importantes para la institucin31. Si la investigacin respecto de la adaptacin e implementacin del CMI en el sector pblico en el mundo anglosajn es escasa, en el caso de las instituciones hispanoparlantes es igualmente exigua. Los gobiernos locales en Espaa han recibido mayor atencin por parte de la comunidad acadmica y de practicantes dedicados a las innovaciones en gerencia pblica, pero la recopilacin de experiencias sigue siendo muy casustica y an no se dispone de un cuerpo slido de experiencias que permita validar su aplicacin en distintos tipos de organizaciones pblicas.32 Con la finalidad de disponer de experiencias concretas en las secciones siguientes se presentan CMI de instituciones pblicas de distintos sectores y pases, que podran constituir una muestra representativa de los abordajes alternativos que se han presentado en el sector pblico.
31
32
El trmino stakeholder, como se seala en la Introduccin de este documento, da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. Pueden ser tanto destinatarios como actores interesados, cuyos derechos o intereses pueden ser afectados en forma directa o indirecta. En una visin amplia, una decisin a la metodologa educacional podra afectar a toda la Sociedad, sin embargo el desafo estriba en identificar quines son los titulares de derechos ms importantes para asegurar el cumplimiento de la misin de la organizacin (Bonnefoy, 2002). Casos de implementacin de CMI en gobiernos autonmicos y locales de Espaa se pueden analizar en Rodrguez et al. (2004), Subirachs (2004), Turull y Vivas (2003), Or i Vendrell (2002).
91
33
Para una explicacin detallada de este modelo y sus distintos componentes ver Bonnefoy (2005) y Guzmn (2003).
92
N 45
Figura 14
93
Figura 15
Operaciones
RR.HH
Centros Pago
Atencin pblico
N 45
El ao 2003 un equipo del Departamento de Economa Financiera y Contabilidad de la Universidad de Granada asesor al PMDG en la elaboracin de una planificacin estratgica que incluy el anlisis de fortalezas, oportunidades, debilidades y amenazas (FODA), as como la preparacin de un CMI institucional (Rodrguez, Lpez y Zafra, 2004). Como resultado del anlisis FODA se determin su misin estratgica en los siguientes trminos: la promocin de servicios deportivos de alta calidad, la universalizacin de la prctica deportiva y la creacin de una cultura deportiva en la poblacin de Granada. A partir de este objetivo estratgico, en la Figura 16 se presenta el Mapa Estratgico del PMDG, con los objetivos que corresponden a las cuatro perspectivas tradicionales del CMI, aunque se han desarrollado con mayor profundidad la perspectiva de los clientes y la perspectiva financiera. Las perspectivas de procesos internos y del aprendizaje y crecimiento estn enfocadas al mejoramiento de la calidad de los servicios deportivos, enfatizando que la mejora en la gestin administrativa, tcnica y econmica son importantes. La inversin en mejorar las instalaciones deportivas existentes y un programa de capacitacin continua de los empleados son dos objetivos estratgicos relevantes que contribuyen al logro de la misin de la organizacin institucional (Rodrguez, Lpez y Zafra, 2004).
Figura 16
Perspectiva financiera
Mejoramiento de la gerencia administrativa, tcnica y econmica Inversin en mantencin y mejoramiento de las instalaciones Coordinacin de actividades y compatibilizacin de horarios
Competencias estratgicas
Fuente: Rodrguez, Manuel; Lpez, Antonio y Zafra, Jos Luis: Applying the Balanced Scorecard Concept: a Proposal to Sport Services in Local Governments, 2004.
95
El caso chileno (INP) se caracteriza por un pblico cautivo en trminos de las prestaciones pblicas. En el caso espaol del PMDG existen instalaciones y actividades sustitutas que pueden ser provistas por entes privados. La competencia en esta rea es posible y la implementacin del CMI no solamente es visualizada como un instrumento de mejoramiento de la gerencia pblica, sino que adems permite al PMDG alcanzar una posicin estratgica frente a sus competidores, de manera de instalar una visin estratgica que posiciona al Patronato como el lder en la prctica deportiva en Granada. De acuerdo a la experiencia registrada por la Universidad de Granada, la implementacin del CMI del Patronato de Deportes ayud a reducir las metas muy amplias de la organizacin, que frecuentemente se dan en mandatos legales muy vagos en las organizaciones pblicas. Adems el CMI contribuy a reducir la incertidumbre y facilitar la comunicacin entre los directivos y polticos responsables del rea al interior del Concejo Municipal, promoviendo de esta manera un nuevo dialogo entre la visin poltica y la estrategia de la organizacin.
96
N 45
VI. Lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica
Los indicadores de desempeo se estn aplicando, o se est comenzando a implementar, en la mayora de los gobiernos de Amrica Latina en el marco de los esfuerzos por mayor eficiencia del gasto pblico y transparencia de la accin gubernamental. Si bien el objetivo de este manual no es el anlisis del proceso de instalacin de los sistemas de evaluacin de la gestin pblica, no es posible hacer referencia a la construccin de indicadores en el mbito pblico sin mencionar aspectos de la institucionalidad, las estrategias, los procesos, los cuales tienen una influencia decisiva en los resultados de la aplicacin de los indicadores. En este contexto, las lecciones y aprendizajes se desarrollan desde dos perspectivas, la primera desde una mirada no exhaustiva de los aspectos macro institucionales de la instalacin de los sistemas de indicadores, y la segunda desde el proceso de diseo y construccin de los indicadores, los cuales abordan los aprendizajes de carcter metodolgico y de aplicacin prctica de stos. Los aspectos substanciales de estas temticas que cabe subrayar son los siguientes: 1. La gestin pblica ha evolucionado en las ltimas dcadas desde un modelo burocrtico tradicional al enfoque por resultados. El nuevo modelo no se centra exclusivamente en los insumos del proceso ni en el control externo, sino que se enfoca 97
en los impactos de la accin pblica, donde lo relevante se centra en los resultados y en las dimensiones de eficiencia, calidad y economa de los procesos que los generan. En este contexto se enfatiza el desarrollo y aplicacin de un conjunto de instrumentos que permitan orientar a la gestin pblica hacia dichos resultados. Los criterios orientadores para la gestin de los organismos pblicos, enfatizan el uso de metodologas que les permitan centrarse en aspectos relevantes y estratgicos para el cumplimiento de la misin institucional, una vinculacin entre la asignacin de recursos y el desempeo institucional. Lo anterior requiere lograr cambios sustantivos en la cultura organizacional de las entidades pblicas, que hagan viable este trnsito hacia el compromiso por los resultados. 2. Este proceso no est exento de complejidades, y aun cuando el panorama de los pases de Amrica Latina no es uniforme, en mayor o menor medida, se constatan debilidades estructurales de la administracin pblica, especialmente en los sistemas de servicio civil lo cual dificulta la delegacin de facultades a los directivos pblicos. Junto con lo anterior el escaso desarrollo de los sistemas de informacin, y la dbil consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados, son elementos que deben ser considerados como desafos a la hora de desarrollar sistemas de evaluacin de la gestin apoyados de indicadores de desempeo. La ubicacin institucional de la evaluacin de la gestin pblica dentro del sector pblico depende de las caractersticas de cada pas. No hay una nica respuesta pues lo importante es que exista la firme decisin poltica de hacer funcionar los sistemas de evaluacin. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, orientado a apoyar a lo tomadores de decisiones y gestores pblicos hacia lo estratgico, es fundamental estrechar la vinculacin del plan y la programacin con el presupuesto. Asimismo es un requisito para la coherencia de las acciones de evaluacin que exista una estrecha vinculacin entre los organismos encargados de la planificacin y coordinacin gubernamental, con las instituciones responsables del presupuesto. Junto con esto la funcin de apoyo central a la rendicin de cuentas que tienen los indicadores, implica tambin una estrecha relacin con los rganos de control y el Parlamento. La eficaz incorporacin de estos nuevos sistemas de evaluacin de la gestin al aparato pblico conlleva una serie de desafos estratgicos que es preciso tener en cuenta, tanto en la fase de diseo como en la fase de implementacin y evaluacin de los mismos. En la etapa de diseo e implementacin y en trminos muy generales, es necesario que la institucin o instituciones a nivel central que demandan la evaluacin de gestin a travs de indicadores, tengan claridad respecto del mandato. Lo anterior implica clarificar los niveles de la administracin pblica que sern evaluados, el uso que tendr la informacin proveniente de los indicadores, el diseo de la metodologa para la evaluacin, los apoyos tcnicos que se requieren, as como el establecimiento de un proceso de retroalimentacin entre la autoridad que demanda los indicadores y las instituciones que elaboran. En este proceso de diseo e implementacin es clave hacer un diagnstico de las capacidades institucionales y tcnicas de las entidades, y definir un mecanismo de apoyo permanente a travs de capacitacin, guas, talleres de trabajo, pginas web, etc., considerando los diferentes niveles de dichas entidades. Frecuentemente la gestin de las entidades pblicas en Amrica Latina enfrenta una alta rotacin de sus directivos pblicos y las metodologas para desarrollar los planes de gestin en general estn ms orientados a una planificacin operativa que estratgica. En este contexto, an cuando se acostumbre a definir una misin, objetivos institucionales e
3.
4.
5.
98
N 45
indicadores, stos no llevan asociada un proceso de revisin de estas definiciones estratgicas (cules son los productos relevantes, qu resultados esperan los usuarios, cules son las estrategias que permitirn alcanzar los resultados con la mayor eficiencia, economa y calidad posible). Asimismo existe una debilidad importante en el desarrollo de sistemas de control de gestin y de informacin, que permitan establecer centros de responsabilidad, con centros de costos. Todo este panorama genera una limitacin importante que obliga a disear indicadores de desempeo de acuerdo a la informacin disponible, lo que no necesariamente se refiere a los factores crticos para la consecucin de los objetivos estratgicos, vinculados a la misin institucional. 6. La seleccin y construccin de indicadores de evaluacin del desempeo avanza sustantivamente cuando los organismos pblicos son capaces de formular ejercicios de planificacin estratgica que priorizan los recursos y la atencin del mejoramiento de la gestin sobre aquellos productos que son claves para el cumplimiento de la misin institucional. De igual modo, en la etapa de monitoreo y seguimiento, la metodologa de cuadro de mando integral o balanced scorecard permite interrelacionar en forma sinrgica los indicadores de desempeo para medir en conjunto los logros de los objetivos estratgicos desde el punto de vista de los usuarios, de la institucin, del programa de gobierno, los procesos internos, la innovacin y el aprendizaje. Los esfuerzos de implementacin de sistemas de evaluacin del desempeo son costosos y consumen tiempo y energa. Adems, la dinmica inercial de la asignacin presupuestaria no siempre ofrece incentivos para seguir profundizando el sistema. En numerosos pases la orientacin a los resultados ha servido para modificar tangencialmente prioridades programticas y modificar algunos procedimientos de trabajo, pero slo ocasionalmente sus resultados se incorporan en las decisiones presupuestarias. Los pases anglosajones que llevan ms de una dcada en la implementacin de programas de gestin orientados a los resultados tienen una perspectiva ms crtica que los primeros informes que documentaron las iniciativas de Nueva Zelanda, Australia e Inglaterra. En la actualidad, entre otras limitaciones, estos pases reconocen que la transicin a la gestin por resultados es tanto un problema de medicin como un problema de cambio en la mentalidad a todos los niveles gerenciales. Estos gobiernos han reconocido que el enfoque de sus reformas pblicas ha tenido un foco excesivo hacia la eficiencia y no tanto en la efectividad, con ausencia de vnculos claros hacia las polticas. Los pases de Amrica Latina que estn iniciando la implementacin de iniciativas de gerencia pblica, que contemplan el uso de los indicadores de evaluacin del desempeo como una herramienta de medicin de resultados y de mejoramiento de la gestin, deben considerar la visin crtica sobre las fortalezas y debilidades del proceso por parte de los pases de Amrica Latina y de la OCDE que llevan un camino recorrido con aciertos y errores.
7.
8.
9.
Finalmente, es necesario sealar que los procesos de modernizacin del Estado y de cambio de cultura organizacional son de largo aliento. En los pases en que estas reformas han tenido xito, la asociacin de la gestin orientada por resultados a avances sustantivos en tcnicas de presupuestacin plurianual ha fomentado la adopcin de un enfoque de largo plazo en todas las esferas de gobierno. El principal objetivo de una gestin por resultados es entonces apoyar el proceso de formulacin de planes y programas en una visin plurianual, centrando los esfuerzos hacia una adecuada asignacin de los recursos pblicos, fijando criterios tanto en el mbito del gasto corriente como en los sistemas de inversin pblica. La evaluacin de los programas de gasto de capital que ejecuta o que contrata el sector pblico cobra una importancia estratgica, dado su impacto sobre el crecimiento econmico de largo plazo y el desarrollo territorial. 99
N 45
Bibliografa
Anthony, Robert (1998), El Control de Gestin Marco, Entorno Proceso. Harvard Business School. Ed. Deusto, Barcelona. Armijo, Marianela (2003), La evaluacin de la Gestin Pblica en Chile. Evaluacin de resultados para una gestin pblica moderna y democrtica. Experiencias latinoamericanas. Nurial Cunill y Sonia Ospina (editoras). CLAD, AECI, MAP, FIIAPP. Centro Latinoamericano de Administracin para el Desarrollo, Caracas. Asociacin Espaola de Contabilidad y Administracin de Empresas AECA (2000), Indicadores de Gestin para las Entidades Pblicas. Documento N16, Madrid. Audit Commission (2000), Management Paper: On Target the Practice of Performance Indicators. London. Disponible en www.auditcommission.gov.uk Ax y Bjrnenak (2005) Ayuntamiento de Granada, (2005): Estatutos del Patronato Municipal de Deportes del Excmo. Ayuntamiento de Granada, Boletn Oficial de la Provincia N 37 de fecha 23/2/2005, Granada. Banco Mundial (2005), Estudio de Evaluacin de Impacto del Programa de Evaluacin de Programas de Chile, Washington D.C., http://www.smgp.cl/5.pdf Ballart, Xavier (1992), Cmo evaluar programas y servicios pblicos?: Aproximacin sistemtica y estudio de caso. Ministerio para las Administraciones Pblicas. Madrid. Bonnefoy, Juan Cristbal (2005), La transicin de un presupuesto por resultados a una gestin por desempeo en Amrica Latina, documento presentado en el Seminario Internacional Polticas Pblicas y Descentralizacin: Presupuesto Orientado a Resultados, organizado por la Secretara de Hacienda de la Alcalda Mayor de Bogot, Colombia, Abril.
101
______(2003): Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, ILPES, Boletn N 13, Santiago de Chile, http://www.eclac.cl/publicaciones/Ilpes/7/LCIPL237/boletin13.pdf ______(2002): Evaluacin de programas, medicin de resultados y convenios de desempeo, documento presentado en la XI Conferencia de Ministros y Jefes de Planificacin de Amrica Latina y el Caribe, ILPES, Madrid. Cunill, Nuria, Ospina, Sonia (Eds) (2003), Evaluacin de resultados para una gestin pblica moderna y democrtica: Experiencias Latinoamericanas. CLAD, Caracas. Direccin de Presupuestos de Chile, (2004): Informe de Finanzas Pblicas: Proyecto de Ley de Presupuestos del Sector Pblico para el ao 2005. ______(2003): Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico. ______(2003): Sistema de Control de Gestin y Presupuestos por Resultados: la Experiencia Chilena, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES -CEPALSantiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf ______(2003) Gua Metodolgica. Sistema Planificacin y Control de Gestin. ______(1997): Planificacin Estratgica para los Servicios Pblicos, Serie Gua Metodolgica. ______(1996): Indicadores de Gestin en los Servicios Pblicos, Serie Gua Metodolgica. ______(1995): Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos. Evans, Ernesto (2004a): El cuadro de mando integral y su implementacin en el Instituto de Normalizacin Previsional de Chile, ponencia presentada en el IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Madrid, Octubre. ______(2004b): Balance Scorecard, una herramienta Innovadora para la gestin de Servicios Pblicos, ponencia presentada en el 2nd EU-LAT Workshop on e-Government and e-Democracy, Santiago de Chile, Mayo. Figueroa, Ramn (2002), Sistemas Integrados de Administracin Financiera (SIAF): Avances y Requerimientos para Mejorar la Productividad del Gasto Pblico, ponencia presentada en el XIV Seminario Regional de Poltica Fiscal de la CEPAL, CEPAL, Santiago de Chile. Government Accountability Office (2004): ResultsOriented Government: GPRA Has Established a Solid Foundation for Achieving Greater Results. GAO 04-38. March. Disponible en http://www.gao.gov/new.items/d0438.pdf Guinart y Sol (2003), Indicadores de Gestin para las entidades pblicas. VIII Congreso del CLAD. Panam. Guzmn, Marcela (2003): Sistema de Control de Gestin y Presupuestos por Resultados: la Experiencia Chilena, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias, ILPES-CEPAL, Santiago de Chile. Haggard, Stephan (1995): Reform of the State in Latin America, en The challenges of reform: proceedings of an annual World Bank conference, Burki, Edwards, y Aiyer (eds.), Washington, DC: World Bank. Hernndez, Misael (2002): Evaluacin del desempeo de las organizaciones pblicas a travs de la calidad, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa. Hernndez-Licona, Gonzalo (2003): Sistema de Evaluacin y Monitoreo de la Secretara de Desarrollo Social de Mxico, presentacin en Seminario Avaliao de Polticas Sociais: As Experincias do Brasil e do Mxico, Instituto de Pesquisa Econmica Aplicada (IPEA), Brasilia, http://www.ipea.gov.br/SeminarioMexico/evalghl3brasil.ppt Hintze, Jorge (1999). Control y Evaluacin de Gestin y Resultados. Documentos TOP sobre Gestin Pblica. Buenos Aires. www.top.org.ar Instituto de Normalizacin Previsional (2005): Balance De Gestin Integral 2005, Santiago de Chile, Kaplan, Robert y Norton, David (1997): El cuadro de mando integral (Balanced Scorecard), Ediciones Gestin 2000, Barcelona ______(1996): The Balanced Scorecard-Translating Strategy into Action, Harvard Business School Press. ______(1992): The Balanced Scorecard--Measures That Drive Performance, Harvard Business Review, Jan-Feb. Kristensen, Jens; Groszyk, Walter y Bhler, Bernd (2002), Outcome-focused Management and Budgeting, OECD Journal on Budgeting, Vol 1, N4, Paris.
102
N 45
Liner, Blaine; Dusenbury, Pat y Vinson, Elisa (2000): State Approaches to Governing-for-Results and Accountability, The Urban Institute, Washington D.C., http://www.urban.org/url.cfm?ID=410067 Longo, Francisco (2004): Diagnstico Institucional Comparado de Sistemas de Servicio Civil: Sntesis de 17 evaluaciones/pas, Red de Gestin y Transparencia de la Poltica Pblica del BID. Marcel Mario (2001). Aspectos macroeconmicos del proyecto de Ley de Presupuesto del sector pblico del Ao 2002, Santiago, Ministerio de Hacienda. Santiago. ______(1998): Indicadores de Desempeo como instrumento de modernizacin en el Estado de Chile, Perspectivas en Poltica, Economa y Gestin, N 1, Vol. 2, Mayo, Departamento de Ingeniera Industrial de la Universidad de Chile, Santiago de Chile. Meneses-Gonzlez, Fernando et al. (2005): Evaluacin del cumplimiento de las metas, los costos unitarios y el apego del Programa a las Reglas de Operacin, 2004. Evaluacin externa de impacto del Programa Oportunidades 2004., Instituto Nacional de Salud Pblica, Cuernavaca, Mxico. http://www.oportunidades.gob.mx/e_oportunidades/evaluacion_impacto/2004/Reglas_operacion.pdf Ministerio de Planificacin Nacional y Poltica Econmica, Ministerio de Hacienda, Contralora general de la Repblica. Costa Rica. Comisin Tcnica Interinstitucional (2004) Lineamientos Tcnicos y Metodolgicos para la Elaboracin de la Estructura Bsica del Plan Anual Operativo 2005 para los Ministerios , dems rganos y Entidades Pblicas. San Jos. www.mideplan.gob.cr Ministerio de Planificacin. Costa Rica. Documento de Presentacin Evaluacin Plan Nacional de Desarrollo 2002-2006. http://www.mideplan.go.cr/Capacidades-I-a-2003.doc Ministerio de Economa y Finanzas del Per (2000): Medicin y Evaluacin del Desempeo en la Administracin Pblica, Documento de Trabajo del MEF, Lima. Muiz, L (2003), Cmo implantar un Sistema de Control de Gestin en la prctica?. Gestin 200.com, Barcelona National Center for Public Productivity (1997), A Brief Guide for Performance Measurement in Local Government, Rutgers University Press, New Jersey. OCDE/PUMA (1998), Best Practices Guidelines for Evaluation. Policy Brief N5. Pars. ______(1997), Benchmarking, evaluation, and strategic management in the public sector. Best Practices Institute. OCDE/World Bank (2003), Survey on Budget Practices and Procedures. http://ocde.dyndns.org Oficina de Planeamiento y Presupuesto. Comit Ejecutivo para la Reforma del Estado. Sistema de Evaluacin para la Gestin. SEV, (2004), www.cepre.opp.gub.uy ______(1999). Gua para la Construccin de Indicadores de Gestin. Pars. Olve, N., Roy, J., Wetter, M. (2000): Implantando y gestionando. El cuadro de mando integral (performance drivers). Ediciones Gestin 2000 S. A., Barcelona. ______(1999), Implantando y Gestionando el Cuadro de Mando Integral. Gestin 2000.com, Barcelona. ______(1997): Balanced Scorecard i svensk praktik. Liber, Malm. Oregon Progress Board (2004), Developing Consistent Administrative Performance Measures for State Government. Department of Administrative Services. www.econ.state.or.us/opb Organizacin de Cooperacin y Desarrollo Econmico (OCDE) (1997), Promoting the use of Program Evaluation Accountability in Public Organizations. Meeting of the Performance Management Network. Paris. November ______(1996), La Gestion des Performances dans LAdministration. Exemples DActualit. tudes Hors Srie Sur la Gestion Publique N9. Pars. Or i Vendrell, Marc (2002): Los instrumentos de gestin de la informacin como motor de cambio hacia una nueva administracin pblica, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal. Poister y Streib, 2005 Procurement Executives Association (2005): Guide to a Balanced Scorecard: Moving from Performance Measurement to Performance Management, Washington D.C. http://professionals.pr.doe.gov/ma5/MA5Web.nsf/Business/Balanced+Scorecard?OpenDocument Rodrguez, Manuel; Lpez, Antonio y Zafra, Jos Luis (2004): Applying the Balanced Scorecard Concept: a Proposal to Sport Services in Local Governments, documento presentado en las III Jornadas academicoprofesionales sobre el Balanced Scorecard, Universidad de Zaragoza, 2004. Rutgers University (1997) A brief guide for performance measurement in local government. National Center for Public Productivity.
103
Schacter, Mark (2002) Not a Tool Kit. Practitioner`s Guide to Measuring the Performance of Public Programs. Institute On Governance. Ottawa. Canad. http://www.iog.ca/publications/guide.pdf Schick, Allen (2001), Getting Performance Measures to Measure Up, en Quicker, Better, Cheaper?: Managing Performance in American Government, Dall W. Forsythe (Editor), State University of New York Press, 2001. Shack, Nelson (2003), Indicadores de Desempeo en los Organismos Pblicos del Per, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES-CEPAL. Santiago de Chile, http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf Subirachs, Miquel (2004): El proceso de diseo de los cuadros de mando en el marco de la integracin de los sistemas de informacin corporativos en el Departamento de Trabajo e Industria de la Generalitat de Catalunya, ponencia presentada en el IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Madrid. Turull, Jordi y Vivas, Carlos (2003): El cuadro de mando integral en la administracin pblica: el caso del Ayuntamiento de Sant Cugat del Valls, ponencia presentada en el VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam. Weiss, Carol (1998), Evaluation: Methods for Studying Programs and Policies, (2nd Edition), Prentice Hall, New Jersey. Wholey, Joseph y Newcomer, Kathryn (1989), Improving Government Performance, Jossey Bass Public Administration Series, San Francisco, California. Wye Chris. (2002), Performance Management: A Start Where You Are, use What You Have Guide. Managing for Result Series. IBM Endowment for the Business of Government. Arlington, Virginia.
104
N 45
Serie manuales
Nmeros publicados
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. Amrica Latina: Aspectos conceptuales de los censos del 2000 (LC/L.1204-P), N GH YHQWD 6,,* 86 10.00), 1999. www Manual de identificacin, formulacin y evaluacin de proyectos de desarrollo rural (LC/L.1267-P; LC/IP/L.163), N GH YHQWD 6,,* 86 10.00), 1999. www Control de gestin y evaluacin de resultados en la gerencia pblica (LC/L.1242-P; LC/IP/L.164), N de venta: S.99.II.G.25 (US$ 10.00), 1999. www Metodologa de evaluacin de proyectos de viviendas sociales (LC/L.1266-P; LC/IP/L.166), N GH YHQWD S.99.II.G.42 (US$ 10.00), 1999. www Poltica fiscal y entorno macroeconmico (LC/L.1269-P; LC/IP/L.168), en prensa. N GH YHQWD 6,,* (US$ 10.00), 2000. www Manual para la preparacin del cuestionario sobre medidas que afectan al comercio de servicios en el hemisferio (LC/L.1296-P), N GH YHQWD 6,,.G.57 (US$ 10.00), 1999. www Material docente sobre gestin y control de proyectos (LC/L.1321-P; LC/IP/L.174), N GH YHQWD 6,,* (US$ 10.00), 2000. www Curso a distancia sobre formulacin de proyectos de informacin (LC/L.1310-P), N GH YHQWD 6.II.G.44 (US$ 10.00), 2000. www Manual de cuentas trimestrales, Oficina de Estadsticas de la Unin Europea (EUROSESTAT) (LC/L.1379-P, N GH venta: S.99.II.G.52 (US$ 10.00), 2000. www Procedimientos de gestin para el desarrollo sustentable (LC/L.1413-P), N GH YHQWD 6,,* 86 10.00), 2000. www Manual de cuentas nacionales bajo condiciones de alta inflacin (LC/L.1489-P), N GH YHQWD 6,,* (US$ 10.00), 2001. www Marco conceptual y operativo del banco de proyectos exitosos (LC/L.1461-P; LC/IP/L.184), N GH YHQWD S.00.II.G.142 (US$ 10.00), 2000. www Glosario de ttulos y trminos utilizados en documentos recientes de la CEPAL (LC/L.1508-P), N GH YHQWD S.01.II.G.43 (US$ 10.00), 2001. www El papel de la legislacin y la regulacin en las polticas de uso eficiente de la energa en la Unin Europea y sus Estados Miembros, Wolfgang F. Lutz (LC/L.1531-P), N GH YHQWD 6,,* 86 10.00), 2001. www El uso de indicadores socioeconmicos en la formulacin y evaluacin de proyectos sociales, en prensa (US$ 10.00), 1999. www Indicadores de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y perspectivas (LC/L.1607-), N GH venta: S.01.II.G.149 (US$ 10.00), 2001. www Retirado de circulacin. Desafos y propuestas para la implementacin ms efectiva de instrumentos econmicos en la gestin ambiental de Amrica Latina y el Caribe (LC/L.1690-P), N GH YHQWD 6,,* 86 10.00), 2002. www International trade and transport profiles of Latin American Countries, year 2000 (LC/L.1711-P), Sales N E.02.II.G.19, (US$ 10.00), 2002. www Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica, Ricardo Arriagada (LC/L.1753-P; LC/IP/L.206), N GH YHQWD 6,,* 86 10.00), 2002. www Manual de licitaciones pblicas, Isabel Correa (LC/L.1818-P; LC/IP/L.212) N GH YHQWD 6,,* (US$ 10.00), 2002. www Introduccin a la gestin del conocimiento y su aplicacin al sector pblico, Marta Beatriz Peluffo y Edith Cataln (LC/L.1829-P; LC/IP/L.215), N GH YHQWD 6,,* 86 10.00), 2002. www La modernizacin de los sistemas nacionales de inversin pblica: Anlisis crtico y perspectivas (LC/L.1830-P; LC/IP/L.216), N GH YHQWD 6,,* 86 10.00), 2002. www Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas (LC/L.1883-P; LC/IP/L.224), N de venta: S.03.II.G.48, (US$ 10.00), 2003. www
105
25. Gua conceptual y metodolgica para el desarrollo y la planificacin del sector turismo, Silke Shulte (LC/L.1884-P; LC/IP/L.225), N GH YHQWD 6,,* 86 10.00), 2003. www 26. Sistema de informacin bibliogrfica de la CEPAL: manual de referencia, Carmen Vera (LC/L.1963-P), N GH YHQWD S.03.II.G.122, (US$ 10.00), 2003. www 27. Gua de gestin urbana (LC/L.1957-P), N GH YHQWD 6,,* 86 10.00), 2003. www 28. The gender dimension of economic globalization: an annotated bibliography, Mara Thorin (LC/L.1972-P), N GH venta: E.03.II.G.131, (US$ 10.00), 2003. www 29. Principales aportes de la CEPAL al desarrollo social 1948-1998, levantamiento bibliogrfico: perodo 1948-1992, Rolando Franco y Jos Besa (LC/L.1998-P), N GH YHQWD 6,,* 86 10.00), 2003. www 30. Tcnicas de anlisis regional, Luis Lira y Bolvar Quiroga (LC/L.1999-P; LC/IP/L.235), N GH YHQWa: S.03.II.G.156, (US$ 10.00), 2003. www 31. A methodological approach to gender analysis in natural disaster assessment: a guide for the Caribbean, Fredericka Deare (LC/L.2123-P), N GH YHQWD (,,* 86 10.00), 2004. www 32. Socio-economic impacts of natural disasters: a gender analysis, Sarah Bradshaw (LC/L.2128-P), N GH YHQWD E.04.II.G.56, (US$ 10.00), 2004. www 33. Anlisis de gnero en la evaluacin de los efectos socioeconmicos de los desastres naturales, Sarah Bradshaw y ngeles Arenas (LC/L.2129-P), N GH YHQWD 6,,* 86 10.00), 2004. www 34. Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis comparativo multivariado, Edgar Ortegn y Juan Francisco Pacheco (LC/L.2160-P); (LC/IP/L.246), N de venta: S.04.II.G.88 (US$10.00), 2004. www 35. Polticas de precios de combustibles en Amrica del Sur y Mxico: implicancias econmicas y ambientales, Hugo Altomonte y Jorge Rogat (LC/L.2171-P), N de venta: S.04.II.G.100 (US$ 15.00), 2004. www 36. Lineamientos de accin para el diseo de programas de superacin de la pobreza desde el enfoque del capital social. Gua conceptual y metodolgica, Irma Arriagada, Francisca Miranda y Thas Pvez (LC/L. 2179-P), N de venta: S.04.II.G.106, 2004. www 37. Evaluacin social de inversiones pblicas: enfoques alternativos y su aplicabilidad para Latinoamrica, Eduardo Contreras (LC/L.2210-P), N de venta: S.04.II.G.133 (US$ 10.00), 2004. www 38. Pobreza y precariedad del hbitat en ciudades de Amrica Latina y el Caribe, Joan Mac Donald y Marinella Mazzei (LC/L. 2214-P), N de venta: S.04.II.G.136 (US$ 15.00), 2004. www 39. Metodologa general de identificacin, preparacin y evaluacin de proyectos de inversin pblica, Edgar Ortegn Juan Francisco Pacheco Horacio Roura (LC/L.2326-P), N de venta: S.05.II.G.69, 2005. www 40. Los sistemas nacionales de inversion pblica en Argentina, Brasil, Mxico, Venezuela, y Espaa como caso de referencia (cuadros comparativos), Edgar Ortegn; Juan Francisco Pacheco (LC/L.2277-P), N de venta: S.05.II.G.53, 2005. www 41. Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza, Hugo Navarro (LC/L.2288-P), N de venta: S.05.II.G.41, 2005. www 42. Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas, Edgar Ortegn Juan Francisco Pacheco Adriana Prieto (LC/L.2288-P), N de venta: S.05.II.G.89, 2005. www 43. Estadsticas del medio ambiente en Amrica Latina y el Caribe: avances y perspectivas, Rayn Quiroga Martnez (LC/L. 2348-P), N GH YHQWD 6,,*110, 2005. www 44. El sistema de inversiones pblicas en la provincia de San Juan, Repblica de Argentina, Edgar Ortegn, Juan Francisco Pacheco y Ana Carolina Cmpora Rudolff (LC/L.2387-P; LC/IP/L.261). N de venta: S.05.II.G.130, 2005. www 45. Indicadores de desempeo en el sector pblico, Juan Cristbal Bonnefoy, Marianela Armijo (LC/L.2416-P; LC/IP/L.263), No de venta: S.05.II.G.163, 2005. www
El lector interesado en adquirir nmeros anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad de Distribucin, CEPAL, Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrnico: publications@eclac.cl. Disponible tambin en Internet: http://www.cepal.org/ o http://www.eclac.org Nombre:..................................................................................................................................................... Actividad:.................................................................................................................................................. Direccin:.................................................................................................................................................. Cdigo postal, ciudad, pas: ...................................................................................................................... Tel.: ................................. Fax:........................................... E.mail: ..........................................................
ZZZ
106