Noticias 48 – 7
Evaluación de políticas económicas
El papel de las Entidades Fiscalizadoras Superiores en la evaluación de políticas públicas en el ámbito internacional
(por Alfredo Campos Lacoba, subdirector técnico en la Presidencia de la Sección de Fiscalización del Tribunal de Cuentas, ROAC)
“Si deseamos que las evaluaciones crezcan dentro de las Entidades Fiscalizadoras Superiores, debemos fomentar el aprovechamiento de los conocimientos y difundir las buenas prácticas”
INTOSAI (2010), Evaluación de Programas para las EFS. Un compendio
En las últimas décadas, la evaluación de políticas públicas ha dejado de ser una función exclusiva de los gobiernos, universidades o agencias especializadas para convertirse en un campo estratégico también para las Entidades Fiscalizadoras Superiores (EFS). A medida que crece la demanda ciudadana por un uso más eficiente, efectivo y transparente de los recursos públicos, las EFS han comenzado a incorporar enfoques evaluativos en sus fiscalizaciones, operativas, ampliando su función tradicional de control hacia la generación de valor público.
Este giro hacia la evaluación se corresponde con una evolución significativa de la auditoría pública, superando su enfoque tradicional centrado únicamente en la revisión financiera y formal, para adoptar una visión más amplia que busca evaluar los resultados e impactos concretos de las políticas, programas e intervenciones del sector público. Tradicionalmente, la auditoría se ha orientado a emitir juicios sobre la confiabilidad de los estados financieros (auditoría financiera), a verificar el cumplimiento de leyes y normativas (auditoría de cumplimiento) o a valorar la eficiencia en la gestión (auditoría operativa o de gestión). No obstante, aunque estos enfoques siguen siendo relevantes, resultan insuficientes ante las crecientes demandas ciudadanas, que ya no se conforman con saber cómo se administraron los recursos, sino que exigen conocer si estos lograron verdaderamente atender los problemas sociales que justificaron su uso.
Por tanto, lejos de limitarse a una función de vigilancia, este nuevo perfil evaluador de las EFS fortalece la rendición de cuentas, promueve una cultura de mejora continua en la gestión pública y abre nuevas oportunidades para una fiscalización más útil, estratégica y orientada a resultados, en un entorno internacional cada vez más complejo y exigente.
Este nuevo enfoque ha sido impulsado y acompañado por un creciente aprendizaje y cooperación internacional. En este contexto, entidades como la Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI) y su grupo de trabajo sobre la Evaluación de Políticas y Programas Públicos (WGEPPP) han jugado un rol clave en la sistematización de marcos conceptuales, metodologías y experiencias compartidas entre EFS de distintos países.
Fundado en 1992, el WGEPPP ha sido un actor clave en la promoción de la evaluación como herramienta complementaria a la auditoría de desempeño. En la actualidad, el grupo está presidido por el Tribunal de Cuentas de Suiza (desde marzo 2022) y se conforma por 30 EFS miembros y 10 EFS observadores. El Tribunal de Cuentas de España se incorporó como miembro en 2023, tras haber acudido a las reuniones como observador desde 2021. Su objetivo inicial fue: “Lograr que el acceso a la evaluación sea más sencillo para las EFS y precisar los conceptos, métodos y prácticas de evaluación”. En la actualidad, su objetivo fundamental es desarrollar la práctica de evaluación de programas y políticas públicas por parte de las EFS y proporcionar a las EFS interesadas información, herramientas metodológicas y ejemplos de buenas prácticas.
Para conseguirlo, en el seno del grupo se organizan tres tipos de eventos: Fórums cada tres años, en los que durante dos o tres días se abordan temas generales relevantes para las EFS, como metodologías, prácticas, experiencias y colaboración internacional; reuniones anuales enfocadas a temas relevantes para las EFS que llevan a cabo evaluaciones, auditorías operativas con enfoque evaluador y auditorias operativas (cuestiones organizativas, aportación y medición de valor, ámbitos objetivos susceptibles de auditar, entre otros); y reuniones flash trimestrales en formato online en las que un miembro del WGEPPP presenta una auditoría o evaluación que ha llevado a cabo y que considera interesante para compartir con los demás miembros del grupo.
A modo de ejemplo, los temas centrales tratados en las últimas reuniones han sido: “Entrevistas, documentos y análisis de datos: ¿qué más? Innovación@SAI” (2022); “¿Cómo valoramos el impacto de las evaluaciones y las auditorías de resultados?” (2023); “Elegir a los ganadores: Cómo seleccionan las EFS los temas «adecuados» para las evaluaciones y auditorías de rendimiento” (2024); y, el tema previsto para la próxima reunión en octubre de 2025 en Berna es “Marcar la diferencia mediante el análisis de datos”.
Las conclusiones derivadas de las sucesivas reuniones muestran las cuestiones sobre las que las EFS ponen el acento. Cabe citar: la importancia de la fase de preparación y planificación de las auditorías; la relevancia de integrar a las partes interesadas (stakeholders) en el proceso con el objetivo de obtener mejores resultados, alcanzar mayor legitimidad del informes y una mejor aplicación de las recomendaciones; el valor de la formación continua y la adquisición del conocimiento necesario para la aplicación de métodos cuantitativos cuasiexperimentales de análisis y de las innovaciones tecnológicas; y la necesidad de incorporación a las EFS de nuevos perfiles profesionales (matemáticos, sociólogos, politólogos, estadísticos, económetras, informáticos, expertos en tratamiento de datos, entre otros).
Asimismo, en los encuentros se ponen de manifiesto las inquietudes que afectan, en mayor o menor medida, a las EFS: determinación de la proporción entre el coste de los recursos empleado en la obtención y análisis de pruebas y los recursos disponibles; la dificultad para evaluar el impacto de una política pública y para poder determinar si el mismo se debe a la propia intervención o a factores exógenos; la importancia de que los datos a analizar sean fiables y robustos para poder obtener las evidencias necesarias que soporten las conclusiones alcanzadas.
En relación con las reuniones flash, se han presentado trabajos de auditoría muy interesantes. Caben destacar: “Evaluación de la política pública francesa de agricultura ecológica” (junio de 2023); Subvenciones a la creación de empresas para desempleados en Suecia: Efectos a largo plazo (marzo de 2024); “Medición del rendimiento de las EFS: Un enfoque sobre las recomendaciones de la GAO [1]” (mayo de 2024); “Procedimientos adoptados en el Tribunal Federal de Cuentas – Brasil: Un estudio de caso sobre la eficiencia hospitalaria (noviembre de 2024)”; “Datos frente a hechos: cómo mantener el entendimiento entre los especialistas en datos y los auditores” (abril de 2025).
El Tribunal de Cuentas de España participó explicando el “Informe de fiscalización operativa sobre las bonificaciones de cuotas por conversión en indefinidos de los contratos en prácticas, de relevo y de sustitución por anticipación de la jubilación”, cuya planificación y ejecución de los trabajos de fiscalización se efectuaron empleando un enfoque evaluador, incluyendo, además de los principios de economía, eficacia y eficiencia, la evaluación de la pertinencia, coherencia externa e interna y del impacto de este tipo de bonificaciones de cuotas.
Los eventos se complementan con talleres prácticos de trabajos sobre materias de interés para las EFS. Cabe mencionar los siguientes: El fortalecimiento de la evaluación de las política públicas, objetivos y métodos; cómo combinarlas métodos analíticos e introducción de técnicas innovadoras de evaluación; habilidades metodológicas y gestión del conocimiento en una EFS; el proceso de planificación estratégica y la planificación de auditoría anual o plurianual; del análisis de riesgos a la selección y valoración de temas para auditar.
Una actividad muy relevante del WGEPPP es la emisión de documentos y guías sobre evaluación. Así, en 2010 se publicó Evaluación de programas para las EFS, que incluía una encuesta realizada entre las EFS sobre la evaluación de programas [2] y cuyo objetivo era presentar una definición de la evaluación y ofrecer recomendaciones generales para su planificación. En 2014 se aprobó la Guía metodológica sobre evaluación cuyo objetivo fue sentar una base sólida para mejorar las capacidades de las EFS y los auditores en este ámbito que les permitiera abordar las dificultades metodológicas. Un resultado importante de este grupo fue la aprobación en 2019 de las Directrices sobre la Evaluación de Políticas Públicas, que presentan como objetivo identificar las principales características y métodos de la evaluación. En ellas, se detallan aspectos como la definición, objetivos y límites de la evaluación de políticas públicas, los actores en la evaluación y el ámbito institucional, la elección del objeto y construcción de proyecto con las partes interesadas, la planificación de la evaluación, la exposición de los resultados y la difusión y utilización de estos. Recientemente, el grupo de trabajo ha puesto en marcha dos iniciativas que están teniendo una gran acogida por las EFS.
La primera es la creación del Primer Premio de Auditoría de Operativa y Evaluación de Programas y Políticas. Su objetivo es reconocer la labor destacada en las áreas de auditoría de desempeño y evaluación de programas y políticas públicas. De esta forma se pretende fomentar la colaboración, fortalecer el conocimiento metodológico en las EFS, proporcionar plataformas para el intercambio de información práctica y conocimientos, y aumentar la transparencia en las actividades del WGEPPP. Al premio se pueden presentar informes, artículos, estudios de caso, guías metodológicas, proyectos piloto, ejemplos de benchmarking, resúmenes ejecutivos y guías infográficas que demuestren excelencia metodológica, contribuyan a mejorar la gestión pública y el impacto social, y promuevan la transparencia de los resultados. La entrega del premio se producirá en el fórum a celebrar en octubre de 2025. El Tribunal de Cuentas de España participa como presidente del panel calificador de los trabajos.
La segunda iniciativa, en la que también participa el Tribunal de Cuentas, se refiere a la creación de un subgrupo de trabajo cuya misión es la elaboración de una guía sobre La valoración del impacto de las evaluaciones y las auditorías de desempeño efectuadas por las EFS. Para ello, se están diseñando indicadores de resultados y de impacto técnico, de participación de las partes interesadas, de impacto institucional y de cobertura en medios de comunicación y visibilidad pública.
Retos, desafíos y conclusión
Cabe preguntase por los retos y desafíos estratégicos a los que se enfrentan las EFS y en el papel que desempeña el WGEPPP. Sin duda, las EFS se encaminan hacia una fiscalización basada en resultados e impactos, es decir, en un enfoque centrado en el valor público donde los informes respondan a la pregunta: ¿La intervención pública ha logado su objetivo de satisfacer la necesidad social para la que se creó? Para ello, es fundamental trabajar en el desarrollo de las capacidades del personal de auditoría de las EFS, incorporando nuevos perfiles profesionales además de economistas y juristas, como son los expertos en sociología, politología, estadística descriptiva, econometría, informáticos, expertos en tratamiento de datos, entre otros, que puedan incorporar a los trabajos los métodos cuantitativos cuasiexperimentales, la evaluación de impacto y el diseño de contrafactuales y grupos de control, el enfoque de la teoría del cambio y el uso de indicadores de resultados e impacto.
No cabe ninguna duda de que uno de los elementos nucleares y que más tiempo consume en las reuniones del WGEPPP es la puesta en común de la utilización de las innovaciones tecnológicas en la realización de evaluaciones y de fiscalizaciones operativas con enfoque evaluador. El uso de herramientas de análisis de datos, inteligencia artificial y plataformas de monitoreo en tiempo real facilita el trabajo con mayor oportunidad, rigor y eficiencia.
Algunos ejemplos compartidos en las reuniones por EFS son los siguientes: La utilizaciones de la Inteligencia Artificial (IA) en análisis predictivo, detección de patrones, análisis de grandes volúmenes de datos, entre otras aplicaciones U.S. GAO); análisis de Big Data y minería de datos para el cruce masivo de base de datos y trabajar sin necesidad de diseñar muestras (Plataforma Big Data de la Contraloría General de la República del Perú); drones y sensores remotos para la captura de imágenes para verificar infraestructuras, áreas con problemas de sequía, inundaciones, etc. (Comptroller and Auditor General of India y National Audit Office of UK); Georreferenciación y Sistemas de Información Geográfica para conocer ubicaciones, comparar entre la ejecución presupuestaria y distribución territorial de resultados (Tribunal de Cuentasde la Unión de Brasil); Análisis de sentimiento con NLP (procesamiento del lenguaje natural) utilizado para captar percepciones de los ciudadanos sobre servicios públicos (National Audit Office UK); Imágenes satelitales para la supervisión de la desforestación, uso del suelo y de obras en infraestructura en zonas remotas (Contraloría General de la República de Colombia); plataforma en línea de participación ciudadana, que permite a los ciudadanos presentar propuestas de auditorías (Tribunal de Cuentas de Francia).
A modo de conclusión, la realización por las EFS de evaluación de políticas públicas o de auditorías operativas con enfoque evaluador ha dejado de ser una tendencia emergente para convertirse en una práctica estratégica en la fiscalización. Gracias al impulso del WGEPPP de INTOSAI, las EFS cuentan hoy con marcos metodológicos, casos de referencia y redes de colaboración que fortalecen su capacidad de generar evidencia útil para la toma de decisiones públicas. El desafío seguirá siendo preservar la independencia de las EFS y su enfoque técnico. Evaluar políticas públicas o realizar fiscalizaciones operativas con enfoque evaluador no implica valorar decisiones políticas, sino examinar si los resultados obtenidos justifican los recursos y esfuerzos invertidos.
Bibliografía
Garde Roca, J.A., Genaro Moya, D. y López Hérnández, A. (dir.) (2023): Guía metodológica para la aplicación del enfoque evaluador a la auditoría operativa, disponible en la web de Goberna Colombia https://goberna.org/wp-content/uploads/2023/11/LIBRO-DG-comprimido.pdf
Campos, Alfredo (2021), “Enfoque evaluador en las fiscalizaciones operativas efectuadas por el Tribunal de Cuentas: ejemplos prácticos”, Revista Española de Control Externo, vol. XXIII, nº 68, pp. 66-83.
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2010): “Evaluación de Programas para las EFS. Un compendio”
Grupo de Trabajo de Evaluación de Políticas y Programas Públicas (WGEPPP) de INTOSAI, “Guía metodológica sobre evaluación” (2014)
INTOSAI GUID 9020 “Evaluación de las políticas públicas” (2019)
[1] U.S. Government Accountability Office. Es la EFS de USA.
[2] “Evaluación de programas” es la denominación utilizada en los primeros documentos de INTOSAI para referirse a la evaluación de políticas públicas.
