Noticias 47 – 8
Evaluación de políticas económicas
La evaluación de políticas públicas en el Tribunal de Cuentas de España y los Órganos de Control Externo
(por María Dolores Genaro Moya, -dgenaro@ugr.es-, Presidenta de la Sección de Fiscalización del Tribunal de Cuentas y Universidad de Granada)
“Las Entidades Fiscalizadoras Superiores son actores naturales en la evaluación de políticas públicas, pues disponen de la independencia requerida para ello, pueden desarrollar o acceder a la metodología adecuada para realizar la evaluación, y, sobre todo, poseen conocimientos fundamentales en materia de políticas públicas adquiridos a través de sus otras misiones realizadas”.
INTOSAI GUID 9020 Evaluación de las Políticas Públicas
En los últimos años, en España, se viene asistiendo a un resurgir de la evaluación de políticas públicas, de forma que, en la actualidad, conviven una disparidad de actores en la administración que, a nivel estatal, autonómico o local, promueven, encargan y/o participan en procesos de evaluación. Además, existen otras instituciones que realizan evaluación de políticas o programas públicas, tales como fundaciones o asociaciones privadas, institutos de evaluación universitarios, departamentos de inspección de servicios, órganos de control interno, el Instituto de Estudios Fiscales (IEF) o la Autoridad Independiente de Responsabilidad Fiscal (AIREF).
Todo ello sin que exista un consenso en aspectos metodológicos y de funcionamiento, ni un marco jurídico y administrativo común a nivel nacional que impulse una cultura pública de evaluación y que permita articular y coordinar la actuación de diferentes actores -públicos y privados- en el ámbito de la evaluación, mejorando el desarrollo eficiente de la evaluación de las actuaciones públicas.
Esta ausencia de institucionalización de la evaluación de políticas públicas ha sido puesta de manifiesto por expertos y organizaciones internacionales, como la OCDE, o por la propia Comisión Europea, tal y como consta en el preámbulo de la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado [1], así como la necesidad de disponer de un marco regulador de su práctica, con el fin de contribuir a mejorar el uso eficaz y eficiente de los recursos públicos y dotar de una mayor transparencia al proceso de toma de decisiones. Sin embargo, la Ley se ha limitado a diseñar, regular y estructurar el sistema público de evaluación de políticas públicas exclusivamente en el ámbito de la Administración General del Estado, por lo que, al menos de momento, se ha perdido la oportunidad de diseñar un sistema que abarque al conjunto del sector público, incluidos los órganos de supervisión y control que realizan o podrían realizar evaluaciones. En este contexto, las Instituciones de Control Externo –ICEX- españolas (Tribunal de Cuentas y Órganos de Control Externo de las Comunidades Autónomas –OCEX-) venimos desarrollando desde 2019 distintas iniciativas que, en el marco de nuestro mandato, nos permitan mejorar nuestras prácticas de auditoría incorporando, a la función de control de la actividad económico-financiera pública, la evaluación ex post de programas y políticas públicas, ampliando y complementando, así, la actividad que ya venimos realizando a través de las auditorías operativas o de gestión. Adicionalmente, la evaluación como herramienta nos facilita un mejor entendimiento de las políticas públicas, nos permite identificar sus objetivos, comprender su puesta en práctica y, en definitiva, explicar su éxito o fracaso. Además, a través de la incorporación de evaluaciones a nuestro trabajo de auditoría podremos contribuir de forma activa a la búsqueda de un consenso en aspectos metodológicos y de funcionamiento, y a la conformación de ese marco institucional que impulse una cultura pública de evaluación y que mejore el desarrollo eficiente de las actuaciones públicas y de sus evaluaciones.
En el caso del Tribunal de Cuentas de España, sus funciones vienen recogidas en el artículo 136 de la Constitución y desarrolladas en el artículo 2º de la Ley Orgánica 2/1982, de 12 de mayo, del Tribunal de Cuentas, en el que se establece concretamente en su apartado a), que es función de la institución “La fiscalización externa, permanente y consuntiva de la actividad económico-financiera del sector público”. Asimismo, en el Artículo 27 de la Ley 7/1988, de 5 de abril, de Funcionamiento del Tribunal de “La función fiscalizadora del Tribunal de Cuentas tiene carácter externo permanente y consultivo y se referirá al sometimiento de la actividad económico-financiera del sector público a los principios de legalidad, eficiencia y economía en relación con la ejecución de los programas de ingresos y gastos públicos”.
Por lo tanto, atendiendo a lo recogido en su propia normativa, el Tribunal de Cuentas podrá realizar evaluaciones dirigidas a determinar la eficiencia, la eficacia y la economía de una política pública, pero con ciertas limitaciones por ser la fiscalización una actuación de carácter consuntivo. Esto significa que el control de la gestión de los ingresos y gastos públicos es efectuado a posteriori o ex post, lo que no quiere decir que deba efectuarse necesariamente a ejercicio cerrado, sino sólo que lo sea una vez finalizada la acción generadora de ingresos o gastos sometida al propio control, o la producción del acto o del procedimiento administrativo generador de dichos ingresos o gastos.
En relación con los OCEX, las funciones que tienen asignadas en su normativa propia en lo que se refiere al control de los fondos públicos, poseen, por lo general, idéntica naturaleza que la que acaba de comentarse para el Tribunal de Cuentas. Así, cuentan también con la atribución, entre otras, de llevar a cabo el control de la legalidad, la eficacia, la economía y la eficiencia de los programas de gastos e ingresos públicos por delegación de sus respectivos Parlamentos. En algunos casos, adicionalmente tienen atribuida una función consultiva, con frecuencia, por parte del respectivo parlamento autonómico, e incluso por parte del sector público autonómico y local, como ocurre en algunos OCEX (por ejemplo, los de Galicia, Baleares, Aragón o Canarias).
Por ello y de acuerdo con la GUIA 9020 para la evaluación de políticas públicas de la Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI, 2019a)[2] resulta evidente que la mejora de la gobernanza del sector público debe pivotar sobre el diseño y la ejecución de políticas y programas públicos eficaces y eficientes, que tengan un impacto positivo en la prestación de unos servicios públicos de calidad y que logren, en última instancia, una mejora en el nivel de vida de los ciudadanos. A través de una evaluación ex ante, realizada con carácter previo a la ejecución de un programa o política, se podrá determinar la pertinencia de estos, la correcta definición de los objetivos e instrumentos para llegar a conseguir los resultados perseguidos por el órgano decisor.
Por otra parte, la evaluación de las políticas y los programas públicos ex post se dirige a comprobar si, una vez han sido ejecutados, han resultado eficaces, eficientes y útiles, han contribuido a la sostenibilidad ambiental o a la igualdad de género –entre otros objetivos-, y han tenido el impacto esperado.
En todo caso, el carácter consuntivo recogido expresamente en la normativa del Tribunal de Cuentas e implícitamente en otras normativas de OCEX, impone algunas limitaciones en la realización de evaluaciones ex ante, esto es, por ejemplo, la determinación de la pertinencia y las condiciones para poner en marcha un programa o una política antes de que se generen los primeros gastos públicos.
Las evaluaciones ex ante se realizan con anterioridad al proceso de toma de decisiones y deben servir a dicho proceso. Por tanto, se deben analizar en detalle las estrategias y los objetivos de la política pública con anterioridad o, incluso, al mismo tiempo que se desarrolla –evaluación concomitante-, de tal forma que el responsable del programa o política evaluado pueda incorporar las recomendaciones del evaluador para mejorar, entre otros aspectos, la utilidad y/o el impacto de esta. Sin embargo, la intervención de una ICEX (ya sea Tribunal de Cuentas u OCEX) durante el proceso de diseño y/o ejecución de un programa público podría poner en entredicho el carácter independiente –inherente a la función fiscalizadora- de una eventual actuación posterior para fiscalizar y/o evaluar dicho programa por parte del mismo órgano de control [3]. Tampoco tendría un fácil encaje la realización de fiscalizaciones o evaluaciones concomitantes, por el propio carácter ex post de las actuaciones de la mayor parte de las ICEX. No obstante, sí tendría perfecta cabida el análisis a posteriori del diseño de una política o programa público y de los supuestos, motivaciones o predicciones sobre las que se sustentó cuando se puso en marcha.
Por tanto, partiendo de la coincidencia de aspectos importantes como es la posibilidad de confrontar los objetivos planteados en el diseño de una actuación o programa con los resultados finalmente obtenidos, para determinar su eficacia o los recursos públicos empleados en su ejecución frente a los resultados obtenidos, para determinar su eficiencia, podemos plantear qué otros criterios y aspectos metodológicos propios de la evaluación pueden tener cabida en la función de control externo que tienen asignada las ICEX.
En lo que respecta a la metodología, obviamente resulta esencial elegir la más adecuada para responder a los objetivos de la fiscalización, ya se trate de métodos cualitativos o cuantitativos (incluidos los econométricos), si bien deben estar basados en datos y en evidencias, nunca en hipótesis de imposible demostración con hechos.
En cuanto a las relaciones con las partes interesadas o stakeholders, otro de los pilares de la evaluación, su participación tiene perfecta cabida en el proceso de una fiscalización operativa, tal y como podemos comprobar en el principio 29 de la ISSAI 300 (INTOSAI, 2019b) que establece la necesidad de mantener una comunicación eficaz tanto con las partes auditadas como con las partes interesadas relevantes durante todo el proceso de la fiscalización.
Esta comunicación podría establecerse tanto al inicio de la fiscalización, para poder determinar los objetivos de esta, en el momento de su planificación, o durante el desarrollo de los trabajos de campo, de forma que pueda recabarse información adicional de las partes interesadas e, incluso, contrastar los resultados preliminares del trabajo realizado.
También es posible que, considerando la amplitud y la variedad de los temas a abordar y de los enfoques a adoptar, la participación o colaboración de expertos pudiera resultar oportuna y aconsejable en ciertas ocasiones (Genaro, 2016). Contar con investigadores y académicos experimentados, externos a la institución, es una posibilidad recogida en la propia normativa del Tribunal de Cuentas y, en determinadas fiscalizaciones, podría ser más que conveniente, teniendo en cuenta que los métodos y técnicas aplicados en la fiscalización proceden, en muchos casos, de las ciencias sociales. Asimismo, la mencionada colaboración resulta conveniente cuando sea necesario contar con conocimientos técnicos para ciertas fiscalizaciones (técnicos expertos en ciencias ambientales para una fiscalización en la que se incluyan objetivos relacionados con aspectos medioambientales, ingenieros para el examen de la eficiencia en la construcción de cierta infraestructura, etc.).
En relación con estas y otras cuestiones, una revisión de fiscalizaciones recientes del Tribunal de Cuentas y de los OCEx nos permite afirmar que, si bien con ciertas limitaciones, es posible introducir determinados elementos propios de la evaluación de políticas durante el diseño, la planificación y la ejecución de una fiscalización operativa o de gestión.
En el caso del Tribunal de Cuentas encontramos algunas fiscalizaciones operativas en las que se han evaluado programas concretos para llegar a determinar, empleando técnicas propias de la evaluación, no solo la eficacia y la eficiencia de estos, sino también su diseño o la coherencia interna y externa.
Así, por ejemplo, entre las fiscalizaciones aprobadas recientemente por el Pleno del Tribunal y publicadas en su página web:
Informe de fiscalización de la gestión por Renfe Viajeros, S.M.E., S.A., de las ayudas para el fomento del uso del transporte público ferroviario en el tercer cuatrimestre de 2022 y en 2023 [4]
En esta fiscalización se ha tratado de dar respuesta a las siguientes preguntas: ¿Cómo ha gestionado Renfe Viajeros la gratuidad del transporte público ferroviario en 2022 y en 2023?; ¿Cuánto ha costado y qué efectos ha tenido la medida? y ¿Cómo han funcionado los controles que se han establecido para su aplicación?
Metodológicamente, podemos resaltar la utilización de técnicas econométricas para analizar el impacto de la medida de gratuidad sobre el número de viajes en tren y sobre la intensidad del tráfico y la contaminación en el municipio de Madrid.
En concreto, en la fiscalización se ha aplicado la técnica de diferencias en diferencias (dif-in-dif) a partir de una base de datos con el número diario de viajes para los ejercicios 2023, 2022 y 2019, estableciendo fechas equivalentes a 2023 en los ejercicios 2022 y 2019 en función de los días hábiles y festivos de cada ejercicio para facilitar la comparación de los datos y la homogeneidad.
Entre las principales recomendaciones que se realizan a RENFE podemos destacar, respecto al control, la conveniencia de generalizar la incorporación de los títulos de viaje a soportes que permitan controlar su adecuada utilización y la efectiva realización de los viajes; y respecto a la gestión de las ayudas, que se proceda a calcular su coste, analizar su efecto sobre la calidad del servicio y facilitar el desarrollo de indicadores para medir el cumplimiento de los objetivos y el impacto de las ayudas.
Informe de fiscalización operativa y con enfoque evaluador del Fondo de Garantía del Pago de Alimentos, ejercicio 2022 [5]
El objetivo de este Fondo es garantizar a los menores las pensiones de alimentos cuando no las pagan sus progenitores, a través del anticipo de las cantidades adeudadas.
En esta fiscalización se plantearon las siguientes preguntas respecto del Fondo analizado:
¿Tiene el Fondo un impacto positivo en la población afectada y en el problema social subyacente?, ¿Se ha formulado la política pública con una metodología de evaluación coherente?, ¿Se aplican los principios de buena gestión, de acuerdo con los criterios de economía, eficiencia y eficacia?
Las recomendaciones más destacables se refieren a la necesidad de impulsar un seguimiento estadístico del impago de las pensiones de alimentos y a modificar el Fondo, al menos para: ampliar el acceso a la cobertura (ingresos máximos, edad máxima, condiciones sociales); ampliar la cuantía y duración máximas de la protección y mantener los umbrales actualizados; eliminar la ejecución judicial previa y facilitar la solicitud y tramitación; y extender la protección del Estado más allá de la pensión de alimentos, en los casos de mayor necesidad.
También en el ámbito de los OCEX, encontramos diversos ejemplos de fiscalizaciones operativas que realizan un análisis de eficacia, eficiencia y/o economía de un programa o de una actuación concreta implementada por el gobierno autonómico en la que el enfoque es el propio de una evaluación de políticas o programas.
En definitiva, las ICEX están llevando a cabo fiscalizaciones operativas en las que se aplica un enfoque evaluador que introduce criterios, técnicas o métodos propios de la evaluación de políticas públicas, todo ello partiendo del hecho de que los dos enfoques –fiscalización operativa y evaluación- son complementarios y constituyen dos componentes decisivos para evaluar la utilidad de una política pública.
Para lograr esta evolución de la tradicional fiscalización operativa o de gestión hasta la evaluación de políticas públicas, el Tribunal de Cuentas junto a los Órganos de Control Externo, entendiendo que el primer reto era el de la formación y cualificación de sus profesionales en este ámbito, pusieron en marcha en 2019 junto al INAP y el IEF una formación amplia y especializada en evaluación de políticas públicas, que ya ha llegado a su sexta edición en 2025. En estos años, se han capacitado casi 200 profesionales de la auditoría en las catorce instituciones de control (13 OCEx y Tribunal de Cuentas) y se ha superado esa cifra en los programas de formación específicos sobre evaluación que se diseñan cada año en el Tribunal.
Además, desde 2023, contamos con una Guía metodológica para la aplicación del enfoque evaluador a la auditoría operativa, que nos ayuda a la utilización de los métodos de evaluación a nuestras tareas de auditoría.
Así, progresivamente, se está produciendo un cambio cultural en el seno de las ICEx que favorece la realización de auditorías operativas con enfoque evaluador. A ese cambio cultural, en relación con lo que implica la práctica de las evaluaciones en las EFS, se refería Didier Migaud al afirmar en INTOSAI (2010), que la evaluación requiere aplicar métodos rigurosos, escuchar a las partes interesadas y emplear con mayor frecuencia conocimientos multidisciplinares y esta práctica obliga a realizar ajustes en las organizaciones, en los métodos empleados y en la cultura de la institución.
Finalmente, hemos de señalar que, aunque este proceso de cambio no está exento de dificultades, merecerá la pena si contribuye a reforzar el papel de las ICEX como órganos que deben ser relevantes en la vida de los ciudadanos.
Bibliografía
Garde Roca, J.A., Genaro Moya, D. y López Hérnández, A. (dir.) (2023): Guía metodológica para la aplicación del enfoque evaluador a la auditoría operativa, disponible en la web de Goberna Colombia https://goberna.org/wp-content/uploads/2023/11/LIBRO-DG-comprimido.pdf
Genaro, Dolores (2016), “Consideraciones en torno a la fiscalización operativa o de gestión”, Revista Española de Control Externo, vol. XVIII, nº 53, pp. 11-37.
Genaro, Dolores y López, Antonio (2019), “La evaluación de programas y políticas públicas como reto de las instituciones de control externo españolas”, Auditoría Pública nº 74 (2019), pp. 15 – 32.
Ley Orgánica 2/1982, de 12 de mayo, del Tribunal de Cuentas (1982), Jefatura del Estado «BOE» núm. 121, de 21 de mayo de 1982. Referencia: BOE-A-1982-11584 https://www.boe.es/buscar/pdf/1982/BOE-A-1982-11584-consolidado.pdf
Ley 7/1988, de 5 de abril, de Funcionamiento del Tribunal de Cuentas (1988), Jefatura del Estado «BOE» núm. 84, de 7 de abril de 1988 Referencia: BOE-A-1988-8678 https://www.boe.es/buscar/pdf/1988/BOE-A-1988-8678-consolidado.pdf
Organización Internacional de Entidades Fiscalizadoras Superiores-INTOSAI (2010): “Evaluación de Programas para las EFS. Un compendio”, París. Disponible en http://program-evaluation.ccomptes.fr
—(2019a), INTOSAI GUID 9020 “Evaluación de las políticas públicas” Viena. https://www.issai.org/professional-pronouncements/
—(2019b), ISSAI 300 “Principios de Auditoría de Desempeño”, Viena https://www.issai.org/professional-pronouncements/
[1] La Ley se encuadra en el Componente 11 del Plan de Recuperación, Transformación y Resiliencia, concretamente en la Estrategia para reforzar el sistema público de evaluación en las administraciones públicas.
[2] La guía define la evaluación de políticas públicas como el examen que se realiza para determinar la utilidad de dicha política. Una evaluación analiza, de la manera más sistemática posible, los objetivos, la ejecución, los productos, los resultados y el impacto socioeconómico de una política y mide su rendimiento con el fin de evaluar finalmente su pertinencia o adecuación.
[3] La propia INTOSAI GUID 9020 (2019a) reconoce que raramente las EFS realizan evaluaciones ex ante.
[4] https://www.tcu.es/repositorio/95adba17-b517-491b-be52-3c7b7ce831bc/I1602.pdf
[5] https://www.tcu.es/repositorio/95adba17-b517-491b-be52-3c7b7ce831bc/I1602.pdf
