Noticias 49 – 9
Evaluación de políticas económicas
¿Funcionaron realmente las ayudas post COVID? Una aproximación práctica de la metodología de evaluación de resultados por una institución de control externo
(por Joaquin Izquierdo Peris, técnico de auditoría de la Sindicatura de Comptes de la Comunitat Valenciana)
1. Introducción
Tras el estallido de la pandemia del COVID-19, la sociedad afrontaba un panorama sombrío, marcado por el confinamiento y restricciones a la movilidad. Las medidas para luchar contra el coronavirus afectaron profundamente a la actividad económica, especialmente en sectores de alta presencialidad como el comercio minorista, la hostelería, el transporte…. La preocupación era evidente: ¿podrían sobrevivir los negocios de autónomos y PYMES hasta que volviera la normalidad o estaban avocados al cierre definitivo?
Las administraciones públicas desplegaron un amplio abanico de instrumentos de apoyo económico. Entre otros, en marzo de 2021, el Gobierno de España aprobó el Real Decreto-ley 5/2021 (en adelante, RDL 5/2021), que contenía medidas extraordinarias para apoyar la solvencia empresarial en respuesta a la pandemia de COVID-19. La finalidad perseguida era apoyar a las empresas viables y prevenir problemas de solvencia que pudieran afectar a la recuperación económica y la creación de empleo.
El RDL 5/2021 creó una línea de ayudas directas para autónomos y empresas con el objetivo de reducir el endeudamiento que se generó a partir de marzo de 2020 debido a la pandemia. Esta línea contó con una dotación total de 7.000 millones de euros, de los cuales 647 millones de euros fueron asignados a la Comunitat Valenciana, que se concretaron en el denominado Plan Resistir Plus (en adelante, PRP), regulado en el Decreto-ley 7/2021. Las ayudas pretendían mitigar los efectos de la caída de ingresos y preservar la solvencia, evitando el cierre de negocios viables.
2. Por qué se llevó a cabo esta fiscalización
La Sindicatura de Comptes de la Comunitat Valenciana (en adelante, SCCV) acordó incluir en el Programa Anual de Actuación de 2022 el inicio de actuaciones fiscalizadoras sobre las ayudas del PRP. Es preciso recordar que, en el curso de sus actuaciones, todas las administraciones deben velar por el cumplimiento de un principio recogido en la Ley 40/2015: las administraciones deben planificar y dirigir por objetivos, y con posterioridad, controlar la gestión y evaluar los resultados de las políticas públicas llevada a cabo.
En el caso del PRP, la consejería que gestionó las ayudas en la Comunitat Valenciana elaboró un informe de evaluación anual, pero fundamentado principalmente en indicadores presupuestarios y relacionados con la actividad administrativa (número de solicitudes, número de beneficiarios y grado de ejecución presupuestaria), sin abordar aspectos de eficacia o impacto de las actuaciones. La ausencia de indicadores de realización o de producto y de indicadores de resultados inhabilita conocer el grado de consecución de los objetivos desde la perspectiva de la finalidad perseguida al conceder las ayudas.
Ante esta evidente debilidad en la evaluación realizada por el órgano concedente (incumpliendo el artículo 3 de la citada Ley 40/2015), la SCCV llevó a cabo una auditoría operativa, aplicando la metodología descrita en la Guía Práctica de Fiscalización de los Órganos de Control Externo (GPF-OCEX) 3000, pero con una perspectiva evaluadora (INTOSAI 2019).
3. Metodología de fiscalización
La SCCV ejecutó procedimientos de auditoría con un enfoque evaluador (Garde, Genero y López 2023) para dar respuesta a una de las preguntas clave de la fiscalización: ¿el PRP funcionó y consiguió el objetivo de mantener la actividad?
El informe de la Sindicatura es un ejemplo de cómo las auditorías operativas pueden ir más allá de los alcances tradicionales de la auditoría pública (comprobar la contabilización y el cumplimiento normativo en la concesión de una subvención). Estos trabajos pueden ayudar a saber si las políticas públicas funcionan o no, en definitiva, evaluar los resultados alcanzados.
Mediante la evaluación de resultados, que es un análisis ex post, se trata de determinar la capacidad que tienen las “ideas potencialmente buenas” para solucionar los problemas sociales (Ivàlua,2009). El objetivo de la evaluación es establecer si puede atribuirse o no (y en qué medida) la causa del cambio en el problema a la intervención pública: no se desea saber si un problema mejora o empeora, sino si el programa o la actuación pública ha tenido algo que ver.
En el caso de las subvenciones, la evaluación debe permitir analizar el efecto incentivador directo en el beneficiario de la ayuda (es decir, si la ayuda ha inducido al beneficiario a adoptar una línea de conducta diferente y la importancia del impacto de la ayuda). Las carencias en el diseño del plan de control de las ayudas del PRP, obligó a la SCCV a plantear previamente la lógica de intervención subyacente: identificó las necesidades y problemas que el PRP proponía abordar, describió los cambios pretendidos y definió un sistema de indicadores adecuado, distintos de los presupuestarios, que no midieran la actividad administrativa, sino el resultado conseguido.
Para salvar las debilidades en la medición de los resultados por parte de la administración concedente de las ayudas, la SCCV puso en práctica una aproximación al método de diferencia en diferencias, un método cuasi-experimental propio de la evaluación de políticas públicas. La prueba de auditoría fundamental consistió en el análisis comparativo de las variaciones (entre dos momentos en el tiempo) de ciertas variables relacionadas con la actividad económica, distinguiendo entre la realidad del grupo de tratamiento (solicitantes que recibieron la subvención) y la realidad del grupo de control (solicitantes que no la recibieron).
Por ejemplo, en término de empleo, el resultado alcanzado sería la diferencia en la variación del outcome (=trabajadores en alta) antes de recibir la ayuda (el 31 de diciembre de 2021) y después de recibirla (el 31 de diciembre de 2022) para los beneficiarios y para el grupo de comparación (=no beneficiarios):
RESULTADO = Y1 – Y0, siendo
Y1 = Variación porcentual del número de afiliados en los beneficiarios de las ayudas, entre el 31 de diciembre de 2021 y el 31 de diciembre de 2022
Y0 = Variación porcentual del número de afiliados en el grupo de comparación (no beneficiario de las ayudas), entre el 31 de diciembre de 2021 y el 31 de diciembre de 2022
4. Principales observaciones
Los hallazgos numéricos fueron relevantes y también reveladores debido a la omisión evaluadora de la administración. Los autónomos y empresas beneficiarias tuvieron un mejor desempeño, al cabo de un año después del cobro de la ayuda, que el observado entre los no beneficiarios:
- Respecto al volumen de operaciones, por término medio, un beneficiario de la ayuda incrementó su cifra de negocios en un 46,8%, después de un año de haber recibido la subvención, frente únicamente el aumento del 26,3% de las ventas del solicitante que no la recibió.
- Respecto al mantenimiento del empleo, la afiliación de los beneficiarios aumentó, de media, en un 4,2% después de un año, mientras la de los no beneficiarios se contrajo un 4,6%.
- Respecto a la viabilidad de los negocios, la incidencia concursal entre los beneficiarios fue aproximadamente la mitad que entre los no beneficiarios.
- Y respecto al pago de las deudas, a los 18 meses de recibir la ayuda, el 89,8% de los beneficiarios estaban al corriente de sus obligaciones tributarias con la Agencia Estatal de Administración Tributaria (AEAT) y el 95,4% respecto de las obligaciones con la Seguridad Social, porcentajes superiores al de los solicitantes que no recibieron la ayuda (78,7% y 87,7% respectivamente).
Pero, el enfoque aplicado por la SCCV ¿permite observar únicamente correlaciones o constituye sensu stricto una evaluación de impacto con capacidad de establecer la causalidad? El propio informe enfatiza la respuesta a esta cuestión pues sitúa los hallazgos de auditoría en el ámbito de los indicios de eficacia más que en una prueba de impacto.
5. Limitaciones metodológicas y críticas de un evaluador
Los resultados recogidos en el informe de la SCCV deben interpretarse como indicios razonables de eficacia, pero no como pruebas concluyentes, pues cualquier evaluador incidiría en que existen determinados aspectos que la evaluación de resultados debe contemplar, aspectos que no han sido totalmente resueltos por la SCCV.
a) Definición clara de los grupos de tratamiento y control: robustez del contrafactual
El grupo de tratamiento (solicitantes que recibieron la subvención) y el grupo de control (solicitantes que no la recibieron) deberían ser comparables: idealmente, ambos grupos deberían ser similares en características observables antes del tratamiento (por ejemplo, actividad económica, tamaño del negocio, mercado, etc.). En el caso del PRP, la SCCV no definió una muestra, sino que analizó la totalidad de la población que recibió la subvención y toda la población que la solicitó, pero no la recibió.
b) Momento de la evaluación
La evaluación debe considerar un horizonte temporal adecuado para observar los efectos de las ayudas, evitando conclusiones prematuras. En el caso del PRP, la SCCV observó la realidad en el momento de la concesión (diciembre de 2021) y la realidad un año después (diciembre de 2022). Si la SCCV hubiera optado por evaluar los efectos en ejercicios posteriores, el consiguiente retraso en la emisión del informe hubiera restado pertinencia a sus conclusiones.
c) Calidad de los datos:
Evaluar requiere disponer de datos fiables, suficientes y detallados tanto para el grupo tratado como para el de control, antes y después de la intervención. La SCCV tuvo que recurrir a otras administraciones para la obtención de estos datos (AEAT, Seguridad Social y Registro Público Concursal), y limitó el procedimiento de auditoría sobre las personas físicas/jurídicas sobre las que se disponían datos en ambos momentos del análisis (2021 y 2022).
d) No existencia de shocks diferenciados:
Para alcanzar conclusiones sobre causalidad, no deben ocurrir otros eventos que afecten de forma diferencial a los grupos en el mismo periodo en que se implementa el programa. En el caso del PRP, sí ocurrieron otros eventos que pudieran haber afectado de forma diferencial a los grupos en el mismo periodo en que se implementa el programa (recuperación global de 2022, otras políticas públicas (ERTES), crisis energética, conflictos bélicos…).
e) Supuesto subyacente de tendencia paralela
Para evaluar correctamente, se debe cumplir que, en ausencia de tratamiento, la evolución del resultado habría sido la misma en ambos grupos. Para ello hubiera sido necesario observar las tendencias previas al tratamiento. Si ambas series evolucionan de forma similar antes de la subvención, es más plausible que el supuesto se cumpla. La SCCV no pudo verificar esta tendencia por limitación del acceso de datos (en particular de la AEAT).
Respecto de este último punto, mención especial cabe realizar a las dificultades para el tratamiento de datos de los datos tributarios, que, por su carácter reservado, no pueden, con carácter general, ser cedidos o comunicados a terceros. La Ley General Tributaria posibilita, entre otras excepciones, la cesión que tenga por objeto la colaboración con la Intervención General de la Administración del Estado (IGAE) en el ejercicio de sus funciones de control de la gestión económico-financiera y el control de subvenciones y ayudas públicas. Una reflexión personal: ¿Por qué el legislador sí que facilita la cesión de datos al órgano de control interno (la IGAE) pero no al órgano de control externo (el Tribunal de Cuentas sólo tiene acceso a datos para la fiscalización de la propia AEAT)?
6. Principales retos para el impulsar la evaluación de políticas públicas en el seno de una institución de control externo
El análisis de evaluaciones o de auditorías operativas con enfoque evaluador realizado por las instituciones de control externo (ICEX), tanto a nivel nacional como internacional, muestra un heterogéneo panorama en el que el nivel de implicación y compromiso de la institución es muy diverso, como lo es también el enfoque adoptado y el grado de utilización de metodologías propias de las ciencias sociales junto con las características de la auditoría operativa o de gestión (Genaro Moya, D. y López Hernández, A., 2019).
La evaluación es una labor científica llevada a cabo utilizando las técnicas aprendidas en diferentes disciplinas de las ciencias sociales, no solo de la economía, sino también de la sociología, las ciencias políticas y de la administración, la estadística e incluso la psicología, por citar algunas de ellas (Medina Guijarro, J., & Álvarez Tólcheff, E.,2009).
Por tanto, para que la auditoría operativa con enfoque evaluador pueda tener más recorrido entre las funciones de las ICEX, y conseguir así vencer las limitaciones metodológicas anteriormente citadas, deberán superar dos retos:
- En primer lugar, establecer un compromiso claro y firme por la parte de los órganos de dirección de estas instituciones, que se plasme en sus planes estratégicos, y que se materialice en los planes de actuación, incrementado el número de trabajos de esta naturaleza y que estén sujetos a los mismos enfoques metodológicos.
- En segundo lugar, es preciso incorporar personal con formación y experiencia previa en materias distintas a las áreas tradicionales de contabilidad y legalidad. Es recomendable tener un conocimiento profundo de los métodos y herramientas de evaluación para asegurar resultados de calidad, así como la capacidad de recopilar, analizar e interpretar datos masivos de manera rigurosa, y entender las técnicas de planificación y gestión de proyectos.
7. Conclusión
El informe sobre el PRP de la SCCV muestra cómo una auditoría operativa puede suplir las deficiencias evaluativas de la administración concedente de una ayuda. Los resultados recogidos en este informe son consistentes con la hipótesis de que las ayudas contribuyeron al mantenimiento de la actividad de los beneficiarios, si bien no permiten establecer una causalidad estricta.
Sin embargo, el valor de esta fiscalización es evidente: desde la perspectiva del contribuyente, ofrece evidencia empírica de que los fondos públicos probablemente ayudaron a sostener empresas y empleo en un contexto crítico. Desde la perspectiva institucional, marca un camino a seguir: integra la metodología de evaluación en la gestión de subvenciones, de modo que la eficacia se mide de forma estructurada y fundamentada.
