Download - LA EVALUACIÓN DE LAS POLITICAS P Ú BLICAS DE GASTO: RETO O QUIMERA. SU APLICACI Ó N EN ESPA Ñ A
LA EVALUACIÓN DE LAS POLITICAS LA EVALUACIÓN DE LAS POLITICAS PÚBLICAS DE GASTO: RETO O PÚBLICAS DE GASTO: RETO O
QUIMERA. QUIMERA. SU APLICACIÓN EN ESPAÑASU APLICACIÓN EN ESPAÑA
Encuentro Encuentro dede
Coordinación Presupuestaria y Fiscal Coordinación Presupuestaria y Fiscal Intergubernamental de países Intergubernamental de países
IberoamericanosIberoamericanos
José Manuel AdánJosé Manuel Adán18 Agosto 201118 Agosto 2011
Buenos AiresBuenos Aires
II - - EVALUACIONEVALUACION
VERSUSVERSUS
AUDITORIAAUDITORIA
EP
GJ.M
. Adán
EVALUACIONEVALUACION
VERSUSVERSUS
AUDITORIA AUDITORIA• EvaluaciónEvaluación: dirigida : dirigida
fundamentalmente a fundamentalmente a OBJETIVOS, RESULTADOS Y AYUDAOBJETIVOS, RESULTADOS Y AYUDAPARA MEJORARLOSPARA MEJORARLOS
EP
GJ.M
. Ádán
DIFERENCIAS:DIFERENCIAS:• Por sus orígenes• Por el tipo de relaciones con los
evaluadores• Por las cuestiones que tratan• Por la solidez de las instituciones• Por el destino de las auditorias y las
evaluaciones• Por el tecnicismo reglado de los auditores• Por la relación con los evaluados y
auditados• Por el campo de actuación• Por las técnicas a utilizar• Por la contrastación de los resultados• Por el grado de objetividad
EP
GJ.M
. Ádán
Por las cuestiones que tratanPor las cuestiones que tratan::
Auditoria ------- responde a la Auditoria ------- responde a la pregunta QUÉ se ha hecho.pregunta QUÉ se ha hecho.
Evaluación ---- intenta responder Evaluación ---- intenta responder a la a la pregunta pregunta POR QUÉ se ha hecho.POR QUÉ se ha hecho.
EP
GJ.M
. Ádán
Por el campo de actuaciónPor el campo de actuación
Auditores = viaje a lo desconocido Auditores = viaje a lo desconocido o parcialmente desconocido.o parcialmente desconocido.
Evaluadores= evalúan solo lo que Evaluadores= evalúan solo lo que les han pedido que evalúen.les han pedido que evalúen.
EP
GJ.M
. Ádán
Por el grado de Por el grado de objetividadobjetividad• La auditoria “tradicional” ha La auditoria “tradicional” ha
sido más objetiva. La medida de sido más objetiva. La medida de EFICACIA, EFICIENCIA … mas EFICACIA, EFICIENCIA … mas subjetivasubjetiva
• La evaluación, en general es más La evaluación, en general es más subjetivasubjetiva
EP
GJ.M
. Ádán
EP
GJ.M
. Ádán
� � ¿ ¿ POR QUÉ SE SUSTITUYE LA POR QUÉ SE SUSTITUYE LA EVALUACIÓN POR LA EVALUACIÓN POR LA
AUDITORÍA EN EL ÁMBITO AUDITORÍA EN EL ÁMBITO PRESUPUESTARIO?PRESUPUESTARIO?
La introducción de la gestión por La introducción de la gestión por RESULTADORESULTADO¿Es SUFICIENTE?¿Es SUFICIENTE?
EP
GJ.M
. Ádán
El sistema de gestión por El sistema de gestión por resultado se debilita:resultado se debilita:
•Debido a los múltiples Debido a los múltiples conjuntos de objetivos de conjuntos de objetivos de desempeño.desempeño.
•A objetivos de desempeño A objetivos de desempeño no consistentes con la no consistentes con la prioridad del objeto. prioridad del objeto.
El sistema de gestión por El sistema de gestión por resultado resultado
Se debilita aún más Se debilita aún más
si las CC.AA. comparten si las CC.AA. comparten objetivos pero no existe objetivos pero no existe coordinacióncoordinación
EP
GJ.M
. Ádán
IIII
¿¿Qué es una política Qué es una política pública?pública?
� � Conjunto de acciones para alcanzar un Conjunto de acciones para alcanzar un objetivo de interés público realizado o objetivo de interés público realizado o dirigido por una Administración pública.dirigido por una Administración pública.
•¿Qué políticas Públicas?¿Qué políticas Públicas?
≡ ≡ ¿Qué programas públicos?¿Qué programas públicos?
≡ ≡ ¿Políticas de gasto?¿Políticas de gasto?
EP
GJ.M
. Ádán
EP
GJ.M
. Ádán
•El proceso de políticas El proceso de políticas publicas es un concepto publicas es un concepto amplio en contraste con el amplio en contraste con el ciclo presupuestario. ciclo presupuestario.
•La “política” suele durar mas La “política” suele durar mas de un presupuesto.de un presupuesto.
PROCESO DE POLÍTICAS PROCESO DE POLÍTICAS PÚBLICASPÚBLICAS
EP
GJ.M
. Ádán
•Las políticas se estructuran en Las políticas se estructuran en programasprogramas
• Los programas deben ser acordes Los programas deben ser acordes con las políticas.con las políticas.
• Si los programas no son acordes con Si los programas no son acordes con las políticas, será imposible su las políticas, será imposible su evaluación y si se realiza no tendrá evaluación y si se realiza no tendrá valor alguno.valor alguno.
Proceso de Políticas Proceso de Políticas PúblicasPúblicas• DiseñoDiseño
• DecisiónDecisión
• Formulación de programasFormulación de programas
• Implementación de ProgramasImplementación de Programas
• Evaluación de ProgramasEvaluación de Programas
EP
GJ.M
. Ádán
•Evaluación circunscrita a Evaluación circunscrita a programas específicosprogramas específicos..
EP
GJ.M
. Ádán
•La Evaluación de La Evaluación de políticas ubicadas en la políticas ubicadas en la cima de los sistemas de cima de los sistemas de gestión por resultados gestión por resultados no son suficientemente no son suficientemente creíbles.creíbles.
EP
GJ.M
. Ádán
•La evaluación de programas en La evaluación de programas en algunos casos tiene poca o algunos casos tiene poca o ninguna influencia con el ninguna influencia con el propósito de las políticas. propósito de las políticas.
•Solo es útil en determinados Solo es útil en determinados programas coincidentes con la programas coincidentes con la esencia de las políticas.esencia de las políticas.
EP
GJ.M
. Ádán
•Las políticas publicas son Las políticas publicas son eminentemente “políticas” y no deben eminentemente “políticas” y no deben ser auditadas.ser auditadas.
•Difícilmente evaluadas.Difícilmente evaluadas.
•El nivel mas técnico de un programa es El nivel mas técnico de un programa es más proclive a la auditoria.más proclive a la auditoria.
Ningún sistema aborda la Ningún sistema aborda la totalidadtotalidadde la política en sí.de la política en sí.
• En la primera fase de la creación En la primera fase de la creación de una política pública, el diseño de una política pública, el diseño de la misma, la evaluación ex-ante, de la misma, la evaluación ex-ante, es interesante, ya que la política es interesante, ya que la política puede estar influenciada por puede estar influenciada por intereses privados, ajenos a la intereses privados, ajenos a la verdadera esencia de la política.verdadera esencia de la política.
Se trataría de diseñar la Se trataría de diseñar la política más afín a los política más afín a los intereses públicosintereses públicos
El ciclo de políticas públicas El ciclo de políticas públicas existe, a pesar de ser existe, a pesar de ser desordenado o de discutirse su desordenado o de discutirse su racionalidad.racionalidad.• Se aspira a su eficiencia, pero por ahora Se aspira a su eficiencia, pero por ahora solo es un reto.solo es un reto.
• Las políticas y los programas deben estar Las políticas y los programas deben estar cohesionados.cohesionados.
• El diseño de las políticas debe ser acorde El diseño de las políticas debe ser acorde con su distribución en programas.con su distribución en programas.
• El Gobierno debe tener verdadero interés en El Gobierno debe tener verdadero interés en su implementación.su implementación.
II homogénea en sus programas.homogénea en sus programas.I I técnicamente implementables.técnicamente implementables.I I consensuador con los sectores importantes.consensuador con los sectores importantes.I I deben disponer de una memoria económica deben disponer de una memoria económica
por el conocimiento del coste de su por el conocimiento del coste de su aplicación.aplicación.
EP
GJ.M
. Ádán
• Los resultados de las evaluaciones ex-Los resultados de las evaluaciones ex-post no suelen tomarse en consideración post no suelen tomarse en consideración en el diseño de las políticas. en el diseño de las políticas. SuelenSuelen utilizarse utilizarse para mejorar su aplicación.para mejorar su aplicación.
• Tampoco suelen usarse para mejorar las Tampoco suelen usarse para mejorar las decisiones presupuestarias.decisiones presupuestarias.
• MOTIVOMOTIVO de la escasa influenciade la escasa influencia::La esfera política rechaza la La esfera política rechaza la intromisión del área técnica intromisión del área técnica
EP
GJ.M
. Ádán
III.III. OBJETIVOS DEL OBJETIVOS DEL CONTROLCONTROL
• Art. 142.1.c:Art. 142.1.c: EvaluarEvaluar que la actividad que la actividad y los procedimientos objeto de y los procedimientos objeto de control se realiza de acuerdo con los control se realiza de acuerdo con los principios de buena gestión principios de buena gestión financiera.financiera.
• (Evaluar como “técnica”)(Evaluar como “técnica”) ≡ ≡ función interventora → control función interventora → control
financiero permanente → Auditoria financiero permanente → Auditoria públicapúblicaE
PG
J.M. Á
dán
•Auditoria operativaAuditoria operativa
Cubre todos los ámbitos que Cubre todos los ámbitos que pueden ser evaluados.pueden ser evaluados.
Con esta herramienta abarcamos Con esta herramienta abarcamos campos de campos de la evaluación..
EP
GJ.M
. Ádán
Auditoria de programasAuditoria de programas presupuestarios y planes presupuestarios y planes de actuación:de actuación:
• Tipo de auditoria que tiene por Tipo de auditoria que tiene por objeto comprobar el grado deobjeto comprobar el grado de eficaciaeficacia alcanzado en la consecución de losalcanzado en la consecución de los objetivosobjetivos previstos en los programas previstos en los programas y planes de actuación, así como de lay planes de actuación, así como de la legalidadlegalidad de las actuaciones de las actuaciones efectuadas en la ejecución de los efectuadas en la ejecución de los programas y planes de referencia.programas y planes de referencia.
EP
GJ.M
. Ádán
• Art. 142.1.d: VerificarArt. 142.1.d: Verificar el cumplimiento el cumplimiento de losde los objetivosobjetivos asignados a los centros asignados a los centros gestores del gastogestores del gasto
• → → Función Función
interventorainterventora= IGAE → Evalúa? → → Control financiero= IGAE → Evalúa? → → Control financiero
→ → AuditoriaAuditoria
EP
GJ.M
. Ádán
•Control financiero permanente:Control financiero permanente:• Verificación continuada de ENTIDADES. Verificación continuada de ENTIDADES.
“Aspecto económico financiero” (art. “Aspecto económico financiero” (art. 157) → ajuste a principios de buena 157) → ajuste a principios de buena gestión financiera.gestión financiera.
•La Evaluación debe evaluar La Evaluación debe evaluar políticas, no Instituciones.políticas, no Instituciones.
• Auditoria operativa: examen sistemático Auditoria operativa: examen sistemático y objetivo de las operaciones y y objetivo de las operaciones y procedimientos de una organización, procedimientos de una organización, programa, actividad o función pública programa, actividad o función pública con el objeto de proporcionar una con el objeto de proporcionar una valoración independiente de su valoración independiente de su racionalidad económicaracionalidad económica..E
PG
J.M. Á
dán
• Clasificación funcional de NN.UU.Clasificación funcional de NN.UU.
01.01. Servicios GeneralesServicios Generales02. Defensa02. Defensa03. Orden Público y Seguridad03. Orden Público y Seguridad04. Asuntos económicos04. Asuntos económicos05. Protección medioambiental05. Protección medioambiental06. Vivienda y Servicios Comunitarios06. Vivienda y Servicios Comunitarios07. Sanidad07. Sanidad08. Ocio, cultura y religión08. Ocio, cultura y religión09. Educación09. Educación10. Protección Social10. Protección Social
EP
GJ.M
. Ádán
• R.D. 1127/2008, de 4 de JulioR.D. 1127/2008, de 4 de Julio “ “El análisis yEl análisis y evaluación de las evaluación de las
políticas de gastopolíticas de gasto, , que comprenderá que comprenderá de forma especial la consideración de de forma especial la consideración de sus aspectossus aspectos sectoriales, territoriales sectoriales, territoriales y de su financiación,y de su financiación, así como el de la así como el de la propuesta de colaboración con otras propuesta de colaboración con otras AA.PP. en materia de financiación de AA.PP. en materia de financiación de inversiones u otra política de gasto inversiones u otra política de gasto ≡ ≡ Dirección General de PresupuestosDirección General de PresupuestosE
PG
J.M. Á
dán
• Las políticas de gasto de la Orden EHA/Las políticas de gasto de la Orden EHA/1333/2011, de 19 de Mayo:1333/2011, de 19 de Mayo:
Justicia Justicia (7 programas)(7 programas)DefensaDefensa (7 programas) (7 programas)Seguridad ciudadana e Instituciones Penitenciarias Seguridad ciudadana e Instituciones Penitenciarias
(11 programas)(11 programas)Política Exterior Política Exterior (5 programas)(5 programas)Pensiones Pensiones (7 programas)(7 programas)Otras prestaciones económicas Otras prestaciones económicas (3 programas)(3 programas)Servicios sociales y Promoción Social Servicios sociales y Promoción Social (15 programas)(15 programas)Fomento del empleo Fomento del empleo (2 programas)(2 programas)Desempleo Desempleo (1 programas)(1 programas)Acceso a la vivienda y fomento de la edificación Acceso a la vivienda y fomento de la edificación
(4 programas)(4 programas)Gestión y administración de la Seguridad Social Gestión y administración de la Seguridad Social
(2 programas)(2 programas)Sanidad Sanidad (14 programas)(14 programas)
EP
GJ.M
. Ádán
Educación Educación (16 programas)(16 programas)Cultura Cultura (15 programas)(15 programas)Agricultura, Pesca y Alimentación Agricultura, Pesca y Alimentación (11 (11 programas)programas)Industria y Energía Industria y Energía (10 programas)(10 programas)Comercio, Turismo y Pymes Comercio, Turismo y Pymes (6 programas)(6 programas)Subvenciones al transporte Subvenciones al transporte (4 programas)(4 programas)Infraestructura Infraestructura (17 programas)(17 programas)Investigación, desarrollo e innovación Investigación, desarrollo e innovación (17(17 programas)programas)Otras actuaciones de carácter económico Otras actuaciones de carácter económico (12(12 programas)programas)Alta Dirección Alta Dirección (10 programas)(10 programas)Servicios de carácter general Servicios de carácter general (21 programas)(21 programas)Administración Financiera y Tributaria Administración Financiera y Tributaria (7(7 programas)programas)Transferencias a otras Administraciones Transferencias a otras Administraciones Públicas Públicas (8 programas)(8 programas)Deuda Pública Deuda Pública (2 programas)(2 programas)
EP
GJ.M
. Ádán
IV.IV.LEY DE AGENCIAS LEY DE AGENCIAS (18 de (18 de Julio de 2006)Julio de 2006)
• Surge al no ser suficiente la Surge al no ser suficiente la respuesta dada de intentar respuesta dada de intentar solucionar problemas de gestión solucionar problemas de gestión con herramientas exclusivamente con herramientas exclusivamente presupuestariaspresupuestarias..
EP
GJ.M
. Ádán
COMPROMISO CON LA COMPROMISO CON LA MODERNIZACION Y EFICACIA DE LA MODERNIZACION Y EFICACIA DE LA ADMINISTRACIONADMINISTRACION• El Consejo de Ministros de 1 de diciembre El Consejo de Ministros de 1 de diciembre
de 2006 aprueba el Real Decreto por el que de 2006 aprueba el Real Decreto por el que se crea la Agencia Estatal de Evaluación de se crea la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los las Políticas Públicas y la Calidad de los Servicios.Servicios.
• Compromiso fundamental del Ejecutivo Compromiso fundamental del Ejecutivo para la modernización de la Administración.para la modernización de la Administración.
• Primera Agencia Estatal que se constituye Primera Agencia Estatal que se constituye para promover la cultura y la práctica de la para promover la cultura y la práctica de la evaluaciónevaluación
¿QUÉ VA A EVALUAR LA ¿QUÉ VA A EVALUAR LA AGENCIA?AGENCIA?
CUESTIONES REFERENTES A LAS POLÍTICAS CUESTIONES REFERENTES A LAS POLÍTICAS PÚBLICASPÚBLICAS
Impacto normativoImpacto normativoDiseñoDiseñoImplementaciónImplementaciónResultadosResultadosImpactos finalesImpactos finalesAspectos económicosAspectos económicos
A través de diferentes
Tipologías de Evaluación
DEFINICIONDEFINICION• Entendemos por Evaluación el proceso Entendemos por Evaluación el proceso
integral de observación, medida, análisis integral de observación, medida, análisis e interpretación encaminado al e interpretación encaminado al conocimiento de una intervención conocimiento de una intervención pública, sea esta una norma, programa, pública, sea esta una norma, programa, plan o política, para alcanzar un juicio plan o política, para alcanzar un juicio valorativo, basado en evidencias, valorativo, basado en evidencias, respecto a su diseño, puesta en práctica, respecto a su diseño, puesta en práctica, resultados e impacto.resultados e impacto.
LA EVALUACION LA EVALUACION EN EL CICLO DE INTERVENCION PUBLICAEN EL CICLO DE INTERVENCION PUBLICALa evaluación puede referirse tanto a los procesos de diseño, como La evaluación puede referirse tanto a los procesos de diseño, como de implementación, desarrollo y finalización de una intervención de implementación, desarrollo y finalización de una intervención pública.pública.
PLANIFICACION IMPLEMENTACION RESULTADOS IMPACTO
PROBLEMASNECESIDADES
INTERVENCION PÚBLICAEv.
IMPACTONORMATIVO
OBJETIVOS INSTRUMENTOSIMPLEMENTACION
RESULTADOSINTERMEDIOS
RESULTADOS FINALES
IMPACTOS
DESTINATARIOS SOCIEDAD
Ev.DIAGNÓSTICO
DISEÑO
Ev.IMPLEMENTACIÓN
Ev.RESULTADOS
Ev.IMPACTO
Ex ante Intermedia Ex post
COMPROMISOS COMPROMISOS ADQUIRIDOSADQUIRIDOS
• Evaluación de los programas y políticas Evaluación de los programas y políticas públicas que anualmente le encargue el públicas que anualmente le encargue el Consejo de MinistrosConsejo de Ministros..
• Evaluación anual del grado de aplicación Evaluación anual del grado de aplicación y de éxito de las principales medidas del y de éxito de las principales medidas del Programa Nacional de ReformasPrograma Nacional de Reformas..
• Informe Anual al Informe Anual al Congreso de los Congreso de los DiputadosDiputados acerca de la actividad acerca de la actividad desplegada por las Agencias Estatales y desplegada por las Agencias Estatales y sus compromisos para mejorar la calidad sus compromisos para mejorar la calidad de los servicios prestados a los de los servicios prestados a los ciudadanos.ciudadanos.
ESTRUCTURA DE GESTIONESTRUCTURA DE GESTION
Vertiente ejecutivaVertiente ejecutiva
DepartamentoDepartamento dede
EvaluaciónEvaluación
División deDivisión deEvaluación Evaluación De Políticas De Políticas de de RegulaciónRegulaciónFomento eFomento eInnovaciónInnovación
División deDivisión deEvaluaciónEvaluaciónDe PolíticasDe PolíticasDe EstadoDe Estado
División de División de EvaluaciónEvaluaciónDe ImpactoDe Impacto
Social ySocial yNueva AgendaNueva Agenda
PRESIDENCIAPRESIDENCIA División TécnicaDivisión Técnica
División de Estudios y MetodologíaDivisión de Estudios y Metodología
Departamento deDepartamento deGerenciaGerencia
División deDivisión deRecursosRecursosHumanosHumanos
DivisiónDivisiónEconómicoEconómicoFinancieraFinanciera
Departamento deDepartamento deCalidad de los ServiciosCalidad de los Servicios
División deDivisión deAgencias Agencias EstatalesEstatales
División deDivisión deProgramasProgramasDe CalidadDe Calidad
COLABORACIÓNCOLABORACIÓN• La Agencia está abierta a la La Agencia está abierta a la
participación y la colaboración con los participación y la colaboración con los distintos órganos de la Administración distintos órganos de la Administración General del Estado, Las Comunidades General del Estado, Las Comunidades Autónomas y las Entidades Locales.Autónomas y las Entidades Locales.
• Las Comunidades Autónomas que Las Comunidades Autónomas que firmen un Convenio de Colaboración firmen un Convenio de Colaboración con la Agencia podrán contar con con la Agencia podrán contar con representantes en el Consejo Rector representantes en el Consejo Rector de la misma.de la misma.
AEVALAEVALPlanPlan de trabajo 2010de trabajo 2010• Programa y Políticas PúblicasPrograma y Políticas Públicas
1.1. Plan Español de Energías Renovables 2005-Plan Español de Energías Renovables 2005-2010.2010.
2.2. Líneas ICO-PYME.Líneas ICO-PYME.3.3. Estrategia de salud de cuidados paliativos.Estrategia de salud de cuidados paliativos.4.4. Programa de ayudas a Reindustrialización.Programa de ayudas a Reindustrialización.5.5. Gestión y funcionamiento de las Gestión y funcionamiento de las
Demarcaciones de Costas para la protección Demarcaciones de Costas para la protección del dominio Público Marítimo. del dominio Público Marítimo.
6.6. Programas de Vacaciones para personas Programas de Vacaciones para personas mayores y termalismos sociales.mayores y termalismos sociales.
AEVALAEVALPlan de Trabajo 2011Plan de Trabajo 2011
• Programas y políticas publicasProgramas y políticas publicas1.1. Evaluación de las líneas ICO-PYME Evaluación de las líneas ICO-PYME
(segunda fase).(segunda fase).2.2. Evaluación sobre las trabas Evaluación sobre las trabas
administrativas para la creación de administrativas para la creación de empresas.empresas.
3.3. Evaluación externa de la calidad del Evaluación externa de la calidad del servicio prestado por la ventanilla servicio prestado por la ventanilla única para el comercio exterior de única para el comercio exterior de Canarias.Canarias.
AEVALAEVALPlan de Trabajo 2011Plan de Trabajo 2011
Programa y políticas publicas objeto de Programa y políticas publicas objeto de Convenio con las CC.AA.Convenio con las CC.AA.
• Evaluación del Plan de Acción Integral Evaluación del Plan de Acción Integral de la playa de Palma.de la playa de Palma.
• Evaluación de los programas de Evaluación de los programas de Selección y Formación de la Escuela Selección y Formación de la Escuela de Administración Regional de de Administración Regional de Castilla-La Mancha.Castilla-La Mancha.
CONCLUSIONES PARCIALESCONCLUSIONES PARCIALES1.1. Dentro del ámbito del MEH, solo se pueden Dentro del ámbito del MEH, solo se pueden
realizar evaluaciones de políticas de gasto.realizar evaluaciones de políticas de gasto.2.2. Quien tiene la competencia directa es la DGP que Quien tiene la competencia directa es la DGP que
carece de los medios adecuados.carece de los medios adecuados.3.3. La evaluación como competencia de la IGAE se La evaluación como competencia de la IGAE se
ciñe más a la “actividad y procedimiento” y se ciñe más a la “actividad y procedimiento” y se ahorma dentro de las modalidades del control ahorma dentro de las modalidades del control interno. No obstante es el órgano que dispone de interno. No obstante es el órgano que dispone de un mayor aparato logístico para la realización de un mayor aparato logístico para la realización de la Evaluación.la Evaluación.
4.4. Es necesaria una acomodación normativa que Es necesaria una acomodación normativa que permita a la IGAE tener las competencias permita a la IGAE tener las competencias adecuadas para la Evaluación de las políticas de adecuadas para la Evaluación de las políticas de gasto. De otro modo se puede interpretar el art. gasto. De otro modo se puede interpretar el art. 72 de la LGP en el sentido lato y conceder a la 72 de la LGP en el sentido lato y conceder a la IGAE esta competencia de evaluar, pero en mi IGAE esta competencia de evaluar, pero en mi opinión es necesaria una base más clara y sólida.opinión es necesaria una base más clara y sólida.
5.5. La Agencia de Evaluación tiene unas competencias La Agencia de Evaluación tiene unas competencias amplias y no habrá solape con la evaluación amplias y no habrá solape con la evaluación ejecutada por el MEH siempre que se centre en ejecutada por el MEH siempre que se centre en políticas públicas distintas a las de gasto.políticas públicas distintas a las de gasto.
EP
GJ.M
. Ádán
V. V. LA ESCASA EXPERIENCIA LA ESCASA EXPERIENCIA EN OTROS PAISES.EN OTROS PAISES.• Australia (Australian National Audit Australia (Australian National Audit
Office, ANAO) Office, ANAO) • Finlandia (Vaitionouden Finlandia (Vaitionouden
Tarkastusvirasto, Oficina del Auditor del Tarkastusvirasto, Oficina del Auditor del Estado)Estado)
• Irlanda (Officce of the Comptroller and Irlanda (Officce of the Comptroller and Auditor General)Auditor General)
• Noruega (Rikssevisjonen, Auditoria del Noruega (Rikssevisjonen, Auditoria del Estado)Estado)
• Países Bajos (Tribunal de Auditores)Países Bajos (Tribunal de Auditores)
EP
GJ.M
. Ádán
• Evaluación ≡ Evaluación ≡ No se puede hacer gestión pública de No se puede hacer gestión pública de calidad, si quienes ejercen el control calidad, si quienes ejercen el control político NO TIENEN VERDADEROS político NO TIENEN VERDADEROS MECANISMOS de evaluación.MECANISMOS de evaluación.Los indicadores de gestión se cumplen Los indicadores de gestión se cumplen de acuerdo con la planificación.de acuerdo con la planificación.
• Seguimiento de PROYECTOS ≡ Seguimiento de PROYECTOS ≡ – Indicadores de cumplimientoIndicadores de cumplimiento– Elaboración del presupuesto ≡ Elaboración del presupuesto ≡
Columna vertebral de las políticas Columna vertebral de las políticas públicas.públicas.
La Evaluación en la Union La Evaluación en la Union EuropeaEuropeaCuestionario Inicial (2003)Cuestionario Inicial (2003)1ª. ¿En qué parte del sector público se lleva a cabo la 1ª. ¿En qué parte del sector público se lleva a cabo la
evaluación?evaluación?2ª. ¿Qué coordinación de las actividades de 2ª. ¿Qué coordinación de las actividades de
evaluación tiene lugar a lo largo de la evaluación tiene lugar a lo largo de la administración y quien es el responsable?.administración y quien es el responsable?.
3ª. ¿Cuál es el foco de la evaluación en su país?3ª. ¿Cuál es el foco de la evaluación en su país?4ª. ¿Cuántos tipos de evaluación se llevan a cabo?4ª. ¿Cuántos tipos de evaluación se llevan a cabo?5ª. ¿Por qué se llevan a cabo las evaluaciones?5ª. ¿Por qué se llevan a cabo las evaluaciones?6ª. ¿Los afectados en la evaluación están 6ª. ¿Los afectados en la evaluación están
involucrados o son consultados y en qué etapa?.involucrados o son consultados y en qué etapa?.7ª. ¿Cómo se utilizan los resultados de la evaluación?.7ª. ¿Cómo se utilizan los resultados de la evaluación?.8ª. ¿Qué seguimiento se hace de las evaluaciones?.8ª. ¿Qué seguimiento se hace de las evaluaciones?.9ª. ¿Qué medidas se llevan a cabo para estructurar la 9ª. ¿Qué medidas se llevan a cabo para estructurar la
capacidad de evaluar?.capacidad de evaluar?.10ª. ¿Hasta qué punto las evaluaciones son planeadas 10ª. ¿Hasta qué punto las evaluaciones son planeadas
anticipadamente?anticipadamente?EP
GJ.M
. Ádán
La Evaluación en la UELa Evaluación en la UE1ª. 1ª.
- En los Ministerios → modelo - En los Ministerios → modelo descentralizadodescentralizado - Si se añaden las autoridades - Si se añaden las autoridades regionales – noregionales – no UE = Cada D.G. es UE = Cada D.G. es
responsable de evaluar su responsable de evaluar su actividad.actividad.
2ª. - M.H. principalmente.2ª. - M.H. principalmente.-UE= cada D.G. La D.G. de -UE= cada D.G. La D.G. de Presupuesto Presupuesto coordinacoordina
- Diversidad → economía- Diversidad → economía → → eficiencia ≡ U.Eeficiencia ≡ U.E.. → → eficaciaeficacia
• 1ª. ¿En qué parte del 1ª. ¿En qué parte del sector público se lleva a sector público se lleva a cabo la evaluación?cabo la evaluación?
• 2ª. Qué coordinación de 2ª. Qué coordinación de las actividades de las actividades de evaluación tiene lugar y evaluación tiene lugar y quien es el responsable?.quien es el responsable?.
EP
GJ.M
. Ádán
La Evaluación en la UELa Evaluación en la UE• 3ª. Economía, 3ª. Economía,
Eficacia, Eficacia, Sostenibilidad.Sostenibilidad.
• UE=Eficacia, UE=Eficacia, Eficiencia, Eficiencia, Consistencia. Consistencia.
• 3ª.¿Cuál es el foco 3ª.¿Cuál es el foco de la evaluación en de la evaluación en su país?su país?
La Evaluación en la UELa Evaluación en la UE
4ª. - No fué posible 4ª. - No fué posible una respuesta una respuesta común válida.común válida.- U.E. contestó - U.E. contestó numéricamentenuméricamente
• 4ª. ¿Cuántos tipos 4ª. ¿Cuántos tipos de evaluación se de evaluación se llevan a cabo?.llevan a cabo?.
EP
GJ.M
. Ádán
La Evaluación en la UELa Evaluación en la UE• 5ª.-Requerimiento 5ª.-Requerimiento
presupuestario.presupuestario.• Solo Estonia contestó “… Solo Estonia contestó “…
Como HERRAMIENTA del Como HERRAMIENTA del gestor.gestor.
• UE=R.Financiero (Art. 27,28 UE=R.Financiero (Art. 27,28 y 33).y 33).
• En la Programación y En la Programación y Planificación estratégica los Planificación estratégica los resultados del ciclo de resultados del ciclo de evaluación, impacto evaluación, impacto esencial para análisis esencial para análisis objetivos políticos y objetivos políticos y asignación de recursos.asignación de recursos.
• 5ª.¿Por qué se llevan a 5ª.¿Por qué se llevan a cabo las cabo las evaluaciones?evaluaciones?
La Evaluación en la UELa Evaluación en la UE6ªFundamentalme6ªFundamentalme
nteal final en la nteal final en la comprobación de comprobación de resultados.resultados.
UE=En cualquier UE=En cualquier etapa.etapa.
• 6ª.¿Los afectados 6ª.¿Los afectados en la evaluación en la evaluación están involucrados están involucrados o son consultados o son consultados y en qué etapa? y en qué etapa?
EP
GJ.M
. Ádán
La Evaluación en la UELa Evaluación en la UE7ª.-Dentro del MH.7ª.-Dentro del MH.• -UE=Establecimiento -UE=Establecimiento
de prioridades de prioridades políticas.políticas.
• 8ª.-Para ser públicas 8ª.-Para ser públicas y disponibles.y disponibles.
• -UE=Públicas-UE=Públicas
• 7ª. ¿Cómo se 7ª. ¿Cómo se utilizan los utilizan los resultados de la resultados de la evaluación?.evaluación?.
• 8ª.¿Qué 8ª.¿Qué seguimiento se hace seguimiento se hace de las evaluaciones?de las evaluaciones?
La Evaluación en la UELa Evaluación en la UE9ª. - Respuestas diversas 9ª. - Respuestas diversas
(recursos financieros, (recursos financieros, humanos)humanos)U.E. =Responsabilidades U.E. =Responsabilidades definidas, procedimiento definidas, procedimiento de mejora.de mejora.
10ª. 10ª. - En el M.H. la mayoría- En el M.H. la mayoríaU.E. ≡ Programa U.E. ≡ Programa Multianual de Evaluación Multianual de Evaluación establecido a finales de establecido a finales de 20032003 Programa Anual de Programa Anual de EvaluacionesEvaluaciones
• 9ª.¿Qué medidas se 9ª.¿Qué medidas se llevan a cabo para llevan a cabo para estructurar la estructurar la capacidad de evaluar?capacidad de evaluar?
• 10ª. Hasta que punto 10ª. Hasta que punto las evaluaciones son las evaluaciones son planeadas planeadas anticipadamenteanticipadamente??
EP
GJ.M
. Ádán
La Evaluación en la UE La Evaluación en la UE Conclusiones Parciales Conclusiones Parciales (test)(test)
1ª. El modelo más común en los Estados Miembros 1ª. El modelo más común en los Estados Miembros concerniente a las actividades de evaluación es una concerniente a las actividades de evaluación es una combinación de las llevadas a cabo en el Ministerio de combinación de las llevadas a cabo en el Ministerio de Hacienda y en otros Ministerios.Hacienda y en otros Ministerios.
2ª. La coordinación de las actividades de evaluación tiene 2ª. La coordinación de las actividades de evaluación tiene lugar en las mayoría de los Estados Miembros con un lugar en las mayoría de los Estados Miembros con un énfasis singular del Ministerio de Hacienda.énfasis singular del Ministerio de Hacienda.
3ª. La respuesta al foco de la evaluación no permite alcanzar 3ª. La respuesta al foco de la evaluación no permite alcanzar ninguna conclusión.ninguna conclusión.
4ª. El resultado del cuestionario no permite un cuadro 4ª. El resultado del cuestionario no permite un cuadro completo de los diferentes tipos de evaluación llevados a completo de los diferentes tipos de evaluación llevados a cabo por los Estados Miembros.cabo por los Estados Miembros.
5ª. 17 Estados Miembros respondieron que llevan a cabo 5ª. 17 Estados Miembros respondieron que llevan a cabo evaluaciones por requerimientos ligados a las actividades evaluaciones por requerimientos ligados a las actividades financiadas por la UE y era solamente la única razón por la financiadas por la UE y era solamente la única razón por la que la llevaban a cabo 4 Estados Miembros.que la llevaban a cabo 4 Estados Miembros.
EP
GJ.M
. Ádán
Evaluación de Políticas en la Evaluación de Políticas en la UEUE
• Evaluación “Judgement of interventions Evaluación “Judgement of interventions according to their results, impacts and according to their results, impacts and needs they aim to satisfy”needs they aim to satisfy”
• ““Juicio de las intervenciones en relación Juicio de las intervenciones en relación con sus resultados, sus impactos y las con sus resultados, sus impactos y las necesidades que dichas intervenciones necesidades que dichas intervenciones quieren satisfacer”quieren satisfacer”
• ≡ ≡ proceso que culmina con un juicio proceso que culmina con un juicio sobre una acciónsobre una acción
• Foco: necesidad, resultados, impactosFoco: necesidad, resultados, impactosEP
GJ.M
. Ádán
Principales razones para EVALUARPrincipales razones para EVALUAR•Contribuir al diseño de las Contribuir al diseño de las
intervenciones, suministrando ideas intervenciones, suministrando ideas para establecer prioridades políticas.para establecer prioridades políticas.
•Ayudar en la asignación eficiente de Ayudar en la asignación eficiente de los recursos.los recursos.
•Mejorar la calidad de las Mejorar la calidad de las intervenciones.intervenciones.
• Informar sobre los logros de las Informar sobre los logros de las intervenciones.intervenciones.
Evaluación de Políticas en la Evaluación de Políticas en la UEUE
EP
GJ.M
. Ádán
Evaluación de Políticas en la Evaluación de Políticas en la UE Diferencias entre UE Diferencias entre
EVALUACIÓN Y AUDITORIAEVALUACIÓN Y AUDITORIAAUDITORIAAUDITORIA• Engloba el examen y Engloba el examen y
consejo sobre la consejo sobre la adecuación y efectividad adecuación y efectividad de los sistemas de control de los sistemas de control interno de las Direcciones interno de las Direcciones Generales.Generales.
• La auditoria por La auditoria por resultados tiende a resultados tiende a centrarse en la ejecución centrarse en la ejecución de una actividad y sus de una actividad y sus efectos inmediatos.efectos inmediatos.
Auditoria ≡ Examina como se Auditoria ≡ Examina como se conceden las becasconceden las becas
EVALUACIONEVALUACION
• Valoración de resultados con Valoración de resultados con respecto a los efectos de una respecto a los efectos de una intervenciónintervención
• Trata de explicar como resultados e Trata de explicar como resultados e impactos están condicionados por los impactos están condicionados por los mecanismos de aplicación.mecanismos de aplicación.
Evaluación ≡ Examina el impacto y Evaluación ≡ Examina el impacto y resultados de la concesión de becasresultados de la concesión de becas
EP
GJ.M
. Ádán
Evaluación de Políticas en la Evaluación de Políticas en la UEUE Aspectos de los Efectos de Aspectos de los Efectos de las Políticaslas Políticas
• ¿Como se aplican los instrumentos ¿Como se aplican los instrumentos políticos en los E. Miembros?.políticos en los E. Miembros?.
• ¿A quien afecta?¿A quien afecta?• ¿Como la intervención se piensa que ¿Como la intervención se piensa que
debe comportarse y como se debe comportarse y como se comporta en realidad?comporta en realidad?
• Efectos de la intervención (por qué Efectos de la intervención (por qué produce ciertos efectos y no otros)produce ciertos efectos y no otros)
EP
GJ.M
. Ádán
Evaluación de Políticas en la Evaluación de Políticas en la UEUE• 1 área política1 área política• 4 Actividades ≡ a, con 2 programa de 4 Actividades ≡ a, con 2 programa de
gastogasto ≡ ≡ d, con 2 medidas sin gastod, con 2 medidas sin gasto
≡ ≡ b, c,, mezclab, c,, mezclaEj.: U.E. ≡ medida regulatoria (actividad b-1)Ej.: U.E. ≡ medida regulatoria (actividad b-1) objetivo de la directiva ≡ mejorar la objetivo de la directiva ≡ mejorar la
calidad del aire (impacto) a través de la calidad del aire (impacto) a través de la reducción de las actividades de polución reducción de las actividades de polución (resultados). (resultados). Output de intervención Ej.: multas por Output de intervención Ej.: multas por incumplimiento, impuestos, cargas, limites incumplimiento, impuestos, cargas, limites cuantitativos a la polución …cuantitativos a la polución …
POLITICA APOLITICA AActividad aActividad a Output 1Output 1 Resultado 1Resultado 1InversionesInversiones(Subvenciones)(Subvenciones) Impacto Impacto
11ConcienciaciónConcienciación Output 2Output 2 Resultado 2Resultado 2(contratista externo)(contratista externo)Actividad bActividad b Output 3Output 31. Medidas Regulatorias1. Medidas Regulatorias Output 4Output 4(Directiva del Consejo)(Directiva del Consejo) Impacto Impacto
222. Proyecto Piloto2. Proyecto Piloto Output5Output5 Resultado 3Resultado 3 Impacto totalImpacto total(Contratista Externo)(Contratista Externo)Actividad cActividad cRegulación transitoriaRegulación transitoria Output 6Output 6(Acuerdos sectoriales)(Acuerdos sectoriales) Resultado 4Resultado 4 Impacto Impacto
33ApoyoApoyo Output 7Output 7(Subvenciones)(Subvenciones)Estudio de viabilidadEstudio de viabilidad(Contratista externo)(Contratista externo) LeyendaLeyendaActividad dActividad d Resultado 5Resultado 5 GastoGastoConvenioConvenio Output 8Output 8 No gastoNo gastoCooperación Cooperación internacionalinternacional
Factores exógenos institucionales, geográficos, medio-ambiente, socio-económicos que tienen lugar a nivel de resultados y de impacto.
Contexto Institucional
VI.VI. - - LA EVALUACIÓN DE LAS LA EVALUACIÓN DE LAS POLÍTICAS DE GASTO Y LA POLÍTICAS DE GASTO Y LA AUDITORIAAUDITORIA• Política de Gasto: I+d+i (Investigación, desarrollo Política de Gasto: I+d+i (Investigación, desarrollo
e innovación)e innovación)- Programas de gasto: 17- Programas de gasto: 17- Órganos gestores: 38- Órganos gestores: 38- Intervenciones Delegadas: 10- Intervenciones Delegadas: 10- Divisiones ONA:- Divisiones ONA: 1 1
• Programas:Programas:- 462M Investigación y estudios sociológicos y - 462M Investigación y estudios sociológicos y constitucionalesconstitucionales- 462N Investigación y estudios estadísticos y - 462N Investigación y estudios estadísticos y económicoseconómicos- 463A Investigación científica- 463A Investigación científica- 463B Fomento y coordinación de la - 463B Fomento y coordinación de la investigación científica y técnicainvestigación científica y técnica- 464A Investigación y Estudios de las Fuerzas - 464A Investigación y Estudios de las Fuerzas Armadas Armadas
EP
GJ.M
. Ádán
La Evaluación de las Políticas de La Evaluación de las Políticas de Gasto y la AuditoriaGasto y la Auditoria
- 464B Apoyo a la Innovación tecnológica en el - 464B Apoyo a la Innovación tecnológica en el sector de la defensasector de la defensa- 465A Investigación sanitaria- 465A Investigación sanitaria- 466A Investigación y evaluación educativa- 466A Investigación y evaluación educativa- 467A Astronomía y astrofísica- 467A Astronomía y astrofísica- 467B Investigación, desarrollo y experimentación - 467B Investigación, desarrollo y experimentación en transportes e infraestructuras.en transportes e infraestructuras.
- 467C Investigación y desarrollo tecnológico-- 467C Investigación y desarrollo tecnológico-industrialindustrial- 467D Investigación y experimentación agraria- 467D Investigación y experimentación agraria- 467E Investigación oceanográfica y pesquera- 467E Investigación oceanográfica y pesquera- 467F Investigación geológico-minera y - 467F Investigación geológico-minera y medioambientalmedioambiental- 467G Investigación y desarrollo de la Sociedad de - 467G Investigación y desarrollo de la Sociedad de la Informaciónla Información- 467H Investigación energética, medioambiental y - 467H Investigación energética, medioambiental y tecnológicatecnológica- 467I Innovación tecnológica de las - 467I Innovación tecnológica de las telecomunicacionestelecomunicaciones
Política de gasto: Investigación, Política de gasto: Investigación, desarrollo e innovacióndesarrollo e innovación
PROGRAMASPROGRAMAS ORGANO GESTORORGANO GESTOR Intervención Intervención DelegadaDelegada
462M Investigación y 462M Investigación y estudios estudios sociológicos y sociológicos y constitucionalesconstitucionales
CENTRO DE CENTRO DE ESTUDIOS POLITICOS ESTUDIOS POLITICOS Y Y CONSTITUCIONALESCONSTITUCIONALES
Intervención Intervención Delegada Ministerio Delegada Ministerio de la Presidenciade la Presidencia
CENRO DE CENRO DE INVESTIGACIONES INVESTIGACIONES SOCIOLÓGICASSOCIOLÓGICAS
Intervención Intervención Delegada Ministerio Delegada Ministerio de la Presidencia de la Presidencia
462N Investigación y 462N Investigación y estudios estadísticos y estudios estadísticos y económicoseconómicos
INSTITUTO DE INSTITUTO DE ESTUDIOS FISCALESESTUDIOS FISCALES
Intervención Intervención Delegada Ministerio Delegada Ministerio de Economía y de Economía y HaciendaHacienda
463A Investigación 463A Investigación científicacientífica
Mº. EDUCACION Y Mº. EDUCACION Y CIENCIACIENCIA
Intervención Intervención Delegada Ministerio Delegada Ministerio Educación y CienciaEducación y Ciencia
CONSEJO SUPERIOR CONSEJO SUPERIOR DE INVESTIGACIONES DE INVESTIGACIONES CIENTÍFICASCIENTÍFICAS
Intervención Intervención Delegada en el Delegada en el Consejo Superior de Consejo Superior de Investigaciones Investigaciones CientíficasCientíficas
EP
GJ.M
. Ádán
PROGRAMAPROGRAMA CENTRO GESTORCENTRO GESTOR SERVISERVICIOCIO C A P I T U L O (en miles de euros)C A P I T U L O (en miles de euros) TOTALTOTAL
1ª1ª 2ª2ª 33ªª
4ª4ª 6ª6ª 77ªª
8ª8ª 9ª9ª
462M – 462M – Investigación Investigación y estudios y estudios sociológicos y sociológicos y constitucionalconstitucionales Aes A
CENTRO DE CENTRO DE ESTUDIOS ESTUDIOS POLÍTICOS Y POLÍTICOS Y CONSTITUCIONALCONSTITUCIONALES (Mº. ES (Mº. PresidenciaPresidencia 3.092.3.092.
88881.510.1.510.
080800 3.013.01 438.438.
727200 12.012.0
3300 5.057.325.057.32
BB
CENTRO DE CENTRO DE INVESTIGACIONES INVESTIGACIONES SOCIAOLOGICASSOCIAOLOGICAS
3.361.3.361.1313
4.537,4.537,4747
00 152,152,8080
280,280,1616
00 12,012,022
00 8.343,588.343,58
6.454,6.454,0101
6.047,6.047,5555
156,156,4141
719,719,8888
24,024,055
13.400,913.400,900
EJEMPLO DEL EJEMPLO DEL PROGRAMA 462MPROGRAMA 462M
EP
GJ.M
. Ádán
0,00
1.000,00
2.000,00
3.000,00
4.000,00
5.000,00
6.000,00
7.000,00
PRESUPUESTADO
1º 2º 4º 6º 8º
CAPITULOS
PROGRAMA 462M - Investigación y estudios sociológicos y constitucionales
1º2º4º6º8º
POLITICA DE GASTO: Investigación, Desarrollo e InnovaciónPOLITICA DE GASTO: Investigación, Desarrollo e Innovación PROGRAMASPROGRAMAS
Objetivo Objetivo 11
Resultado Resultado 11
462M462M - Investigación - Investigación y estudios y estudios sociológicos y sociológicos y constitucionalesconstitucionales
Impacto Impacto 11
Objetivo Objetivo 22
Resultado Resultado 22
462N Investigación y 462N Investigación y estudios estadísticos estudios estadísticos y económicosy económicos
Objetivo Objetivo 33
Resultado Resultado 33
Impacto Impacto 22
Objetivo Objetivo 44
Resultado Resultado 44
Impacto Impacto totaltotal
463A Investigación 463A Investigación científicacientífica Impacto Impacto
33Objetivo Objetivo
55Resultado Resultado
55463B Fomento y 463B Fomento y coordinación de la coordinación de la investigación investigación científica y técnicacientífica y técnica Objetivo Objetivo
66Resultado Resultado
66Impacto Impacto
44
464A Investigación y 464A Investigación y estudio de las estudio de las Fuerzas ArmadasFuerzas Armadas
Objetivo Objetivo 77
Resultado Resultado 77
Objetivo Objetivo 88
Resultado Resultado 88
Impacto Impacto 55
Objetivo Objetivo 99
Resultado Resultado 99
CONCLUSIONESCONCLUSIONES1.1. Evaluación y Auditoria son técnicas Evaluación y Auditoria son técnicas
distintasdistintas2.2. Es necesario un ajuste normativo para Es necesario un ajuste normativo para
permitir al control interno la realización permitir al control interno la realización de las evaluaciones de las políticas de de las evaluaciones de las políticas de gasto.gasto.
3.3. La técnica de la evaluación a partir de La técnica de la evaluación a partir de las auditorias es muy compleja pero se las auditorias es muy compleja pero se considera las más eficaz.considera las más eficaz.
4.4. Las auditorias de programas y las Las auditorias de programas y las operativas, son las herramientas más operativas, son las herramientas más eficaces para lograr evaluaciones eficaces para lograr evaluaciones basadas en auditorias.basadas en auditorias.
5.5. No existe experiencia internacional No existe experiencia internacional suficiente en evaluaciones realizadas suficiente en evaluaciones realizadas por órganos de controlpor órganos de control..
EP
GJ.M
. Ádán