1

The Result Orientation : Cohesion Policy at work Collecting evidence on the 2014-20 Programming Period : the way forward

Evaluation plans

1

Christian Biral Project Manager

Conclusions : opportunities and limits

Contents

1

2

3

The road to the construction of evaluation plans

The Rhone-Alpes evaluation plan

OBLIGATIONS EUROPÉENNES

The evaluation plan shall

be submitted to the

monitoring committee no

later than one year after

the adoption of the

operational programme.

(Art. 114)

Evaluations shall be

carried out by internal or

external experts that are

functionally independent

of the authorities

responsible for

programme

implementation.

The construction of the plans : obligations

3

OBLIGATIONS EUROPÉENNES

The construction of the plans : objectives

The evaluation should be used to improve the effectiveness and efficiency of programmes

Stakeholders involvement – collaborative approach – is crucial

4

1

2

3

The construction of the plans : a collaborative approach

5

A seminar on « evaluation plan»

to get into the process with all stakeholders

To get involved in the whole programme

Strengthening the culture of evaluation • To give meaning to the evaluation plan • To understand the evaluation process and

to show the importance of monitoring

Identification of evaluation themes

• ERDF : 198 M€

Applied innovation 28 M € Climate change ; environmental risks 37 M €

Attractiveness of Alcotra Regions 84 M €

Social inclusion; european citizenship 37 M €

Interreg Alcotra Italy France Cross Border Cooperation Program

6

• ERDF : 33 M€

Enhancing community flood resilience 9,22 M €

Supporting the development of river transport 9,99 M €

Wetland preservation and restoration & strengthening territory’s heritage 12,8 M€

The Rhône-Alpes OP Rhône-Saône

7

509 M € : • ERDF : 364M€ • ESF : 145M€

Research, development & innovation 207 M € Climate change & energy transition ; environmental

concerns 146 M €

Sustainable employment 32 M €

Training for jobseekers 108 M €

The Rhône-Alpes OP ERDF-ESF

8

The construction of the plans

9

An evaluation plan should include the following elements

1 – OBJECTIVES, COVERAGE, COORDINATION

2 - EVALUATION FRAMEWORK

3 - PLANNED EVALUATIONS

(source Guidance 03 2014)

The Rhône-Alpes OP ERDF-ESF intervention logic

10

These evaluations cover all specific objectives of the OP

The Rhône-Alpes OP ERDF-ESF evaluation plan

11

1 implementation

evaluation

1 strategic environ-mental

1 ex-ante evaluation

4 thematic impact

evaluations

Evaluations

mandatory in 2020 to prepare the next period

RESEARCH & DEVELOPMENT

The choice of the evaluation themes : an information meeting

OBJECTIVES OF THE EU

STRATEGY

INTERVENTION LOGIC

FINANCIAL MODEL

TRANSVERSAL APPROACH

PAST EVALUATIONS

EMPLOYMENT

CLIMATE CHANGE

JOBS

LIFE QUALITY SELF RELIANT

LIFESTYLES

TRAINING FOR UNEMPLOYED

LOW EMISSION

IMPACT ON JOBS - PROFESSIONNAL

TRAINING CONTRACT

THERMAL RENOVATION

DEVELOPMENT OF INNOVATION

12

CLIMATE CHANGE ENERGY TRANSITION

IMPROVEMENT IN UNEMPLOYMENT

WELL BEING

UR

BA

N

ASP

ECTS

EQU

ALITY

R

IS3

SUSTA

INA

BLE D

EVELO

PM

ENT

MO

UN

TAIN

NA

TUR

E LEISUR

E

INNOVATION RESEARCH &

DEVELOPMENT VALUE CREATION

Axe du PO

OT OS Intitulés OS Changements attendus en 2020 Thème 1 : Innovation

Thème 2: Climat

Thème 3 : Emploi

Thème 4: Bien-être

nb thèmes mobilisant

l'OS

OS 1

ACCROITRE L’OFFRE DE RECHERCHE, DÉVELOPPEMENT ET D’INNOVATION MOBILISABLE PAR LES ENTREPRISES DANS LES DOMAINES DE SPÉCIALISATION INTELLIGENTE

Renforcer la création d’entreprises à fort potentiel de croissance basées sur de nouvelles technologies

X X 2

1

OS 2

ACCROITRE LE DÉVELOPPEMENT PAR LES ENTREPRISES DE PRODUITS, SERVICES ET PROCÉDÉS INNOVANTS DANS LES DOMAINES DE SPÉCIALISATION INTELLIGENTE

Renforcer la compétitivité des entreprises en développant des produits, procédés, services innovants

X X X 3

OS 3

DÉVELOPPER LA COUVERTURE TRÈS HAUT DÉBIT EN FIBRE OPTIQUE DES ENTREPRISES ET DES SITES PUBLICS POUR SOUTENIR LA CROISSANCE SUR LE TERRITOIRE

Accroître le nombre d’entreprises compétitives, en particulier innovantes, et créer des emplois, notamment dans le secteur du déploiement de la fibre

X X 2

OS 4

AUGMENTER LE NIVEAU D'APPROPRIATION DU NUMÉRIQUE PAR LES ENTREPRISES

Consolider la compétitivité des acteurs économiques de proximité, la productivité et la croissance par l’intégration des usages et services numériques

X X 2 2

OS 5

ACCROITRE LES NOUVEAUX SERVICES ET USAGES NUMÉRIQUES PRIORITAIREMENT DANS LES DOMAINES DE LA SANTÉ ET DE L’ÉDUCATION

Favoriser l’autonomie et l’employabilité de tous les rhônalpins par l’appropriation de l’usage du numérique - Développer des services innovants dans les domaines de la santé et de l’éducation

X X X 3

I -

L’I

NN

OV

AT

ION

AU

SE

RV

ICE

DE

S E

NJE

UX

SO

CIÉ

TA

UX

3 OS 6

AUGMENTER LE NOMBRE D’ENTREPRISES PÉRENNES

Augmenter le nombre d’entreprises durables, notamment les créations d’entreprises à fort potentiel de développement

X 1

Example : review of specific objectives cover (SO 1 to 6) by evaluation themes

The Rhône-Alpes OP ERDF-ESF evaluation plan

13

évaluation 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025

mise en œuvre

impact thématique 1

impact thématique 2

impact thématique 3

impact thématique 4

trans-programmes

ex ante / ESE

ex post CE

programmation

PROGRAMMATION 2014-2020

écriture du PO

2021-2027

autres évènements

RAMO 31/

5

30/

6

30/

6

30/

6

30/

6

revue de performance

Synthèse des

résultats des

évaluations

évaluations ex-

post de la CE :

achevées au plus

tard le 31/12/24

The Rhône-Alpes OP ERDF-ESF evaluation plan

The evaluation programming : a demanding exercise

• We have to wait until the effects can be observable

• But the evaluations need to be started early enough to provide useful conclusions

The Rhône-Alpes OP ERDF-ESF evaluation plan

15

The evaluative process for each theme

1

2

3

4

5

Formulation of evaluative questions

Delimitation of the perimeter

Evaluative methods

List and organisation of the available data

List of the unavailable data to organise data collection

Evaluative process : using logigrams

A tool for structuring the logic of a public intervention

What?

It illustrates the causal links between the:

How?

-> ANTICIPATE

PREPARE THE WORK OF THE

EVALUATOR

Why?

Outputs Outcomes Results

17

Logigramme PC ALCOTRA - thème d’évaluation 1 – Innovation appliquée

Réalisations Résultats Impacts globaux Impacts intermédiaires

Soutien aux pôles d’innovation, clusters et associations professionnelles en R&D

La qualité des réseaux entre le secteur de la recherche et les entreprises s’améliore, les partenariats technologiques et industriels se développent, des coopérations avancées se créent dans les filières transfrontalières

Les expérimentations de techniques de construction ou de rénovation écologique se développent dans les édifices publics avec des éco-matériaux principalement issus des filières locales

Soutien aux projets expérimentaux innovants transfrontaliers (y compris chantiers pilotes dans le domaine de l’efficacité énergétique des bâtiments publics

Les systèmes économiques et productifs locaux sont plus performants ; le nombre d’entreprises plus compétitives augmente

Les capacités de recherche et d’innovation sont relevés

Les entreprises se développent et se

maintiennent sur le territoire ; de la valeur

et des emplois sont créés

Soutien des entreprises et des acteurs qui développent et fournissent des services novateurs et de R&D

Les entreprises utilisent les nouvelles technologies de manière adaptée

Des produits, services et procédés innovants se créent ; l’offre de services publics innovants se développe dans les zones les plus marginales

Des filières de production prioritaires communes aux Stratégies d’Innovation des 5 régions du territoire se développent L’efficacité

énergétique s’améliore dans le

secteur de la construction

Soutien aux actions de communication, d’information et de formation dans le domaine de l’efficacité énergétique

Les comportements évoluent et les pratiques changent dans le sens de la lutte contre le changement climatique

Evaluative process : using logigrams (example)

OUTPUTS OUTCOMES IMPACTS

18

Logigramme PC ALCOTRA - thème d’évaluation 1 – Innovation appliquée

OUTPUTS

Evaluative process : using logigrams The example of Interreg CBC Program Alcotra Applied Innovation Axis)

ECONOMIC DEVELOPMENT

PUBLIC POLICIES

CHANGE OF BEHAVIOUR BETWEEN

ECONOMIC DEVELOPMENT

ACTORS

STRENGTHENING STRATEGIC

PARTNERSHIPS & TERRITORIAL

COOPERATION

STRENGTHENING INNOVATION CAPACITIES,

PERFORMANCE & COMPETITIVENESS

NEW CONCEPTS,

PRODUCT & SERVICES CREATION

OUTCOMES RESULTS

EMPLOYMENT EFFECT

VALUE CREATED

ECONOMIC

DEVELOPMENT

Conclusions

19

The construction of the plans 2014-2020

The limits – the questions

Do the evaluations meet the ambitions of the European Commission? - Methodological limitations: quality / reliability of data? - Counterfactual analysis: validity of samples ? - Capacity to consolidate conclusions at European level

How effective will the exercise be ? - Design costs of evaluation plans

- Costs of evaluations - The need of new expertise in the operationnal units - The complexity of implicating elected representatives

Conclusions

20

The construction of the plans 2014-2020

a turning point for the managing authorities

Professionnalization of evaluation services - Coordination the work and the stakeholders - Preparation and writing of the Terms of Reference

An opportunity

- Involving the operationnal units - Cultural integration of elected representatives and decision-makers - The emphasis on impact evaluations

A challenging exercise (regulations, budgets, calendars) but a virtuous one

Conclusions

21

Conclusions

22

23

Conseil régional Auvergne - Rhône-Alpes / Lyon

1 esplanade François Mitterrand - CS 20033 - 69269 Lyon CEDEX 02

Conseil régional Auvergne - Rhône-Alpes / Clermont-Ferrand

59 boulevard Léon Jouhaux - 63100 Clermont-Ferrand

—

23