GHIDEVALUAREA REALIZĂRILOR ȘI IMPACTURILOR PDR ÎN 2019

AUGUST 2018

1

Aviz privind drepturile de autor

© Uniunea Europeană, 2018

Reproducerea textului este autorizată cu condiția menționării sursei.

Referire recomandată:

COMISIA EUROPEANĂ – Direcția Generală Agricultură și Dezvoltare Rurală – Unitatea C.4 (2018): Ghid. Evaluarea realizărilor și impacturilor PDR în 2019. Bruxelles, august 2018.

Avertisment:

Informațiile și opiniile prezentate în acest ghid aparțin autorului (autorilor) și nu reflectă în mod necesar opinia oficială a Comisiei. Comisia nu garantează precizia datelor incluse în prezentul ghid. Nici Comisia Europeană, nici persoanele care acționează în numele Comisiei nu pot fi considerate răspunzătoare pentru modul în care ar putea fi utilizate informațiile cuprinse în prezenta publicație.

Serviciul de asistență pentru evaluare (Evaluation Helpdesk) este responsabil cu funcția de evaluare în cadrul Rețelei Europene pentru Dezvoltare Rurală (REDR), oferind îndrumări cu privire la evaluarea PDR-urilor și a politicilor care intră în domeniul de competență și de îndrumare al Unității C.4 „Monitorizare și evaluare” din cadrul DG AGRI a Comisiei Europene (CE). Pentru a se îmbunătăți evaluarea politicii de dezvoltare rurală a UE, Serviciul de asistență pentru evaluare sprijină toate părțile interesate implicate în evaluare, în special DG AGRI, autoritățile naționale, autoritățile de management pentru programele de dezvoltare rurală și evaluatorii, prin dezvoltarea și diseminarea de metodologii și instrumente adecvate; colectarea și schimbul de bune practici; consolidarea capacităților, precum și comunicarea cu membrii rețelei pe teme legate de evaluare.

Informații suplimentare cu privire la activitățile Serviciului european de asistență pentru evaluare în domeniul dezvoltării regionale sunt disponibile pe internet, pe serverul Europa (http://enrd.ec.europa.eu).

GHIDEVALUAREA REALIZĂRILOR ȘI IMPACTURILOR PDR ÎN 2019

AUGUST 2018

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

CUPRINS

Mulțumiri 1

INTRODUCERE 2

1 Ce trebuie să se raporteze cu privire la evaluarea din RAI depus in 2019? (Partea I) 3

1.1 Cadrul juridic și obiectivul principal al evaluării în 2019 3

1.2 Modul de raportare cu privire la IEC în 2019 6

1.3 Pregătirile pentru RAI din 2019 8

2 Metode de evaluare a impacturilor PDR în 2019 (PARTEA II) 12

2.1 Alegerea metodelor de evaluare adecvate pentru evaluarea impacturilor PDR 12

2.1.1 Cum pot fi utilizate modelele logice pentru a stabili metodele de evaluare adecvate? 12

2.1.2 Prezentarea metodelor de evaluare recomandate pentru evaluarea indicatorilor de impact PAC 23

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

TABELE ȘI FIGURI

Tabelul 1. Îndrumări pentru a răspunde la IEC în RAI din 2019 7

Tabelul 2. Lista de verificare a etapelor recomandate pentru evaluarea din 2019 9

Tabelul 3. Exemple de metode de evaluare recomandate pentru evaluarea indicatorilor de impact PAC24

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

LISTA ACRONIMELOR

AI Arie de intervenție

AM Autoritate de management

AMPA Anchetă privind metodele de producție agricolă

AP Agenția de plăți

AROPE Persoane expuse riscului de sărăcie sau de excluziune socială

AT Asistență tehnică

BBN Bilanțul brut al nutrienților

CA Criterii de apreciere

CEA Cont economic pentru agricultură

CM Comitet de monitorizare

CORINE Coordonarea informațiilor despre mediu

COS Carbon organic din sol

DCA Directiva-cadru privind apa

DG AGRI Direcția Generală Agricultură și Dezvoltare Rurală

DH District hidrografic

DiD Diferența dintre diferențe

DII Analiza datelor de intrare-ieșire

DL Document de lucru

DLRC Dezvoltare locală plasată sub responsabilitatea comunității

DN Directiva privind nitrații

EBT Evaluare bazată pe teorie

EDGAR Baza de date privind emisiile pentru cercetări atmosferice globale

EGC Echilibru general calculabil

ESDAC Centrul european de date privind solul

ESI Fondurile structurale și de investiții europene

Ev Evaluator

FADN Rețeaua de informații contabile agricole

FBI Indicele privind păsările specifice terenurilor agricole

FD Furnizor de date

FEADR Fondul european agricol pentru dezvoltare rurală

GAEC Bune condiții agricole și de mediu

GCE Grupul de coordonare pentru evaluare

GERD Cheltuieli totale pentru cercetare și dezvoltare

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

GES Gaze cu efect de seră

GIS Sistem de informații geografice

GPSM Corelarea scorurilor de propensiune generalizate

GTIR Generarea de tabele cu date de intrare-ieșire regionale

I Indicator de impact

IACS Sistem integrat de administrare și control

IAM Indicatori de agromediu

ICC Indicatori comuni de context

IEC Întrebări de evaluare comună

IESP Întrebare de evaluare specifică unui program

IPPC Prevenirea și controlul integrat al poluării

JRC Centrul Comun de Cercetare

LAU Unitate administrativă teritorială

LI Logica de intervenție

LPIS Sistem de identificare a parcelelor agricole

LUCAS Studiul-cadru privind utilizarea și ocuparea terenurilor

LULUCF Exploatarea terenurilor, schimbarea destinației terenurilor și silvicultură

M Măsură

MCS Matrice de contabilitate socială

MOS Materie organică din sol

MEPP Metodă de evaluare a impactului programelor și proiectelor

MTT Efecte moderate ale tratamentelor asupra elementelor tratate

MVN Agricultură de mare valoare naturală

NUTS Nomenclatorul unităților teritoriale de statistică

ONG Organizație neguvernamentală

PAC Politica agricolă comună

PAM Program de acțiune pentru mediu

PDR Program de dezvoltare rurală

PEI Parteneriat european pentru inovare

PIB Produsul intern brut

PSM Corelarea scorurilor de propensiune

PTF Productivitate totală a factorilor

R Indicatori de rezultat

RAI Raport anual de implementare

RDD Metodă de regresie privind discontinuitatea

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

RNDR Rețea națională de dezvoltare rurală

RUSLE Ecuație universală revizuită privind pierderea de sol

SAU Suprafață agricolă utilizată

SCGP Sistem comun de gestionare partajată a fondurilor

SCME Sistem comun de monitorizare și evaluare

SEB Stare ecologică bună

SEBI Integrarea indicatorilor europeni ai biodiversității

SM Stat membru

SWOT Puncte forte, puncte slabe, oportunități și amenințări

T Indicator-țintă

TIC Tehnologia informației și comunicațiilor

TR Termeni de referință

UE Uniunea Europeană

UEv Unitatea de evaluare

UMA Unități de muncă pe an

UMF Unitate de muncă familială

UVM Unitate vită mare

VI Variabile instrumentale

VIA Venitul întreprinderii agricole

VFA Venitul factorilor agricoli

ZCN Zone care se confruntă cu constrângeri naturale

MULȚUMIRI

Ghidul a fost elaborat de o echipă internațională de experți în evaluare în domeniul dezvoltării rurale, incluzând următoarele persoane: Jerzy Michalek (impacturi sectoriale), Demetrios Psaltopoulos (impacturi socio-economice), Marili Parisaki (metode calitative), Tomáš Ratinger (impacturi sectoriale), Gerald Schwarz (impacturi de mediu), Dimitris Skuras (impacturi de mediu), Darko Znaor (impacturi de mediu). Grupul de lucru tematic aferent a fost coordonat de către Serviciul de asistență pentru evaluare (Evaluation Helpdesk) sub îndrumarea experților Jela Tvrdonova și Hannes Wimmer. Valérie Dumont, Myles Stiffler, Matteo Metta, Valdis Kudins și Harriet Mackaill-Hill au susținut activitatea de dezvoltare și au asigurat calitatea și aspectul vizual al versiunii finale a ghidului.

Diverși experți au acționat ca evaluatori inter pares (Rolf Bergs, Kit Macleod, Žymantas Morkvėnas). Reprezentanții Direcției Generale Agricultură și Dezvoltare Rurală au asigurat coerența ghidului cu cadrul de politică al UE.

Reprezentanții statelor membre au prezentat observații cu privire la versiunile preliminare ale ghidului în cadrul consultărilor grupului de reprezentare din ianuarie și aprilie 2018. Membri ai Grupului de experți privind monitorizarea și evaluarea PAC au prezentat observații cu privire la proiectul final în iunie 2018. 

1

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

INTRODUCERE

Importanța evaluării

Fondurile structurale și de investiții europene (fondurile ESI) constituie instrumente publice importante pentru susținerea acțiunilor desfășurate în legătură cu prioritățile-cheie ale Uniunii, care sunt asigurate prin intermediul programelor multianuale la nivelul statelor membre și al regiunilor. Prin urmare, interesul factorilor de decizie politică și al publicului este de a ști dacă banii sunt cheltuiți în mod responsabil și generează rezultatele preconizate, precum și dacă intervențiile vizează beneficiarii potriviți pentru îndeplinirea obiectivelor de politică ale UE.

Evaluarea constituie un instrument de măsurare a eficacității, eficienței, rezultatelor și impacturilor politicii1, precum și a relevanței, coerenței și valorii adăugate europene, pentru a asigura responsabilitatea și transparența acesteia și, în cele din urmă, a-i îmbunătăți structura. În contextul dezvoltării rurale, există două etape de evaluare în perioada de programare 2014-2020. O etapă în 2017, atunci când părțile interesate evaluează rezultatele politicii, și a doua în 2019, când sunt măsurate atât rezultatele, cât și impacturile politicii. În plus, după perioada de programare, este desfășurată o evaluare ex post.

Obiectivul prezentului ghid

Cadrul juridic impune statelor membre să prezinte în anul 2019 un raport al realizărilor aferente PDR în vederea îndeplinirii obiectivelor programului, precum și contribuțiile acestuia la strategia Uniunii pentru o creștere inteligentă, durabilă și favorabilă incluziunii. Acest lucru este asigurat prin intermediul rapoartelor anuale de implementare (RAI) prezentate în anul 2019. Evaluările ar trebui să analizeze contribuția netă a programului la schimbările produse la nivelul valorilor indicatorilor de impact ai PAC și să răspundă la întrebările de evaluare2.

Prezentul ghid vizează examinarea provocărilor legate de activitățile de evaluare pentru RAI din 2019; prezentarea metodelor practice pentru estimarea contribuțiilor nete ale PDR la indicatorii de impact comuni ai PAC și evaluarea progreselor înregistrate în ceea ce privește îndeplinirea obiectivelor de la nivelul UE; precum și furnizarea de sprijin pentru a răspunde la întrebările de evaluare comune (IEC) 22-30 și pentru raportarea către Comisia Europeană cu privire la constatările evaluării în RAI prezentate în 2019.

Structura și conținutul ghidului

Ghidul FĂRĂ CARACTER OBLIGATORIU, Evaluarea realizărilor și impacturilor PDR în 2019, cuprinde următoarele:

PARTEA I (în principal pentru autoritățile de management): informează cu privire la cerințele legale și prezintă modul de raportare a IEC 22-30 în 2019. Partea I cuprinde trimiteri la alte îndrumări existente.

PARTEA II (în principal pentru evaluatori): oferă sprijin metodologic pentru evaluarea indicatorilor de impact comuni ai Pilonului II (impacturi sectoriale, de mediu și socio-economice). Această parte explică logici de intervenție și utilizarea elementelor de evaluare suplimentare, explică cerințele legate de date și unitățile de evaluare și îndrumă cititorul în alegerea celor mai potrivite metode de evaluare pentru structurarea contribuțiilor PDR la valorile indicatorilor de impact ai PAC. În plus, partea II sugerează, de asemenea, abordări ale

1 Articolele 54 și 56 alineatul (3) din Regulamentul (UE) nr. 1303/2013.2 Anexa VII la Regulamentul (UE) nr. 808/2014.

2

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

evaluării contribuțiilor PDR la îndeplinirea obiectivelor strategiei UE 2020 și la realizarea procesului de inovare.

PARTEA III: cuprinde fișele de răspuns la IEC 22-30.

PARTEA IV: cuprinde anexa tehnică ce include informații mai detaliate cu privire la abordările evaluării indicatorilor de impact PAC și glosarul de termeni.

3

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

1 CE TREBUIE SĂ SE RAPORTEZE CU PRIVIRE LA EVALUAREA DIN RAI DEPUS IN 2019? (PARTEA I)

1.1 Cadrul juridic și obiectivul principal al evaluării în 2019

Începând din iunie 2016 și în fiecare an până în anul 20243, statele membre prezintă un RAI Comisiei Europene. RAI prezintă informații cu privire la implementarea PDR și informații privind progresele înregistrate în ceea ce privește punerea în aplicare a planului de evaluare4.

RAI din 2017 a inclus cuantificarea realizărilor programului (prin evaluarea indicatorilor de rezultat, inclusiv a indicatorilor de rezultat complementari). Au fost utilizate criterii de apreciere pentru interpretarea indicatorilor de rezultat și pentru a răspunde la IEC5 nr. 1-21. Ghidul: Evaluarea rezultatelor PDR: pregătirea raportării referitoare la evaluare în 2017 (Assessment of RDP Results: how to prepare for reporting on evaluation in 2017) poate sprijini, de asemenea, aceste activități, acesta fiind relevant și pentru exercițiul din 20196.

În RAI prezentat în 2019 se impune actualizarea constatărilor privind evaluarea, care au fost raportate anterior în 2017, acesta incluzând în plus:

constatările evaluării impacturilor PDR, care au fost desprinse în urma calculării și interpretării valorilor nete ale indicatorilor de impact ai PAC;

contribuțiile PDR la îndeplinirea obiectivelor strategiei ale UE pentru o creștere inteligentă, durabilă și favorabilă incluziunii, precum și ale strategiei privind biodiversitatea; și

răspunsurile la IEC pentru PDR din perioada 2014-2020 în legătură cu obiectivele de la nivelul UE (și anume, IEC nr. 22-30).

Figura următoare prezintă pe scurt principalele cerințe de raportare privind evaluarea din RAI din perioada de programare, astfel cum sunt prevăzute în cadrul juridic7, precum și îndrumările aferente.

Figure 1. Raportarea cu privire la evaluare [în conformitate cu anexa VII la Regulamentul (UE) nr. 808/2014]

3 Articolul 75 din Regulamentul (UE) nr. 1305/2013.4 Ghidul „Stabilirea și implementarea planului de evaluare al PDR pentru perioada 2014-2020” (Establishing and implementing

the Evaluation Plan of 2014- 2020 RDPs). 5 Regulamentul de punere în aplicare (UE) nr. 808/2014, anexa I, punctul 9 și anexa VII, punctul 7.6 Serviciul de asistență pentru evaluare a sintetizat constatările RAI prezentate în 2017 în Summary Report Synthesis of the

Evaluation Components of the 2017 Enhanced AIR): Chaper 7.7 Anexa VII la Regulamentul (UE) nr. 808/2014.

4

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

Sursa: Serviciul european de asistență pentru evaluare în domeniul dezvoltării rurale (2018)

Cadrul juridic

Cadrul juridic și Sistemul comun de monitorizare și evaluare (SCME) constituie baza pentru evaluarea PDR.

Cadrul juridic8 constituie baza pentru evaluarea realizărilor și contribuțiilor PDR la obiectivele de politică mai ample ale UE.

Dispozițiile generale pentru evaluare sunt prevăzute în Regulamentul (UE) nr. 1303/2013 și enunță rolul evaluării în:

îmbunătățirea calității structurii și procesului de implementare a programelor; și în evaluarea eficacității, eficienței și impacturilor programului9.

În acest scop, statele membre furnizează resursele necesare pentru efectuarea evaluărilor și asigură instituirea de proceduri pentru generarea și colectarea datelor necesare pentru evaluări, inclusiv a datelor privind indicatorii comuni și, după caz, specifici ai programelor.

Evaluarea este efectuată în conformitate cu planul de evaluare, iar constatările acesteia sunt urmărite în conformitate cu normele specifice ale fondului. Cel puțin o dată în cursul perioadei de programare, o evaluare analizează modul în care sprijinul acordat prin fondurile ESI a contribuit la îndeplinirea obiectivelor fiecărei priorități10.

Regulamentul (UE) nr. 1306/2013 enunță cerințele de monitorizare și evaluare pentru Politica agricolă comună (PAC)11. Acesta stipulează asigurarea de către Comisia Europeană a bunelor rezultate ale PAC în îndeplinirea obiectivelor sale comune. Impactul combinat al tuturor instrumentelor PAC este măsurat și evaluat pe baza informațiilor obținute din activitățile de monitorizare și evaluare desfășurate în statele membre. Obiectivele comune sunt evaluate prin intermediul indicatorilor de impact comuni, iar obiectivele specifice aferente sunt evaluate pe baza indicatorilor de rezultat comuni. Informațiile colectate se bazează pe surse de date consacrate, precum Rețeaua de informații contabile agricole (RICA) și Eurostat. Comisia Europeană ține cont de nevoile în materie de date și de sinergiile dintre potențialele surse de date, mai ales de utilizarea acestora în scopuri statistice, după caz12.

Regulamentul (UE) nr. 1305/2013 stabilește Sistemul comun de monitorizare și evaluare, obiectivele acestuia 13 și indicatorii comuni14. Acești indicatori se referă la situația inițială (indicatori de context) și la execuția financiară, la realizări, rezultate și impacturile programului. Indicatorii comuni se bazează pe date disponibile și sunt legați de structura și de obiectivele cadrului politicii de dezvoltare rurală; ei permit evaluarea progreselor, a eficienței și a eficacității implementării politicii în raport cu obiectivele generale și specifice stabilite la nivelul Uniunii, la nivel național și la nivel de program.

Impacturile programelor de dezvoltare rurală sunt evaluate cu ajutorul indicatorilor de impact comuni (precum și al celor suplimentari și al celor specifici programului). Evaluarea impacturilor programului constituie responsabilitatea fiecărui stat membru.

Elementele de evaluare comune

8 Articolele 67-79 din Regulamentul (UE) nr. 1305/2014, articolul 110 din Regulamentul (UE) nr. 1306/2013, articolul 1 litera (a) din Regulamentul (UE) nr. 834/2014 și anexa I la acesta, articolul 14 din Regulamentul (UE) nr. 808/2014 și anexele IV, V, VI și VII la acesta.

9 Articolul 54 din Regulamentul (UE) nr. 1303/2013.10 Articolul 56 din Regulamentul (UE) nr. 1303/2013.11 Articolul 110 din Regulamentul (UE) nr. 1306/2013.12 Articolul 110 alineatele (3) și (4) din Regulamentul (UE) nr. 1306/2013.13 Articolele 67 și 68 din Regulamentul (UE) nr. 1305/2013.14 Articolul 69 din Regulamentul (UE) nr. 1305/2013.

5

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

SCME face parte din Cadrul comun de monitorizare și evaluare (CMEF)15 al PAC și include mai multe documente de îndrumare cu privire la utilizarea întrebărilor de evaluare comune și a indicatorilor comuni în monitorizarea și evaluarea politicii de dezvoltare rurală. Regulamentul de punere în aplicare (UE) nr. 808/2014 al Comisiei16 descrie SCME mai detaliat și specifică elementele acestuia:

o logică de intervenție care prezintă interacțiunile dintre priorități, ariile de intervenție și măsuri; un set comun de indicatori de context, de rezultat și de realizare, inclusiv indicatorii care

urmează a fi utilizați pentru stabilirea de ținte cuantificate în ceea ce privește ariile de intervenție în materie de dezvoltare rurală17;

întrebări de evaluare comune18; colectarea, stocarea și transmiterea datelor; raportarea periodică privind activitățile de monitorizare și evaluare19; planul de evaluare20; evaluările ex ante și ex post, precum și toate celelalte activități de evaluare legate de programul

de dezvoltare rurală, inclusiv cele necesare pentru îndeplinirea cerințelor sporite ale rapoartelor anuale de implementare prezentate în anii 2017 și 201921;

sprijin pentru a permite tuturor actorilor responsabili cu monitorizarea și evaluarea să își îndeplinească obligațiile22.

Comisia Europeană prezintă, de asemenea, fișe detaliate pentru fiecare dintre indicatorii comuni care sunt raportați în RAI prezentate în 2017 și 2019 și, printre aceștia, se află cei 16 indicatori de impact comuni ai PAC. Fiecare fișă cu indicatori de impact cuprinde un link la:

obiectivul de politică respectiv; definiția indicatorului; unitatea de măsură; metodologia/formula de calcul; cerințele și sursele de date; nivelul și frecvența colectării datelor; informațiile privind întârzierile în colectarea datelor.

13 dintre cei 16 indicatori de impact comuni ai PAC sunt utilizați în evaluarea impacturilor PDR:

I.01 Venitul întreprinderii agricole I.02 Venitul factorilor agricoli I.03 Productivitatea totală a factorilor în agricultură I.07 Emisii din agricultură I.08 Indicele privind păsările specifice terenurilor agricole I.09 Agricultură de mare valoare naturală (MVN) I.10 Captarea apei în agricultură I.11 Calitatea apei I.12 Materiile organice din sol în terenul arabil I.13 Eroziunea solului cauzată de apă I.14 Rata de ocupare a forței de muncă în mediul rural I.15 Gradul de sărăcie în mediul rural I.16 PIB pe cap de locuitor în zonele rurale

15 Technical Handbook on the Monitoring and Evaluation of the Common Agriculture Policy 2014-2020, Comisia Europeană, iunie 2017.

16 Articolul 14 din Regulamentul (UE) nr. 808/2014.17 Anexa IV la Regulamentul (UE) nr. 808/2014.18 Anexa V la Regulamentul (UE) nr. 808/2014.19 Punctul 2 din anexa VII la Regulamentul (UE) nr. 808/2014.20 Punctul 9 din PARTEA I din anexa I la Regulamentul (UE) nr. 808/2014.21 Punctul 7 din anexa VII la Regulamentul (UE) nr. 808/2014.22 Anexa VI la Regulamentul (UE) nr. 808/2014.

6

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

1.2 Modul de raportare cu privire la IEC în 2019

În anul 2019, statele membre raportează cu privire la constatările evaluărilor lor prezentând răspunsuri la toate întrebările de evaluare comune și specifice programului relevante în fiecare dintre secțiunile RAI corespunzătoare.

Asemenea IEC nr. 1-21, răspunsurile la IEC legate de obiectivele de la nivelul UE (IEC nr. 22-30) ar trebui să fie bazate pe date din constatările evaluării. Aprecierile privind reușita intervențiilor sunt formulate cu ajutorul criteriilor de apreciere și măsurate cu ajutorul indicatorilor de impact comuni și suplimentari, precum și cu indicatorii aferenți strategiei UE pentru o creștere inteligentă, durabilă și favorabilă incluziunii. În plus, pot fi colectate informații calitative pentru a răspunde la întrebările de evaluare în eventualitatea unui deficit de date.

Care sunt etapele generale în prezentarea de răspunsuri la întrebările de evaluare?

Pentru elaborarea răspunsurilor la IEC nr. 22-30 sunt recomandate următoarele etape generale:

analiza logicii de intervenție a programului corelată cu obiectivele PAC/obiectivele strategiei 2020 a UE aferente fiecărei întrebări de evaluare comune respective, prioritatea/prioritățile de dezvoltare rurală, aria/ariile de intervenție și măsurile;

definirea criteriilor de apreciere și corelarea acestora cu indicatorii de impact comuni (și suplimentari) care vor fi utilizați în răspunsul la întrebarea de evaluare;

selectarea metodelor cantitative și calitative prin care se pot analiza valorile nete23 ale indicatorilor de impact;

prezentarea de valori cantitative pentru indicatorii de rezultat și de impact, precum și a constatărilor calitative relevante pentru răspunsurile la întrebările de evaluare;

prezentarea de răspunsuri la întrebările de evaluare.

Etapele menționate anterior sunt similare celor sugerate pentru exercițiul de evaluare din 2017. Însă este posibil ca în anul 2019 să apară noi provocări care sunt explicate în detaliu în Partea II a ghidului.

Unde se găsesc îndrumări pentru IEC la care vor fi prezentate răspunsuri în anul 2019?

Prezentul ghid oferă informații detaliate cu privire la modul de prezentare a răspunsurilor la întrebările de evaluare comune asociate IEC nr. 22-30 privind obiectivele de la nivelul UE. După caz, ghidul face trimitere la alte îndrumări relevante, după cum reiese din tabelul 1.

Îndrumările privind prezentarea răspunsurilor la întrebările de evaluare comune asociate ariilor de intervenție în materie de dezvoltare rurală, sinergiile programului, asistența tehnică și rețelele naționale de dezvoltare rurală (IEC nr. 1-21) se găsesc în: Ghid - „Evaluarea rezultatelor PDR: pregătirea raportării referitoare la evaluare în 2017 : acest

document prezintă modul de raportare cu privire la evaluări în RAI prezentate în 2017 și în anii următori. Ghidul sugerează posibile metode de evaluare pentru analiza rezultatelor PDR din 2017 care, prin corelare cu IEC 1-21, rămân valabile și pentru anul 2019.

Anexa 11 - Fișe pentru prezentarea de răspunsuri la întrebările de evaluare comune pentru programele de dezvoltare rurală din perioada 2014-2020: oferă sprijin tehnic cu privire la modul de prezentare a răspunsurilor la IEC. 1-21. Aceasta prezintă logica de intervenție asociată fiecărei IEC, descrie elemente de evaluare utile și propune metode de evaluare.

Tabelul 1 oferă o prezentare generală a celor mai relevante documente pentru prezentarea de răspunsuri la IEC în RAI din 2019:

23 Technical Handbook on the Monitoring and Evaluation of the Common Agriculture Policy 2014-2020 , Comisia Europeană, iunie 2017.

7

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

Table 1. Îndrumări privind prezentarea de răspunsuri la IEC în RAI din 2019

IEC Document Relevanța pentru RAI din 2019

1-21 Fișe cu indicatorii-țintă pentru pilonul II (prioritățile I și II)

Prezintă, pentru fiecare indicator, legăturile cu prioritatea și aria de intervenție respectivă, definiția și unitatea de măsură, metodologia pentru calcularea acestuia, nevoile și sursele de date, frecvența colectării și mijloacele de transmitere către Comisia Europeană.

Fișe cu indicatorii de rezultat complementari pentru pilonul II

Cuprinde îndrumări similare pentru fiecare dintre indicatorii de rezultat complementari.

Ghid Evaluarea rezultatelor PDR: pregătirea raportării referitoare la evaluare în 2017 anexa 11 separată)

Sugerează modul de raportare cu privire la evaluări în RAI prezentate în 2017, modul de desfășurare a activităților de evaluare și metodele pe baza cărora se prezintă răspunsuri la IEC nr. 1-21.

Ghid Evaluarea LEADER/DLRC

Explică modul de evaluare a contribuțiilor primare și secundare ale LEADER/CLLD care vizează ariile de intervenție în materie de dezvoltare rurală.

Ghid Evaluarea inovării în programele de dezvoltare rurală pentru perioada 2014-2020

Prezintă informații cu privire la evaluarea inovării în corelație cu ariile de intervenție 1A și 1B și la sprijinirea inovării prin activități ale rețelelor naționale de dezvoltare rurală. În plus, acesta oferă sprijin pentru prezentarea răspunsurilor la IEC nr. 1, 2 și 21 din punctul de vedere al inovării.

22-30 Fișe cu indicatorii de impact

Prezintă informații privind legăturile dintre indicator și obiectivele generale ale PAC, definiția indicatorilor, unitatea de măsură, metodologia/formula de calcul, cerințele în materie de date, sursele și frecvența datelor/întârzierea în colectarea și localizarea datelor.

Cele mai recente date despre indicatorii de context din partea statelor membre

Comisia Europeană prezintă anual o versiune actualizată a datelor (sub rezerva disponibilității acestora) pentru indicatori de context comuni pe baza datelor trimise de statele membre.

Ghid Evaluarea inovării în programele de dezvoltare rurală pentru perioada 2014-2020

Oferă informații cu privire la evaluarea contribuțiilor PDR în vederea îndeplinirii obiectivului principal din 2020 al UE de a investi 3 % din PIB-ul UE în cercetare, dezvoltare și inovare, precum și a contribuției PDR la inovare, precum și cu privire la prezentarea de răspunsuri la IEC 23 și 30.

Informații privind Strategia Europa 2020

Strategia Europa 2020 este utilizată drept cadru de referință pentru activități desfășurate la nivelul UE și la nivel național și regional. Guvernele UE au stabilit obiective naționale pentru a ajuta la îndeplinirea obiectivelor principale generale ale UE și raportează cu privire la acestea în cadrul programelor lor de reformă anuale de la

8

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

IEC Document Relevanța pentru RAI din 2019

nivel național. Oficiul de statistică al UE, Eurostat, publică în mod regulat rapoarte intermediare cuprinzătoare cu privire la obiective (publicația intitulată „Smarter, greener, more inclusive? Indicators to support the Europe 2020 strategy”) care monitorizează progresele înregistrate în ceea ce privește îndeplinirea obiectivelor UE definite în cadrul celor trei priorități care se susțin reciproc pentru o creștere inteligentă, durabilă și favorabilă incluziunii și prezintă totodată situația din statele membre.

22, 23, 24, 25, 30

Informații privind obiectivele Strategiei Europa 2020 pentru fiecare stat membru

Eurostat actualizează în mod regulat informațiile privind obiectivele naționale stabilite în vederea îndeplinirii obiectivelor principale ale Strategiei Europa 2020 pentru fiecare stat membru.

Fișe cu indicatorii de context

Există 45 de indicatori de context PAC (repartizați în trei grupe - indicatori socio-economici, sectoriali și de mediu) care reflectă aspectele relevante ale tendințelor contextuale generale din economie, mediu și societate. Aceștia ar putea avea o influență asupra implementării, realizărilor și rezultatelor PAC. Fișele referitoare la indicatori cuprind o descriere a definițiilor, a metodologiei și a surselor datelor.

Toate IEC Working Paper Common evaluation questions for Rural Development Programmes 2014-2020

Explică scopul și utilizarea întrebărilor de evaluare comune în SCME. Descrie diferitele tipuri de întrebări de evaluare și enunță criteriile de apreciere, precum și indicatorii comuni și suplimentari pentru IEC nr. 1-21.

1.3 Pregătirile pentru RAI din 2019

În pregătirea pentru evaluarea realizărilor și impacturilor PDR în 2019, diferite părți interesate în materie de evaluare din statele membre pot parcurge mai multe etape24 care vor ajuta la asigurarea calității și relevanței constatărilor evaluării pentru factorii lor de decizie politică.

Tabelul 2 prezintă o listă de verificare sugerată și cuprinde etapele necesare pentru evaluarea din 2019. De asemenea, acesta include unele etape preliminare care, în cazul în care nu au fost încă realizate, pot fi totuși parcurse înainte de a începe activitățile de evaluare din 2019. Tabelul 2 prezintă responsabilitățile diferiților actori care ar putea fi implicați în activitățile de evaluare la nivel de stat membru: Autoritatea de management (AM), Comitetul de monitorizare (CM), Agenția de plăți (AP), unitatea de evaluare (UEv) (dacă există), grupul de coordonare pentru evaluare (GCE) (dacă există), evaluatorii (Ev), furnizorii de date (FD) și alte părți interesate relevante în materie de evaluare (A).

24 Mai multe informații privind ciclul de evaluare se găsesc în ghidul Assessment of RDP results: how to prepare for reporting on evaluation in 2017 .

9

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

Table 2. Lista de verificare a etapelor recomandate pentru evaluarea din 2019Fa

ză EtapăTermen

orientativ

Responsabilitate (x) și implicare (y)25

AM AP FD UEv GCE Ev CM A

Planificare Actualizarea valorilor de referință ale

indicatorilor de context comuni (în PDR).De îndată ce există date disponibile

x y

Planificarea activităților de evaluare, a tematicilor, a studiilor, a acordurilor de colectare a datelor corelate cu indicatorii de impact comuni din planul de evaluare a PDR.

Începând din anul 2013

x y

Elaborarea/actualizarea planificării (documentului de planificare a) evaluării interne pentru prezentarea detaliată a tematicilor și activităților de evaluare (inclusiv a măsurilor privind datele pentru structurarea indicatorilor de impact și colectarea altor dovezi, precum și a studiilor aferente).

Începând din anul 2013

x y

Constituirea unui grup coordonator voluntar pentru evaluare care să coordoneze procesul de evaluare (ședințe periodice).

La începutul perioadei de programare

x y y x x y

Analiza logicii de intervenție a programului (obiective, priorități în materie de CD și arii de intervenție, măsuri).

La începutul perioadei de programare și înainte de fiecare evaluare

x x y y

Stabilirea unei înțelegeri comune a întrebărilor de evaluare comune, elaborarea de criterii de apreciere și corelarea acestora cu indicatori comuni (și suplimentari). Asigurarea coerenței în corelarea elementelor de evaluare cu logica de intervenție a PDR.

La începutul perioadei de programare și înainte de fiecare evaluare

x x y y

Elaborarea întrebărilor de evaluare specifice programului, dacă este cazul. Asigurarea de criterii de apreciere și indicatori specifici programului pentru acestea. Asigurarea coerenței în corelarea elementelor de evaluare cu logica de intervenție a PDR.

La începutul perioadei de programare și înainte de fiecare evaluare

x x y y

25 AM – Autoritatea de management, CM - Comitetul de monitorizare, AP – Agenția de plăți, UEv – Unitatea de evaluare, GCE – Grupul de coordonare pentru evaluare, Ev – evaluatori, FD – Furnizori de date, A – Alții.

10

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

Fază Etapă

Termen orientativ

Responsabilitate (x) și implicare (y)

AM AP FD UEv GCE Ev CM A

Pregătire Analiza datelor existente pentru calcularea

indicatorilor comuni (și suplimentari) în vederea colectării dovezilor necesare pentru a răspunde la IEC aferente Strategiei Europa 2020. Identificarea posibilelor lacune în materie de date în legătură cu indicatorii selectați.

La începutul perioadei de programare și înainte de evaluare

x y y x x y y

Discutarea posibilelor metode de evaluare pentru evaluarea/structurarea indicatorilor de impact în concordanță cu datele existente.

La începutul perioadei de programare și înainte de evaluare

x x x y

Redactarea termenilor de referință și lansarea procedurii de ofertare pentru evaluare (pentru contracte de evaluare permanentă sau de evaluare unică pentru anii 2017 și 2019).

La începutul perioadei de programare sau în 2016 și 2018

x y y

Structurare Discutarea surselor de date existente și a

lacunelor în materie de date cu evaluatorii. Stabilirea de comun acord a modalității de acoperire a lacunelor în materie de date.

2016 și trimestrele 2 și 3 din anul 2018

x y y x y x y

Discutarea abordărilor metodologice cu evaluatorii pentru evaluarea impacturilor PDR și pentru structurarea indicatorilor de impact comuni (și suplimentari).

2016 și trimestrele 2 și 3 din anul 2018

x x x

Observare Colectarea de date și informații cu privire la

beneficiari, corelate cu indicatorii de impact comuni (și suplimentari) și în concordanță cu metodele propuse.

De la începutul PDR până la sfârșitul anului 2018

y x y y x y

Colectarea de date și informații cu privire la non-beneficiarii, corelate cu indicatorii de impact comuni (și suplimentari) și în concordanță cu metodele propuse.

De la începutul PDR până la sfârșitul anului 2018

x y y x y

Asigurarea calității datelor colectate atât din baza de date a operațiunilor, cât și din alte surse (de exemplu, RICA, oficiul de statistică, monitorizarea de mediu etc.).

Permanent x x x x y x

Analiză Desfășurarea evaluării și structurarea

indicatorilor de impact în concordanță cu metoda de evaluare propusă și metodele de evaluare selectate.

T1 din 2019 y x

Asigurarea calității analizei. Trimestrul 1 din 2019

y x y x

11

Partea I – Ce trebuie să se raporteze cu privire la evaluare în RAI in 2019?

Fază Etapă

Termen orientativ

Responsabilitate (x) și implicare (y)

AM AP FD UEv GCE Ev CM A

Apreciere Interpretarea constatărilor evaluării

desprinse în urma analizei, formularea de aprecieri pe baza criteriilor de apreciere și prezentarea de răspunsuri la întrebările de evaluare.

Trimestrul 1 din 2019

y x

Formularea de concluzii asociate aprecierilor și formularea de recomandări, după caz.

Trimestrele 1 și 2 din 2019

y x

Asigurarea calității aprecierilor. T1 și T2 din 2019

y x y x

Raportare Redactarea raportului de evaluare. T2 din 2019 x y x y x

Prezentarea constatărilor evaluării Comitetului de monitorizare.

T2 din 2019 x y y x y

Completarea modelului SFC din RAI (inclusiv capitolele 2 și 7) și transmiterea acestuia Comisiei Europene

T2 din 2019 x x y

Publicarea RAI și a rapoartelor de evaluare (nu doar a capitolului 7 din RAI) pe site-ul public.

T2, T3 și T4 din anul 2019

x x

Pregătirea constatărilor evaluării în alte formate adecvate (de exemplu, rezumat pentru cetățeni) pentru diferite grupuri-țintă.

T3 și T4 din 2019

x x y y

Comunicarea constatărilor evaluării către grupurile-țintă.

T3 și T4 din 2019

x x y y y y

Monitorizare Întreprinderea unor acțiuni pentru a da curs

concluziilor și a recomandărilor formulate în urma evaluării pentru îmbunătățirea structurii și a procesului de implementare a programului de dezvoltare rurală.

Începând din T2 2019

x y y

12

Modelele logice constituie arbori decizionali care pot ajuta părțile interesate să proiecteze o metodă de evaluare (contrafactuală) și să aleagă cele mai adecvate metode în corespondență cu datele și informațiile disponibile.

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

2 METODE DE EVALUARE A IMPACTURILOR PDR ÎN 2019 (PARTEA II)

2.1 Alegerea metodelor de evaluare adecvate pentru evaluarea efectelor PDR

Evaluarea și structurarea indicatorilor de impact comuni din cadrul pilonului II al PAC în 2019 constituie o sarcină problematică și ridică mai multe probleme:

Cum pot fi observate schimbările în zonele rurale atribuite intervențiilor PDR și ce metode de evaluare ar trebui să fie utilizate în acest sens?

Ce date din sursele existente (de exemplu, monitorizare, baze de date ale UE, naționale și regionale) ar trebui să fie utilizate pentru a fundamenta metoda de evaluare sugerată?

Cum se asigură coordonarea cu diferiți furnizori de date? Cum se poate asigura calitatea datelor și cum se pot acoperi lacunele în materie de date?

2.1.1 Cum pot fi utilizate modelele logice pentru a stabili metodele de evaluare adecvate?

Modelele logice pot îndruma evaluatorul spre noi metode, spre o mai bună planificare pentru colectarea datelor și spre inițierea unui proces de examinare a unor metode care să fie mai puțin dependente de disponibilitatea datelor (de exemplu, metode calitative). Modelele de logică pot ajuta, de asemenea, autoritățile de management să planifice și să anticipeze mai bine rezultatele evaluării în contextul dat (date, buget de evaluare și calendar).

Modelele logice asigură un îndrumar pas cu pas pentru proiectarea metodelor de evaluare, cu scopul de a permite o înțelegere mai bună a: POSIBILITĂȚILOR: ce combinații de date/indicatori/metode sunt disponibile și adecvate pentru

a răspunde la întrebările de evaluare. CERINȚELOR: ce date/indicatori/metode/abordări sunt necesare pentru a evalua impacturile

nete și a răspunde la întrebarea de evaluare. CONSECINȚELOR: ce implicații au deciziile în diferite etape asupra costului și eficacității

evaluării.

13

PARTEA II din ghidul fără caracter obligatoriu „Evaluarea realizărilor și impacturilor PDR în 2019” (Assessing RDP achievements and impacts in 2019) va fi interpretată în același context cu PARTEA III (Fișe pentru prezentarea de răspunsuri la IEC nr. 22-30) și PARTEA IV (Anexa tehnică) care cuprinde informații complementare pentru metodele de evaluare propuse, exemple de indicatori suplimentari, o descriere detaliată a etapelor de lucru, caracterul adecvat al metodelor de evaluare sugerate, indicații privind ceea ce trebuie și ceea ce nu trebuie făcut, un glosar.

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Modelele logice prezentate în acest ghid urmează metoda dezvoltată de ENVIEVAL26 în Manual metodologic pentru evaluarea impacturilor PDR asupra mediului (Methodological Handbook for the evaluation of environmental impacts of RDPs). ENVIEVAL a dezvoltat și a testat aceste instrumente îmbunătățite pentru evaluarea impacturilor măsurilor și programelor de dezvoltare rurală din statele membre ale UE asupra mediului27.

Nivelurile modelului logic

Figura 2 cuprinde o prezentare a celor patru niveluri ale modelului logic. Această figură ilustrează, la primul nivel, modul de structurare a cadrului pentru evaluare. Aceasta presupune înțelegerea modului de plasare a impacturilor în logica de intervenție, a indicatorilor disponibili și a unității de evaluare. Al doilea nivel identifică opțiunile pentru analiza contrafactuală, ținând cont de factorii de constrângere. Al treilea nivel detaliază opțiunile la nivel micro și macro pentru evaluarea impacturilor nete. Al patrulea nivel verifică în cele din urmă coerența analizei la nivel micro și macro în vederea validării constatărilor.

Figure 2. Diagrama simplificată a nivelurilor modelului logic

Sursa: Serviciul european de asistență pentru evaluare în domeniul dezvoltării rurale (2018), adaptat după ENVIEVAL (2015): Manual metodologic pentru evaluarea impacturilor PDR asupra mediului (Methodological Handbook for the evaluation of

environmental impacts of RDPs): Raportul D9.5. Bruxelles: Comisia Europeană.

Nivelurile modelului de logică sunt utilizate ca punct de referință pentru descrierea metodelor de evaluare sugerate pentru indicatorii de impact PAC (a se vedea capitolele 2.2-2.9).

26 ENVIEVAL a fost un proiect de cercetare în colaborare al UE (Acordul de grant nr. 312071) care a primit fonduri din ianuarie 2013 până în decembrie 2015 în cadrul celui de Al șaptelea program-cadru al Uniunii Europene pentru activități de cercetare, de dezvoltare tehnologică și demonstrative.

27 Manual metodologic pentru evaluarea impacturilor PDR asupra mediului (Methodological Handbook for the evaluation of environmental impacts of RDPs): Raportul D9.5, proiectul ENVIEVAL (Acordul de grant nr. 312071). Bruxelles: European Commission, Morkvenas Z, Navickas K, Gulbinas J, Jefanovas A, Schwarz G, Wolff A, Offermann F, Osterburg B, Aalders I, Miller D, Morrice J, Vlahos G, Smyrniotopoulou A, Artell J, Aakkula J, Toikkanen H, Povellato A, Longhitano D, Lasorella V, Balazs K, et al (2015), p 152.

14

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Structurarea cadrului pentru evaluare (primul nivel)

Cadrul pentru evaluare poate fi elaborat urmând aceste etape:

Etapa 1 - Explicarea logicii de intervenție a SCME: Logica de intervenție reflectă ierarhia obiectivelor de politică în legătură cu întrebările de evaluare, măsurile și ariile de intervenție relevante, precum și cu indicatorii de realizare, de rezultat și de impact SCME aferenți. Indicatorii sunt analizați în contextul datelor disponibile.

Etapa 2 - Selecția indicatorilor (de rezultat și/sau de impact) suplimentari: Acești indicatori pot completa indicatorii SCME obligatorii. Utilizarea oricăror indicatori suplimentari este voluntară și ar trebui să fie analizată cu atenție, ținându-se cont de costuri, de disponibilitatea datelor, de caracterul adecvat și de valoarea adăugată

pentru evaluare. Indicatorii suplimentari pot fi utili pentru cuantificarea rezultatelor și impacturilor nete dacă datele pentru indicatorii comuni nu sunt suficiente sau dacă trebuie să se acopere lacunele de la nivelul indicatorilor de rezultat și de impact comuni. Indicatorii suplimentari pot fi, de asemenea, calitativi (de exemplu, gradul de schimbare percepută de către părțile interesate pe baza scării Likert) pentru a completa dovezile cantitative sau în absența oricăror dovezi cuantificabile alternative.

Etapa 3 - Definirea unității de analiză (= „cea mai mică parte dintr-un sistem organizat”) pentru micro-analiză și macro-analiză (dacă este cazul): Unitatea de micro-analiză ar putea fi ferma, parcela, comunitatea sau regiunea, iar unitatea de micro-analiză ar putea fi o zonă de deservire, un bazin hidrografic sau întregul teritoriu al PDR. Odată ce se definește o unitate de analiză, indicatorul poate măsura schimbările produse la nivelul amenajării teritoriului și schimbările de mediu, sectoriale sau socio-economice produse ca urmare a intervențiilor PDR. Datele respective ar trebui să fie colectate pentru aceeași categorie unitară și să includă beneficiari și non-beneficiari ai programului.

Stabilirea scenariului contrafactual (nivelul al doilea)

Efectul programului indică diferența de valoare a realizării specifice (de exemplu, valoarea adăugată brută sau productivitatea muncii) pentru aceeași unitate cu și fără program. Această definiție este valabilă pentru orice unitate de analiză (de exemplu, persoană, fermă, întreprindere, teren, comunitate, sat, regiune, arie de programare sau țară) și orice realizare (exprimată cu ajutorul indicatorilor sectoriali, de mediu sau socio-economici) care poate fi corelată în mod plauzibil cu programul.

Al doilea nivel ajută evaluatorul să identifice tipul (tipurile) de scenarii contrafactuale care pot fi realizate cu datele disponibile. Acesta ține cont de mai mulți factori de constrângere (de exemplu, disponibilitatea unor date reduse, contracte de evaluare pe termen scurt, capacitate de evaluare limitată) și ajută, de asemenea, la identificarea celor mai bune soluții viabile secundare (de exemplu, pentru evaluarea efectelor asupra mediului). Este importantă analiza sistematică a posibilelor opțiuni de concepere a unui scenariu contrafactual, chiar dacă lipsesc date. Aceasta oferă informații

15

Evaluarea unui impact dat (sectorial, de mediu sau socio-economic) începe cu structurarea unui cadru de evaluare consecvent. Aceasta ajută la plasarea cu claritate a impactului în logica de intervenție și arată indicatorii disponibili și unitățile de analiză pentru măsurarea acestuia.

Efectele programului nu pot fi niciodată observate în mod direct din cauza altor factori de intervenție și, prin urmare, evaluarea acestora presupune utilizarea unei analize contrafactuale.

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

prețioase cu privire la condițiile care trebuie să fie îndeplinite pentru a aplica un scenariu contrafactual solid și prezintă opțiuni alternative (de exemplu, comparații naive ale grupurilor, evaluări calitative).

În modelul logic, nivelul contrafactual este aplicabil atât pentru micro-analize, cât și pentru macro-analize și este corelat cu alegerea abordării și a metodelor de evaluare. Evaluatorul programului este cel care decide la ce nivel (micro-/macro) este efectuată analiza efectelor programului. Această decizie va depinde de datele disponibile și precede alegerea unității de analiză pentru care sunt colectate datele (economice, de mediu sau socio-economice).

16

Statele membre cu mai multe PDR-uri se pot confrunta cu problema ca sursele de date din UE (de exemplu, Eurostat) să nu ofere valori pentru indicatorii de impact comuni ai PAC la nivelul fiecăruia dintre PDR-urile regionale. Într-un astfel de caz, valoarea regională a indicatorului (NUTS 2) poate fi estimată pe baza datelor naționale sau, dacă este posibil, prin însumarea datelor bazate pe unitățile colectate în cadrul fiecărei regiuni respective (I.01, I.02, I.03).

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Figure 3. Modelul logic pentru identificarea opțiunilor de stabilire a scenariului contrafactual

Sursa: adaptare după ENVIEVAL (2015)

Modelul logic începe cu descrierea utilizării PDR și a situației datelor sub aspectul indicatorilor de impact (și de rezultat) SCME disponibili, precum și al indicatorilor suplimentari, dacă sunt selectați (casetele cu fond gri închis ). O serie de întrebări legate de procesul decizional (casetele cu caractere de culoare roșie) conduc la posibilele opțiuni pentru stabilirea scenariului contrafactual (casetele cu fond roșu).

Aflați mai multe despre utilizarea modelelor logice din Proiectul de cercetare ENVIEVAL din cadrul PC7 și Manualul metodologic aferent pentru evaluarea impacturilor PDR asupra mediului

17

GHIDUL RAPID NR. 1: Cum se aplică modelul logic pentru a identifica diferite opțiuni pentru conceperea scenariului contrafactual și a decide cu privire la metoda de evaluare?

Aplicarea etapelor din arborele decizional în cadrul nivelului contrafactual oferă îndrumări cu privire la modul de a răspunde la următoarele întrebări-cheie în conceperea scenariului contrafactual: Ce opțiuni sunt disponibile pentru a construi un scenariu contrafactual? Punerea în aplicare și adoptarea măsurilor permit constituirea unui grup de control? În ce măsură dispun de date cu privire la alți factori care influențează indicatorii selectați? Dispun de date pentru indicatorii selectați pentru diferite puncte în timp (înainte și după) pentru beneficiari și

non-beneficiari? Pot utiliza metode robuste bazate pe statistici pentru a cuantifica efectele nete ale măsurilor evaluate într-un

mod eficient din punctul de vedere al costurilor?

* Presupune că indicatorul utilizat este corelat cu unitatea de analiză (de exemplu, fermă sau regiune).** Necesită o populație subsecventă comună de ferme sau regiuni care face obiectul comparației și eșantioane reprezentative statistic pentru fiecare grup de comparație.*** Pentru factori care stabilesc cel mai adecvat număr de grupuri de comparație, consultați ENVIEVAL (2015): Manual metodologic (Methodological Handbook). paginile 24/25.

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

18

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

19

GHIDUL RAPID NR. 3: Compromisuri în alegerea metodelor de evaluare

În evaluări, datele indisponibile sunt deseori considerate a fi principala constrângere care limitează alegerea metodelor de evaluare. Însă aplicarea unor tehnici de evaluare „naive” (fără scenariu contrafactual) în astfel de cazuri determină apariția unor puncte slabe semnificative în ceea ce privește rigoarea metodologică, credibilitatea, soliditatea și valabilitatea. Părțile interesate sunt așadar încurajate să aibă în vedere compromisuri între cerința privind datele și o posibilă eroare la nivelul rezultatelor, determinată de utilizarea unor metode mai slabe. Metodele de evaluare care asigură o calitate mai bună a rezultatelor tind să fie mai exigente în ceea ce privește datele.

Compararea metodelor (Legendă: +++++ = cel mai mare punctaj; + = cel mai mic punctaj): Metodă Credibilitate/

rigoare, fiabilitate etc.

Capacitatea de a reduce eroarea

de selecție și alte erori

Calitatea evaluării

Cerința privind datele

Abordare experimentală

+++++ +++++ +++++ +++

Abordări cvasi-experimentale

++++ ++++ ++++ ++++

Corelarea abordărilor (combinate cu DiD)

++++ ++++ ++++ ++++

RDD +++ +++ +++ +++

Metoda variabilelor instrumentale

++++ +++ +++ +++

Metoda DiD ++ ++ ++ ++

Comparații cu non-beneficiari într-o perioadă dată de timp (metoda naivă)

+ + + ++

Comparația beneficiarilor din cadrul programului înainte și după (abordarea naivă)

+ + + +

Abordări calitative aplicate pentru estimarea rezultatelor/impacturilor programului

++ ++ ++ +

Aflați mai multe despre criteriile de alegere a abordărilor de evaluare în Guidelines for Ex-post evaluation of 2007-2013 RDPs , capitolul 4.3.4.2.

GHIDUL RAPID NR. 4: Cum se analizează efectele nete ale PDR? (în raport cu nivelul al treilea)

Evaluarea efectelor nete ale programului la nivel macro sau la nivelul zonei acoperite de program, atunci când se utilizează scenariul contrafactual, poate fi efectuată pe baza a două abordări principale: Prima abordare are la bază o micro-analiză și o extrapolare a rezultatelor acesteia la nivel macro (extindere). A doua abordare utilizează instrumente analitice precum echilibrul general calculabil, echilibrul parțial și modele econometrice spațiale sau alte tehnici de modelare – în care parametrii de model aferenți (de exemplu, coeficienții de productivitate sau de emisii) sunt estimați econometric într-un mod care ține cont de legăturile cauzale sigure, o posibilă eroare de selecție, endogeneitate și dependențe spațiale. Această abordare include, de asemenea, combinația dintre o abordare la nivel macro „de sus în jos” (de exemplu, modele cu acoperire națională sau regională) pentru evaluarea impacturilor programului și o abordare la nivel micro „de jos în sus” care analizează efectele nete ale diferitelor măsuri sau combinații de măsuri.

Este important de remarcat faptul că, independent de abordarea aleasă, analiza efectelor nete ale PDR este posibilă doar dacă sunt disponibile suficiente date cantitative și se aplică tehnici metodologice avansate. O eventuală utilizare a opțiunilor de evaluare cantitativă naivă (de exemplu, înainte-după, utilizarea unor controale neadecvate etc.) poate determina apariția unor influențe

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Evaluarea la nivel micro și macro și structurarea impacturilor (al treilea nivel)

Este urmat apoi nivelul micro sau macro din modelul logic pentru a nuanța opțiunile în materie de evaluare. Fluxul de lucru pentru nivelurile micro și macro conduce evaluatorul la metode care contribuie la o evaluare coerentă a impacturilor nete la nivel micro și macro28. Pentru fiecare scenariu contrafactual posibil este creat un micro-model logic individual. În conceperea anumitor evaluări, extrapolarea constatărilor de la nivel micro reprezintă baza pentru evaluarea la nivel macro. În conceperea altor evaluări, evaluările la nivel micro și macro se completează reciproc, ceea ce necesită o verificare a coerenței.

Aplicarea etapelor din arborele decizional la nivelurile micro și macro ajută la furnizarea de răspunsuri la următoarele întrebări cadrul conceperii metodei de evaluare: Trebuie să aplic o anumită metodă de mediu, sectorială (agricolă-economică) sau socio-

economică pentru a cuantifica schimbările produse la nivelul valorilor indicatorilor sau pot utiliza direct valorile indicatorilor în timp ce utilizez metodele contrafactuale?

În cazul în care ar trebui să se aplice o metodă specifică, datele sunt adecvate pentru a pune în aplicare una dintre metodele disponibile pentru o evaluare a impactului la nivel de mediu, sectorial sau socio-economic?

Trebuie să colectez date primare noi prin eșantionare statistică și cât de costisitoare este această acțiune?

Trebuie să îndeplinesc anumite sarcini pentru a îmbunătăți calitatea sondajului/datelor de monitorizare?

Dacă nu pot cuantifica schimbările produse la nivelul valorilor indicatorilor sau dacă acest lucru este foarte costisitor, ce metode (calitative) alternative există pentru analizarea schimbărilor de la nivelul valorilor indicatorilor?

28 Etapele care vor fi urmate în evaluarea netă a impacturilor PDR sunt descrise detaliat în Ghidul pentru evaluarea ex post pentru PDR din perioada 2007-2013 (Guidelines for the ex post evaluation of 2007-2013 RDPs), și anume în capitolele 4.2.3 și 4.2.4.

20

Elementele cantitative ar trebui să fie interpretate critic printr-o analiză calitativă. În plus, evaluarea calitativă poate ajuta, de asemenea, la completarea evaluării cantitative cu scopul de: a) a evalua caracterul reprezentativ al datelor disponibile, b) a realiza o validare încrucișată a constatărilor, c) a surprinde diferite dimensiuni ale aceluiași fenomen.

GHIDUL RAPID NR. 4: Cum se analizează efectele nete ale PDR? (în raport cu nivelul al treilea)

Evaluarea efectelor nete ale programului la nivel macro sau la nivelul zonei acoperite de program, atunci când se utilizează scenariul contrafactual, poate fi efectuată pe baza a două abordări principale: Prima abordare are la bază o micro-analiză și o extrapolare a rezultatelor acesteia la nivel macro (extindere). A doua abordare utilizează instrumente analitice precum echilibrul general calculabil, echilibrul parțial și modele econometrice spațiale sau alte tehnici de modelare – în care parametrii de model aferenți (de exemplu, coeficienții de productivitate sau de emisii) sunt estimați econometric într-un mod care ține cont de legăturile cauzale sigure, o posibilă eroare de selecție, endogeneitate și dependențe spațiale. Această abordare include, de asemenea, combinația dintre o abordare la nivel macro „de sus în jos” (de exemplu, modele cu acoperire națională sau regională) pentru evaluarea impacturilor programului și o abordare la nivel micro „de jos în sus” care analizează efectele nete ale diferitelor măsuri sau combinații de măsuri.

Este important de remarcat faptul că, independent de abordarea aleasă, analiza efectelor nete ale PDR este posibilă doar dacă sunt disponibile suficiente date cantitative și se aplică tehnici metodologice avansate. O eventuală utilizare a opțiunilor de evaluare cantitativă naivă (de exemplu, înainte-după, utilizarea unor controale neadecvate etc.) poate determina apariția unor influențe

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

21

Etapa 3: Calcularea efectelor indirecte ale PDR asupra non-beneficiarilor la nivel micro: Aici schimbarea observată la nivelul valorii indicatorilor ar trebui să fie împărțită, de asemenea, în două componente: schimbări datorate programului (efectul total al contribuțiilor primare și secundare) și schimbări provocate de alți factori. Această etapă se referă la estimările conform cărora sprijinul obținut de către beneficiarii măsurilor PDR ar putea avea efecte de echilibru general „prevăzute/neprevăzute” (de exemplu, efecte negative asupra non-beneficiarilor situați în imediata vecinătate a beneficiarilor programului).

În această etapă a evaluării, o analiză calitativă preliminară este esențială, deoarece poate asigura perspective valoroase din interior și poate conduce la formularea de întrebări de evaluare specifice programului (IESP) importante axate pe performanța programului, în special în ceea ce privește efectele sale pozitive, negative, intenționate și neintenționate asupra non-beneficiarilor. Utilizarea IESP este voluntară, însă dacă a fost formulată o astfel de întrebare, ar trebui să se furnizeze un răspuns. Pentru o analiză preliminară a sinergiilor sau a posibilelor efecte transversale negative, evaluatorii ar putea utiliza, de asemenea, instrumente de analiză calitativă.

Etapa 4: Agregarea constatărilor și calcularea efectelor PDR asupra indicatorilor de impact analizați la nivel macro și la nivelul zonei acoperite de program. În această etapă, evaluatorul ar trebui să calculeze efectele directe nete ale PDR asupra indicatorilor de impact la nivelul zonei acoperite de program prin aplicarea de tehnici de extrapolare (și anume, înmulțind micro-rezultatele medii calculate la nivel micro cu numărul beneficiarilor/non-beneficiarilor).

Etapa 5: Aplicarea metodelor calitative pentru verificarea rezultatelor obținute (triangulație).

Aflați mai multe despre structurarea efectelor programului în capitolul 4.2 din Ghidul pentru evaluarea ex post a PDR din perioada 2007-2013 (Guidelines for ex post evaluation

of 2007-2013 RDPs) și despre CGE în capitolul 4.3.3

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Verificarea și validarea coerenței la nivel micro și macro (nivelul al patrulea)

În cazul unei evaluări cantitative „de jos în sus”, consecvența este garantată prin extinderea datelor de la nivel micro la nivel macro.

Pentru efectele directe ale programului asupra unităților care au beneficiat de sprijin, efectele directe nete ale programului calculate cu ajutorul indicatorilor de rezultat ar trebui să fie, în principiu, coerente cu efectele nete ale programului calculate cu ajutorul indicatorilor de impact și să indice aceeași tendință ca și acestea din urmă. Însă, în funcție de amploarea și direcția efectelor indirecte, rezultatele de la nivel macro pot, în principiu, să indice, de asemenea, direcția impactului opusă efectelor de la nivel micro. Însă, în aceste cazuri, direcțiile opuse ale efectelor trebuie să fie explicate prin dovezi cauzale și/sau cuantificate ale efectelor indirecte. O verificare a coerenței rezultatelor la nivel micro și macro presupune o bună înțelegere a factorilor-cheie care au impact asupra fiecărui indicator.

În cazul efectelor indirecte ale programului asupra fermelor care beneficiază de sprijin și a celor care nu beneficiază de sprijin, constatările micro-economice după agregarea acestora pot estima doar aproximativ amploarea tuturor efectelor indirecte posibile ale PDR (inclusiv a celor calculate cu ajutorul modelelor sectoriale). Motivul principal al acestei aproximări este dificultatea modelării tuturor efectelor indirecte posibile pe care unitățile care au beneficiat de sprijin și cele care nu au beneficiat de sprijin le-au suportat „cel puțin teoretic”.

Evaluarea „de jos în sus” bazată pe agregarea diferitelor surse de date cu diferite metrici și terminologii pot provoca ambiguitate. Una dintre principalele provocări în ceea ce privește verificarea coerenței pentru nivelul macro și micro este stabilirea cauzalității dintre schimbările și impacturile măsurate la nivel de fermă și parcelă și schimbările și impacturile produse dincolo de schimbarea delimitării fermei (de exemplu, la nivelul NUTS 3 și al programului). În acest context, este important ca unitățile de analiză și scările aplicate să țină cont de scara și nivelul la care ar putea să se producă efectele. O simplă aplicare a limitelor administrative fixe poate distorsiona rezultatele. Se poate depune un efort pentru a aplica metodele de eșantionare în mod coerent la scară de teren, fermă și peisaj pentru a ține cont de diferitele tipuri de taxonomii studiate și de interacțiunile dinte variabilele care descriu clima, topografia, destinația terenurilor, condițiile socio-economice și cele pedologice29. „Abordarea de jos în sus”, cu o arie de studiu la nivel de parcelă sau teren, permite obținerea rezultatelor prin colectarea de date din sondaje desfășurate pe zone în urma unor protocoale experimentale și extrapolarea acestora de la nivel micro la nivel macro prin sisteme de informații geografice (GIS), imagini din satelit sau analiză spațială30.

29 Pentru mai multe informații, vă rugăm să consultați: „Landscape-moderated biodiversity effects of agri-environmental management: a meta-analysis”, Proceedings. Biological sciences / The Royal Society, 278(1713): 1894–1902, Batáry P, Báldi A, Kleijn D, Tscharntke T, (2011).

30 Pentru mai multe informații, vă rugăm să consultați: „Organic farming at local and landscape scales benefits plant diversity”, Ecography 33(3): 514- 522, Rundlöf M, Edlund M, Smith HG, (2009).

22

Pentru analiza impactului net, este important să se verifice coerența rezultatelor micro-analizei și macro-analizei pentru a le valida. Consecvența este asigurată atunci când constatările de la ambele niveluri nu sunt contradictorii.

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

GHIDUL RAPID NR. 5: Cum se valorifică la maximum abordările calitative?

Abordările calitative pot fi aplicate cu un obiectiv triplu:

a) Ca alternativă la metodele cantitative atunci când lipsesc date. Spre exemplu, evaluarea calitativă bazată pe teorie (TBE) poate fi utilizată pentru a arăta cum și de ce programul va funcționa și este preconizat a conduce la realizările prevăzute. TBE urmează fiecare etapă a logicii de intervenție a programului identificând legăturile cauzale și mecanismele de schimbare, pentru a conduce la rezultate și impacturi. Diferitele legături din logica de intervenție pot fi analizate cu ajutorul unei varietăți de metode. În prezentul ghid propunem grupuri tematice (în special metoda MEPP) sau interviuri cu părțile interesate/experți.

b) Ca o completare a evaluării contrafactuale cantitative pentru a identifica mai bine cum și de ce au fost generate impacturile. Ar trebui remarcat faptul că TBE nu poate nici să examineze „impactul net” (adică măsura în care schimbarea observată la nivelul zonei acoperite de program poate fi atribuită programului), nici să distingă efectele programului de contribuția altor factori.

c) În cadrul triangulației, pentru validarea constatărilor metodelor cantitative.

Aflați mai multe despre evaluarea bazată pe teorie în capitolul 3.3.4 din „Investment Support under Rural Development Policy”, (CE, 2014) și despre cum pot fi utilizate metodele calitative pentru colectarea datelor cantitative în „Distinguishing Between Types of Data and Methods of Collecting Them” (Hentschel, 1998).

2.1.2 Prezentarea metodelor de evaluare recomandate pentru evaluarea indicatorilor de impact PAC

În perioada de programare 2014-2020, evaluarea impacturilor PDR va fi desfășurată pentru prima dată în 2019, într-un moment în care lacunele în materie de date ar putea constitui încă o problemă pentru diverse PDR-uri din cauza ratei scăzute de adoptare/a întârzierii în adoptarea anumitor măsuri, ori a lipsei datelor statistice pentru evaluare. Întrucât lacunele în materie de date îngreunează foarte mult observarea impacturilor PDR, prezentul ghid sugerează cel puțin două abordări diferite pentru calcularea fiecăruia dintre indicatorii de impact comuni din cadrul pilonului II al PAC:

Abordarea A este un exemplu de abordare de evaluare într-o situație optimă în materie de date. Aceasta poate fi utilizată în 2019 și/sau poate fi avută în vedere în evaluarea ex post. Abordarea A este mai avansată decât abordarea B și, de asemenea, este mai riguroasă.

Abordarea B este un exemplu de abordare de evaluare alternativă în cazul lacunelor în materie de date (de exemplu, din cauza adoptării lente a programului, ceea ce nu permite observarea impacturilor PDR) sau în cazul în care există alți factori (resurse, timp, competențe) care împiedică aplicarea unei metode mai avansate. Abordarea B conține o componentă calitativă în mai multe cazuri.

Atât abordarea A cât și abordarea B respectă standardele în materie de evaluare. Abordarea A este definită ca fiind abordarea care asigură cele mai sigure rezultate ale evaluării într-o situație ideală în materie de date. Dată fiind situația datelor din 2019, este recunoscut faptul că, pentru multe PDR-uri, este posibil ca abordarea A să nu fie totuși cea mai practică (a se vedea tabelele privind caracterul adecvat al abordărilor de evaluare propuse în capitolele 4.1-4.7 din anexa tehnică). Mai

23

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

multe exemple de abordări de evaluare sunt menționate în figurile respective ale modelului logic pentru fiecare indicator de impact.

24

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Table 3. Exemple de abordări de evaluare recomandate pentru evaluarea indicatorilor de impact PAC

Cod Indicator Abordarea A Exemplu de abordare într-o situație optimă

în materie de date

Abordarea B Exemplu de abordare alternativă în cazul

lacunelor în materie de date

Nivel micro Nivel macro Nivel micro Nivel macro

Impacturi la nivel de sector

I.01Venitul întreprinderii agricole

Combinația dintre metodele de

corelare a scorurilor de propensiune cu metoda diferenței dintre diferențe

(CSP-DiD)

Abordări de jos în sus de extrapolare a

constatărilor de la nivel micro

Aplicarea unui model sectorial

Metodă de regresie privind

discontinuitatea (RDD)

Abordări de jos în sus de extrapolare a

constatărilor de la nivel micro

I.02Venitul factorilor agricoli

I.03 Productivitatea totală a factorilor în agricultură

Impacturi asupra mediului

I.07Emisii din agricultură

Tehnici de regresie și de corelare

Corelarea scorurilor de propensiune

generalizate (GPSM) folosind date NUTS 3 sau alte date spațiale

Nu există

Valori de referință naive

Comparații (inclusiv metode cantitative)

I.08 Indicele privind păsările specifice terenurilor agricole

Corelarea scorurilor de propensiune

(PSM) și Diferența dintre diferențe

(DiD)

Corelarea scorurilor de propensiune

(PSM) și Diferența dintre diferențe

(DiD)

Modele econometrice

spațiale în zone biogeografice

Analiza statistică a comparațiilor ad-hoc

pe perechi sau grupuri de

comparație multiple cu ajutorul metodei

DiD asociată cu analize calitative

Abordări de jos în sus de extrapolare a

constatărilor de la nivel micro însoțite de analize calitativeI.09 Agricultură de

mare valoare naturală (MVN)

I.10Captarea apei în agricultură

Tehnici de regresie și corelare pentru I.10, I.11-1 și, în

funcție de disponibilitatea

datelor pentru I.11-2Simularea unui „studiu de caz”

referitor la rețeaua de bazine

hidrografice sau a subunității sale doar

pentru I.11-2

Corelarea scorurilor de propensiune

generalizate (GPSM)

Metode econometrice

spațiale

Metode calitative

Comparații naive la nivel de grupuri,

sprijinite de metode calitative

I.11

Calitatea apei

I.12

Materiile organice din sol în terenul arabil

Analiza materiilor organice din sol

(MOS) pe baza unei adâncimi a solului

de 0-60 cm

Nu există

Analiza MOSpe baza programelor

simplificate de monitorizare a

solului

Analiza MOS fondată pe

baza de date LUCAS

25

Partea III – Fișe pentru furnizarea de răspunsuri la IEC

Cod Indicator Abordarea A Exemplu de abordare într-o situație optimă

în materie de date

Abordarea B Exemplu de abordare alternativă în cazul

lacunelor în materie de date

Nivel micro Nivel macro Nivel micro Nivel macro

I.13 Eroziunea solului cauzată de apă

Tehnici de evaluare bazate pe statistici

Econometrică spațială GPSM sprijinită de DiD

Comparații naive ale valorilor de referință sau ale grupurilor

dinamice

Analiza cantitativă naivă între unități

spațiale și o medie națională

Impacturi socioeconomice

I.14 Rata de ocupare a forței de muncă în mediul rural

Nu există

Modelul echilibrului general calculabil (CGE) recursiv-

dinamic

Corelarea scorurilor de propensiune

(PSM) și Corelarea scorurilor de propensiune generalizate

(GPSM)

Nu există

Analiza datelor de intrare-ieșire (DII)

(susținută de analiza calitativă)

I.15Gradul de sărăcie în mediul rural

I.16PIB pe cap de locuitor în zonele rurale

Tabelul de mai sus prezintă, pentru fiecare dintre indicatorii de impact din cadrul pilonului II al CAP, o sinteză a abordărilor de evaluare recomandate pentru analiza la nivel micro și la nivel macro descrise detaliat în capitolele 2.2-2.9 din ghid, precum și în anexa tehnică.

26

Abordările de evaluare descrise în ghid sunt exemple de opțiuni posibile, însă există și alte opțiuni. Evaluatorii pot alege alte abordări de evaluare a impacturilor PDR, ținând cont de cea mai bună opțiune pentru a colecta date solide, respectând totodată situația specifică a PDR în ceea ce privește:

dimensiunea PDR, adoptarea PDR, disponibilitatea și calitatea datelor pentru evaluare.

Modelele logice prezentate în prezentul ghid ar trebui să servească drept instrumente utile pentru evaluatori în identificarea posibilelor opțiuni de evaluare într-un context real dat.