una testimonianza di valutazione - apre · area science park giornata nazionale people roma 7...
TRANSCRIPT
Ciro Franco
Ufficio di Coordinamento e Internazionalizzazione
degli Enti di ricerca regionali
AREA Science Park
Giornata nazionale People
Roma 7 novembre 2011
Una testimonianza di valutazione
nell’ambito del Programma People
Portare l’esperienza della valutazione, quale
occasione di confronto interdisciplinare,
intersettoriale, internazionale e come strumento
di crescita personale
Evidenziare l’importanza della conoscenza dei
meccanismi e dei processi di valutazione, per
scrivere una proposta vincente
Obiettivi dell’intervento
“Growth will come from the expansion of services and
investment in science and technology industries, and this can
only happen if people have the right competencies and skills”
Focus sulle risorse umane
Il valore e la
funzione delle
Azioni Marie Curie People
Initial training
Life-long training
Industry-academia
International dimension
Specific actions
People non prevede veri
e propri progetti di
ricerca: attenzione al
Training
Confermati nelle FP7
mid-term evaluations
e nell’analisi delle
future prospettive
Importanti riferimenti di background
Mobilità intersettoriale:
“Mobility of Researchers between
Academia and Industry, 12 Practical
Recommendations”
Rispetto della Carta Europea dei
Ricercatori e del Codice di Condotta per la
loro assunzione: crescente rilevanza ai fini
della positiva valutazione dei progetti People
Importanti riferimenti di background
Fondamentale la scelta del Panel in cui si desidera venga valutata la
propria proposta: CHE, SOC, ECO, ENG, ENV, LIF, MAT, PHY
I valutatori esperti sono selezionati dal database del 7PQ Expert
Management Module (EMM), utilizzando vari livelli di parole chiave, al
fine di ottenere la necessaria expertise, i settori economici, l’esperienza
in peer review, una vasta rappresentatività geografica e l’equilibrio di
genere tra i valutatori stessi (https://cordis.europa.eu/emmfp7/index.cfm)
Ciascuna proposta viene valutata da almeno 3 valutatori, fino ad un
massimo di 5
Il valutatore è tenuto a fornire un parere indipendente, imparziale ed
obiettivo, attenendosi solo a quanto scritto nella proposta!
Il valutatore non rappresenta nè l’istituzione nè il Paese di provenienza
Grande responsabilità: attraverso i propri commenti e suggerimenti, i
valutatori possono mettere in risalto il valore di un progetto
I Panel di valutazione
ed il ruolo dei valutatori (“independent experts”)
Proposal parts
/content
Proposal
forms
Evaluators
Criteria
Eligibility
Evaluators
Criteria
Evaluators
Criteria
Final ranking
list/Funding
scenarios
Consensus Submission Panel
Meeting
Individual
reading
Proposals in
suggested
priority order
Rejection list
Commission
Follow-up
Questions
COMMISSION COMMISSION
La valutazione individuale
…la fase “scientifica” della valutazione
Per ciascun criterio di valutazione, viene attribuito un punteggio ed un
commento, CHE TIENE CONTO DI TUTTI I SOTTOCRITERI
I criteri di valutazione: l’esempio delle IEF
Proposal parts
/content
Proposal
forms
Evaluators
Criteria
Eligibility
Evaluators
Criteria
Evaluators
Criteria
Final ranking
list/Funding
scenarios
Consensus Submission Panel
Meeting
Individual
reading
Proposals in
suggested
priority order
Rejection list
Commission
Follow-up
Questions
COMMISSION COMMISSION
Il consensus
…la “fase relazionale”
Ciascun consensus meeting dura in media ½ ora
Bisogna in questa sede trovare l’unanimità su punteggi e commenti
Si parte dalle valutazioni individuali
È necessaria un’approfondita discussione
I valutatori coinvolti hanno background diversi
Non è sufficiente raggiungere una media tra i punteggi assegnati dai
singoli valutatori
Per ciascuna proposta viene nominato un Rapporteur, che ha
l’incarico di stilare il Consensus Report: questo rappresenta una
“chiara e motivata” valutazione complessiva della proposta
Necessario vivere in modo positivo l’esperienza e lo scambio di
punti di vista, sorridere e ricordare che la valutazione di una
proposta non è un fatto personale!!!
Il consensus
1. Scientific & Technological Quality:
The objectives are vaguely stated
The project is out of the scope
The proposal failed to specify its methods, its scientific and
technological approach
The originality of the project is not adequately demonstrated
2. Training:
The training objectives are not clearly stated
The additional competencies expected from the project are not
evident
A personalised training programme is not illustrated
Le più ricorrenti criticità nei giudizi dei valutatori (1/2)
3. Researcher:
The research results are not adequately illustrated
Independent thinking and leadership qualities of the fellow have
not been convincingly demonstrated
4. Implementation:
The work plan is not sufficiently presented
The project is neither fully credible nor convincing
The project is too ambitious
5. Impact:
The prospects of reaching a position of professional maturity
through the fellowship are not convincingly presented
The benefit of the fellowship to European competitiveness in
the field is not demonstrated in the proposal
Le più ricorrenti criticità nei giudizi dei valutatori (2/2)
Marie Curie Individual Fellowships (ECO-SOC Panel)
Call 2009: 624 proposte
Call 2010: oltre 800 proposte
Call 2011: 972 proposte
Marie Curie Individual Fellowships (tutti i Panel)
Call 2009 4.021 proposte
Call 2010 4.669 proposte
Call 2011 5.491 proposte
Elevata e crescente competizione
Prepararsi con largo anticipo (strategia di lungo termine)
Dimostrare conoscenza approfondita dello stato dell’arte della ricerca
Attenzione alle criticità maggiormente ricorrenti: obiettivi non chiari e fumosi e richiesta finanziaria non giustificata dalle attività del progetto
Attenzione a metodologia innovativa e ad aspetti interdisciplinari ed
intersettoriali
Coinvolgere nella stesura della proposta sia staff scientifico che amministrativo
(fondamentale il bilanciamento delle attività)
Non “indisporre” il valutatore con tecnicismi, piuttosto “accompagnarlo” nella
proposta
Non utilizzare acronimi incomprensibili: dall’acronimo dovrebbe evincersi il
concetto di base del progetto
È fondamentale stare nei limiti di pagine previsti dal Form B: la REA richiede
sempre più il rispetto di questa regola
Attenzione alle attività di disseminazione (“Outreach activities plan”)
Infine, candidarsi come valutatore poichè si è in grado di osservare la
“macchina dall’interno”
In conclusione, alcuni consigli pratici per i candidati
14
Ciro Franco
Ufficio Coordinamento
e Internazionalizzazione
degli Enti di ricerca regionali
AREA Science Park
Padriciano, 99
Trieste
Tel: +39 040 375 5296
www.area.trieste.it/coordinamento
www.welcomeoffice.fvg.it
Grazie dell’attenzione!