procedure e criteri di valutazione dei progetti di ... - regione...

Palermo 21/11/2012

Progetto Operativo di Assistenza Tecnica - POAT Salute PON Governance e Assistenza Tecnica (FESR) 2007-2013

Linea 7 – Regione Siciliana

Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata 2011-2012

DIPARTIMENTO PER LO SVILUPPO E LA COESIONE

ECONOMICADIREZIONE GENERALE PER LA POLITICA

REGIONALE UNITARIA COMUNITARIA

Dipartimento della programmazione e

dell’ordinamento

del Servizio sanitario nazionale Direzione generale della programmazione sanitaria

Mirca Barbolini

Progettazione Sanitaria ed Internazionale Consulente Formez PA

PROCEDURE DI VALUTAZIONE

A) Fase Amministrativa: Verifica dei Requisiti del Bando

• Criteri di Eleggibilità (chi può partecipare)

• Tipo di Progetti

• Entità del Finanziamento

• Durata massima

B) Fase Tecnica:

• Procedure (LOI, Proposta Completa)

• Verifica della Qualità del Progetto

Procedure e Criteri di Valutazione dei Progetti di Ricerca Finalizzata

Procedure-Fase Tecnica

Programmi di Rete (PR)

I. Fase - Triage (valutazione della LOI):

La valutazione della LOI verrà effettuata da un gruppo di esperti

prevalentemente internazionali (gruppo triage).

Criteri: Trasferibilità, Impatto per SSN, Innovatività, Importanza del

Gruppo di Ricerca, Coerenza del budget.

II. Fase - Valutazione della proposta completa (Criteri B.2):

La valutazione verrà effettuata da un gruppo di esperti revisori internazionali

o referee (NIH Center for Scientific Review), (2 per progetto), mediante

assegnazione automatica per parola chiave.

Ogni pacchetto di lavoro (WP) dovrà essere valutato secondo i criteri di

innovatività, trasferibilità, impatto per il SSN. Il punteggio

complessivo sarà dato dalla media del punteggio di ogni WP.


Procedure-Fase Tecnica

Progetti Ordinari, Cofinanziati, Estero, Giovani Ricercatori (Criteri B.1)

1. Valutazione LOI (Comitato di Esperti)

2. Ricezione progetti completi (incl. PR II fase)

3. Invio dei progetti ai revisori internazionali o referee (NIH) (2 per progetto) per valutazione individuale (peer review); assegnazione automatica per parola chiave;

4. Fase di confronto (Face to face) tra revisori (accordo)

5. Gruppo di consenso - GC (RF, PR), Comitato di Valutazione CV (GR),

Study Session (PE, PC):

-grado di merito del progetto

-verifica discrepanze di giudizio dei revisori*

-verifica entità e origine del cofinanziamento (PC)

6. Supervisione dell’intero processo da parte di editors

7. Invio del Verbale di valutazione alla CNRS per l’audit.

NB*: congruità economica e adeguatezza attrezzature (GR, RF e PR)


Progetti Ordinari, Cofinanziati, Estero, Giovani Ricercatori

Criteri di Valutazione B.1

*Valore massimo=1; Valore minimo=9. Sono ammessi punteggi in frazioni di 0,5 punti.

Programmi di Rete

Criteri di Valutazione B.2

Criterio: Qualità Scientifica e Rilevanza della Ricerca Proposta e Fattibilità degli Obiettivi

Formulario: C.1 Sintesi del Progetto

•Breve riassunto degli aspetti rilevanti del progetto.

Dà un'idea di quello che si intende fare; spesso viene utilizzata dai valutatori per classificare la qualità dei progetti.

Formulario: C.2 Background (Stato dell‟Arte)

•Razionale

Evidenziare gli aspetti in cui la letteratura manca di continuità e chiarezza, e la necessità di approfondire le conoscenze nel campo scientifico specifico, mediante la ricerca proposta (Ipotesi).

Chiara descrizione del contesto, di problemi rilevanti (stato di salute, bisogni organizzativi, tecnologici, altro). Fare riferimento a dati disponibili, evidenze scientifiche, iniziative e ricerche rilevanti a livello locale, regionale, nazionale e internazionale.

Scrivere il Progettopartendo dai Criteri di Valutazione


Formulario: D.1 Ipotesi e Rilevanza

•L„Ipotesi deve essere basata su evidenze scientifiche

•Conoscenza della letteratura: Non ipotizzate cose già dimostrate in letteratura o aspetti che non possono essere comprovati, a meno che non abbiate delle idee eccezionali da proporre;

•Esistenza di dati Preliminari: Il dato preliminare darà al valutatore un'idea di quello che fate e di come lo sapete fare;

•La ricerca può dimostrare che la vostra ipotesi non era corretta, dunque l„Ipotesi è sempre un punto di partenza;

•Si fa scienza per testare le ipotesi, non per confermarle.

•Rilevanza della Ricerca: rispetto agli obiettivi e le tematiche del bando.



Formulario: D.2 Obiettivi Specifici (Specific Aims) (Max 3)

•Permettono di testare le Ipotesi

Gli Obiettivi Specifici devono essere:

•Coerenti rispetto l’Ipotesi formulata;

•Chiari, concisi, connessi logicamente tra di loro;

•Fattibili e misurabili.



Formulario: D.6 Risultati Attesi e Possibili Criticità

•“E’ necessario investire considerevoli energie nell’ analisi dei potenziali risultati.

•Occorre spiegare come questi verranno interpretati, e come sono in relazione con l‟Ipotesi iniziale.

•“E’ necessario dimostrare capacità analitica e critica, anche nel caso in cui la ricerca non conduca ai risultati desiderati.



Formulario: D.6 Risultati Attesi e Possibili Criticità

I risultati devono essere coerenti rispetto agli obiettivi e all‟ipotesi di Ricerca.

• E‟ necessario evidenziare le Possibili Criticità e le misure da attuare per superarle.


Criterio: Metodologia e strategia di sviluppo del progetto

Formulario: D 3.1,3.2,3.3 - Disegno dello Studio

• Il disegno dello studio non deve fornire solamente una descrizione dettagliata di metodi, gruppi target, etc;

• Deve dimostrare l‟abilità di pensare in modo logico e sulla base di conoscenze solide;

• E’ necessario essere creativi, innovativi, e proporre ricerche fattibili rispetto al proprio contesto di lavoro.



Formulario: D 3.1,3.2,3.3 - Disegno dello Studio

Campi di ricerca e disegni dello studio (BMJ 2001;09:261-304 August ISSN 0966-6494)

• Le terapie: per testare l‟efficacia di un trattamento terapeutico, di una procedura chirurgica, dei metodi di offerta di servizi sanitari o di altri interventi (trial casuale randomizzato)

• Le diagnosi: per dimostrare se un nuovo test diagnostico è valido e affidabile (cross sectional survey)

• Gli screening: per dimostrare la validità di test da applicare ad ampi strati di popolazione con lo scopo di individuare una patologia in fase asintomatica (cross sectional survey)

• La prognosi: per determinare qual è l‟esito più verosimile di una patologia diagnostica allo stadio iniziale (coorte)

• I fattori eziologici: per determinare se un potenziale fattore di rischio è associato allo sviluppo di una malattia (coorte o caso controllo).



Formulario: D 3.1,3.2,3.3 - Disegno dello Studio*

Considerazioni connesse alla scelta dello studio

–Il disegno dello studio è adatto all‟obiettivo prefissato?

–Il disegno dello studio è etico?

–Di quali e quante risorse dispongo in termini di tempo, denaro e personale (fattibilità)?

–Siamo sicuri che non c’è un modo più veloce ed economicoper ottenere le informazioni di cui abbiamo bisogno?

*(Rif.: BMJ 2001;09:261-304 August ISSN 0966-6494)



Formulario: D 3.1,3.2,3.3 – Disegno dello Studio

• E’ necessario definire il disegno dello studio, e spiegare in quale modo è correlato all’Ipotesi di ricerca (razionale), attraverso gli obiettivi specifici (specific aims) identificati.

Formulario: D.4.1 - Dati Preliminari

• Forniscono il razionale a supporto delle ipotesi, dimostrando che vi sono dati disponibili nell’ambito di ricerca specifico;

• Danno la possibilità di mostrare che il progetto è fattibile;

• Devono essere chiari e concisi;

NB: Se possibile inserire delle immagini (D.4.2)



Formulario D.5 – Metodologie e Analisi Statistiche

• Occorre riportare la metodologia di lavoro, fornendo le

evidenze scientifiche su cui si basa.

• Specificare i metodi di analisi statistica;

• Proporre differenti modelli statistici, che possano anche

dare conclusioni diverse rispetto alle ipotesi da verificare.



Formulario: D.5 – Metodologia di Lavoro

La qualità ed efficacia della metodologia di sviluppo del

progetto si verificano attraverso i seguenti aspetti:

-Identificazione dei pacchetti di lavoro (Programmi di

Rete);

-Identificazione delle attività, tempistica, ruoli e

responsabilità (GANTT CHART);

-Struttura organizzativa e procedure (aspetti tecnici e

amministrativi).

-Qualità ed esperienza del gruppo di Ricerca (PE)

-Risorse disponibili (budget, personale, apparecchiature).



Formulario: D.5 Metodologia di Lavoro (PR)


Formulario: D.5 Metodologia di Lavoro (PR)


Ob.3

Ob.1

Ob.2

WP3

WP1

WP2

Obiettivi Pacchetti di Lavoro (WP):-Attività

Prodotti

Prodotti-Intermedi (D)-Principali (M)



Formulario: D.5 – Metodologia di Lavoro (Pacchetti di Lavoro) (PR)

Titolo

Pacchetto di

Lavoro

Tipo di Attività

Partner

Coinvolti

Nr.Mesi/Uomo

per Partner

Es: Coordinamento, Disseminazione, Valutazione,

Gestione: WP1, WP2, WP3, etc.

Obiettivo Specifico

Descrivere le attività del WP e rispettivi ruoli dei partner coinvolti

Descrizione dei Prodotti Intermedi (Deliverables), e Principali

(Milestones), e relativa Tempistica

H2. GANTT CHART (Tabella Attività) (PR, GR, RF, PE, PC)


Formulario: H. Tempistica e Prodotti del Progetto

Prodotti Principali - H.1.1. Milestones:

Traguardi per realizzare gli obiettivi del progetto

• Eg: Conferenze, creazione reti scientifiche, normative.

Prodotti Intermedi - H.1.2. Deliverables:

Sono necessari per realizzare i prodotti principali

-Materiali: terapie, strumentazione, prototipi, piattaforme software, vaccini..

-Immateriali (nuove conoscenze): pubblicazioni, protocolli, rapporti, brevetti….

I prodotti (Deliverables e Milestones), vengono usati per monitorare

l‟avanzamento del progetto


Criterio: Innovazione e Trasferibilità

Formulario: E. Rilevanza e Innovazione

Rilevanza della Ricerca rispetto agli obiettivi e le tematiche del

bando.

Innovazione:

Indicare i progressi attesi rispetto lo stato dell‟Arte (Background), e di come questi risultino innovativi in termini di nuove conoscenze, tecnologie, prodotti, percorsi assistenziali, altro.

Trasferibilità:

Sottolineare la capacità di replicare e diffondere i risultati della ricerca (pubblicazioni, brevetti, conferenze, partecipazione a reti scientifiche, creazione di portali, materiale informativo, etc.).



Formulario: F. Complementarietà e Sinergia del Gruppo di

Ricerca

-Identificazione delle attività, tempistica*, ruoli e

responsabilità (GANTT);

-Struttura organizzativa e procedure (aspetti tecnici e

amministrativi).

-Storia di pregressa collaborazione del gruppo di Ricerca

(PR)

-Sinergia e complementarietà tra gruppi di lavoro o

modelli, anche senza storia di collaborazione tra ricercatori (PE)


Criterio: Profilo dell‟Investigatore e Attività Scientifica

Formulario: A, B. Profilo dell‟Investigatore Principale e dei

Contribuenti/altri Investigatori

• Dati e CV Investigatore;

• Lavori scientifici del richiedente: 5 migliori, 5 sull‟argomento (IF Rivista), nr. di citazioni e indice-h,

5 pubblicazioni più recenti.

Progetti Estero: dati ricercatore italiano residente

all’estero, Expertise gruppo di ricerca



Formulario: (L?). Rilevanza “Traslazionale” e Impatto

per il Sistema Sanitario Nazionale

Descrivere i Benefici complessivi del progetto (nuove conoscenze, prodotti tecnologici, terapeutici, altro);

Evidenziare come questi possano determinare una maggiore capacità di risposta sanitaria (predizione, promozione, diagnosi e terapia), a livello locale, regionale e nazionale, eun miglioramento complessivo dello stato di salute della popolazione.

Indicare i risultati a breve e medio termine (2 anni)

Criterio: valutazione dei tempi di ricaduta sul paziente


Criterio: Struttura e apparecchiature a disposizione per la

Ricerca

Formulario: I. Equipaggiamento e Risorse Disponibili

• Chiara e coerente identificazione ed enumerazione delle

risorse necessarie: strumenti, attrezzature, ris. umane, altro.

NB: strumentazioni e attrezzature – solo NOLEGGIO


Criterio: Congruità e Coerenza Economica

Formulario I: Costi

Budget coerente: attribuzione dei costi sulla base delle

attività previste dal piano di lavoro

Budget congruo: corretta attribuzione dei costi tra i

capitoli di spesa (% budget complessivo)

• Risorse umane (vs. carico di lavoro previsto dai WPs)

• Subappalto

• Costi Coordinamento

• Viaggi

• Strumenti, attrezzature, test in vivo

• Struttura amministrativa (overheads)


Il Budget

deve riflettere in modo preciso e coerente:

le Attività del Progetto

la Struttura Organizzativa e di Coordinamento

le Risorse (umane, materiali) necessarie

nel Tempo

Domande?

procedure e criteri di valutazione dei progetti di ... - regione...

Documents