hodnocení vavai a role ipn metodika
TRANSCRIPT
Hodnocení VaVaI a role
IPN Metodika
Jitka Moravcová
Daniel Münich
MŠMT
www.metodika.reformy-msmt.cz
VŠCHT Praha
14.11.2014
Osnova presentace
1
1. Význam hodnocení pro řízení
2. IPN Metodika
3. Mezihry: jak by hodnocení také mohlo vypadat
4. Kde jsme dnes
5. Základní atributy navrhovaného hodnocení
6. Harmonogram
7. Institucionální financování
2
Význam hodnocení pro řízení
Stanovení priorit VaV Řízení lidských
zdrojů VaV
Efektivní pořizování a využívání
infrastruktur VaV
Správně nastavené motivace ve VaV
Bez kvalitního hodnocení nebude
kvalitního řízení
3
Význam hodnocení pro řízení
vláda, RVVI,
EU rámec
Poskytovatelé
Výzkumné a další organizace
Pracovníci a infrastruktury VaV
Strategie, financování, ex-post hodnocení
Financování, dohled, strategické řízení
Řízení (včetně lidských zdrojů), motivace
Motivace
4
Hodnocení a národní strategické dokumenty
● Reforma systému VaVaI v ČR (2008, aktualizace) ● Národní politika VaVaI pro roky 2009-2015 (výhled 2020) ● Národní strategie konkurenceschopnosti 2012-2020 ● Národní inovační strategie ● Dlouhodobé principy hodnocení VaV, RVVI
Cíl: Zavést pravidelné, systematické a objektivní hodnocení
VaVaI v ČR na všech úrovních.
Mezinárodní audit systému VaVaI v ČR, 2009 - 2011
IPN Metodika
5
Kultura hodnocení
(bez hodnocení není kvalitní
řízení)
Hodnocení institucí
Hodnocení programů účelové podpory
Hodnocení projektů účelové podpory
Hodnocení velkých
infrastruktur VaV
Hodnocení účasti v
mezinárodních sítích VaV
Hodnocení jednotlivců
Odstíny červené odlišují míru
toho, jak je daný aspekt
obsažen v IPN Metodika.
IPN Metodika
6
IPN Metodika
Technopolis a spol.
Institucionální hodnocení
Malé pilotní ověření
Institucionální financování
Expertní tým IPN
Velké pilotní ověření
Návrh systému hodnocení
velkých infrastruktur
VaV
Principy hodnocení programů účelové podpory
Zásady hodnocení zapojení do
mezinárodních sítí
Studie proveditelnosti
hodnocení organizujícího
pracoviště
Osvěta a podpora
lidských zdrojů
IPN Metodika
7
Individuální projekt národní MŠMT, 2012-2015
● Zavedení evaluačních principů ověřených zahraničních praxí adaptovaných na naše národní podmínky.
● Multikriteriální oborové metodiky hodnocení respektující postavení dané VO v systému VaV.
● Využití dosavadních zkušeností s Metodikou a hodnocením AV ČR.
● Žádný mechanický vztah mezi výsledky hodnocení a výší institucionální podpory.
● Víceleté financování jako kombinace rozpočtu podle předpisu a výkonnostních smluv.
● Účinná spolupráce s RVVI. Otevřená diskuse se všemi aktéry (poskytovatelé!). Jak dosáhnout konsensu?
IPN Metodika – klíčové aktivity
8
● KA1 Informační podpora
● KA2 Systém hodnocení
● KA3 Systém financování
● KA4 Velké pilotní ověření
● KA5 Harmonogram pro přechodné období a podklady pro legislativní změny
● KA6 Institucionální zajištění hodnocení
● KA7 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí
Kde jsme dnes – mezihra I
9
•Španělské hodnocení, HN 2007
1. UK Praha
2. MU v Brně
3. ČVUT Praha
4. VUT Brno
5. ZU v Plzni
6. VŠE v Praze
7. TU Ostrava
8. Policejní akademie v Praze
9. UP Olomouc
10. JU v Č. Budějovicích
11. TU Liberec
12. ČZU Praha
13. VŠCHT Praha
14. Univerzita Pardubice
15. UTB ve Zlíně
16. MZLU v Brně
17. Slezská univerzita Opava
18. Ostravská univerzita
19. Univerzita Hradec Králové
20. Univerzita JEP Ústí n. L.
Španělský žebříček vs počty studentů
y = 46,756x-0,6347
R2 = 0,7544
0
5
10
15
20
25
30
35
40
45
50
0 5 10 15 20
umístění
po
če
t s
tud
en
tů
Kde jsme dnes – mezihra II
10
3
● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
Kde jsme dnes – mezihra II
11
2
● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
Kde jsme dnes – mezihra II
12
1
● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
Kde jsme dnes – mezihra III
13 ● Münich: http://metodikahodnoceni.blogspot.cz/2014/08/jak-jsme-na-tom-chemie.html
Kde jsme dnes – mezihra IV (poslední)
14
● Porovnání VVŠ podle bodů v RIV, 2012
● provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ,
● průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů, aniž by musela produkce článků dané školy reálně růst
Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html
Kde jsme dnes – mezihra IV (poslední)
15
● Porovnání VVŠ podle bodů v RIV, 2009-2012
● pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze
sledovat trend), Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html
Kde jsme dnes – Metodika 2013
16
● Pilíř I: Oborové hodnocení publikačních výsledků. Výsledky typu J, B, C a D v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů.
● Pilíř II: Hodnocení kvality. Jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení, 20 % v každém oboru dostane zvláštní bonifikaci, projekty ERC.
● Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Body pouze u patentu, projekty aplikovaného výzkumu + smluvní výzkum.
Kde jsme dnes - Metodika
17
● Definuje, které výsledky jsou uznatelné, jak se data sbírají a jak se převádějí na body.
● Dává jasný signál: žádný výsledek, žádná institucionální podpora.
● Je účinná proti nepotismu, korupci a lobování (?).
● Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů…
● Uznává jen minulé výsledky.
● Podporuje fragmentaci vědeckých výsledků.
● Nepodporuje mezioborové týmy.
● Je pouze kvantitativní (kvalitu nahrazuje kvantita).
Metodika vs WoS
18 • WoS, heslo „Czech Republic“, 25.1.2014, roztřídění podle instituce
Základní atributy navrhovaného hodnocení
19
1. Zohlednění oborových specifik
2. Zohlednění postavení a účel VO v systému VaV
3. Hodnocení inst. jednotek (fakulty a ústavy)
4. Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur
5. Forma peer-review
a. mezinárodní
b. informované
c. formou distanční vs. s návštěvou
d. využívající zkušenosti z realizace Hodnocení 2014 a AV ČR
6. Hodnocení 1x za ~5 let
7. Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002)
Zamýšlená struktura hodnocení
20
Research Unit 1
Evaluated Unit 1 Research Unit 2
Research Unit 3
Field 1
Field 2
Field 3
Research Unit 1
Evaluated Unit 2 Research Unit 2
Research Unit 3
Field 1
Field 2
Field 3
Research Unit Evaluated Unit
Research Unit 1
Research Unit 2
Field
Field 1
Field 2
Research organisation
Etc …
Research organisation
Evaluated Unit Research organisation
Case 1
Case 2
Case 3
Zamýšlená organizace hodnocení
21
Main Panels
Panels
Referees
Main Panel Chairs Main Panel Members
Panel Chairs Panel Members
Panel Secretariat
Specialist advisors - Sciences
Specialist advisors - Context
Referees
Evaluation management team Evaluation management board
Zamýšlená hodnotící kritéria
22
Assessment criteria Indicator categories
Institutional management and
development potential
Quality and adequacy of the physical
research environment & attractiveness to
the scientific community
Research strategy and (HR) management
Membership of the national and
global research community
International research presence and
collaboration
National research presence and
collaboration
Research performance Research productivity
Research capacity building
Overall research quality
Research excellence Peak quality of the scholarly outputs
Societal relevance
Value of the research activities for the
business & industry sector
Value of the research activities for other
societal actors, including government
Vazba na současný systém
23
1. Využití dat v IS VaV a zavedeného systému sběru
2. Sledování ukazatelů v období mezi hodnocením
3. Využití zkušeností s fungováním prvků peer review
4. Obdoba využití indikátorů na formula funding v menším rozsahu
Harmonogram IPN Metodika
24
1. Průběžná zpráva: návrh hodnocení
• Připomínky exp. týmu IPN (8. – 17.10. 2014)
• Proces veřejné konzultace (6. – 26.11. 2014)
• Veřejná konference (7. 1. 2015)
2. Průběžná zpráva: návrh financování
• Připomínky exp. týmu IPN (19.12. – 6.1. 2015)
• Proces veřejné konzultace (20.1. – 6.2. 2015)
• Veřejná konference (konec února 2015)
Závěrečná zpráva: + malé pilotní ověř.
• Připomínky exp. týmu IPN (19. – 30.3. 2015)
• Proces veřejné konzultace (15. – 29.4. 2015)
• Veřejná konference (květen 2015)
Závěrečná zpráva IPN (podzim 2015)
Post IPN harmonogram (předpověď)
25
Příprava hodnocení (2016-2017)
• Legislativa
• Informační nástroje a informace (WoS, IS VaV)
• Hodnocení organizující pracoviště a hodnotitelé
Realizace hodnocení (~2018)
• Sebehodnotící zprávy VO
• Bibliometrické zprávy a další informace
• Práce panelů
Zpracování a využití výsledků (2019-20)
• Syntéza výsledků
• Zpětná vazba pro VO a součásti
• Informace pro strategické řízení na úrovni vlády/RVVI
Institucionální financování
26
0
1 000 000
2 000 000
3 000 000
4 000 000
5 000 000
6 000 000
7 000 000
MO MK MV Mze MZ MPO TA ČR GA ČR AV ČR MŠMT
Poskytovatelé podpory
institucionální
účelová
tis. Kč
Institucionální financování VVŠ 2013
27
tis. Kč
Institucionální financování
28
● Dotace z veřejných prostředků (bez investic a SF)
VaV
Vzdělávání
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
Účelové financování
29 ● zdroj: Výroční zprávy VVŠ o hospodaření 2012
Spolupráce s odběrateli
30 ● zdroj: Výroční zprávy VVŠ o hospodaření 2012
● Smluvní výzkum, 2012
● Prodej licencí, 2012
tis. Kč
Institucionální financování
31
● Hodnocení a jeho vztah k institucionálnímu financování
● 100%
● Žádný
● Něco mezi tím
● V současnosti: 80 a 20 % dle RIV bodů
● MŠMT 100 % podle RIV bodů
Návrh institucionální financování
32
● Bude součástí až 2. dílčí zprávy
● Víceleté financování jako kombinace dvou principů:
● rozpočet podle předpisu (formula funding), backward-looking
● výkonností smlouvy (performance based contracts), forward-looking, umožňující směrování rozvoje
● Různé nastavení pro různé segmenty systému VaV
● IPN doporučí poměry financování + pro a proti
● Delší přechodné období s procesem „učení“
33
Děkujeme za spolupráci.
Všechny informace budou na
webových stránkách projektu.
Kontaktovat nás můžete kdykoliv.
www.metodika.reformy-msmt.cz