Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Jak (ne)hodnotit vědu
Jiřiacute
Raacutekosniacutek Matematickyacute uacutestav AV ČR Praha
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s
odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) ukaacutezala vyacuteznamně
na nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně pouze na zaacutekladě
jejich existence jim je přiřazena fixniacute
bodovaacute
hodnota bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a v
řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s
odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) ukaacutezala vyacuteznamně
na nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně pouze na zaacutekladě
jejich existence jim je přiřazena fixniacute
bodovaacute
hodnota bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a v
řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Velmi stručnaacute
historie hodnoceniacute
v ČRbull
Naacuterodniacute
politika VaV
ČR 2004ndash2008 zaacutekladniacute
principy hodnoceniacute
bull
Usneseniacute
vlaacutedy ČR č 644 z 2362004 k hodnoceniacute
vyacutezkumu a vyacutevoje a jeho vyacutesledků ndash
zaacutekladniacute
pravidla hodnoceniacute IS VaV typy hodnocenyacutech vyacutestupů
(člaacutenky knihy patenty aplikovaneacute
vyacutesledky ostatniacute
ndash
vymezena specifika podle oborů) hodnoceniacute
bdquoefektivnostildquo
ndash
do budoucna zmiacuteněna naacutevaznost financovaacuteniacutendash
uacutekol do 30 9 2004 zpracovat Metodiku hodnoceniacute
VaV
a jejich
vyacutesledkůbull
2004ndash2009 Metodika hodnoceniacute
VaV
a jejich vyacutesledků index SR
bull
2010ndash2011 a 2012 Metodika hodnoceniacute
vyacutesledků
vyacutezkumnyacutech organizaciacute
a hodnoceniacute
vyacutesledků
ukončenyacutech programů
bull
Metodika 2012 je jen aktualizaciacute
Metodiky 2010 a 2011 původně navrženaacute
Metodika 2012 měla přineacutest řadu změn
bull
Metodika 2013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s
odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) ukaacutezala vyacuteznamně
na nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně pouze na zaacutekladě
jejich existence jim je přiřazena fixniacute
bodovaacute
hodnota bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a v
řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
K čemu Metodika sloužiacutebull
Hodnoceniacute
vyacutesledků
VaV
na zaacutekladě
bodovyacutech hodnot přiřazenyacutech
jednotlivyacutem typům vyacutestupubull
Od 1 bodu za každyacute vyacutestup (M2004) k velmi složiteacutemu hodnoceniacute
M2013
bull
Hodnoceniacute
efektivnosti instituciacute
ve VaV
ndash
barevneacute
skupiny index SR (M2005 až
M2007)
bull
Od r 2010ndash
vyacuteše institucionaacutelniacute
podpory na dlouhodobyacute koncepčniacute
rozvoj (cca 8 mld Kč)
ndash
specifickyacute vysokoškolskyacute vyacutezkum (cca 11 mld Kč)ndash
přiacutespěvek na vzdělaacutevaciacute
činnost VVŠ
(součaacutest parametru K cca 3 mld Kč)
ndash
limity na financovaneacute
studenty v jednotlivyacutech stupniacutech studia bull
Většina VŠ
rozpočiacutetaacutevaacute
body na uacuteroveň
pracovišť popř jednotlivců
(s
odpoviacutedajiacuteciacutem finančniacutem dopadem)bull
Přiacutemaacute
vazba financovaacuteniacute
na hodnoceniacute
(uvedenaacute
v zaacutekoně
1302002 Sb
o podpoře VaVaI
z veřejnyacutech prostředků) ukaacutezala vyacuteznamně
na nevhodnost takoveacuteho způsobu hodnoceniacute
bull
Vyacutedaje na VaV
ze staacutetniacuteho rozpočtu činiacute
cca 26 mld Kč
(~07 HDP) z toho RVO činiacute
78 mld Kč
(rok 2012) 87 mld Kč
(rok 2013)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně pouze na zaacutekladě
jejich existence jim je přiřazena fixniacute
bodovaacute
hodnota bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a v
řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kritika staacutevajiacuteciacute
Metodiky dle RVVIbull
Nereflektuje mezioboroveacute
odlišnosti a rozdiacutelneacute
standardy ve
způsobu publikovaacuteniacute
či jineacuteho uplatňovaacuteniacute
vyacutesledků což
v některyacutech oborech může veacutest k pokřivenyacutem vzorcům chovaacuteniacute
bull
Řada vyacutesledků
je hodnocena paušaacutelně pouze na zaacutekladě
jejich existence jim je přiřazena fixniacute
bodovaacute
hodnota bez ohledu na jejich
kvalitubull
Hodnoceniacute
neumožňuje identifikovat vysoce kvalitniacute
vyacutesledky a v
řadě
přiacutepadů
stimuluje spiacuteše k masoveacute
produkci průměrnyacutech a podprůměrnyacutech vyacutesledků
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacute
bull
Piliacuteř
I Hodnoceniacute
publikačniacutech vyacutesledků Pro každou oborovou skupinu metodika určiacute
relevantniacute
typy vyacutesledků
a jejich přiacutepadneacute
maximaacutelniacute
podiacutely na bodovyacutech hodnotaacutech Knihy kapitoly v knihaacutech a v určityacutech oborech člaacutenky v neimpaktovanyacutech
recenzovanyacutech
časopisech projdou verifikaciacute
a rozřazeniacutem do několika kvalitativniacutech skupin
bull
Piliacuteř
II Hodnoceniacute
kvality vybranyacutech vyacutesledků Každaacute
instituce předložiacute
omezenyacute počet vybranyacutech vyacutesledků
k expertniacutemu
posouzeniacute Hodnotiacuteciacute
komise v kteryacutech by měli miacutet vyacuterazneacute zastoupeniacute
zahraničniacute
experti pak v raacutemci každeacute
oboroveacute
skupiny
vybere maximaacutelně
20 nejlepšiacutech vyacutesledků ktereacute
si zasloužiacute zvlaacuteštniacute
bonifikaci Kromě
toho bude zvlaacuteštniacute
bonifikace za excelenci
naacuteležet instituciacutem jejichž
pracovniacuteci uspěli v ziacuteskaacutevaacuteniacute
projektů
ERC (European Research
Council)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
M2013 ndash
řešeniacutebull
Piliacuteř
III Hodnoceniacute
patentů
a nepublikačniacutech vyacutesledků
aplikovaneacuteho
vyacutezkumu Paušaacutelniacute
ohodnoceniacute
pouze patentů Za ostatniacute
vyacutesledky se bude bodoveacute
skoacutere odviacutejet podle finančniacute
podpory jednak z projektů
aplikovaneacuteho vyacutezkumu a jednak ze smluvniacuteho vyacutezkumubull
209 připomiacutenek z 20 připomiacutenkovyacutech miacutest z toho 108 zaacutesadniacutech
bull
Vyacutestupy body body bodybull
RVVI 2642013ndash
schvaacutelila M2013 (pro leacuteta 2013ndash2015)
ndash
stanovila
koeficient β 01ndash
pověřila sekretariaacutet provedeniacutem vyacutepočtu tyacutekajiacuteciacuteho se smluvniacuteho vyacutezkumu
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Z předklaacutedaciacute
zpraacutevy pro vlaacutedubull
Metodika je formulovaacutena tak aby mohla fungovat několik let do vytvořeniacute schvaacuteleniacute
a zavedeniacute
noveacuteho systeacutemu hodnoceniacute
a
financovaacuteniacute
vyacutezkumu Obsahuje několik parametrů ktereacute
mohou byacutet po pečliveacutem uvaacuteženiacute
podle potřeby měněny rozhodnutiacutem RVVI aniž
by bylo nutneacute
měnit metodiku hodnoceniacute
schvaacutelenou usneseniacutem vlaacutedy
bull
Konkreacutetniacute
pravidla a popis logistiky peer-review
verifikaciacute
a hodnoceniacute
v
I a v II piliacuteři budou navrženy a schvaacuteleny RVVI jako
separaacutetniacute
provaacuteděciacute
dokumenty Vyacutestupy z
těchto postupů
budou použity až
v
roce 2014 jako součaacutest Hodnoceniacute
2014 Hodnoceniacute
2013 tedy proběhne ještě
bez peer-review
hodnoceniacute
vybranyacutech vyacutesledků Proces peer-review
verifikaciacute
a hodnoceniacute
v
I piliacuteři bude
pilotně
ověřen během roku 2013 v II piliacuteři pilotniacute
ověřeniacute realizovaacuteno nebude
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Ecce
scientia
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Co je na Metodice špatneacutebull
je redukcionistickaacute
bull
nerozlišuje mezi typy vyacutezkumnyacutech instituciacute
a jejich různyacutem poslaacuteniacutembull
nerozlišuje mezi různyacutemi vědniacutemi obory
bull
nehlediacute
dopředubull
nedaacutevaacute
strategickeacute
informace (nadřiacutezenyacutem orgaacutenům ani vedeniacute
instituciacute)
bull
nedaacutevaacute
prostor pro zlepšovaacuteniacute
vyacutezkumnyacutech organizaciacute
a budovaacuteniacute
kapacitbull
podporuje průměrnost
bull
omezuje spolupraacuteci mezi institucemibull
institucionaacutelniacute
podporu bere jako preacutemii ne jako investici do budoucnosti
bull
vede ke kraacutetkodobeacutemu myšleniacutebull
navaacutediacute
k oportunismu a vytvaacuteřiacute
podmiacutenky pro etickaacute
selhaacuteniacute
bull
M2013ndash
řešiacute
probleacutemy předchoziacutech metodik jen zdaacutenlivěndash
je nesmiacuterně
komplikovanaacutendash
je v řadě
ohledů
fakticky neproveditelnaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
a Campbellův
zaacutekon
bull
Jakmile se miacutera stane ciacutelem přestane byacutet dobrou miacuterou (C Goodhart)
bull
Čiacutem viacutece je kvantitativniacute
ukazatel použiacutevaacuten pro rozhodovaacuteniacute
a řiacutezeniacute
ve společnosti tiacutem viacutece se staacutevaacute
předmětem korupčniacutech tlaků
a tiacutem viacutece deformuje společenskeacute
procesy ktereacute
měl původně
pouze
monitorovat (Donald T Campbell)
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Přiacuteklad nesmyslneacuteho bodovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Blogy
D Muumlnicha
httpmetodikahodnoceniblogspotcz
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Akademickeacute
foacuterumOdbornaacute
skupina Českeacute
fyzikaacutelniacute
společnosti JČMF Organizace vyacutezkumuhttpjcmfczcznode448
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Citace impaktniacute
faktor h-faktor a jineacute
obliacutebeneacute
nesmysly
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Slepeacute
počiacutetaacuteniacute
citaciacute
to nezachraacuteniacute
httpwwwmathunionorgfileadminIMUReportCitationStatisticspdfZpraacuteva je napsaacutena z pohledu matematiky a varuje před přiacutelišnyacutem spoleacutehaacuteniacutem na takoveacute
statistiky jako impaktniacute
faktor a h-index Ty jsou
obvykle podporovaacuteny proto že se věřiacute
jejich objektivitě
a jednoduchosti Zpraacuteva fundovaně
ukazuje že tato viacutera je nepodloženaacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nehttpthomsonreuterscomcontent
sciencepdfssrtrainingUsingBiblio metricsinEval_WPpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
a impaktniacute
faktor už
vůbec nebull
Peer
review
still
represents
the
standard approach
to research
evaluation
and
decisions
about
allocating
resources
for
science Experts reviewing
the
work
of their
colleagues
should
rightly
be the
basis of
research
evaluationbull
Never
in its
long
history
has ISI now
Thomson
Reuters advocated
that
bibliometrics
supercede
or
replace
peer
judgements Rather publication and
citation
analysis
is
meant
to be a supplement
to peer
review
bull
It
is
important
to understand
what
quantitative
research
analysis
offers evaluators
and
decision
makersmdashand
what
it
cannot
possibly
deliver
For
these techniques
or
tools
can
never
be a substitute for
human judgment
bull
Numbers
alone
can
be dangerous
because
they
have
the
appearance
of being
authoritative
bull
But
we
speak
out
about
naive
methodologies
and
the
misleading
uses
to which
Thomson
Reuters
and
othersrsquo
similar
data are sometimes
put
The
consequences
of such misuse
can
be profoundmdashfor
individuals research
groups institutions journal
publishers and
even
nations
and
their
national
research
programs
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFDouglas N Arnold and Kristine K Fowler Nefarious NumbersNotices
Amer Math Soc 58 (2011) no 3434ndash437httpwwwamsorgnotices201103rtx1103
00434ppdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Goodhartův
zaacutekon platiacute
i pro IFM Amin M Mabe Impaktniacute faktory jejich využiacutevaacuteniacute a zneužiacutevaacuteniacutePokroky matematiky fyziky a astronomie 49 (2004) no 4 281ndash288 Z angl originaacutelu Impact Factors Use and Abuse Perspectives in Publishing Elsevier
Science October
2000 přeložila Naďa Stehliacutekovaacutehttpdmlczdmlcz141239
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Sanfranciskaacute
deklaracehttpamascborgdorafilesSFDeclarationFINALpdf
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Kdo chce kam pomozme mu tamPublish
or
Perish
httpwwwharzingcom pophtm
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Na databaacuteze takeacute
neradno slepě
spoleacutehat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Daacute
se to dělat leacutepe
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
IPn Metodikabull
httpmetodikareformy-msmtcz
bull
Uacutenor 2012 ndash
prosinec 2013 prodlouženo o rokbull
Hlavniacute
garant Jitka Moravcovaacute
bull
6 kliacutečovyacutech aktivitndash
Informačniacute
podpora (P Raacuteb)
ndash
Systeacutem hodnoceniacute
(D Muumlnich)ndash
Systeacutem financovaacuteniacute
(J Raacutekosniacutek V Petraacuteček)
ndash
Velkeacute
pilotniacute
ověřeniacute
(S Hronovaacute
)ndash
Harmonogram pro přechodneacute
obdobiacute
a podklady pro legislativniacute
změny
(J Hrušaacutek Romana Strnadovaacute)ndash
Institucionaacutelniacute
zajištěniacute
hodnoceniacute
(K Šima)
ndash
Koordinace reformniacutech naacutevrhů
a vytvaacuteřeniacute
konsensuaacutelniacutech podmiacutenek pro jejich přijetiacute
(R Hindls)
bull
Důležiteacute je to projekt tušiacuteme jak by to mělo byacutet ale (na rozdiacutel od zastaacutenců
Metodiky2013) neviacuteme všechno a neviacuteme jak nejleacutepe to
udělat
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Charakteristiky hodnoceniacute
(nejen) v UK a Fbull
nezaacutevisleacute
agentury
bull
širokeacute
zapojeniacute
veřejnosti při přiacutepravě
a v průběhubull
hodnoceniacute
provaacutedějiacute
experti agentura organizuje a dohliacutežiacute
bull
hodnoceneacute
uacutetvary připravujiacute
sebehodnoticiacute
zpraacutevubull
v UK se hodnotiacute
vyacutestupy dopady a prostřediacute
bull
ve Francii se hodnotiacute
vědeckeacute
vyacutestupy a kvalita akademickaacute
reputace interakce se společenskyacutem ekonomickyacutem a kulturniacutem prostřediacutem organizace a život instituce zapojeniacute
do vyacuteuky prostřednictviacutem vědy strategie a
vyacutezkumneacute
předpoklady pro dalšiacute
kontraktbull
hodnotiacute
se omezenyacute počet vybranyacutech vyacutesledků
bull
transparentnost postupubull
důraz na kvalitu
bull
žaacutedneacute
žebřiacutečky nyacutebrž
podklady pro strategickaacute
rozhodnutiacutebull
vyacutestupy nejsou v podobě
jednoho parametru a jsou doplněny o zpraacutevu
hodnoticiacute
komisebull
žaacutedneacute
přiacutemeacute
vazby na financovaacuteniacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Takže znovu K čemu maacute
sloužit hodnoceniacute
bull
Sledovat zda hodnocenaacute
činnost směřuje ke stanovenyacutem ciacutelůmbull
Vyhodnocovat zda a do jakeacute
miacutery je ciacutelů
dosahovaacuteno
bull
Poskytovat naacutestroj k vytvaacuteřeniacute
strategiiacute
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-
Otevřeneacute repozitaacuteře 2013 VUT v Brně 3052013
Not everything
that
can be counted
counts and
not everything
that
counts can
be counted
Albert Einstein
- Jak (ne)hodnotit vědu
- K čemu maacute sloužit hodnoceniacute
- Velmi stručnaacute historie hodnoceniacute v ČR
- K čemu Metodika sloužiacute
- Kritika staacutevajiacuteciacute Metodiky dle RVVI
- M2013 ndash řešeniacute
- M2013 ndash řešeniacute
- Z předklaacutedaciacute zpraacutevy pro vlaacutedu
- Ecce scientia
- Co je na Metodice špatneacute
- Goodhartův a Campbellův zaacutekon
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Přiacuteklad nesmyslneacuteho bodovaacuteniacute
- Blogy D Muumlnicha httpmetodikahodnoceniblogspotcz
- Akademickeacute foacuterum
- Citace impaktniacute faktor h-faktor a jineacute obliacutebeneacute nesmysly
- Slepeacute počiacutetaacuteniacute citaciacute to nezachraacuteniacute
- a impaktniacute faktor už vůbec ne
- a impaktniacute faktor už vůbec ne
- Goodhartův zaacutekon platiacute i pro IF
- Goodhartův zaacutekon platiacute i pro IF
- Sanfranciskaacute deklarace
- Sniacutemek čiacuteslo 23
- Na databaacuteze takeacute neradno slepě spoleacutehat
- Daacute se to dělat leacutepe
- IPn Metodika
- Sniacutemek čiacuteslo 27
- Sniacutemek čiacuteslo 28
- Charakteristiky hodnoceniacute (nejen) v UK a F
- Takže znovu K čemu maacute sloužit hodnoceniacute
- Sniacutemek čiacuteslo 31
-