lituanistikos duomenų bazė ir hsm darbų vertinimas
DESCRIPTION
Lituanistikos duomenų bazė ir HSM darbų vertinimas. Prof. Rūta Marcinkevičienė Lietuvos mokslo taryba Humanitarinių ir socialinių mokslų komitetas. Mokslo vertinimas: objektai ir būdai Kiekybinis ir kokybinis vertinimas HSM vertinimo situacija Lituanistikos DB Lietuvos HSM vertinimui. - PowerPoint PPT PresentationTRANSCRIPT
Lituanistikos duomenų bazė ir HSM darbų vertinimas
Prof. Rūta Marcinkevičienė
Lietuvos mokslo taryba
Humanitarinių ir socialinių mokslų komitetas
Plan
as
Mokslo vertinimas: objektai ir būdai
Kiekybinis ir kokybinis vertinimas
HSM vertinimo situacija
Lituanistikos DB Lietuvos HSM vertinimui
Mo
ks
lo v
erti
nim
as
– o
bje
kta
i ir
bū
da
i
• Kas yra vertinama– atskiri mokslininkai – leidiniai, institucijos, renginiai (knygos, žurnalai,
leidyklos, asociacijos, institutai, universitetai, konferencijos, mokslo programos, projektai, etc.)
• Kaip– Kiekybiškai (publikacijų skaičius, bibliometriniai
rodikliai t.y. autorių citavimo indeksai, žurnalų poveikio faktoriai)
– Kokybiškai, t.y. ekspertams vertinant publikacijų, projektų paraiškų tekstus
• Bibliografinis (publikavimo kanalų: leidyklų, žurnalų) vs bibliometrinis (citavimo indeksų ir poveikio faktorių) vertinimas
Ko
kyb
inio
ver
tin
imo
pri
valu
mai • Remiasi svarbiausiu – mokslo darbo
kokybės kriterijumi, jo atitikimu tyrimo tikslui
• Grindžiamas nešališku, konfidencialiu ir aiškiu ekspertiniu vertinimu
• Vertinami tekstai (publikacijų, paraiškų, ataskaitų), o ne kiekybiniai rodikliai (citatų skaičiai, reitingai)
Ko
kyb
inio
ver
tin
imo
trū
kum
ai
• Ekspertinis vertinimas brangus (JK mokslininkai per metus vertina 3 mln. valandų už 165 mln. svarų)
• Dėl asmeninių priežasčių ekspertai gali būti šališki, o jų vertinimai – perdėm subjektyvūs, stinga bendrų standartų
• Ekspertai linkę teikti pirmenybę populiarių sričių pripažintiems tyrėjams, ignoruoja inovatyvias dar nežinomų mokslininkų idėjas, kurioms patikrinti reikia laiko
Kie
kyb
inis
(b
iblio
met
rin
is)
ve
rtin
ima
s • Privalumai– Aiškumas ir objektyvumas – Palyginamumas ir bendri standartai (nors ir
negalima palyginti jaunų ir vyresnių tyrėjų, mažų ir didelių grupių ir biudžetų vadovų h-indekso
• Trūkumai– Mokslo poveikis suprantamas tik kaip citavimas– Vertinimai remiasi citatų skaičiais, kuriais gali būti
manipuliuojama (savicitavimas, rezultatų tiražavimas)
– Aukšti žurnalų poveikio faktoriai nebūtinai rodo juose skelbtų straipsnių vertingumą, o žemi – prastą publikacijų kokybę. Gerų ar prastų darbų galima rasti visur
HS
M v
erti
nim
o s
itu
acij
a
• Kiekybinio ir kokybinio vertinimo santykis su HSM ir GTM
• Siekis netaikyti GTM vertinimo standartų HSM– Didesnė HSM publikacijų žanrų (monografijos, redaguotos
knygos, švietėjiška literatūra) ir kalbų įvairovė – Publikavimas gimtąją kalba nacionaliniuose leidiniuose– Didesnė sričių, krypčių šakų, metodų įvairovė– Menkesnis tyrimų tarptautiškumas (SM tarptautiškesni už HM)– Skirtinga citavimo, bendraautorystės kultūra– Didesnė teksto, argumentacinės struktūros svarba
• Didėjantis poreikis suvienodinti mokslo vertinimą taikant HSM bibliometrinius metodus
– Įtraukiant HSM į egzistuojančias DB, nes dabar Web of Science ir SCOPUS silpna HSM aprėptis
– Kuriant naujas, specialias HSM DB kaip FRIDA Norvegijoje, VABB-SSH - Olandijoje, GESIS –Vokietijoje
– Kuriant naują bendrą Europos šalių HSM DB, be kita ko skirtą HSM vertinimui
Lit
ua
nis
tik
os
DB
Lie
tuv
os
HS
M v
ert
inim
ui
• Lituanistikos DB - kokybiškų dalies HSM darbų talpykla– Remiasi atskirų tekstų (2012 gale buvo
32.128 jų aprašai), o ne leidybos kanalų vertinimu, tačiau įtraukiami ir kai kurie žurnalai
– Apima bibliografinius publikacijų duomenis, santraukas (25.764 santraukų lietuvių kalba, 22.005 santraukų anglų kalba) ir ištisus tekstus (12.000 viso teksto dokumentų) , t.y. sudaro sąlygas kokybiniam ir kiekybiniam vertinimui (296.650 citavimo įrašų)
– Suteikia atvirąją prieigą prie tekstų
Teks
tų v
erti
nim
as p
roce
dū
ros
• Pirminė tekstų atranka• Tvarkomasis vertinimas (15 žurnalų)
pagal Ekspertų tarybos nustatytus kokybės kriterijus (90% anksčiau teigiamai įvertintų jų tekstų)
• Ekspertinis vertinimas (227 HSM ekspertai)– Po 2 vienam tekstui– Prieštaringai įvertinus kviečiamas trečias– Pildoma vertinimo anketa, rašomas
komentaras
Teks
tų v
erti
nim
o r
ezu
ltat
ai
• Per projekto laikotarpį numatyta įvertinti 20 tūkst. publikacijų, iš jų 15 tūkst. ekspertinio vertinimo būdu
• Šiame projekto etape teigiamai jau įvertinta per 16 tūkst. publikacijų, iš jų neigiamai – 2,6 tūkst., t.y. 16 %
• Praeituose projekto vykdymo etapuose iš beveik 20 tūkst. vertintų publikacijų bemaž 4 tūkst., t.y. 20 % įvertinta neigiamai
Teks
tų v
ertin
imas
rezu
ltata
i
Teks
tų v
ert
inim
o s
iste
mo
s t
ob
ulin
ima
s • Pirminės atrankos atveju (plėsti geografiją)
• Tvarkomojo vertinimo atveju (nuolat stebėti atskirų leidinių tekstų vertinimus ir plėsti neekspertuojamųjų leidinių sąrašą)
• Ekspertinio vertinimo atveju (nauja mokslo krypčių ir šakų klasifikavimo sistema, vertinamojo, ne referuojamojo pobūdžio komentarai, plagiato patikra, etc.)
Lit
uan
isti
kos
DB
plė
tro
s g
alim
ybės
• Apimti viso nepriklausomybės laikotarpio publikacijas, net tik po 2000 m.
• Plėsti objektą, įtraukti baltistiką, gal ir HSM, išlaikant lituanistikos autonomiją
• Tolydžio mažinti ekspertuojamųjų tekstų skaičių
• Kurti ir taikyti specialią HSM bibliometrijos metodiką
• Remtis DB vertinant Lietuvos HSM• Integruoti šią DB į kursimas tarptautines HSM
DB