Podsumowanie wyników ewaluacji
jednostek naukowych – 2013
Maciej ZabelUKN, Kielce 6. 06. 2014
Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów
Komitet Ewaluacji Jednostek Naukowych
Kto brał udział w ocenie jednostek naukowych
• KEJN• Zespoły Ewaluacji (ZE)• OPI• Index Copernicus International (ICI)• DN - MNiSzW
14 października 2013
Kategoryzacja JN 2013 3
KEJN – Grupy Wspólnej Oceny
Podstawowe Jednostki Organizacyjne Szkół Wyższych
Grupa Nauk
Rodzaj Jednostki Humanistyczne i Społeczne
Ścisłei Inżynierskie
o Życiu o Sztucei Twórczości Artystycznej
6 8 4 3
Instytuty Polskiej Akademii Nauk
1
Instytuty Badawcze (Inne)
3 (2) 0(1)
5 8
6 (6)
2
3 (2)
14 października 2013
Kategoryzacja JN 2013 4
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
EkspertyzyDziałania artyst.
Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr
Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr.
PatentyEkspertyzy
UprawnieniaRozwój kadryFunkcjeProjekty
Środki z projekt.UprawnieniaRozwój kadryLab. akredytow.
UprawnieniaRozwój kadryLab. akredytow.Status PIB
UprawnieniaRozwój kadryFunkcjeProjekty
PublikacjeMonografiePatentyDorobek artyst.
PublikacjeMonografiePatenty
PublikacjeMonografiePatenty
PublikacjeMonografie
Kryterium
Grupa Nauk
1. Osiągnięcia naukowe i twórcze
2. Potencjał naukowy
3. Materialne efekty działalności naukowej
4. Pozostałe efekty działalności naukowej
Humanist. iSpołecznych
Ścisłych iInżynierskich
o Życiu o Sztuce i TwórczościArtystycznej
Podkryteria wg grup nauk i rodzaju Jednostek Naukowych
14 października 2013
Kategoryzacja JN 2013 5
Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych
Maksymalna punktacja w ostatecznej ocenie (wagi)
Kryterium sposób oceny
NaukiHum. + Społ.
Nauki Ścisłe + Inżyn.JU PAN IB
Naukio ŻyciuJU PAN IB
Nauki o Sztuce i Twórczości Artystycznej
1. Osiągnięcia naukowe i twórcze
Punkty z listyministerial-nej i ustalone przez KEJN
65 65 65 35 70 75 60 60
Wg ustalonejpunktacji
15 10 10 10 5 5 5 20
Wg ustalonejpunktacji
5 15 15 45 15 10 25 5
Ankieta i ZE 15 10 10 10 10 10 10 15
3. Materialne efekty działalności naukowej
4. Inne efekty działalności naukowej
2. Potencjał naukowy
14 października 2013
Kategoryzacja JN 2013 6
0
5
10
15
20
25
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30
Numer jednostki
War
tość
rela
cji u
porz
ądko
wan
ia(p
unkt
y pr
zesk
alow
ane)
Jednostka "A"
Jednostka "B"
KEJN – kategoryzacja
Wynik kategoryzacji
A
B
C
1. Klasyfikacjaprzypisanie jednostek do grup wspólnej oceny (GWO)
2. Parametryzacjaocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO
3. Kategoryzacjaustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+)
4. Odwołania od przyznanej kategoriianaliza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra
Etapy procesu oceny jednostek naukowych
Przebieg procesu odwoławczego
• ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny
• KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt
• DN MNiSzW – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego
• KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN
• Minister wyda decyzję co do zmiany kategorii – maj 2014
Najważniejsze problemy z jakością danych
• Brak kompleksowego źródła danych, konieczność zbierania informacjiz różnych źródeł (wewnętrznych i zewnętrznych).
• Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni
• Problemy z wykazaniem zatrudnienia
• Brak należytej staranności przy wypełnianiu ankiety
Proces ewaluacji w liczbach
• Liczba wszystkich jednostek - 962 • Całkowita liczba N - 82 867,09• Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): 952 768• Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: 807
671• Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): 424
220• Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: 116 843• Liczba decyzji podjętych przez poszczególnych członków ZE: 187 685
• Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962
• Liczba złożonych odwołań od przyznanej kategorii naukowej: 280
Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013
42.2%
50.5%
7.3%
ABC
Ewaluacja 2013
3.8%
31.9%
56.2%
8.0%
A+
A
B
C
Ewaluacja 2010
przed rozpatrzeniem odwołań
Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk
Nauki humanistyczne i społeczne Nauki o życiu
Nauki ścisłe i inżynierskie Nauki o sztuce i twórczości artystycznej
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
020406080
100120140
2514
0
68
120
3 0
28
2 1
2616
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
01020304050607080
32
80
6573
4 8
31
2 0 4 6
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
0
20
40
60
80
100
120
37
101
92 96
8 9
56
4 0 2 8
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
05
101520253035
13 12
37
33
2 4
21
0 0
7
1
Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek
Uczelnie Jednostki PAN
Instytuty badawcze
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
050
100150200250300350
9343
4
150
289
13 16
81
2 138 26
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
0
10
20
30
40
50
60
3 0 0
51
0 0 0
15
1 0 0 0
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
05
1015202530354045
8
0 0
29 31
1 2
39
40 0 1
B->A,A
+
C->B C->A,A
+
A->A,A
+
B->B C->C B->C A->B A->C A B C
wzrost bez zmian spadek nowa kat.
0
1
2
3
4
5
3
1
0
2 2
3 3
1 1
0
1
4
Inne jednostki
Rozkłady kategorii naukowych w poszczególnych grupach nauk
4.0%
27.1%
62.0%
6.9% 3.9%
37.8%49.8%
8.6%
4.3%
35.9%
50.8%
9.0% 1.9%
20.4%
70.9%
6.8%
Nauki humanistyczne i społeczne Nauki o życiu
Nauki ścisłe i inżynierskie
Nauki o sztuce i tw. artystycznej
A
B
C
A+
Kategoria naukowa:
przed rozpatrzeniem odwołań
Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych
3.0%
29.8%
59.7%
7.5%
17.1%
60.0%
21.4%
1.4%
1.7%
30.4%
60.9%
7.0%
23.8%
23.8%52.4%
Jednostki uczelniane Jednostki PAN
Instytuty badawcze Inne jednostki
A
B
C
A+
Kategoria naukowa:
przed rozpatrzeniem odwołań
Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych
Suma zdarzeń OdwołanieOdwołania faktyczne
Inne (np. N i No)
odwołania od zdarzeń 952 768 5 981 (0,63%) 3 382 (0,35%) 2 599
uznano odwołań - 2 015 (0,21%)(62,14%)
Odwołania od zdarzeń ewaluacyjnych
ilość zdarzeń ewaluacyjnych nie zmienionych przez Zespoły ewaluacji
762.454
ilość decyzji podjętych w toku
ewaluacji184.303
Zaakceptowane zdarzenia w wyniku odwołań:1.929co stanowi
0,20%zgłoszonych zdarzeń
Odwołania od zdarzeń odrzucone:1 453
co stanowi 0,15%
Odwołania wg rodzaju
Ilość kwestionowanych decyzji z powodu algorytmu 3n-2n0:
911
Ilość kwestionowanych decyzji o odrzuceniu zdarzeń:
4869
Ilość kwestionowanych decyzji o zmianie (obniżeniu punktacji):211
Zdarzenia zmienione
Ilość nie kwestionowanych decyzji ZE
9.729
Zaakceptowane odwołania:50
co stanowi0,50% podjętych decyzji
Odrzucone odwołania:161 co stanowi
1,62% podjętych decyzji
Zdarzenia odrzucone
Ilość nie kwestionowanych decyzji ZE27.687
Zaakceptowane odwołania:1.879
co stanowi6,09% podjętych
decyzji
Odrzucone odwołania:1.285co stanowi
4,17% podjętych decyzji
Zdarzenia nie ocenione
Ilość nie kwestionowanych decyzji153.842
Zaakceptowane odwołania:43co stanowi0,03%
Odrzucone odwołania1.662co stanowi 1,07%podjętych
decyzji
Kryterium I
Ilość zdarzeń w ramach KRYTERIUM I do których nie zostaly zgłoszone odwołania
612.998
Zaakceptowane odwołania:1.524co stanowi0,25%zgłoszonych zdarzeń
Odrzucone odwołania:2.147co stanowi0,35%zgłoszonych zdarzeń
Jednostki naukowe które nie złożyły
odwołania71%
Ta sama kategoria24%
Awans5%
Zmiana kategorii jednostki naukowej
LISTAIlość wszystkich
jednostek naukowych
Ilość jednostek naukowych
które złożyły odwołania
Awans w wyniku rozpatrzonego
odwołania
Zmiany w ramach kategorii
A_PLUS 37 2 - 0%
A 307 60 8 3%
B 541 185 32 6%
C 77 33 10 12%
RAZEM 962 280 50 5%
Zmiana kategorii jednostki naukowej
Ostateczna Ilość jednostek naukowych
45 (4,6%)
339 (35,2%)
551 (57,2%)
67 (7,0%)
962
Plany KEJN odnośnie OCENY JN w 2017
• 1. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów
• 2. Wybrane problemy szczegółowe - N i No - GWO i jednostki heterogenne - Jednostki referencyjne i porównanie parami - Monografie - Publikacje w czasopismach- Wagi i kryterium IV- Pozycja międzynarodowa- Dorobek artystyczny- Co usunąć i uprościć, a co dołożyć?
Kryterium II
Ilość zdarzeń w ramach KRYTERIUM II do których nie zostaly zgłoszone
odwołania87.291
Zaakceptowane odwołania:148co stanowi
0,17%zgłoszonych zdarzeń
Odrzucone odwołania200co stanowi0,23%zgłoszonych zdarzeń
Kryterium III
Ilości zdarzeń w ramachKRYTERIUM III
do których nie zostały zgłoszone odwołania91.910
Zaakceptowane odwołania:298
co stanowi0,32%
zgłoszonych zdarzeń
Odrzucone odwołania164co stanowi
0,18%zgłoszonych zdarzeń
Kryterium 4
Jednostki naukowe które nie zgłosiły
odwołania800
Zaakcep-towane
odwołania:33
Odrzucone odwołania
129