1

Online provjere znanja

Prof. dr. sc. Nataša Hoić-Božić natasah@inf.uniri.hr

2

Sadržaj

• Uvod – provjeravanje i ocjenjivanje znanja• Testovi znanja i online testovi• Tipovi pitanja kod testova znanja• Hot Potateos program za izradu online

testova znanja

3

Zašto vršimo provjeravanje učenika?

• Motiviranje učenika • Pružanje povratne informacije učenicima da bi

poboljšali učenje • Dijagnosticiranje prednosti i slabosti učenika • Ocjenjivanje ili rangiranje učenika • Prolazak ili pad učenika na ispitu (npr. matura,

popravni ispit)• Pružanje povratnih informacija nastavnicima • Unapređivanje poučavanja • …

4

Formativna i sumativna procjena znanja

• Svako praćenje i provjeravanje NE mora nužno završiti ocjenjivanjem

• Formativna procjena znanja– Pokazatelj koji nam govori što je učenik naučio i

napreduje li– Ne koristi u svrhu izračunavanja konačne ocjene ili

rangiranje učenika– Služi za pružanje poticaj i usmjeravanje u učenju te

da učenik dobije povratnu informaciju o svom učenju • Sumativna procjena znanja

– Služi za utvrđivanje razine postignuća učenika– Koristi se za ocjenjivanje i izvještavanje

5

Metrijski karakter ocjenjivanja znanja

• Školsko procjenjivanje znanja je mjerenje

• Uključuje nužne komponente svakog mjerenja:

1. Predmet (veličinu)

2. Instrument mjerenja

3. Tehnika mjerenja

Znanje učenika

Nastavnik

Način ispitivanjai ocjenjivanja nastavnika

6

Testovi znanja

• Objektivno mjerenje znanja - isključuju utjecaj subjektivnih faktora nastavnika ocjenjivača

• Standardizirani postupci kojima se izazivaju reakcije znanja kod ispitanika

• Postignuti prosječni rezultat skupine ispitanika koristi kao norma prema kojoj se vrednuje svaki individualno postignuti rezultat

• Rangiraju se individualno postignuti rezultati učenika prema zadanim kriterijima

• Vremenska ekonomičnost kod veće skupine učenika• Pismeni testovi kod kojih učenik bilježi odgovore na

papiru ili testovi putem računala

7

Online testovi znanja

8

Korištenje online testova

• vrednovanje znanja učenika – nastavnik dobiva povratnu informaciju o uspješnosti učenika

• pomoć učenicima pri učenju – učenici dobivaju povratnu informaciju o tome koliko su zaista naučili gradivo korištenjem testova ili kvizova za samoprovjeru znanja

• provjera predznanja učenika - prije početka učenja nastavnik može implementirati provjeru kojom se procjenjuje predznanje učenika

• ažuriranja modela studenta i realiziranje prilagođavanja kod obrazovnih prilagodljivih hipermedijskih sustava

9

Prednosti

• automatsko ispravljanje

• formiranje trajne baze pitanja• trajna interaktivnost - trenutna povratna

informacija učeniku

• lako dostavljanje po potrebi i različitih verzija svakom učenika (slučajan odabir pitanja)

• mogućnost mijenjanja ne samo redoslijeda pitanja, već i redoslijed odgovora u svakom pojedinom pitanju

10

Pitanja kod online testova

• statička pitanja – spremljena kao dio HTML kôda

• dinamička pitanja – spremljena u bazu podataka– nude veću fleksibilnost jer se tada može slučajnim

odabirom generirati redoslijed ponuđenih odgovora za pitanje i redoslijed pitanja unutar testa

• parametarska pitanja– iz istog skupa pitanja može se stvoriti neograničen

skup provjera promjenom vrijednosti parametara– najviše mogućnosti za individualizaciju testova

11

Pitanja za WWW

• Različite WWW tehnologije temeljene na:– klijentu (HTML, JavaScript, Flash,…)

• uglavnom se koriste kod testova ili kvizova za samoprovjeru učenika koje nije potrebno ocjenjivati i uspoređivati rezultate svih studenata

– poslužitelju (CGI, ASP,…)• Prednost je mogućnost spremanja rezultata

testova

12

Tipovi pitanja kod testova znanja

Tipovi pitanja kod testova znanja

• 2 grupe:– Pitanja bez odabira ili zadaci kod kojih učenik

sam reproducira ispravan odgovor – Pitanja s odabirom ili zadaci u kojima učenik

odabire ispravan odgovor između onih koji su već navedeni kao mogući odgovori

13

14

Tipovi pitanja kod testova znanja

1. Pitanja bez odabira ili zadaci kod kojih učenik sam reproducira ispravan odgovor – Tip dosjećanja – odgovor u obliku jedne riječi

ili broja– Tip dopunjavanja - upisivanje tekstualnog ili

brojčanog odgovora u predviđeno prazno polje

– Esejski tip ili složeniji zadatak kod kojeg učenici odgovaraju slobodnije i opširnije (nabrajaju, opisuju, uspoređuju, komentiraju, analiziraju,…)

15

Tip dosjećanja

• Prednost: student mora znati točan odgovor, nema pogađanja

• Trebaju omogućiti jedan ispravni odgovor• Kada to nije moguće, navode se svi odgovori

koji se smatraju ispravnima• Kod online pitanja treba predvidjeti različite

varijante odgovora, npr. sinonime, kratice i puni oblik, pisanje malim i velikim slovima

• Prostori za bilježenje odgovora trebaju biti jednake veličine za sva pitanja

• Zadatke formulirati u obliku pitanja, a ne tvrdnje

16

Primjeri - tip dosjećanja:

17

Tip dopunjavanja ili kompletiranja

• oblik rečenice u kojoj su neke riječi ispuštene

• na mjestu gdje je riječ izostala prazan prostor u koji učenik upisuje odgovor

• kad ima više ispuštenih riječi, treba paziti na dobru izbalansiranost

• teže se sastavljaju i obrađuju u online testovima jer se moraju predvidjeti svi oblici točnog odgovora

18

Primjer - tip dopunjavanja

19

Esejski tip

• dugi, prošireni esej - ispituje jedan uzorak gradiva na višoj kognitivnoj razina znanja (kreativnost)

• više kratkih esejskih pitanja - ispituje se površnije veći broj uzoraka ispitnog gradiva

• Prednosti– ispituju se više kognitivne razine znanja (analiza, sinteza,

evaluacija) i procjenjuje sposobnost studenta da samostalno pismeno obrazloži odgovor

– razmjerno lako osmišljavanje i formuliranje pitanja

• Nedostaci– veliki utrošak vremena za ocjenjivanje (nastavnik, ne automatski)– potrebno precizno odrediti kriterije za ocjenjivanje – potencijalna nepouzdanost i neobjektivnost u ocjenjivanju

20

Primjer – esejski tip

21

Esejski tip - preporuke

• koristiti samo za vrednovanje onih vrsta sposobnosti koje se ne mogu uspješno procijeniti nekom drugom metodom

• studentima dati jasne upute, posebno kod proširenog eseja

• tehnologiju (primjerice, LMS) koristiti da bi se objavio zadatak te da se studentski odgovori pohrane u računalo – dodatne mogućnosti: povratna informacija studentu o

predaji te o bodovima, ograničavanje predaje nakon zadanog datuma

22

Tipovi pitanja kod testova znanja

2. Pitanja s odabirom ili zadaci u kojima učenik odabire ispravan odgovor između onih koji su već navedeni kao mogući odgovori– Pitanja višestrukog izbora odgovora s jednim ili više

točnih odgovora od više ponuđenih– Tip dvočlanog izbora (alternativni tip, tip

Točno/Netočno) - pitanje je tvrdnja koju treba procijeniti je li točna ili nije

– Sparivanje pojmova (tip uspoređivanja ili povezivanja) - međusobno treba točno spariti pojmove složene u 2 stupca

– Tip ispravljanja i sređivanja - ispravljaju se pogrešno napisani pojmovi ili se pojmovi sortiraju prema nekom kriteriju

23

Pitanje tipa dvočlanog izbora

• zahtjeva od učenika da se izjasni je li tvrdnja ponuđena u zadatku ispravna (točna) ili neispravna (netočna)

• Prednosti: – često se pri rješavanju nekog problema ne nude više

od dvije mogućnosti,– tip je vremenski najekonomičniji – moguće je potpuno objektivno ispravljanje

• Pogodno za ispitivanje činjeničnog znanja (ne i za više kognitivne razine prema Bloomu)

• Najveći nedostatak je velika mogućnost pogađanja odgovora (vjerojatnost 50%)

24

Pitanje tipa dvočlanog izbora

• pitanje (tvrdnju) treba napisati drugim riječima nego što piše u nastavnom materijalu kako bi se izbjeglo učenje memoriranjem (na pamet)

• u točnim tvrdnjama izbjegavati riječi koje znače poopćavanje (svi, uvijek, nikada) jer sugeriraju točnost

• izbjegavati dvostruke, složene tj. predugačke tvrdnje (rečenice)

• poželjno je izbjegavati negacijske tvrdnje• u test uključiti otprilike jednak broj točnih i

netočnih tvrdnji

25

Pitanja višestrukog izbora

• sadrži tvrdnju ili pitanje i više predloženih odgovora za izbor

• zadatak studenta je da među predloženim odgovorima označi onaj koji najbolje odgovara tvrdnji ili predstavlja ispravan odgovor na postavljeno pitanje

• za samotestiranje i za završne (sumativne) ispite• ispituju se različite kognitivne razine znanja• Prednosti: potpuna objektivnost te smanjena

mogućnost pogađanja u odnosu na tip dvočlanog izbora (npr. 20% kod 5 odgovora)

26

Pitanja višestrukog izbora

• jednostavno sastavljanje i obrada testova

• brza i jednostavna statistička obrada cjelokupnog ispita, težine pojedinih pitanja i diskriminacijske sposobnosti pitanja ("item analiza")

• može biti i više točnih odgovora• broj predloženih odgovora je obično do 5 (više –

nepregledno)

27

Dijelovi pitanja višestrukog izbora

1. pitanje ili tvrdnja2. točan odgovor3. nekoliko netočnih odgovora, alternativa

točnom odgovoru ("distraktori pitanja")4. povratna informacija kojom se komentira

studentov odgovor• opcionalno, posebno važno u testovima za

samoprocjenu znanja

28

Pitanja višestrukog izbora -preporuke

• treba sastavljati složenija pitanja, a ne samo ona koja ispituje memoriranje činjeničnog znanja

• pitanja trebaju biti kratka i jasna, pisana jednostavnim jezikom i ispravno formulirana (gramatika)

• distraktori trebaju biti istoga tipa i ne smiju biti posve apsurdni

• ispravni odgovor ne smije biti formuliran duže od neispravnih

• red izmjenjivanja točnih i netočnih odgovora mora biti slučajan

• izbjegavati negaciju u pitanju (ili istaknuti NE, NISU velikim slovima)

• izbjegavati distraktor tipa "svi su ponuđeni odgovori točni" ili "ništa od navedenog nije točno"

29

Primjer - pitanja dvočlanog i višestrukog izbora

30

Sparivanje pojmova (tip uspoređivanja ili povezivanja)

• međusobno treba točno povezati (spariti) pojmove složene u 2 stupca prema nekom jedinstvenom načelu

• za formativno i sumativno provjeravanje znanja• omogućuje provjeru činjeničnog znanja, ali i

viših kognitivnih razina znanja • informacije u oba stupca trebaju biti čim

homogenije • uravnoteženi tip (isti broj elemenata u oba

stupca) i neuravnoteženi• broj parova ne manji od 4 i ne veći od 16

31

Primjer – sparivanje pojmova

32

Tip ispravljanja i sređivanja

• Tip ispravljanja - ispravljaju se pogrešno napisani pojmovi

• Tip sređivanja - pojmovi sortiraju prema nekom kriteriju

33

Još neki tipovi

• numeričko (kao kratki odgovor, no dozvoljava samo broj)

• računsko (parametarsko)• križaljka (JCross za Hot Potatos)• Programsko (SQL) pitanje čiji je odgovor

program pisan u nekom programskom jeziku (SQL upit)– Ocjenjivanje se provodi putem modula za automatsko

ocjenjivanje programskih zadataka (SQL upita)

• interaktivne animacije

Hot Potatoes

34

Program Hot Potatoes

• kreiranje interaktivnih vježbi koje se mogu izvoditi u web pregledniku

• koristi HTML i JavaScript kako bi se implementirala interaktivnost

• za korištenje se ne mora imati znanja iz područja programiranja

• prijevod i na hrvatski jezik

• program kreira web stranicu:– postavlja se na web server– Posprema se na tvrdi disk računala i izvodi lokalno

(bez pristupa na Internet)35

Hot Potateos programi

1. Program za izradu kvizova (JQuiz)

2. Program za popunjavanje praznina (JCloze)

3. Program za spajanje parova (JMatch)

4. Program za rečenice s izmiješanim redoslijedom (JMix)

5. Program za izradu križaljki (JCross)• Masher – spaja pojedinačne zadatke iz

pet programa u zajedničku vježbu

36

JQuiz - Program za izradu kvizova

• Program kreira kviz s pitanjima od četiri tipa:– više ponuđenih odgovora gdje učenik mora odabrati

točan (multiplechoice)– više ponuđenih odgovora gdje učenik mora odabrati

sve točne (multi-select)– pitanja s jednim točnim odgovorom (short-answer),

– miješana pitanja (hybrid) - kombinacija pitanja s kratkim i s jednim točnim odgovorom

• moguće je uz pitanje zadati i povratnu informaciju za učenika

37

Više ponuđenih točnih odgovora

38

Pitanje s jednim točnim odgovorom

39

JCloze - Program za popunjavanje praznina

• kreira vježbu koja se sastoji od teksta s prazninama koje treba popuniti

• moguće je navesti veliki broj odgovora (npr. sinonime) koje je potrebno unijeti u prazninu

• učenik može tražiti pomoć pri rješavanju tako da dobije prvo slovo točnog odgovora ili slovo koje slijedi

40

41

JMatch - Program za spajanje parova

• kreira vježbe s parovima objekata koje treba upariti (spojiti, povezati)

• pitanja se sastoje od dvije liste objekata koje učenici moraju upariti

• objekti mogu biti slike ili tekst u padajućem izborniku

42

43

JMix - Rečenice s izmiješanim redoslijedom

• kreira rečenice s izmiješanim redoslijedom riječi

• može se definirati veliki broj različitih točnih odgovora, uključujući i znakove interpunkcije

• pomoć učeniku u obliku pritiska na gumb uz pomoć kojeg će mu se pokazati sljedeći točni dio riječi koju treba posložiti u rečenicu

44

45

JCross - Program za izradu križaljki

• kreira križaljku koja se može popuniti na web-u

• može se koristiti bilo koja veličina križaljke• moguće je dodati tekst uz zadatak koji

učenik treba pročitati kako bi mu pomogao u rješavanju križaljke

46

47

Masher

48

Zaključak

• Potreba za formativnom i sumativnom procjenom znanja učenike

• Online testovi – u odnosu na “papirnate” atraktivniji za učenike te lakši za provjeravanje odgovora za nastavnike

• Preporuka alata: Hot Potateos (jednostavan za instalaciju i uporabu, besplatan)

49

50

Literatura

• Grgin T. (2001). Školsko ocjenjivanje znanja. Jastrebarsko: Naklada Slap

• Online provjere znanja, AHyCo portal, http://ahyco.ffri.hr/portal/Glavna.aspx?IDClanka=58&IDKategorije=9

• Samoprocjena i procjena znanja u e-obrazovanju, Referalni centar za e-obrazovanje (CARNet), http://www.carnet.hr/referalni/obrazovni/spzit.html

• Hot Potatoes Home Page, http://hotpot.uvic.ca/

• Priručnik za pomoć u radu s programom Hot Potatoes na hrvatskom jeziku, http://free-zg.t-com.hr/skole/

51

Vaša pitanja?