opava, 13. října 2006
DESCRIPTION
Opava, 13. října 2006. CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ Mgr. Irena Smetáčková, CERMAT. Obsah semináře. Test Tvorba testu Testové úlohy a jejich tvorba Hodnocení testových úloh a testů Ukázky vyhodnocení. Co je test ?. = zkouška se shodnými podmínkami pro všechny testované jedince a - PowerPoint PPT PresentationTRANSCRIPT
Opava, 13. října 2006
CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ
Mgr. Irena Smetáčková, CERMAT
Obsah semináře
1) Test2) Tvorba testu3) Testové úlohy a jejich tvorba4) Hodnocení testových úloh a
testů5) Ukázky vyhodnocení
Co je test ?
= zkouška se shodnými podmínkami pro všechny testované jedince as výsledky číselného charakteru
Co je didaktický test ?
= test použitý v pedagogické situaci za účelem ověření úrovně znalostí a dovedností žáků
- vstupní test- průběžný test- výstupní test
VLASTNOSTI TESTU
objektivita, srovnatelnost citlivost validita reliabilita
OBJEKTIVITASROVNATELNOST
Výkon v testu závisí pouze na znalostech a dovednostech žáka.
Formulace úlohy a kritéria hodnocení musí být jednoznačná.
Úlohy musí ověřovat znalosti a dovednosti, nikoliv postoje.
Jaká kniha je Vaše oblíbená?
Babička; Tenká; Česká...
CITLIVOST
Který z uvedených států neleží v Asii?A) Vietnam
B) KoreaC) PolskoD) Čína
V kterém ročním období opadává listí ze stromů?A) jaro
B) léto
C) podzim
D) zima
A) Laos
B) MalawiC) OmánD) Kyrgyzstán
CITLIVOST
Test musí rozlišovat výkony různých žáků.
Výkony žáků by měly být v testu přiměřeně rozloženy.
Optimální citlivost testu je dána jeho účelem.
VALIDITA
Obec Kovač má 250 obyvatel. Každý rok se v obci narodí nebo se přistěhují 3 noví obyvatelé. Každý rok 2 obyvatelé zemřou nebo se odstěhují. Vypočítejte, za kolik let se obec Kovač stane městem.
Test měří skutečně to, k čemu byl vytvořen.
Pokud není test validní, není možné na základě výsledků vyslovit závěr o úrovni znalostí a dovedností žáků.
RELIABILITA
Test měří přesně a spolehlivě.
Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáka.
Spolehlivé měření znamená, že při opakovaném měření žák dosáhne obdobného výsledku v testu.
DRUHY DIDAKTICKÝCH TESTŮ
Možná kritéria třídění testů:
Forma zadánípísemný, ústní, Computer adaptive testing,...
Druh výsledku učeníznalosti, kognitivní dovednosti, psychomotorické dovednosti,...
Interpretace výsledkůrozlišující, ověřující
TESTY ROZLIŠUJÍCÍ
Cíl testu: vzájemné porovnání žáků
Interpretace výsledků: pořadí žáků podle skóre
Vlastnosti testu: vysoká citlivost
Konstrukce testu: obtížné úlohy s vysokou citlivostí
Použití testu: např. přijímací zkoušky
TESTY OVĚŘUJÍCÍ
Cíl testu: ověřit splnění předem daných
požadavků Interpretace výsledků:
míra splnění předem daných požadavků, porovnání s „ideálním žákem“
Vlastnosti testu: validita vůči vymezenému učivu
Konstrukce testu: úlohy různých obtížností, zastoupení
všech předem daných požadavků Použití testu:
např. test v autoškole
TVORBA TESTU
FÁZE TVORBY TESTU:
1) Plánování testu- cíl, obsah, specifikační tabulka
2) Sestavování testu- výběr úloh, řazení úloh, odhad času, volba způsobu hodnocení
3) Ověřování testu- odborné posouzení, pilotáž
4) Použití testu
TESTOVÉ ÚLOHY
Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2
Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.
Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.
A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka
TESTOVÉ ÚLOHY
STRUKTURA TESTOVÉ ÚLOHY:
Instrukce Výchozí informace (text, graf, obrázek) Kmen úlohy Alternativy (správná odpověď a distraktory) Správné řešení, kódový klíč
TESTOVÉ ÚLOHY
Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2
Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.
Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.
A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka
instrukce
výchozí text
zadání
alternativy
správné řešení
TESTOVÉ ÚLOHY
s výběrem odpovědi
dichotomicképřiřazovacíuspořádací
se stručnou odpovědí
se širokou odpovědí
TYPY TESTOVÝCH ÚLOH PODLE ZPŮSOBU ŘEŠENÍ
ÚLOHY UZAVŘENÉ ÚLOHY OTEVŘENÉ
ÚLOHY S VÝBĚREM ODPOVĚDI
= volba odpovědi ze tří až pěti nabízených alternativ
Který z uvedených států nesousedí s Českou republikou?
A) PolskoB) RumunskoC) NěmeckoD) Slovensko
Více správných odpovědí?
Riziko uhádnutí správné odpovědi?
DICHOTOMICKÉ ÚLOHY
= volba odpovědi ze dvou nabízených alternativ
Rozhodněte, zda je uvedené tvrzení pravdivé.Hlavním městem České republiky je Praha. ANO) NE)
Rozhodněte, zda jsou uvedená tvrzení o České republice pravdivá.
Hlavním městem České republiky je Praha. ANO) NE)
Počet obyvatel ČR je 5 milionů. ANO) NE)
Nejvyšším pohořím v ČR je Šumava. ANO) NE)
Nejdelší řekou České republiky je Vltava. ANO) NE)
ÚLOHY PŘIŘAZOVACÍ
= přiřazení pojmů, slov, čísel z jednoho sloupce k pojmům, slovům, číslům z druhého sloupce
Přiřaďte ke každému z uvedených států (1–3) jeho hlavní město (A–D).1. Itálie2. Francie3. Rakousko
A) BernB) PařížC) ŘímD) Vídeň
Jeden sloupec musí být delší, aby každý krok byl
rozhodnutím
ÚLOHY USPOŘÁDADÍ
= uspořádání pojmů, slov nebo čísel podle určitého pravidla
Seřaďte uvedená města (A–D) podle počtu obyvatel od nejmenšího k největšímu.
A) Hradec KrálovéB) BrnoC) VlašimD) Kutná Hora
Hodnocení jednotlivých pořadí nebo uspořádaných
dvojic?
ÚLOHY SE STRUČNOU ODPOVĚDÍ
= vytvoření odpovědi v rozsahu jednoho slova, čísla či slovního spojení
Napište název úřadu, na kterém se registrují žadatelé o zaměstnání. _____________________________ (úřad práce, pracovní úřad)
Obtížné hodnocení – vytvoření klíče všech adekvátních
odpovědí
ÚLOHY SE ŠIROKOU ODPOVĚDÍ
= vytvoření rozsáhlé odpovědi, např. výpočet s uvedením postupu, pojednání v několika větách, esej atd.
Popište průběh II. světové války. _______________________________________________
Uveďte dva argumenty pro přímou volbu prezidenta a dva argumenty proti přímé volbě prezidenta.______________________________________________
Obtížné hodnocení – vytvoření kritérií
TESTOVÉ ÚLOHY
TYPY TESTOVÝCH ÚLOH PODLE CÍLŮ UČENÍ
ÚLOHY ZNALOSTNÍ ÚLOHY DOVEDNOSTNÍ
= ověřují konkrétní = ověřují aplikaci znalosti znalostí v nových
situacích, při řešení problémů
Bloomova taxonomie kognitivních cílů
ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY
Přečtěte si následující text a odpovězte na úlohu 2.Výchozí text k úloze 2
Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.
Úloha 2Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.
A) přijímací zkoušky na vysokou školuB) olympiáda z anglického jazykaC) televizní soutěž ve znalostech českých dějinD)* státní jazyková zkouška z německého jazyka
ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY
Úloha 2Které české označení didaktického testu se používá pro NR-test ?
A) ověřující B) kontrolníC) psychologickýD)* rozlišující
PRAVIDLA PRO TVORBU ÚLOH
Formulovat úlohy stručně, srozumitelně a jednoznačně. Nepoužívat nebo zvýraznit informace, které by mohly
být zavádějící (např. zápory). Vybrat správný typ úlohy k ověřovanému učivu. Ověřovat pouze znalosti a dovednosti, které si žáci
mohli osvojit ve škole. Pamatovat na nebezpečí sociální či genderové zatíženosti.
Vhodně určit bodové ohodnocení správných odpovědí. Mít na paměti způsob technického zpracování odpovědí.
FÁZE TVORBY ÚLOH
1) vymezení učiva, které má být úlohou ověřeno, a
hloubka osvojení učiva (východiskem je specifikační tabulka testu)
2) vytvoření úlohy autorem
3) posouzení úlohy revizním týmem, odborným recenzentem a jazykovým korektorem
4) ověření úlohy prostřednictvím try-outu a pilotáže
5) úprava úlohy na základě výsledků posuzování a ověřování
6) vložení úlohy do banky testových úloh a následné použití v testu
II. ČÁST
POSUZOVÁNÍ TESTOVÝCH ÚLOH
VÝSTUPY PRO ŽÁKY, VÝSTUPY PRO ŠKOLY
ROZBOR UKÁZEK
DISKUSE
TESTOVÉ ÚLOHY
POSUZOVÁNÍ TESTOVÝCH ÚLOH
ověřované znalosti a dovednosti – vztah k učivu, vztah k vymezeným požadavkům (katalog požadavků)
obtížnost úloh citlivost úloh postavení úlohy v rámci testu
HODNOCENÍ
PSYCHOMETRICKÉ CHARAKTERISTIKY
= číselné údaje popisující test, úlohy nebo výkony žáků vypočtené na základě žákovských řešení
PSYCHOMETRICKÉ CHARAKTERISTIKY TESTU
PSYCHOMETRICKÉ CHARAKTERISTIKY TESTOVÉ ÚLOHY
PSYCHOMETRICKÉ CHARAKTERISTIKY VÝKONU ŽÁKA V TESTU
POLOŽKOVÁ ANALÝZA
HODNOCENÍ
PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech testovaných žáků
PRŮMĚRNÁ ÚSPĚŠNOST = poměr průměrného skóre a maximálního možného vyjádřený v procentech
REALIABILITA = spolehlivost a přesnost testu
HODNOCENÍ TESTU
HODNOCENÍ ÚLOH
OBTÍŽNOST = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech testovaných žáků (nebo úspěšnost žáků v úloze)
CITLIVOST = schopnost úlohy rozlišovat mezi úspěšnými a neúspěšnými žáky v testu
HODNOCENÍ
CELKOVÉ SKÓRE = celkový počet bodů v testu
CELKOVÁ ÚSPĚŠNOST= poměr celkového skóre a maximálního možného skóre
HODNOCENÍ ŽÁKŮ
HODNOCENÍ SKUPINY ŽÁKŮ
PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech žáků ve skupině
PRŮMĚRNÁ ÚSPĚŠNOST= poměr průměrného skóre a maximálního možného
ÚSPĚŠNOST ŽÁKŮ V ÚLOZE = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech žáků ve skupině vyjádřený v procentech
POLOŽKOVÁ ANALÝZA
obtížnost úlohy
citlivost úlohy
úspěšnost žáků v úloze
CELKEM G SOŠ SOU
Úloha 1 0,20 0,52 20 % 30 % 25 % 15 %
Úloha 2 0,61 0,30 61 % 81 % 60 % 40 %
Úloha 3 0,96 0,05 96 % 99 % 90 % 88 %
volba alternativvynechan
é odpovědiA B* C D
Úloha 1
20 % 42 % 10 % 20 % 8 %
UKÁZKA TESTOVÉ ÚLOHY
Který z uvedených znaků patří mezi současné státní symboly České republiky?
A) B) C)D)
UKÁZKA TESTOVÉ ÚLOHY
Přiřazení úlohy ke kataloguObčan a demokracieIV.2.1A - Žák dokáže popsat základní symboly české
státnosti a objasnit jejich význam.
Typ úlohyuzavřená – s výběrem odpovědi s jednou správnou odpovědí
UKÁZKA TESTOVÉ ÚLOHY
G SOŠ SOU
352 3854 648
Psychometrické charakteristiky úlohy
Počet žáků 4854
Obtížnost úlohy 0,96
Diskriminace úlohy 0,21
Úspěšnost žáků 96 % G SOŠ SOU
95 % 96 % 94 %
UKÁZKA TESTOVÉ ÚLOHY
Položková analýza
2,4% 1,1%
95,7%
0,5%
A B C Dalternativy
UKÁZKA TESTOVÉ ÚLOHY
ZP SP TP SPU
39 19 25 39
Rozbor upravené úlohy pro žáky s SVP
Počet žáků 122
Obtížnost úlohy 0,70
Diskriminace úlohy 0,25
Úspěšnost žáků 70 %
ZP SP TP SPU
69 % 47 % 76 % 72 %
UKÁZKA TESTOVÉ ÚLOHY
Rozbor podle známek na vysvědčení
Počet žáků se známkou 1 3141 Úspěšnost žáků 98 %Počet žáků se známkou 2 1012 Úspěšnost žáků 87 %Počet žáků se známkou 3 535 Úspěšnost žáků 68 %Počet žáků se známkou 4 159 Úspěšnost žáků 55 %Počet žáků se známkou 5 7 Úspěšnost žáků 53 %
Rozbor podle pohlavíPočet dívek 2403 Úspěšnost dívek v úloze 89 %Počet chlapců 2451 Úspěšnost chlapců v úloze
98 %
UKÁZKA TESTOVÉ ÚLOHY
Doplňkové charakteristiky úlohy
Rozbor podle kombinace znaků, např. pohlaví a typ školy
Rozbor podle výsledků v jiných testech
Rozbor složení 10 % žáků s nejlepšími, respektive nejhoršími výsledky
...
VÝSTUPY PRO ŽÁKY A ŠKOLY
Testové výsledky umožňují:
Porovnávat úroveň znalostí a dovedností žáků mezi sebou Porovnávat vývoj znalostí a dovedností jednotlivých žáků Vytvořit si představu o znalostech a dovednostech žáků
dané skupiny Získat zpětnou vazbu k obsahu a formě výuky Porovnávat výsledky tříd různých vyučujících (zdroj
pro diskusi a zkvalitňování pedagogické práce) Získat představu o klasifikačních normách ...
Děkuji za pozornost.
CERMAT – Centrum pro zjišťování výsledků vzdělávání
www.cermat.czwww.esf-kvalita1.cz
Tel. 224 507 [email protected]