2.6.17

Luděk Šnirch: Jak si Cermat vystřelil z matematiky

Léta čteme od tvůrců jednotných státních maturit a ministerstva, že státní maturita zajišťuje srovnání znalosti, a to nejen mezi školami, ale i meziročně. Na tiskových konferencích a v tiskových zprávách se každoročně dozvídáme, jak se studenti zlepšili či zhoršili a v čem. Srovnatelnost patřila k hlavním důvodům, proč byla tato jednotná zkouška zavedena.

Léta ředitel Cermatu ilustruje na datech z testů zcela rozdílné výsledky u uzavřených úloh (student vybírá z nabízených možností) a otevřených úloh (student formuluje vlastní odpověď).
Správně uvádí, že možnost tipování u uzavřených úloh (navíc při neexistenci záporných bodů za špatnou odpověď) snižuje vypovídající schopnost o úrovni znalostí studentů.
Přesto trvalo až do maturity 2015, než byly otevřené úlohy zařazeny i do testu z ČJL (letos 5 úloh z 32 úloh).

Okamžitě se začaly zhoršovat výsledky i propadovost maturantů.
Ale bylo jediným důvodem zhoršování výsledků zařazení otevřených úloh?
Jsou dalšími důvody jen podcenění testu či nepřipravenost studentů, jak ředitel Cermatu taky uvádí?
Nebo dochází i k navyšování meziroční náročnosti testu?

Nedostali jsme se spíše do situace, když už test více ověřuje rychlost odpovědi než schopnost přemýšlet a ověřovat znalostí?


Nevíme, anonymizovaná data k analýze ministerstvo zatím neposkytuje a veřejnost informuje velmi kusými a těžko srovnatelnými informacemi.

Studenti si stěžují, že na test z češtiny je málo času.

Vyzkoušejte si to sami. Letošní didaktický test z ČJL obsahuje 58 hodnocených otázek na 60 minut.
Na přečtení často dlouhé ukázky a otázky, nalezení a zapsání odpovědi je v průměru minuta.
Zajímavé je meziroční i mezipředmětové srovnání bodování stejné formy jednoho typu úlohy v matematice a češtině 2016 a 2017.
Úloha má formát 4 podotázek, na které se odpovídá ANO/NE.

Jak už vyplývá z formátu úlohy, tyto otázky se dají nejsnadněji tipovat.
Matematika nás učí (a Cermat a ministerstvo volají po povinné maturitě z matematiky, tedy předpokládám, že ji taky respektují), jaká je pravděpodobnost úspěchu u náhodného tipování otázky ANO/NE.
Všichni to známe u hodu mincí (panna/orel) – víme, že šance pro pannu je u jednoho hodu 50 % na 50 %. Z toho by mělo bodování odpovědí u tohoto formátu vycházet, aby zabránilo „levnému“ bodovému zisku tipováním.

Z klíčů správných odpovědí zjistíme, že ač formát úlohy je identický, byl zcela jinak hodnocen u matematiky, u češtiny 2016 a češtiny 2017.

Letos Cermat změnil loňská pravidla bodování u testu z češtiny ve prospěch maturantů.
Přitom dopředu není známa forma hodnocení úlohy, studenti ji v době psaní testu neznají, Cermat až po vyhodnocení testu zvolí formu bodování z maxima 2 bodů.
Proč? Aby mohl dodatečně, po napsání testu a zjištění jeho skutečných výsledků, měnit počet propadajících žáků? Kvůli kompenzaci meziroční změny v náročnosti testu? Kdo o tom rozhoduje a podle jakých pravidel? Ví to validační komise? Ví to ministryně? Bude to příští rok zase jinak? Kde zůstala deklarovaná srovnatelnost? Hodně otázek bez odpovědi.
Uveďme si nyní, jaká je pravděpodobnost, že student při náhodném tipování v jednotlivých testech dosáhne na body.
Tipování si můžeme představit jako čtyři postupně provedené hody mincí: panna znamená ANO, orel znamená NE.
Matematika nás učí, jakou máme šanci, že uhodneme správnou odpověď 4krát, 3krát, 2krát, jednou a ani jednou (takto se i ověřují znalostí u maturitních úloh z matematiky).
Tipneme správně 4 odpovědi ze 4 otázek: 6,25 %
Tipneme správně 3 odpovědi ze 4 otázek: 25 %
Tipneme správně 2 odpovědi ze 4 otázek: 37,5 %
Tipneme správně 1 odpověď ze 4 otázek: 25 %
Netipneme správně žádnou odpověď ze 4 otázek: 6,25%
Z těchto výpočtu nám vychází následující tabulka:

Hodnocení matematiky je nastaveno správně, tady je náhodné tipování málo účinné, student musí použít znalosti.
U češtiny 2016 je tipování již účinné (více jak 68,75 % tipů nese aspoň jeden bod), čeština 2017 má účinnost tipování nastavenou nesmyslně vysoce (93,75 % tipů vynese aspoň jeden bod), tady se náhodný tip vyplatí a ušetří se hodně času na další úlohy.
Přitom v češtině 2016 i 2017 byly v uvedeném formátu 4 úlohy.
V roce 2017 tedy šlo s pravděpodobnosti 93,75 % ČTYŘIKRÁT získat náhodným tipem aspoň 1 bod.
Co bylo cílem takto nastaveného hodnocení úloh v testu češtiny 2017?
Zakrýt meziroční nárůst náročnosti testu?
Zmenšit politicky neúnosný nárůst počtu propadlých z testů češtiny?
Dozvíme se odpovědi od Cermatu či ministerstva?
Cermat, jak jsem uvedl, zařazuje od roku 2015 do testu otevřené úlohy.
Jeho ředitel Jiří Zíka charakterizoval důvody a přínosy této změny těmito slovy: „Vřazení otevřených úloh výrazně přispělo k nárůstu reliability (přesnosti měření) testů. Došlo totiž ke snížení náhodného skóru testu, tj. možnosti odpověď tipovat. Test doznal významného nárůstu kvality.“
Hodnocení otevřených úloh je pracné a samozřejmě také velmi nákladné – na druhé straně ale Cermat změnil hodnocení uzavřených úloh tak, že letos možnosti úspěšně tipovat velmi výrazně zvýšil.

Meziroční změna hodnocení se týká úloh 4,10,13,19 a na jiném principu taky úlohy 20.
Na datech z češtiny 2016 publikovaných Cermatem se dá snadno spočíst, že kdyby bylo aplikováno hodnocení roku 2017 na test 2016, místo 5 169 studentů by propadlo „jen“ 2 893.

Student při stejném formátu úloh u testu roku 2017 může získat až 5 bodů z možných 50 bodů navíc, reálně se průměrné skóre u dat roku 2016 (vzorek 62 000 studentů) změnou metody hodnocení zvedlo o 2 body. Tak velký zásah do počtu neúspěšných změna hodnocení 5 úloh způsobuje.
Jistě, nic to nevypovídá o změně neúspěšnosti v roce 2017, ta může být menší, ale taky větší než u uvedených dat roku 2016, počkáme si, až ministerstvo poskytne anonymizovaná data a můžeme přepočíst. Nebo nám to Cermat či ministerstvo řekne samo, kolik studentů tímto způsobem zachránili?
U uvedených úloh, nejsnadněji tipovatelných, lze změnu hodnocení snadno technicky provést (na rozdíl od jiných otázek, kde to možné není).
V době psaní testu je známo pouze maximum bodů za úlohy, ale není definován způsob hodnocení podotázek v rámci úlohy (jak jsem na příkladech výše zdokumentoval) žádným předpisem (ani interním), jak uvedl ředitel Cermatu zde.

Čehož Cermat využil.
Či spíše zneužil?
Informace o mírném meziročním zlepšení či zhoršení, vyhlašované ministryní na tiskové konferenci dne 19. 5. 2017, tak získávají novou dimenzi. Na velkou změnu v hodnocení a tím i ovlivnění srovnání meziročních výsledků občané nebyli upozorněni.
Cermat si z tolik vzývané matematiky vystřelil.

Žádné komentáře:

Okomentovat