24.4.17

EDUin: Co říkají maturitní data: Na kterých testových úlohách loni ztroskotalo nejvíc neúspěšných maturantů

 EDUin ve spolupráci s iniciativou Maturitní data – odtajněno publikuje první díl seriálu, který objasňuje, jaké informace je možné vyčíst z anonymizovaných dat jednotných zkoušek.


Nabízíme první ukázku závěrů, které lze vyčíst z anonymizovaných maturitních dat, o něž letos a loni požádali zástupci EDUinu a iniciativy Maturitní data – odtajněno podle zákona o svobodném přístupu k informacím. Chceme na praktických příkladech ukázat, jak by mohla a měla vypadat maturitní data zpracovaná do podoby, v níž jsou srozumitelná veřejnosti. Aby bylo zřejmé, proč takové informace přispějí k věcnější debatě o zkouškách, které nařizuje stát.

Žádali jsme o maturitní data týkající se testů z češtiny a slohových prací. Data propojují odpovědi každého žáka s hodnocením jeho slohu. Ovšem v podobě, která neumožňuje identifikaci žáka ani školy. Anonymizace zajišťuje, že nemohou být zveřejněním výsledků zpracovaných na základě těchto dat poškozeni. Přesto, jak ukážeme v jednotlivých dílech tohoto seriálu, i taková data mohou přinést hlubší pohled na fungování státní maturity.

Díky nim se otevírají nové možnosti debaty nad tím, jak ji vylepšit.

Díl 1: Na kterých testových úlohách ztroskotalo nejvíc neúspěšných maturantů?

Co jsme sledovali: Na jaře 2016 propadlo v testu ČJL 5 169 maturantů z datového souboru, s nímž jsme pracovali. Kterých 10 úloh bylo pro ně nejtěžších (ztroskotalo jich tam nejvíc)? A kterých 10 úloh bylo naopak nejlehčích (nejvíc jich tam získalo dosažitelné maximum)? Odpovědi obsahují dvě tabulky. Pro jejich pochopení je dobré otevřít si také přiložený soubor se zadáním maturitního testu. V přiloženém názorném interaktivním diagramu lze snadno přepínat mezi odpověďmi na obě otázky. Úlohy jsou pokaždé uspořádány sestupně podle počtu žáků.

Co jsme se dozvěděli: Pokud se podíváme do tabulky ukazující deset úloh, s nimiž měli žáci největší problémy, zjistíme, že první tři úlohy zjišťují znalost přísudku jmenného se sponou, označení funkčního stylu a znalost toho, co je to epizeuxis. Až na pátém a šestém místě jsou úlohy související s pravopisem. U každé úlohy tedy můžeme posoudit, zda ověřuje důležitou znalost či dovednost, a zároveň vidíme, jak byla pro neúspěšné maturanty náročná (měřeno počtem těch, kteří na ní ztratili body). Získaná data přinášejí mnoho velmi různých informací podobného typu.

K čemu to může být užitečné: Takové informace jsou klíčové pro přípravu maturitních testů v příštích letech, mají-li být kvalitnější než dnes. Například není rozumné zařazovat úlohy ověřující znalosti, které neodpovídají tomu, že maturitu skládá asi 70 procent populačního ročníku (v tomto případě přísudek jmenný se sponou, epizeuxis a funkční styl), protože neověřují nic důležitého a hodně žáků na nich ztratí body. Naopak je dobré zachovat úlohy související s pravopisem, protože schopnost správně psát má být ve vyspělé společnosti součástí kulturní výbavy občanů, byť některé z těchto úloh patří mezi ty náročné. Navíc tím, že vypustíme úlohy ověřující nedůležité znalosti, získají učitelé více času na upevnění důležitých dovedností. Názory na to, co je v testu užitečné a neužitečné, se samozřejmě mohou lišit, ale názorná maturitní data přinášejí pro obě diskutující strany věcné podklady pro argumentaci.

Tabulku s výčtem deseti nejobtížnějších a nejsnazších úloh najdete v příloze tiskové zprávy ve formátu PDF, stejně jako interaktivní diagramy ve formátu Excel. Dále je v příloze autorizované znění maturitního testu stažené ze stránky novamaturita.cz.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „Někteří lidé při debatě o maturitě sní o návratu do dob, kdy ji skládal jen každý desátý. Ty časy jsou nenávratně pryč. Dnes je proto mnohem vhodnější mluvit o zkoušce pro sedm z každých deseti devatenáctiletých. Měli bychom se všichni zamyslet nad tím, proč vlastně jsou její součástí úlohy, které se umístily vysoko na žebříčku NEJHŮŘE. Umíme to my sami? Opravdu sedm z deseti dospělých potřebuje v životě umět něco takového? A pokud potřebuje, k čemu přesně? Na základě toho, jak si odpovíme, máme uvažovat, co do maturitního testu patří, a co do něj naopak nepatří.“

Tomáš Feřtek, odborný konzultant EDUin, řekl: „Začátkem každého týdne chceme publikovat jednu epizodu seriálu o maturitních datech. Smyslem je ukázat veřejnosti, politikům, ale také vedení Ministerstva školství, v jaké podobě by mohl Cermat publikovat výsledky z maturit. Jestliže to zvládnou ve spolupráci dva malé neziskové subjekty, jistě by to přinejmenším ve stejné kvalitě místo nich dokázalo Centrum pro zjišťování výsledků vzdělávání.“






5 komentářů:

Zdeněk Sotolář řekl(a)...

Možná i příští rok se najdou testové úlohy, na kterých ztroskotalo nejvíc neúspěšných maturantů.

Nicka Pytlik řekl(a)...

Pytlici se až děsí skutečnosti, že se patrně každý rok najdou úlohy, na který ztroskotají ti neúspěšní. Jistě by bylo zajímavé posoudit, jestli na nich ztroskotávají i ti úspěšní, a pokud ne, tak proč. Možná, že se příjde i na to, že jsou ti úspěšné nepatřičně zvýhodněni oproti neúspěšným tím, že se ti úspěšní prostě biflují jak za rakouska uherska. S tím by se rozhodně muselo do budoucna něco udělat.

není rozumné zařazovat úlohy ověřující znalosti, které neodpovídají tomu, že maturitu skládá asi 70 procent populačního ročníku

Možná, že podstatně víc je nerozumné připouštět k maturitám i maturanty, kteří jsou pak neúspěšní, a selhávají na úlohách na kterých nejvíc selhávají právě ti neúspěšní!
To věděli už za toho rakouska nejspíš předci pytliků, že pokud k největšímu počtu smrtelných úrazů dochází v posledním vagonu, že je lepší ten poslední vagon vůbec nepřipojovat...

Eva Adamová řekl(a)...

Maturitní data říkají, že vyjmenovaná slova dělají maturantům úplně stejné problémy jako epizeuxis

Zdeněk Sotolář řekl(a)...

Možná se měly seznamy vyjmenovaných slov včas odtajnit. Ve veřejném zájmu.

Josef Soukal řekl(a)...

Kopíruji svoji reakci z České školy:
"Názory na to, co je v testu užitečné a neužitečné, se samozřejmě mohou lišit, (...)"
Ale zas tak moc ne, pokud o oboru něco víme. Ovšem těžko se mohou této diskuse účastnit diletanti, kteří dokáží označit jeden ze základních skladebních pojmů za nedůležitý (jen připomínám, že přísudek je základem české věty). Stejné je to s termínem funkční styl. Epizeuxis vypadá na první pohled jasně, ovšem je tu otázka, zda má smyslu pořádat jednu zkoušku pro sedmdesát procent populačního ročníku, tedy pro žáky, jejichž výkony se už na základní škole výrazně lišily, a to zdaleka ne jen proto, kolik úsilí žáci škole věnovali.
Zkrátka analýza maturitních dat si vyžaduje mnohem víc než jen bezbřehé sebevědomí. Jinak je výsledkem jen blábol a čiré hlupáctví.

Okomentovat