14.1.20

Oldřich Botlík: Tajemná „analýza z Cermatu“ byla konečně zveřejněna – díl II.


V prosinci 2019 byla zveřejněna analýza výsledků žáků v maturitních testech z matematiky. Využiji ji k tomu, abych naznačil, jak by měl Cermat informovat veřejnost o úspěšnosti maturantů při řešení jednotlivých úloh. Přitom vysvětlím, k čemu slouží prvotní maturitní data, jež ministerstvo školství dosud nezveřejnilo, ačkoli zákonná lhůta uplynula již 17. srpna 2019. Připravilo se tím o hodnotné aktuální argumenty na podporu svých záměrů s maturitní zkouškou z matematiky.

Má veřejnost stejné informace jako ministr?

Po nástupu nové ředitelky Cermatu začala veřejnost dostávat třeba diagramy o trvale klesajícím zájmu maturovat z matematiky, o vývoji neúspěšnosti v testech nebo údaje o celkových výsledcích jednotlivých skupin škol. Cermat je ve své analýze uvedl znovu.

Některé jiné informace nemá veřejnost ani ministr. Naprosté mlčení zachovává Cermat ohledně toho, co přesně každá úloha zjišťuje a proč je to důležité. Bývá problém se na tom shodnout. Nikdo – prý ani Cermat – také netuší, jaké jsou nejčetnější chybné odpovědi u úloh, v nichž maturanti odpovídají číslem, a jak často je žáci uvádějí. Takové informace mají přitom zásadní význam pro učitele, aby mohli zlepšovat svou výuku.

Mnohem skoupější k veřejnosti než k ministrovi je Cermat při informování o výsledcích jednotlivých testových úloh a podúloh. Práci s těmito informacemi neusnadňuje veřejnosti ničím. Například u výsledků úlohy typu multiple-choice (výběr jediné správné z položek A až E) si musí uživatel sám dohledat v klíči správných odpovědí, která položka je správná. Cermat přitom takovou informaci v datech určitě má, ale vypustil ji. Proč asi?

Ilustrace na konkrétní úloze

Vyjděme třeba z informací o výsledcích podúlohy 3.2 maturitního testu „Jaro 2018“, které analýza uvádí na straně 13.





Pro Cermat je typické, že ani ministrovi školství neposkytl analogické výsledky podúlohy 3.1, ačkoli je vcelku nasnadě, že představují přirozený kontext pro výsledky podúlohy 3.2. Vyžádal si je ministr dodatečně? Vzorový postup řešení u této úlohy chybí – Cermat poprvé zveřejnil vzorová řešení až v roce 2019. U podúlohy 3.1 je postup snadný (spočítají se příslušné dílky s výsledkem 5:8), zatímco u podúlohy 3.2 už postup může být pro nematematiky obtížnější (z rovnice sestavené v podúloze 3.1 se vyjádří m; vyjde m = 5/7; z toho je už umístění obrazu čísla 1=7/7 zřejmé).

Celá úloha 3 zjišťuje, zda žáci rozumějí pojmu „proměnná“, dokážou algebraickými prostředky zacházet s podíly dvou malých přirozených čísel a chápou vztah mezi takovými zlomky a jejich obrazem na číselné ose. Ačkoli jde o naprosté základy (úloha byla zařazena jako tzv. rozjížděcí), je z dat zřejmé, že tyto výsledky matematického vzdělávání českých žáků za mnoho nestojí.

Agregovaná a prvotní data – co chybí

Agregovaná data, která Cermat zveřejňuje v uživatelsky nevstřícné podobě, jsou navíc – jak ukážu níže – zbytečně chudá. Anonymizovaná prvotní data z maturitních testů z matematiky zatím nezveřejnil, ačkoli analogická data z jednotných přijímacích zkoušek zpřístupňuje rutinně a na základě žádosti již zveřejnil rovněž anonymizovaná prvotní data z maturitních testů a písemných prací z českého jazyka a literatury. Ukážu dále, k čemu jsou prvotní data potřebná a užitečná.
Nejprve se ovšem vraťme k datům agregovaným. Ministr získal informace o úspěšnosti úlohy 3.2 dohromady za gymnázia a lycea, zvlášť potom za SOŠ, SOU nebo nástavby. Průměrné výsledky úloh na jednotlivých typech škol Cermat jinak nezveřejňuje vůbec. Kdyby nás tedy zajímaly obdobné výsledky za podúlohu 3.1, máme smůlu – v analýze nejsou a z dat se získat nedají. Každý statistik ovšem ví, že v průměru se může ztratit leccos. Legrační je, že Cermat v ostatních svých analýzách celkové výsledky gymnázií a lyceí odděluje. Chtěl něco skrýt, když zde obě skupiny spojil?

Průměrná úspěšnost celého testu byla 59,0 %. Žáci v testu řešili rovněž kvadratickou rovnici:



V této úloze (5) získali žáci 66,1 % disponibilních bodů. Odstup od zisku 25,6 % disponibilních bodů v podúloze 3.2 je obrovský. Obě úlohy ilustrují zásadní problém současné výuky matematiky. Žáci se dokážou naučit ke zkoušce postupy, jejichž podstatě mnohdy nerozumějí, úspěšně je předvedou a potom nejspíš zase brzy zapomenou. Mají-li ovšem sami vymyslet, jak si trošku nestandardně poradit se zlomkem 5/7, jsou v koncích. Problém spočívá v tom, že řešení i mnohem složitějších rovnic snadno zvládne mobil, který mají žáci v kapse, zatímco mobily ještě dlouho nepředvedou přístup vyžadující porozumění. Hluboký problém pojetí výuky matematiky představuje také skutečnost, že opravdová matematika je to druhé – příchodem počítačů se z řešení rovnic stala „technikálie“.

Tím jsme se konečně dostali k prvotním datům. Nejde o jména maturantů (data mohou být zcela anonymizovaná), potřebujeme ale zjistit například to, čím se liší žáci, kteří si poradili se zlomkem (úloha 3), od žáků, kteří si poradili s kvadratickou rovnicí (úloha 5 – je jich mnohem víc). Ve kterých dalších úlohách žáci z každé skupiny uspěli, případně neuspěli? Odpovědi mohou mít v diskusi o povinné maturitě – má-li být kvalitní – zásadní význam. Jinak než z anonymizovaných prvotních dat se ovšem zjistit nedají. Odpovědi Cermat neposkytl ani ministrovi a připravil ho tím o zásadní argumenty. A protože prvotní data zatím nebyla zveřejněna, nemůže to zjistit nikdo. O čem má tedy diskuse k povinné maturitě z matematiky být? Kolik hodin žákům přidat, aby se naučili řešit rovnice aspoň z tisíciny tak spolehlivě a rychle, jak to dokážou jejich mobily?

Závěr

Analýzu Manažerské shrnutí – maturitní zkouška z matematiky si vyžádal od Cermatu přímo ministr školství. Informace, jak dopadly úlohy, jež Cermat ministrovi vybral, jsou zárodkem toho, jak může Cermat informovat veřejnost „lidsky čitelným způsobem“ o každé testové úloze. Odborně i časově je to banalita – s připravenými podklady zvládne jeden člověk zpracovat výsledky jednoho testu za jeden den.

Anonymizovaná prvotní data už samozřejmě nejsou určena široké veřejnosti. Je však dost lidí, kteří si nad nimi položí zajímavé otázky a budou hledat odpovědi. Aktuální jsou v tuto chvíli argumenty související s povinností maturovat z matematiky, které bohužel blíže nezkoumal ani Cermat. Jinak by se ministrovi jistě pochlubil, neboť tomu by se nyní hodily. Kdyby se mohl opřít o výsledky opravdu důkladné analýzy prvotních dat, byla by jeho argumentace mnohem přesvědčivější.
Jak ukazuje starší příklad z jiného oboru, je publikování dat důležité, i když nikdo předem neví, co při jejich důkladné analýze vynoří. Pan Tomáš Novák získal na základě zveřejněných podrobných dat z voleb do Poslanecké sněmovny v roce 2017 podezření, že některé volební komise ve Středočeském kraji nezapočítávaly hlasy kandidátům uvedeným na druhé straně hlasovacích lístků. Navrhl Nejvyššímu správnímu soudu přezkoumání výsledků v přibližně 900 volebních okrscích. Podezření se potvrdilo, soud zjistil celou řadu dalších velmi závažných nedostatků a na základě výsledku přepočtu změnil výsledek voleb ve Středočeském kraji. Současně konstatoval, že příště by mohlo být nutné, aby zrušil výsledek voleb do Poslanecké sněmovny v celé republice.

Analýza Cermatu je ke stažení na webu MŠMT nebo v HTML na Pedagogicke.info.

Oldřich Botlík: Tajemná „analýza z Cermatu“ byla konečně zveřejněna – díl I.

9 komentářů:

Josef Soukal řekl(a)...

A právě proto, že data jsou důležitá, prosazuje O. Botlík maturitu, která NEPOSKYTNE ŽÁDNÁ RELEVANTNÍ DATA.
To, že volně dostupná maturitní data poskytují dost informací na to, abychom věděli, že zakopaný maturitní pes je v tom, že k maturitě dojdou žáci, jež pro studium nemají předpoklady, je v tomhle kontextu už je "maličkost".

Josef Soukal řekl(a)...

Výše uvedený (vlastní) komentář jsem zkopíroval z České školy. O. Botlík odpověděl svým typickým způsobem, takže není o čem diskutovat.

Oldřich Botlík řekl(a)...

Jestli chcete, můžu váš komentář zkopírovat také na EDUin, kde můj text rovněž vyšel.

Ať se tolik nehoníte.

Kontrolovat každou přestávku, co kam Botlík napsal, musí být hrozné.

Josef Soukal řekl(a)...

Pane Botlíku,

přestávku v učení mám už půl roku, takže dopoledne zpravidla trávím prací u počítače a reaguji průběžně. Pokud zrovna nepíšete stohy komentářů, vystačím si s několika řádky, za víc vaše aktivity nestojí. A připomínám, že poměr nejrůznějších zmínek o protistraně je v tomto případě asi tak 99:1 v můj neprospěch.

Vladimír Stanzel řekl(a)...

Nepropadejte čapkovským velikášským bludům, mistře Botlíku. A raději si vzpomeńte, kolikrát jste třeba i v diskusích zde na PI napsal, že příspěvky od členů ASČ nečtete a nereagujete na ně. Přesto jste tuto svou proklamaci mnohokrát porušil. Takže - abych použil váš slovník z diskuse pod totožným článkem na ČŠ - opět jste plácal. A také proto máme přísloví o zloději, co křičí "chyťte zloděje".

Simona CARCY řekl(a)...

Botlíkův kotlík uraženosti, nedoceněnosti a opomíjení jeho poznatků opět přetéká.
Argumenty odpůrců jsou smáznuty tím, že se jimi nebude zabývat, ale švejkovsky trvá na svých, dle něj zásadních, argumentech. Holt je to jak v Prodance: každý jen tu svou má za jedinou.

Oldřich Botlík řekl(a)...

Děkuji všem třem diskutujícím za komentáře k věci.

Nicka Pytlik řekl(a)...

Děkuji... za komentáře k věci

Až takovou míru odlidštění by pytlici u botlíků nečekali.

Josef Soukal řekl(a)...

Takže k věci:

Jestli chcete, můžu váš komentář zkopírovat také na EDUin, kde můj text rovněž vyšel.

Ať se tolik nehoníte.

Kontrolovat každou přestávku, co kam Botlík napsal, musí být hrozné.

Okomentovat