11.3.19

EDUin: Analýza propadovosti: Hodnotitelé na školách dosahují stabilnějšího výsledku (AKTUALIZOVÁNO - CHYBNÁ INTERPRETACE)

Návrh novely školského zákona, která vrací hodnocení písemných prací do škol, vyvolal podrážděné reakce centralistů. Oficiální data zveřejněná na stránce www.novamaturita.cz ovšem ukazují, že v případě slohových prací z češtiny je ministerský návrh oprávněný. Meziroční výkyvy podílu propadlíků jsou totiž při hodnocení ve školách přibližně třikrát menší než při hodnocení v centru. Hodnocení na školách je tedy předvídatelnější a lépe odolává vnějším tlakům. Naznačuje to jednoduchý rozbor propadovosti provedený Oldřichem Botlíkem, který se dlouhodobě věnuje měření výsledků vzdělávání.


Vyjádření Oldřicha Botlíka v diskusi na České škole:

S opravováním písemných prací v roce 2013 je to zřejmě tak, jak píše V. Stanzel na jiném místě. Opravovaly se ve školách v důsledku novely školského zákona předložené ministrem Fialou. Neuvědomil jsem si, že její přijetí proběhlo tak rychle, aby mohla být účinná hned následující školní rok poté, co se ve státní maturitě objevily problémy, jež k jejímu předložení ministra vedly.

Chybu jsem udělal já a ačkoli text kontrolovalo několik dalších lidí, nikdo si jí nevšiml. Aniž bych se chtěl vymlouvat, je také důsledkem toho, že v agregovaných datech, z nichž jsem čerpal, není uvedena doprovodná informace o tom, kde se slohové práce opravovaly. Případně, pokud uvedena je, je obtížné je najít a já jsem ji nenašel. Je to důvod, proč třeba Infozákon požaduje, aby zveřejňovaná data takové informace obsahovala, neboť to přispívá ke snížení chyb v interpretacích.

Čtenářům se za chybnou interpretaci omlouvám. Nestává se mi to často, ačkoli jsem už z maturitních dat zpracoval a zveřejnil celou řadu poznatků, které pokládám za důležité.

Požádám EDUin, aby vydal opravu své tiskové zprávy. Nemám ovšem v tuto chvíli čas připravit pro ni podklady.


Reakce Jakuba Žytka:

Pane Botlíku,

omlouvám se za stručnost, čtu to teď o přestávkách a mám ještě seminář:

chápu-li to tedy správně, tak po náležité interpretaci dat r. 2013 je celkový závěr právě opačný? Tj. rozpětí v hodnocení v centrálu je právě 0,5 %, kdežto na školách až 0,89 % (což je, abych parafrázoval, „téměř dvakrát více“;
a že rozpětí zprůměrovaně propadlých žáků v centru je 329, ale na školách 572, tudíž - rozumím tomu správně? -, že příznivci školního hodnocení vlastně nepřímo obhajují propadnutí 243 žáků, kteří by v centrálu propadnou nemuseli?

Děkuji za odpověď, případně korekci.


Původní tisková zpráva EDUin:

Vnější tlak na změny v počtu úspěšných či neúspěšných maturantů je patrný při pohledu na počty propadnuvších maturantů v jednotlivých letech, a to v různých částech společné části maturitní zkoušky. V souvislosti s písemnými pracemi lze poukázat například na rok 2017: bylo žádoucí prokázat, že centrální hodnotitelé nezachraňují před propadnutím maturanty, jejichž práce byly „na hraně“.

Níže uvádíme tabulku týkající se písemných prací z češtiny. V centru (Cermat) se hodnotilo v roce 2013 a potom znovu v letech 2017 a 2018 (šedý podklad), ve školách v období 2014–2016. Největší rozdíl mezi procenty propadovosti vyprodukovanými centrem činil 1,33 %, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 0,45 %, tedy takřka třikrát menší (3 × 0,45 = 1,35).



Je užitečné představit si, co to znamená v počtech žáků. Protože v období 2013–2018 se pořád měnily počty žáků, kteří písemnou práci psali, je v následující tabulce uveden přepočet na průměrný počet žáků za období 2013–2018, a to se stejnými procenty propadovosti. Průměr je větší než počty žáků v posledních čtyřech ročnících. Největší rozdíl mezi počty propadlíků vyprodukovaných centrem činil 886 žáků, zatímco hodnocení na školách mělo výkyvy jen do rozsahu 299 žáků. Což je zase přibližně třikrát méně.



Obhájci centrálního hodnocení písemných prací z českého jazyka se tedy ve skutečnosti přou o pouhých 587 žáků (886 – 299 = 587), kteří nepropadli. Chtějí totiž, aby takoví žáci v důsledku návratu hodnocení do centra propadali. Přitom i zdánlivě objektivní maturitní test (neboť většinu „hodnocení“ provádí počítač) nabízí případným manipulacím v centru mnohem větší prostor. Například na jaře 2017 provedly dosud neznámé osoby meziroční změnu hodnocení nejméně pěti testových úloh standardního formátu, v jejímž důsledku propadlo v testu 5 896 žáků. Bez této změny by jich v testu propadlo 10 275, což je o 4 379 žáků více. Změna byla provedena v úlohách, kde byla možná technicky, a vedla například k tomu, že náhodným tipováním bylo možné získat 1 bod s pravděpodobností 15/16. Tím mj. zcela popřela oficiální důvod zavedení tzv. částečně otevřených úloh, jímž bylo zabránit úspěchu při náhodném tipování. V úlohách bez nabídky, v nichž žáci tvoří odpověď sami, se totiž tipovat nedá.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „U hodnocení písemných prací z češtiny se vždy mluvilo jen o spravedlivosti hodnocení těch žáků, jimž hrozilo propadnutí. Pohled na oficiální data ovšem potvrdil, že argumenty, které pomohly prosadit návrat hodnocení do centra počínaje rokem 2017, byly zfalšované: rozdíl v počtech propadlíků totiž nestojí za řeč. Při hodnocení na školách zmizí nejen dodávání výsledků v posledních hodinách před ústní zkouškou. Zásadní změnou je především posílení odpovědnosti hodnotitelů: budou moci (a současně muset) svým žákům ukázat, které případné nedostatky jejich slohových prací vedly k horšímu hodnocení."

Bob Kartous, vedoucí analýzy a komunikace EDUin, řekl: „Opakovaně se ukazuje, že manipulace s hodnocením jednotlivých částí společné části maturit mají postupný cíl: nenápadně zvyšovat počet neúspěšných maturantů. Meziroční změny v hodnocení testů i v hodnocení písemných prací vedou v konečném důsledku k naplňování takového zadání. Samotný fakt narůstajícího počtu neúspěšných maturantů je poté naprosto diletantsky interpretován jako snižující se úroveň maturantů a je zneužíván k argumentaci pro zavádění dalších restrikcí, jako je cut-off score v přijímacích zkouškách na SŠ. Navrhovaná změna hodnotit písemné práce z českého jazyka ve školách může dílčím způsobem snížit tento uměle vyvolaný tlak a nespravedlnost, nicméně jde spíše o kosmetickou změnu. V případě maturitní zkoušky je nutné uvažovat o mnohem rozsáhlejších změnách, jak navrhujeme například v Auditu vzdělávacího systému v ČR.“

8 komentářů:

Vladimír Stanzel řekl(a)...

To je mooooooooooc vydařený článek, jen co je pravda. A jak silná slova (bez relevantních důkazů) se v něm objevují - opravdu ukázka novinářské objektivity a excelence. Jen bych si dovolil upozornit Oldřicha Botlíka i Boba Kartouse, že V ROCE 2013 SE MATURITNÍ SLOHOVÉ PRÁCE OPRAVOVALY VE ŠKOLÁCH., jak se lze přesvědčit na webu MŠMT Jaké důsledky toto drobné "opomenutí" má, je nasnadě a nechávám je na čtenářově představivosti. EDUin a Oldřich Botlík opět ukázali, jak kvalitně pracují. Gratuluji jim k tomu.

Josef Soukal řekl(a)...

Je těžké a lidsky nepříjemné reagovat na článek, v němž se suverénně tvrdí, že obhájci centrálního hodnocení cosi chtějí apod., aniž by to bylo podloženo čímkoli věcným, a který zamlčuje podstatné skutečnosti. V podstatě nejde o nic jiného než o snahu autora odvést pozornost od své vlastní motivace někoho a něco pošpinit. Stačí pohled do souhrnných výsledků maturitní zkoušky dostupných na stránkách Cermatu a snadno zjistíme, že ve skutečnosti centrální hodnocení především narovnává výraznou celkovou disproporci v hodnocení na různých typech škol. V zásadě platí, že čím mají žáci určitých typů škol celkově slabší výsledky, tím větší je snaha vylepšit tyto výsledky tam, kde je hodnocení právě v rukou škol. Údaje Cermatu - nejen ty o procentu úspěšných odvolání - a samotná organizace hodnocení (a revize hodnocení) dále ukazují, že centrální hodnocení mnohem účinněji chrání žáky před hodnocením nekvalitním. Některé doklady lze najít v Připomínkách ASČ k novele školského zákona.
Nejnovější maturitní výstupy O. Botlíka znovu ukazují, proč je nutné jakékoli jeho tvrzení přijímat s velkou rezervou. Bohužel právě takovéto manipulace dostávají mimořádný prostor v médiích a vytlačují skutečně věcnou a seriózní diskusi na maturitní téma.

Oldřich Botlík řekl(a)...

S opravováním písemných prací v roce 2013 je to zřejmě tak, jak píše V. Stanzel v prvním příspěvku. Opravovaly se ve školách v důsledku novely školského zákona předložené ministrem Fialou. Neuvědomil jsem si, že její přijetí proběhlo tak rychle, aby mohla být účinná hned následující školní rok poté, co se ve státní maturitě objevily problémy, jež k jejímu předložení ministra vedly.

Chybu jsem udělal já a ačkoli text kontrolovalo několik dalších lidí, nikdo si jí nevšiml. Aniž bych se chtěl vymlouvat, je také důsledkem toho, že v agregovaných datech, z nichž jsem čerpal, není uvedena doprovodná informace o tom, kde se slohové práce opravovaly. Případně, pokud uvedena je, je obtížné je najít a já jsem ji nenašel. Je to důvod, proč třeba Infozákon požaduje, aby zveřejňovaná data takové informace obsahovala, neboť to přispívá ke snížení chyb v interpretacích.

Čtenářům se za chybnou interpretaci omlouvám. Nestává se mi to často, ačkoli jsem už z maturitních dat zpracoval a zveřejnil celou řadu poznatků, které pokládám za důležité.

Požádám EDUin, aby vydal opravu své tiskové zprávy. Nemám ovšem v tuto chvíli čas připravit pro ni podklady.

Josef Soukal řekl(a)...

"Omlouvám" předchází 143 DALŠÍCH SLOV...

Nicka Pytlik řekl(a)...

jednoduchý rozbor propadovosti

Kromě propadovosti maturantů by se mělo pozabývat i trdlovostí rozborářů.

Jiří Kostečka řekl(a)...

"Aniž bych se chtěl vymlouvat" - a ještě v tomtéž souvětí se O. Botlík vymlouvá.
Z téhle ostudy si může ušít ne jeden kabát, ale přímo kolekci šub.

Jestli ovšem ani takovéhle "argumentování" nebude pana ministra aspoň trochu varovat, není pomoci. Vrácením maturity kompletně do škol dostane staronová česká maturita uprděnou podobu předlistopadového hávu. (Současný didaktický test je k smíchu, složí ho i osmáci ZŠ, a i tak se už pro jistotu objevují návrhy, že by se měl zrušit i ten.) Decentralisté si mohou gratulovat, to se hned tak někomu nepovede. Ještěže už budu v důchodu, maturovat jako za Jakeše bych vážně neskousl. Tehdy se (mimo jiné) nesmělo sáhnout na děti dělnického původu, zítra to budou děti místních veličin a sponzorů.
A proč se s češtinou svezly i cizí jazyky, to už opravdu hlava nebere.

Vladimír Stanzel řekl(a)...

"A proč se s češtinou svezly i cizí jazyky, to už opravdu hlava nebere." - pan ministr se zřejmě inspiroval v Borovského Křtu svatého Vladimíra:

Perun Bůh je odsouzený
k provazu dle práva,
že však k utopení v Dněpru
milost se mu dává;

bude ale pro výstrahu
neposlušné chase
vlečen k řece po ulicích
na koňském ocase.“ —

Právě jeden žurnalista
seděl také v díře,
protože se bohu rouhal
a psal proti víře.

Soud jej odsoudil, použiv
té příležitosti,
k stejnému trestu s Perunem
k vůli nestrannosti.

Nicka Pytlik řekl(a)...

Pytlikům to pořád vrtá hlavou. Ta 'propadovost' je odborný termín?
U maturity se v té dnešní překotně se měnící době propadá? Kam?
Tak snad jedině, že by se propadalo hanbou. Hanbová propadovost...

Okomentovat