19.5.17

EDUin: Co říkají maturitní data: Kolik žáků zachránili hodnotitelé na školách před propadnutím ve slohu?

Čtvrtý díl seriálu o tom, co lze vyčíst z maturitních dat, hledá odůvodnění pro rozhodnutí, podle něhož slohy z češtiny opravují namísto učitelů na školách externí hodnotitelé. Ministerstvo školství navrhlo tuto změnu na základě informací Cermatu, že učitelé na školách nadržovali při opravování slohů některým svým žákům, a zachránili je tak před propadnutím. Zkoumali jsme v dostupných datech, jak velká byla míra tohoto nadržování, a zajímalo nás, zda tedy měla organizačně složitá změna v hodnocení slohů vůbec smysl. I externí hodnocení slohů přináší mnohá rizika a učitelé ho vnímají jako projev nedůvěry.

Co jsme sledovali: Pro znovuzavedení externího hodnocení byl použit argument postavený na přehodnocení vzorku písemných prací z maturity roku 2014. Tehdy prý u více než osmi procent prací ve vzorku učitelé nadržovali žákům, kteří podle Cermatu měli propadnout. Propadají žáci, jejichž práce získá méně než 12 bodů. Zjednodušeně, v diagramu úspěšnosti u slohů by měl být „schod“: příliš mnoho prací hodnocených 12 body, velmi málo prací hodnocených 11 body. Proto jsme zjišťovali, jestli data z maturit za rok 2016, která jsme získali podle zákona o svobodném přístupu k informacím, tento argument potvrzují. Pro srovnání jsme podobný diagram udělali také pro test. I v něm je vyznačena hranice úspěšnosti propadl/nepropadl. Ta se u testů pohybovala na úrovni 21/22 bodů.



Co jsme se dozvěděli: Diagram ukazuje, že schod v hodnocení slohů opravdu existuje. Hodnocení 12 bodů (nepropadl) získala 4 procenta prací, hodnocení 11 bodů (propadl) se vyskytlo na úrovni jedné desetiny procenta prací. Hodnocení testů žádný takový „schod“ neobsahuje, je hladké. Data z loňského roku ovšem rozhodně nevykazují tak masivní výskyt tohoto jevu, jakým argumentoval Cermat. Oproti roku 2014 se týká méně než polovičního podílu prací. Hodnotitelé na školách možná zachránili před propadnutím jen každého pětadvacátého maturanta – vzhledem k neurčitosti hodnotících kritérií však nelze prokázat ani to.

K čemu to může být užitečné: Tato informace je důležitá pro posouzení, zda byla změna v hodnocení slohů nutná a zda přinesla pozitivní změnu. I kdybychom přijali argumentaci Cermatu, naznačují data z roku 2016, že se kvalita hodnocení na školách zlepšila. V takové situaci možná nebylo rozumné zavádět externí hodnocení slohů, které je organizačně velmi složité, závisí na spolehlivosti technických prostředků a přináší zase jiná rizika. Externí hodnotitelé totiž musí v krátké době opravit mnohem více prací, jsou tedy pod větším tlakem a vystaveni většímu riziku, že udělají chybu. Bude proto zajímavé stejným způsobem posoudit data z letošních maturit a srovnat je s těmi loňskými.

Oldřich Botlík, iniciativa Maturitní data – odtajněno, řekl: „Za pozornost stojí argumentace v důvodové zprávě k novele zákona, jež vrátila hodnocení slohů do centra. Argumentace se opírá o výsledky přehodnocení vzorku prací z roku 2014. Důvodová zpráva ovšem neuvádí ani postup výběru hodnotitelů, kteří prováděli přehodnocení, ani instrukce, které hodnotitelé dostali. Nepopisuje dokonce ani velikost vzorku a jeho další vlastnosti. Tento jediný konkrétní argument pro přesun hodnocení ze škol do centra má tudíž pro celý soubor hodnocených prací nulovou vypovídací hodnotu a jako takový je spíše k smíchu.“

Tomáš Feřtek, odborný konzultant EDUin, řekl: „V roce 2012 ministr Fiala zrušil externí hodnocení slohů především proto, že docházelo k těžko vysvětlitelným excesům. Nejčastěji šlo o vyřazení maturitní práce pro sporné nedodržení žánru či slohového útvaru. Doufejme, že těmto pochybením se současní externí hodnotitelé vyhnou. Při deseti různorodých zadáních a šesti většinou vágně odstupňovaných hodnotících kritériích je ale velmi obtížné dosáhnout nestranného posouzení, které maturanta nepoškodí. Učitelé proto rozumně doporučují svým žákům zvolit u maturitních písemných prací cestu, která přináší nejméně rizik. Tento trend po zavedení externího hodnocení velmi pravděpodobně dále zesílí. Externí hodnotitelé totiž žáky neznají a musejí v krátkém čase opravit daleko větší množství prací.“

Poznámka: Za pozornost stojí argumentace v důvodové zprávě k novele zákona, jež vrátila hodnocení slohů do centra. Argumentace se opírá o výsledky přehodnocení vzorku prací z roku 2014. Důvodová zpráva ovšem neuvádí ani postup výběru hodnotitelů, kteří prováděli přehodnocení, ani instrukce, které hodnotitelé dostali. Nepopisuje dokonce ani velikost vzorku a jeho další vlastnosti. To by mělo být při tak podstatné a organizačně náročné změně v chodu maturit samozřejmostí.

Tento díl seriálu si můžete stáhnout ZDE jako tiskovou zprávu, která obsahuje odkazy na diagramy a autorizované znění zadání písemné práce z jara 2016 stažené ze stránky novamaturita.cz.



4 komentáře:

Simona CARCY řekl(a)...

„V roce 2012 ministr Fiala zrušil externí hodnocení slohů především proto, že docházelo k těžko vysvětlitelným excesům. Nejčastěji šlo o vyřazení maturitní práce pro sporné nedodržení žánru či slohového útvaru. Doufejme, že těmto pochybením se současní externí hodnotitelé vyhnou..."

No hlavně by se těmto pochybením měli vyhnout žáci! Hodnotitelům už moc prostoru nezbývá. Tedy pokud nechtějí lhát "na základě zkušenosti se žákem".

Josef Soukal řekl(a)...

Kdyby nešlo o vážné věci, byla by k smíchu především urputná botlíkovsko-eduinská snaha napadnout na NM cokoli, co se napadnout dá. Nevím, odkud dotyční berou jistotu, že pro znovuzavedení CH bylo argumentováno pouze takto. Podle toho, co jsem zaznamenal v tisku, se na některých školách výrazně lišil celkový průměr dosahovaný žáky v testu od průměru dosahovaného žáky v písemné a ústní části, kde bylo hodnocení v rukou školy. Dále: Čtyři procenta "zachráněných" nejsou málo. O tom, že by byla kritéria pochybná, se podle mého názoru vůbec nedá hovořit, a pří vší úctě k některým kolegyním, případná diskuse o nich by měla být primárně záležitostí odborníků na stylistiku. Stávající argumenty proti se většinou stále opakují a jsou snadno vyvratitelné. Hodnocení také rozhodně nezávisí na "kvalitě technických prostředků". Stále připomínaný rok 2012 přinesl ohledně kritérií pouze jeden zásadní problém (se zprávou) a ten byl vyřešen. Platí také, že co se týče tématu a komunikační situace, hodnocení vůbec není rigidní, jak tvrdí někteří kritici.
Skutečnými problémy jsou technicko-organizační a ekonomické záležitosti, které by mohly ovlivnit kvalitu hodnocení a které ovlivňují spokojenost žáků a učitelů; dále - a především - nespokojenost vyučujících s tím, že se na hodnocení nemohou podílet. Nevím, zda a s kým MŠMT tyto věci konzultovalo, ale obávám se, že s nikým, ani s Cermatem. Předpokládám, že ASČ bude po analýze zkušeností s letošním hodnocením v návaznosti na vnitřní diskusi výše uvedené problémy připomínkovat.

Nicka Pytlik řekl(a)...

Možná nazrál čas vyměnit maturitu z českého jazyka za maturitu z matematiky.
Česky se v té naší kotlince už leta člověk domluví tak nějak obstojně.
A u matematiky kolikrát úplně stačí dvakrát podtrhnout výsledek.

Zdeněk Sotolář řekl(a)...

A kolik zachránili centrální hodnotitelé? O Jednom vím, že dostal pokyn všechny pětky nahradit čtyřkou.

Okomentovat