17.6.17

Luděk Šnirch: Jak Cermat upravil bodování pěti úloh didaktického testu z Českého jazyka a literatury v roce 2017

Tento článek navazuje na můj předchozí článek, kde jsem podrobně popsal, jak rozdílně bodoval Cermat stejný formát úloh se 4 otázkami, které jsou nejsnáze tipovatelné (odpovídá se jen ANO/NE) v didaktickém testu Českého jazyka a literatury 2016 a 2017 a v matematice.

V tomto týdnu Cermat zveřejnil anonymizovaná data z testu ČJL 2017.

Dne 16. 6. 2017 paní Drtinová o způsobu úprav hodnocení v testu diskutovala s ředitelem Cermatu.

Pan ředitel Cermatu v čase 2:46 uvádí, že pokud je úloha obtížnější, je třeba bodování upravit.

V čase 6:06 uvádí, že některé úlohy byly letos obtížnější.

V čase 7:20 uvádí, že koordinátor a metodik spolu s ředitelem rozhodli o změně bodování 5 úloh s tím, že o tom MŠMT nevědělo (čas 8.20), a opakovaně potvrdil, že o způsobu bodování rozhoduji 3 lidé.

V čase 16:10 uvádí, že by byl problém, kdyby test byl o 20 % náročnější a kdyby propadlo z testu 20 % studentů. Doplňuji, že to u matematiky kupodivu problém není, přestože je to tak léta. Asi proto, že se to bere jako normální (aniž to kdokoliv jakkoliv zdůvodnil). Doporučuji celý rozhovor.

Pod tímto článkem uvádím v tabulce úspěšnost 32 úloh letošního testu z Cermatem publikovaných dat – nejdříve po změně hodnocení 5 úloh a poté před změnou hodnocení.
Seřadil jsem úlohy od nejúspěšnějších až po nejméně úspěšné (tedy pořadí 1. až 32.)

  1. V roce 2017 Cermat změnil bodování u 4 úloh nejsnáze tipovatelných otázek 4,10,13 a19, kde se odpovídá pouze ANO/NE. Tyto úlohy se ještě před změnou hodnocení umístily na 7., 12., 13. a 19. místě a už z principu snadnosti tipování nepatří k těm, na kterých studenti pohoří. Po změně bodování se tyto 4 úlohy posunuly v pořadí na 2., 4., 5. a 8. místo. V těchto úlohách se přiděloval aspoň 1 bod s pravděpodobnosti 93,75 %, což je v rozporu se zdravým rozumem  - vždyť u těchto úloh navíc ani nevíme, zda otestovaly znalosti či spíše náhodné tipování. Ale velmi snadno se u nich nastavuje změna bodování – což Cermat letos využil.
  2. Cermat harmonizoval bodování jen u 5 úloh z 32, kde to mohl technicky udělat a veřejnost o tom nijak neinformovat (jiný způsob harmonizace je snížit hranici nutnou pro složení testu či přepočíst získané body koeficientem – ale o tom by se musela veřejnost dozvědět). Ti studenti, kteří 5 harmonizovaných úloh vyřešili a ztratili na nich hodně času, na harmonizace prodělali – nedostali žádný bod navíc. Ti, co řešení nevěděli či rovnou tipovali, na tom vydělali časově i bodově. Jestli je to spravedlivá harmonizace, nechám na posouzení čtenáře.
  3. Kolika studentům a kolik bodů Cermat harmonizaci přidal? Celkem lze v testu získat 50 bodů, v průměru každému studentovi Cermat přidal v 5 harmonizovaných úlohách 2,29 bodů.
    • 5 bodů přidal 1 261 studentům
    • 4 body přidal 7 583 studentům
    • 3 body přidal 17 422 studentům
    • 2 body přidal 20 080 studentům
    • 1 bod přidal 11 894 studentům
    • Žádný bod nebyl přidán 3 210 studentům, z nichž 53 chyběl k úspěšnému zdolání testu jen jeden bod
  1. Před harmonizaci by podle pravidel testu propadlo 10 276 studentů (16,7 %), průměrná úspěšnost by byla 30,29 bodů. Po harmonizaci propadlo 5 896 studentů (9,6%), průměrná úspěšnost je 32,59 bodů. Změna bodování zachránila 4 379 studentů.
  2. Poslední úloha testu č. 32 měla nejhorší úspěšnost z celého testu, studentům na ni často nezbyl čas, ale tato úloha (stejně jako většina úloh v testu) nemá technicky prostor pro změnu bodování, proto změna bodování probíhá jen u úloh, kde to technicky jde (aniž o tom veřejnost či studenti vědí), i když se jedná o úlohy méně obtížné a navíc nejsnadněji tipovatelné.

Nechám na laskavém čtenáři, aby si sám ujasnil, zda testy, kde se neustále mění metoda bodování a navíc mimo veřejnou kontrolu v kompetenci 3 lidí Cermatu, jsou srovnatelnými a transparentními. O spravedlnosti raději nebudu psát. Zda měří dosažené vzdělání nebo to spíše připomíná tipovací loterii s měnícími se pravidly, kde je někdy potřeba i štěstí (jako letos)

Rozhoduje se takto o osudech desítek tisíc mladých lidí. Považuji mladí lidé tento způsob rozhodování státu o svých životech za spravedlivý? Je to přece důležité pro demokratický rozvoj společnosti.

6 komentářů:

Nicka Pytlik řekl(a)...

Když už harmonizuji, tak způsobem, který dopomůže k zdárnému složení maturity všem.
Všem! Tedy až na toho neustále hýkajícího Semeráda, protože ten pytlíky ale už doopravdy zlobí. Vzdělanec nemá co hýkat. Neřeknu tu a tam, ale neustále?
Představa, že 5 896 neúspěšných maturantů je odsouzeno k doživotnímu dlení, nebo lépe tlení na úřadech práce, je zdrcující i pro okoralé pytliky. Pytliky jen zaráží, že se uchazeči o certifikát vzdělanosti nerozhodli pro nějaký cizí jazyk. Slovenštinu by dali všichni. Hele, čučoretka, bocian, cintorín... pohoda.

Ondřej Šteffl řekl(a)...

Je to naprostý amatérismus. Cermat podle všeho testy ani jednotlivé úlohy řádně nepilotuje. Bohužel ovšem tyto a podobné chyby odvádějí pozornost od toho hlavního: Proč se ta státní maturita koná? K čemu to je dobré?

Vladimír Stanzel řekl(a)...
Tento komentář byl odstraněn autorem.
Vladimír Stanzel řekl(a)...

Ale pane Šteffle, p. Zíka jasně uvedl, že pilotáže probíhají a že právě na základě jedné z nich došlo k úpravě hodnocení tak, aby zůstala zachována meziročně srovnatelná celková obtížnost. Vaše tvrzení je proto čiročirá fikce, pro niž nemáte důkaz. Od někoho, kdo je ve jakožto majitel konkurenčního soukromého subjektu ve střetu zájmů, zní více než nevěrohodně. Jan Hučín na ČŠ to také nevidí Vaším prizmatem, takže by zřejmě neškodilo šetřit podobnými silnými slovy.

krtek řekl(a)...

Navrhuji pro příští rok uspořádat referendum o znění a bodování maturitní zkoušky. Jenom se nesmí sdělit znění otázek. A hodnocení slohů centrálními hodnotiteli, které bude schvalovat maturant a jeho rodina.
K tomu ještě by mohla půl maturity chystat firma Scio a půl maturity Kalibro!
Cermat by pod vedením pana Kartouse a Feřteka jen ad-ministroval celou maturitu.

Nicka Pytlik řekl(a)...

Pokud chceme mít možnost srovnávat výsledky maturitní zkoušky v běhu jednotlivých let, pak se nesmí alespoň dvacet let měnit zadání jednotlivých úloh maturitního testu.
Pytlici to takhle dělají už dobrých patnáct let, takže uchopitelných podkladů mají docela dost. Kdyby k tomu přidali i informace o samotných žácích, jako je například průběh dosavadního vzdělávání, působení vnějších podmínek, sociální původ, genetickou zátěž, míru vnitřní motivace a kvalitu jejich imunitního systému, pak by mohli s mírou pravděpodobnosti nejméně šest a půl procenta predikovat vývoj vzdělávacích potřeb svých žáků přinejmenším na příštích čtrnáct dní.

Okomentovat