1.6.18

Jiří Kostečka: Několik poznámek k dění kolem Cermatu

Každý, kdo spolupracoval s Cermatem, musí potvrdit dlouhodobé extrémní pracovní vytížení nepočetného týmu, jenž připravuje testy. Na vlastní oči jsem viděl matrace, na kterých jeho členové v budově přespávali.


Dvě chyby, ke kterým letos ve státních testech došlo, neměly žádný fatální následek – na rozdíl od hodnocení školního, kde k němu dojít může, protože tam tolik opravných mechanismů prostě neexistuje.

Pokud jde o rčení „Čas růže přináší“, poctivě přiznám, že kdybych byl seděl v jedné z komisí posuzujících test, tuto možnost bych neodhalil také. Koneckonců na ni nepřišli ani členové SUČJL, K. Lippmann, O. Botlík a mnozí jiní, ač se v testu vrtali jen což. Toto rčení se vyskytovalo v umělecké literatuře dominantně v 19. a na počátku 20. století, dnes je jeho výskyt velmi ojedinělý. Nicméně i v tomto případě došlo k nápravě, maturanti nebyli poškozeni. Tvůrci testu i jeho posuzovatelé pak získali užitečné poučení – jedno z těch, která pravidelně přicházejí v podobných situacích, a nejen v oblasti testování: v určitých případech je třeba nespolehnout se jen na svoje vědomosti, ale použít i jiné nástroje. Zde jím měl být dobrý vyhledávač, který by byl možnost s „časem“, byť dnes okrajovou, odhalil.

V případě chyby v přijímačkovém testu nesouhlasím s názorem, že šlo o chybu méně závažnou než v testu maturitním. Rozdíl mezi grafémem (zde písmenem) a jeho hláskovou realizací je známý jev a bohemista by ho měl mít při oponentuře testu na paměti. Tato chyba se měla primárně odhalit již v té fázi, kdy test z ČJL předpřipravený Cermatem posuzuje nezávisle na sobě několik bohemistů, kteří nejsou interní zaměstnanci této organizace (to zdaleka ještě není validační komise!). Teprve poté, co test vyřeší individuálně, sejdou se na tvrdý brainstorming, kde eventuální připomínky mezi sebou konzultují. Jako bývalý člen těchto komisí vím velmi dobře, že se přísně dodržuje zásada „přijďte s čímkoli, o čem máte sebemenší pochybnost, i kdybyste se báli, že vaši námitku ostatní smetou“. A tak se taky dálo. Přesto se letos chyba stala. Proč? Protože jsme lidé. Oldřich Botlík v minulosti opakovaně hlásal, že chyba v tak důležitých testech se – cituji – „prostě stát nesmí“. Možná nesmí, ale jak vidno – může. Myslím, že jsem již někde psal, jak před asi 20 lety pět češtinářů posuzovalo interní přijímačkový test elitního gymnázia a ani jeden nenapadl úlohu, v níž se vyskytoval „levobřežní Vyšehrad“. Češtinářsky byla sice v pořádku, nicméně – že by si ani jeden z pěti příslušně aprobovaných, vysokoškolsky vzdělaných odborníků neuvědomil, že Vyšehrad leží na pravém břehu Vltavy? A vidíte – neuvědomil. Jistě, zaměřili se na jazykový a testový aspekt úlohy, ale přesto… Domnívám se, že chyba v úloze č. 12 přijímačkového testu proklouzla všem proto, že její řešení předpokládalo dva kroky (na tom samém není vůbec nic závadného): 1. identifikovat kořen, 2. spočítat v kořeni hlásky podle zadání. Čistě vizuálně mají tři kořeny na první pohled tři písmena (jev, běh, drž); navíc průhlednější varianta B) (bruč) předchází variantu C) (běh). Ještě jednou: toto byla opravdu chyba, ale v tak veřejném, ostře sledovaném testu přistupuje k interním kontrolním mechanismům i nanejvýš užitečná kontrola široké veřejnosti; na chybu se přišlo a byla napravena ve prospěch řešitelů. Jak by to asi s řešiteli dopadlo, kdyby přijímačkové testy vytvářely školy a jedna z nich by ten svůj odmítla zveřejnit a podobný přehmat – pokud by na něj někdo na škole dodatečně přišel – ututlala?

Vyvozovat z těchto dvou omylů dalekosáhlé důsledky ohledně smyslu a oprávněnosti testování je zcela nepřípadné. Chyba nespočívala v testu jakožto nástroji ověřování některých výstupů ve vzdělávání, chyba se stala při konkrétní aplikaci tohoto nástroje. To se děje kolem nás dnes a denně, a s většími následky. Opakuji: jsme jen lidé. A testují i jiné státy, včetně bájného Finska.

Nepřísluší mi spekulovat ohledně důvodů, které vedly pana ministra k odvolání J. Zíky z funkce a raději hned dodám, že pana Zíku znám jen velmi letmo, v podstatě ze setkání na chodbách této instituce. Nedá mi ale, abych neotevřel na pedagogickém fóru otázku širších souvislostí týkajících se odpovědnosti vedoucích pracovníků. Říká se, že zodpovídají za všechno, tedy i za pochybení podřízených, třebaže k nim došlo mimo jejich dosah. Příklad z praxe: ředitel správně zanese do právních dokumentů školy zákaz pouštět děti v době výuky na chodbu bez dozoru dospělého. Doufám, že se dnes již neděje to, aby učitel vyhodil žáka ze třídy pro nekázeň. Ale co když nezletilý žák si žádá „odskočit“ a trvá na tom, že je nejvyšší čas, a pak si na chodbě způsobí úraz s trvalými následky? Kdo za to zodpovídá? Měl(a) snad jít vyučující s ním před toaletu a pro změnu nechat bez dozoru zbytek třídy? Měl(a) hulákat přes tři patra na školníka?

Aneb: mohl pan Zíka rozumně předpokládat, že dva týmy aprobovaných odborníků si nevšimnou chyby v testu, zvlášť když stejný mechanismus fungoval řadu let předtím bezchybně?

Závěrem: Pokud se po široké diskusi o dalším osudu maturit náš stát rozhodne, že si ponechá její část ve své gesci, měl by se v prvé řadě postarat o to, aby ti, kteří budou maturity připravovat, měli potřebný čas, klid a též finanční ohodnocení; chybovost v testech i při centrálním opravování, už takhle dlouhodobě velmi nízká, zcela jistě poklesne.

O tom, že při hodnocení maturitní zkoušky na školách docházelo k excesům a neobjektivitě, něco vím z pětatřicetileté přímé vyučovací zkušenosti. A že tolikrát omílané opravné mechanismy fungují podstatně kvalitněji u státem garantované maturitní zkoušky než u školní, není už vůbec pochyb.

12 komentářů:

Zdeněk Sotolář řekl(a)...

Tvůrci testu i jeho posuzovatelé pak získali užitečné poučení – jedno z těch, která pravidelně přicházejí v podobných situacích, a nejen v oblasti testování: v určitých případech je třeba nespolehnout se jen na svoje vědomosti, ale použít i jiné nástroje.

Tady nesouhlasím. Pokud mělo nejaké poučení vyplynout, pak jedině to, že takové otázky v didaktickém testu nemají místo.

V. řekl(a)...

Za dobu existence Cermatu jsem nevyslovil jedinou výtku k „pedagogické části“ jeho práce. Ale nepřipravenost „úřednické části“ přinesla školám plno zbytečných starostí, nemalé náklady navíc, velké časové zatížení učitelů pracujcích s (nefunkčním) DDT... Důvody odvolání ředitele proto měly být jiné.

extrémní pracovní vytížení nepočetného týmu
Plno technických problémů Cemrat řešit nemusel - kdyby je sám nezpůsobil...

Josef Soukal řekl(a)...

To, co uvádí kolega V., dává smysl. Ale za sebe dodávám, že když nic jiného, z hlediska obsahu maturity a výuky umožnila NM zásadní posun k lepšímu.

Simona CARCY řekl(a)...

No, ono poskytovat špičkové služby zpracování hromadných dat na technice, které je osm let (slovy osm) je v dnešní době nouzové řešení, ke kterému musela podfinancovaná instituce přistoupit. Když nefungovaly registry na úřadech, nešly vydávat řidičáky, blbnul registr vozidel, šlo o týdny k řešení problémů.
Cermat musel přicházet s technickým řešením v řádu hodin. Stěžovatelé, kteří neznají rozsah problému, ale mají právo se vyjadřovat ke všemu, pak tady udílejí hraběcí rady, které jsou jen k smíchu. Skutečný rozsah problematiky nezná ani ministerstvo...

V. řekl(a)...

Tak ještě jednu hraběcí radu (???) poskytnu, abyste se mohla zasmát - nebo spíš kantorům vysmát: 90 % problémů se skenováním bylo vždy první den. Pak už to po upozornění ze škol většinou fungovalo. Takže za to nemůže technika, ale lidská nepřipravenost.
Když se před lety změnilo hodnocení ústních zkoušek ČJL (rozšířila se bodová škála), v Cermatu zjistili až po prvním dnu a spoustě reklamací, že se změnil skenovaný protokol. Ale do večera byl program na skenování opraven. Za tohle technika nemůže, i kdyby měla devět let (slovy devět).
Pisatelé, kteří byli ve škole naposled jako žáci nebo jako rodiče parťáci, mají pravda na problematiku jiný pohled. Ale i ten hodně pobaví.

krtek řekl(a)...

To by mne také zajímalo - za co může Cermat a za co dodavatel a za co málo peněz a za co neschopnost. Míním to jako zvědavý dotaz, zda je na vině výběrové řízení a změna dodavatele či spoléhání se na rutinu.
A v podstatě děkuji Simoně Carcy za komunikaci i za ty příklady "nešvarů" na školách.

Simona CARCY řekl(a)...

Píšete (V.), že " 90 % problémů se skenováním bylo vždy první den. Pak už to po upozornění ze škol většinou fungovalo. "

Mám problém se slůvkem vždy, ale letos určitě. Příčina byla technická s nastavením úrovní vytěžování jednoho konkrétního dokumentu v předmětu, který běží vždy první den.
Takové věci by šly vychytat, kdyby spolupracovaly oba konce. A jistě uznáte, že chtít po školách ještě vložit další testovací kolo, jistě tváře učitelů nerozjasní k širokému úsměvu - tak jo, já to s vámi tento víkend vyzkouším! Systém je průběžně zlepšován (i když se to nezdá, tak je, těžko si lze představit, že by byl zhoršován, že?). A na chyby z posledních úprav se logicky narazí v první den. Máte správný postřeh a lidi v CZVV to taky netěší, ale dosud nebyl prostor k dalšímu otestování.

poste.restante řekl(a)...

A jistě uznáte, že chtít po školách ještě vložit další testovací kolo, jistě tváře učitelů nerozjasní k širokému úsměvu … ale dosud nebyl prostor k dalšímu otestování.
My to ve fabrice řešívali tak, že se provedlo testování funkčnosti změn na vybraném vzorku uživatelů ještě před nasazením do plného provozu.
A pokud rozsah jejich součinnosti byl větší, zaplatil se jim přesčas.
No, ale to bylo v komerčním prostředí, kde lidé dělají práci pro peníze a nikoliv kvůli poslání.

V. řekl(a)...

Fakt bych radeji o viikendu testoval funkcnost nez o vikendu opravovat chyby...
nemam nic proti lidem v Cermatu. Naopak, ten, ktery v MSK provadi skoleni, je vynikajici. Zna problematiku vzdy telefonicky ochotne poradi, vzdy je plne profesionalni v tom nejlepsim slova smyslu.
Proto vzdy pisu Cermat. Ne zamestnanci Cermatu. Ale zmenit "kvalitu" technickeho zajisteni je nezbytne. I pani Simona pise, ze skoly delaji chyby. SKOLY, ne "blbci" ve skolach...

Nicka Pytlik řekl(a)...

zmenit "kvalitu" technickeho zajisteni je nezbytne

Kolik stovek milionů, asi tak bajvoko, by bylo třeba na změnění kvality k lepšímu? A co je k tomu nutno zajistit? Výkonější stroje, rychlejší internet, dvouměsíční studijní pobyt ve Finsku pro zaměstnance ministerstva školství komplet?

Karel Lippmann řekl(a)...

Musím dodatečně poopravit pana Kostečku: v testech se totiž "nevrtám", a pokud ano, tak jen tehdy, jsem-li někým vyzván. Já totiž z zdůvodů, které už jsem nohokrát uvedl, pokládám testování celkově za zcela nevhodnou metodu pro všechny předměty, které vyžadují interpretaci, kontext pro posouzení významu dílčího jevu a předpokládají možnost více výkladů sdělené skutečnosti. To testy nesplňují, naopak potlačují. Sugerují tak žákům zcela mylný pohled na smysl výuky těchto předmětů. A to je to nejhorší, co se může v tomto případě stát. Chyby v testech jsou z tohoto pohledu jen logickým důsledkem mylného předpokladu jednoznačnosti, kterému se autoři testů snaží vyhnout tím, že se v protikladu k podstatě a smyslu daného předmětu snaží zredukovat a rozdrobit jeho obsah na dílčí položky, které se jim zdají být výsledkově jednoznačné. Občas se jim to nepovede, to ale není zdaleka to nejdůležitější a za daných podmínek jim to ani nevyčítám. Záměňovat názor za holý fakt je ošidné.

Karel Lippmann řekl(a)...

S odstupem času pana Kostečku upozorňuji, že do jednotlivých testových úloh "vrtám" jen tehdy, když mě o to někdo požádá. Nechci totiž zpochybňováním dílčích problémů odvádět pozornost od podstaty. Mně totiž daleko více zajímá samotná metoda testování, protože ta je pro všechny předměty vyžadující interpretaci obsahu, hledání významu v kontextech a předpokládání existence výkladů různých krajně nevhodná. Dává totiž žákům zcela mylnou představu o podstatě a smyslu těchto předmětů, což je neomluvitelným prohřeškem proti vzdělání. Autorům úloh dílčí nedostatky nevytýkám, dopustil bych se jich se vší pravděpodobností také, protože ani já nemám dokonalou předvídavost. Co když někdo přijde na něco jiného? Oni se tomu snaží vyhnout tím, že celek zredukují a rozdrobí na dílčí složky, které snáze umožňují jednoznačné řešení. Že v tom občas pochybí je logické, ale jak už jsem řekl nepodstatné. Problematické ovšem je, že se k tvorbě testů propůjčí.

Okomentovat