Jak vypadalo hodnocení vědy na MU a jejího společenského dopadu podle národní metodiky? Tajemník hodnotitelského panelu Petr Kalíšek představuje právě uzavřené hodnocení Masarykovy univerzity, které probíhalo v rámci evaluace všech výzkumných vysokých škol v ČR. Vytvořeno podle Metodiky 2017+ pomocí prostředků z institucionální podpory MŠMT pro výzkum a ovlivněno propuknutím globální pandemie COVID-19. Bude to napínavé čtení.
Za zkratkou připomínající spíše produkt zbrojního průmyslu se skrývá nástroj hodnocení vědy, který byl implementován v roce 2017 a jehož plné nasazení proběhlo v roce 2020. Nástup metodiky znamená změnu kultury národního hodnocení vědy v ČR – efektivnější a spravedlivější užití kvantitativních indikátorů a větší orientace na kvalitativní kritéria. Toho je dosaženo pomocí 5 modulů:
Více informací o M17+ (oficiálně Hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací dle Metodiky M17+) se dozvíte z úvodního článku v em.muni.cz nebo z webu, který na MU metodiku do detailu představuje. A jak to celé proběhlo v praxi?
Pozornost hodnocení podle M17+ věnovala MU ještě před jeho oficiálním startem. Na začátku roku 2019 se Monika Sieberová a Michal Petr z Odboru výzkumu Rektorátu MU zúčastnili společného projektu s Univerzitou Karlovou a Univerzitou Palackého, jehož cílem bylo posoudit možnosti sběru dat podle kritérií MŠMT pro hodnocení modulů 3–5. Právě realizace těchto modulů tvoří předmět našeho článku. Řešitelé jako výstup z projektu vytvořili studii proveditelnosti se závěry pro MŠMT. Důkladná znalost kritérií rozhodně pomohla při sběru dat.
Předmětem evaluace M3–M5 bylo období 2014–2018. Oficiální start se uskutečnil v prosinci 2019 zasláním žádosti o pověření organizací hodnocení. K té bylo nezbytné předložit mimo jiné i seznam hodnotitelů, jejichž oslovení proběhlo na podzim 2019. Složení panelu se ještě dvakrát proměnilo a finální počet byl ustanoven na 12 osobách s účastí dohledu z MŠMT. Kritéria pro výběr hodnotitelů byla následující: absence společných publikací s MU a účasti na projektech s MU za posledních 5 let, seniorní akademická pozice, působení ve vedoucích orgánech fakulty či univerzity.
V lednu 2020 fakulty MU začaly sepisovat sebeevaluační zprávy (SEZ) k M3. Zde se ukázal jako velmi problematický limit v počtu znaků na jednotlivé M3 (pouze 7 200 znaků na fakultu). Podklad k M4 a M5 zpracovával rektorát. SEZ tvořila hlavní zdroj informací pro mezinárodní evaluační panel. V době jejího dokončení ke konci března propukla v Evropě naplno pandemie a všechny milníky byl odsunuty. Vrchol celého hodnocení – on-site visit – se přesunula z května na listopad. Při zpětném pohledu si nelze představit, jak by to dopadlo, kdyby hodnocení běželo podle původního plánu s veškerou logistikou (ubytování, doprava, společenský program pro hodnotitele atd.). Pravděpodobně by vše bylo mnohem méně precizní a organizátoři z MU by se také mnohem méně vyspali.
V nové realitě ovlivněné uzavíráním institucí a omezením cestování probíhala spolupráce s hodnotiteli výhradně v on-line prostředí. SEZ k M3–M5 vč. shrnutí M1 a M2 byla hodnotitelům odeslána v květnu 2020. MEP měl téměř 4 měsíce na studium zpráv. Během tohoto období zaslal panel univerzitě dotazy k obsahu i formě zprávy. Na jejich zodpovězení došlo následně během on-line jednání s vedením univerzity a zástupci fakult v listopadu 2020. Pro získání aspoň částečné orientace v univerzitním i brněnském ekosystému hodnotitelé měli možnost zhlédnout u každé fakulty krátké úvodní video vytvořené speciálně pro tento účel. Jak pro evaluátory, tak pro účastníky z MU rektorát připravil web s instrukcemi pro hodnocení a práci s podklady.
A big event is happening on a small laptop display. An online International Evaluation Panel begins working with informal welcome call and opens the whole week evaluation of the @muni_cz within the frame of #metodika17. @MUNI_Science pic.twitter.com/32kxm3GjLi
— Michal Petr (@Michal_Petr_MU) November 9, 2020
Na konci čtyřdenní série intenzivních schůzek, kdy panel v plném složení diskutoval sebeevaluační zprávu každé fakulty, vznikl draft evaluační zprávy (EZ) vč. známkování podle oborové kalibrace MŠMT (různé váhy známek podle oboru). EZ byla následně předána v prosinci 2020 vedení MU ke komentáři. Po ukončení sběru připomínek na konci ledna 2021 hodnotitelé zprávu finalizovali a připravili k odeslání na MŠMT. Tímto krokem bylo hodnocení na straně MU uzavřeno. MŠMT nyní zajišťuje konsolidaci a posouzení EZ u všech škol.
MEP jednohlasně ocenil organizačně-technické zajištění celého hodnocení ze strany MU. Připravenost jednotlivých zástupců hodnocených jednotek a jasné instrukce přispěly k hladkému průběhu jednání s fakultami, kdy se v místnostech v aplikaci Zoom za 4 dny vystřídalo kolem 100 lidí. Hodnotitelé vyjádřili poměrně důrazný nesouhlas s netransparentním váhováním MŠMT u konečných známek u M3, které bylo založeno na výpočtu z dílčích známek u 11 kritérií u každé hodnocené fakulty. Nebylo totiž jasné, proč byly zvoleny zrovna tyto váhy u jednotlivých oborů FORD (OECD Fields of Research and Development), podle nichž MŠMT určovalo zařazení hodnocených fakult MU. Vyplňování SEZ i EZ by jistě bylo snazší pro všechny zapojené, kdyby probíhalo v uživatelsky přívětivém on-line rozhraní s možností editovat texty, sledovat změny nebo vložit odkazy.
Na finální výsledky si nicméně musíme počkat kvůli dalšímu projednávání výsledků na ministerstvu. Budou doručeny univerzitě na konci května 2021 a evaluační panel do nich již nebude zasahovat.
Fakulty i univerzita můžou závěry z evaluační zprávy a jednání s MEP implementovat ihned, jelikož jim byly předány již v listopadu 2020 (a po úpravách letos v lednu). Evaluační zprávy M3–M5 tvoří součást podkladů každoročních interních evaluací fakult s vedením MU, které probíhají v těchto dnech (leden-únor 2021).
Z hlediska rozvoje univerzity výsledky hodnocení poslouží k implementaci opatření v nastavení řízení vědy. Doporučení MU projeví do svých strategických dokumentů . Realizovaná opatření a jejich dopad budou předmětem dalšího kompletního hodnocení po 5 letech. Závěry použije rovněž Národní akreditační úřad.
Co se týče financování MU, výsledky hodnocení v segmentu vysokých škol tvoří jeden z podkladů, ze kterého vychází Rada pro výzkum, vývoj a inovace při přípravě návrhu výdajů na vědu a výzkum pro jednotlivé poskytovatele (vč. MŠMT). Výsledek kompletního hodnocení (M1–M5) bude tedy podkladem pro stanovení výše institucionální podpory na období dalších pěti let.
Průběh národního hodnocení v modulech M3–M5 na Masarykově univerzitě ukázal, že úspěšné zajištění celého procesu se neobejde bez dlouhodobého plánování, důkladné přípravy podkladů a výjimečného osobního nasazení hodnotitelů, zástupců hodnocené univerzity a dalších stakeholderů. Pro zjednodušení organizace práce by bylo vhodné adresovat problémy zmíněné v tomto článku.
Hodnocení vědy, ať už obecně nebo v rámci M17+, rozhodně není jednoduchý proces o pár krocích či proměnných. I přes komplexitu, potenciální informační přehlcení a politický tlak je však cenným nástrojem, který je nezbytné užít v souladu s pravidly a udržet nestranným. Jen tak se lze dopátrat výsledků, díky nimž se akademická obec může poučit a zlepšit svou pozici v mezinárodním kontextu.
Autor tohoto článku zastával během příprav a v průběhu hodnocení pozici tajemníka mezinárodního evaluačního panelu. Pohled člena hodnotitelského panelu si můžete přečíst zde.
Článek o vývoji nové metody proteinového inženýrství, na níž pracovali také odborníci z Přírodovědecké fakulty MU, se stal součástí výběru editora prestižního časopisu Nature Communications.
Jak plnila Masarykova univerzita svou roli ve společnosti v době koronavirové krize, přiblíží 12. května celodenní online konference Science for Society.