Hodnocení vybraných výsledků dle Metodiky 17+ v roce 2020

Metodika 17+ stanovuje provést hodnocení vybraných výsledků podle modulu M1 charakterizovaném v kapitole 1. 1. [1]

Vzhledem ke zkušenostem z prvních let implementace bude provedeno posílení Modulu 1 o hodnocení oblasti aplikovaných a společenských a humanitních věd. [2] V roce 2020 v Modulu 1 bude proto nástrojem vzdálených recenzí provedeno hodnocení vybraných výsledků všech typů, které bude posíleno o hodnocení výsledků nebibliometrizovatelných.

Do hodnocení mohou být zařazeny pouze výsledky uvedené v RIV. Pro každý výsledek vyberou výzkumné organizace právě jeden FORD a dFORD výsledku podle aktuálního Číselníku oborů M17+. K vybraným výsledkům budou z RIV do aplikace SKV automaticky přetaženy další relevantní údaje.

Výzkumné organizace samy určí, zda jimi přihlášený výsledek bude posouzen buď podle kritéria „přínos k poznání“ nebo podle kritéria „společenská relevance“ a toto své rozhodnutí výslovně zdůvodní v příslušném vyplňovacím okně.

I. Přínos k poznání je tradiční kritérium hodnocení ve VaVaI, posuzující originalitu, význam a obtížnost získání výsledku, uplatňované zejména na výsledky základního výzkumu.

II. Společenská relevance představuje hodnocení významu výsledku VaVaI pro společnost, případně jeho dopadů (ekonomický či jinak popsatelný přínos společnosti). Může být tedy chápána jak ve smyslu „užitečnosti“ (typicky průmyslový výzkum přinášející ekonomické zisky), tak ve smyslu „potřebnosti“ (typicky výzkum rezortní vznikající na společenskou objednávku).“ [3] Podle britského hodnocení REF se „Společenskou relevancí se rozumí vliv / změna / přínos a to v oblastech mimo akademickou sféru: ekonomika, společnost, kultura, veřejná správa / služby, zdraví, životní prostředí, kvalita života.“ [4] Cílem hodnocení podle tohoto kritéria je posouzení aplikačního potenciálu výsledku.

Není stanoven žádný poměr počtu výsledků podle kritéria hodnocení. Výzkumná organizace (dále „VO“) může všechny své vybrané výsledky přihlásit do jednoho či druhého kritéria. Vyžaduje se, aby výběr výsledků a určení kritéria posouzení odpovídaly zaměření instituce a představovaly nejlepší výsledky, které jsou v RIV touto výzkumnou organizací evidovány.

Počet a typ přihlašovaných výsledků:

1. Instituce přihlašují do hodnocení 1 výsledek na 10 mil. Kč z částky DKRVO přidělené v roce 2020 s tím, že „pokud je VO v roce, za který se předávají výsledky do hodnocení příjemcem institucionální podpory na DKRVO vyšší než 10 mil. Kč, dodává navíc 1 výsledek na každých dalších (započatých) 10 mil. Kč podpory s povinností předat výsledky v proporcích odpovídajících vnitřní struktuře VO (s ohledem na výzkumné funkční celky).“ [5]
   Důrazně apelujeme na výzkumné organizace, aby výsledky přihlašovaly ve struktuře reflektující jejich misi. Je absurdní, když instituce, které se deklarují jako aplikované, přihlašují do standardního Modulu 1 pouze bibliometrické výstupy a pak si stěžují, že jsou hodnoceny jen podle publikací.
2. Pro posílení hodnocení v oblasti aplikovaných a společenských a humanitních (SSHA) věd vybere výzkumná organizace (VO) kromě výsledků dle předchozího bodu ještě další „nebibliometrizovatelné“ výsledky (max. cca 5 % jejich roční produkce). Jedná o výsledky, pro které nelze použít bibliometrické ukazatele, tj. druhy výsledků podle aktuálně platných definic s výjimkou tzv. bibliometrizovatelných druhů výsledků (Jimp,JSc a D). Tím bude zabezpečeno posílení hodnocení takových vědeckých výsledků, o kterých lze legitimně rozhodovat pouze formou peer review. [6]
    
3. „Zároveň je dán tzv. „minimální počet předkládaných výsledků“, aby byl pro hodnocení instituce zajištěn alespoň takový počet výsledků, který poskytne rámcový vhled do kvality její produkce v posledních pěti letech. Minimální počet 10 předkládaných výsledků za jednu VO je vybírán z výsledků uplatněných v uplynulých 5 letech. Doporučuje se předat výsledky v proporcích odpovídajících vnitřní struktuře VO s ohledem na výzkumné funkční celky. Ty VO, které dosáhly méně výsledků, než je stanovený minimální počet, nejsou z hodnocení vyloučeny, pokud tuto skutečnost vysvětlí.“
   Minimální počet je určen kumulativně, nově přihlášeným a výzkumným organizacím, jejichž limity od počátku fungování Metodiky 2017 nedosáhly v součtu 10 ks, bude celkový limit v roce pro rok 2020 doplněn, neboť v tomto roce bude na národní úrovni docházet ke kompletaci hodnocení z předchozích let.

Do hodnocení v roce 2020 jsou zařazeny výzkumné organizace, které v roce 2020 pobíraly institucionální podporu typu DKRVO, a ty, jejichž zhodnocení si vyžádal poskytovatel. V souladu s předpisem M17+ pro čtvrtý rok hodnocení budou hodnoceny výsledky s rokem uplatnění 2015–2019. Do hodnocení lze přihlásit výsledky, které nebyly zhodnoceny podle Metodiky 2013–2016 ani podle Modulu 1 v prvních třech letech implementace M17+. Jedná se tedy o výběr z těchto podmnožin výsledků:

I. Výsledky uplatněné v roce 2015 s termínem sběru po 30. 5. 2016.

II. Výsledky uplatněné v roce 2016–2018 po odečtení výsledků, které byly jednotlivými VO do hodnocení v Modulu 1 již přihlášeny.

III. Výsledky uplatněné v roce 2019 s termínem sběru do 31. 5. 2020

Počty předkládaných vybraných výsledků podle VO naleznete v Příloze

Limity jsou vypočteny Odborem RVVI na základě údajů v IS VaVaI. Jsou uváděny odděleně pro plný Modul 1 a doplňující hodnocení cílené na aplikovaný výzkum a výzkum v oblasti SSHA a případně doplněny do minimálního předepsaného počtu 10 výsledků. Zaokrouhlování počtu výsledků je provedeno standardně.

Údaje o výši přidělené podpory na rok 2020 dle předaných údajů z IS VaVaI (DKRVO) vychází z přílohy F Návrhu výdajů státního rozpočtu České republiky na výzkum, experimentální vývoj a inovace na rok 2021 se střednědobým výhledem na léta 2022 a 2023 a dlouhodobým výhledem do roku 2027.

Pokyny pro vkládání vybraných výsledků

Podle M17+ je výzkumná organizace povinna umožnit posouzení vybraných výsledků tak, že jej vloží v elektronické podobě do aplikace SKV. V případě výsledků, které nelze z jejich povahy takto předložit, vkládá instituce příslušnou dokumentaci popisující vybraný výsledek. Podle vlastního uvážení přikládá k hodnocení další podpůrné informace. Soubory vložené do aplikace SKV jsou přístupné pouze účastníkům hodnocení, kteří jsou vázáni standardy obvyklými pro recenzní řízení ochraňujícími práva k duševnímu vlastnictví.

Identifikace výsledků, které vstupují do bibliometrické analýzy podle Modulu 2, je výsledkem automatizované filtrace podle předepsaných identifikátorů druhů výsledků v databázích WoS a Scopus. Žádné instituce je do hodnocení nepřihlašují.

Pokyny pro vkládání vybraných výsledků a náležitosti s tím spojené jsou obecně popsány v M17+ (zejména kapitola 1.1 a kapitola 3) a v uživatelsky přívětivé podobě přímo v aplikaci SKV. 

Lhůta pro předávání údajů je stanovena do 15. října 2020. Jedná se o konečný termín. Vzhledem k tomu, že MZe jako poskytovatel má ve sběru údajů kontrolní roli a v aplikaci SKV musí odsouhlasit předkládané výsledky každé VO, stanovuje MZe výzkumným organizacím lhůtu pro výběr výsledků v aplikaci SKV do 8. října 2020.

Aplikace se nachází na adrese: https://skv20.rvvi.cz

Pozn.: V současnosti dochází k aktualizaci seznamu pověřených osob, jež mají do aplikace SKV za jednotlivé výzkumné organizace přístup. Po této fázi bude aplikace spuštěna a všem oprávněným osobám budou přístupové údaje k příslušnému roku zaslány.

 

 

---

[1] Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, schváleno Usnesením vlády ČR ze dne 8. února 2017, č. 107, str. 11.

[2] SSHA: oborové skupiny 5. Social Sciences a 6. Humanities and the Arts.

[3] Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, schváleno Usnesením vlády ČR ze dne 8. února 2017, č. 107, Modul 1.1.

[4] England, Higher Funding Council of. "REF Impact." Higher Education Funding Council for England. Accessed July 23, 2018. http://www.hefce.ac.uk/rsrch/REFimpact/.

[5] Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, schváleno Usnesením vlády ČR ze dne 8. února 2017, č. 107, str. 12.

[6] Modul 1 byl v prvních dvou letech implementace jednoznačně zaostřen na výsledky SSHA (ročně průměrně 46 % hodnoceného objemu výsledků) a výsledky aplikované (více než polovina všech přihlašovaných výsledků byla hodnocena podle kritéria společenské relevance, s tím, že celkový roční průměr v oborové skupině 2. Engineering and Technology činil 23 % hodnoceného objemu výsledků).