Október végén látott napvilágot a Magyar Tudományos Akadémia weboldalán a Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére címet viselő ajánláscsomag, amiről mi is részletesen beszámoltunk a blogon. Amellett, hogy a dokumentum számos olyan konkrét javaslatot tartalmaz, amely a predátor-gyanús és „szürkezónás” tevékenységek visszaszorítása érdekében született, a tudományos teljesítményértékelés reformjára is konkrét javaslatokat tesz: a DORA, a Leideni kiáltvány és a CoARA elveinek gyakorlati alkalmazását segítené elő a kutatásértékelésben. Blogposztunkban amellett, hogy a kutatásértékeléssel kapcsolatos legfontosabb kérdéseket igyekszünk Egyetemünk polgáraihoz közelebb hozni, az MTA-javaslatcsomag témánk szempontjából releváns részeivel is kiemelten foglalkozunk.
Milyen javaslatokat tesz az MTA-javaslatcsomag a kutatásértékelés megújítására?
A kutatásértékelési reform gondolata nem az MTA-javaslatcsomaggal jelent meg a magyar tudományos diskurzusban. A reform igénye már például a Nemzeti Kutatási Fejlesztési és Innovációs Hivatal (NKFIH) 2021 októberében közzétett nyílt tudományos állásfoglalásában is megjelent, amelynek egyik alappillére az “újgenerációs” tudományértékelési rendszer bevezetése volt. Az irányelv azt szorgalmazta, hogy az értékelés folyamán a tartalmi szempontokra kell nagyobb hangsúlyt helyezni, illetve a minőségi követelmények előtérbe állítására van szükség a mennyiséggel szemben. Az állásfoglalás megfogalmazói továbbá különösen fontosnak ítélték a folyamatok minél teljesebb transzparenciáját is.
Amíg az NKFIH-állásfoglalás általánosságban a nyílt tudományos-paradigmaváltásra reagálva fogalmazza meg irányelveit, az MTA javaslatcsomagja már konkrét lépéseket sürget a kutatásértékelés reformjával kapcsolatban. Az MTA-dokumentum összeállítói – ahogyan az NKFIH-irányelveknél is láthattuk – a nemzetközi deklarációk alkalmazását szorgalmazzák. A következő javaslatokkal éltek:
- Elő kell segíteni a DORA és a Leideni Kiáltvány elveinek alkalmazását, a kutatók és kutatások értékelése során a minőségi jellegű vizsgálatokat kell előnyben részesíteni a mennyiségi szcientometriai vizsgálatokkal szemben; részt kell venni a CoARA kezdeményezéseiben. (6. javaslat)
- Meg kell vizsgálni az MTA pályázatait, hogy ezek elbírálása során milyen mértékben érvényesülnek a DORA és a Leideni Kiáltvány elvei, és szükség esetén változtatni kell a kiírásokon és a döntési folyamatokon. (7. javaslat)
Fel kell hívni az MTA osztályok, a kiválósági pályázatokat bíráló bizottságok és az MTA Doktori Tanács figyelmét a fenti elvek alkalmazására díjak, címek, pályázatok stb. odaítélésénél. (8. javaslat)
Miért kell megreformálni a kutatásértékelést?
A tudományos kutatásértékelési rendszerek hagyományosan a tudományos eredmények minőségének és hatásának mérésére szolgálnak, valamint annak meghatározására, hogy a tudományos közösségen belül a pénzügyi erőforrásokat milyen szempontok alapján érdemes elosztani. Az utóbbi években azonban egyre nyilvánvalóbbá vált, hogy a hagyományos értékelési rendszerek számos gyengeséget tartalmaznak, amelyek amellett, hogy hátráltatják a tudományos fejlődést, a kutatók karrierjét is negatív irányban befolyásolhatják.
Erre válaszként több figyelemre méltó nemzetközi kezdeményezés látott napvilágot, amelyek azt taglalják, hogy a minőségi mutatókat milyen módon lehetne a kutatói munka értékelésébe beépíteni.
Az említett kezdeményezések általában az alábbi problémaköröket azonosítják:
- A mérőszámok túlhangsúlyozása: A jelenlegi kutatásértékelési rendszerek nagymértékben támaszkodnak az olyan mérőszámokra, mint a publikációk száma, az idézettség és a folyóiratok impakt faktor-értéke. A mérőszámok túlhangsúlyozása ahhoz vezethet, hogy a kutatók a mennyiséget helyezik előtérbe a minőséggel szemben.
- A publikációkra való túlzott összpontosítás: Számos kutatásértékelési rendszer kizárólag a nagy hatású (magas impakt faktor, Q-s besorolás stb.) folyóiratokban megjelent publikációkra összpontosít, és nem veszi figyelembe a kutatási eredmények más típusait, például az adatkészleteket, szoftvereket és szabadalmakat. Ez szűk látókörű megközelítése annak, hogy mi számít értékes kutatásnak.
- Az átláthatóság hiánya: A kutatásértékelési folyamatok gyakran nem kellően transzparensek, és ez alááshatja a tudományos közösségbe vetett bizalmat.
- Ösztönzés a helytelen magatartásra: A mennyiségi kényszer alatti publikálásra és a magas mérőszámok elérésére irányuló nyomás tudományos visszaélésekre, például az adatok meghamisítására vagy plágiumra ösztönözhet.
Összességében elmondható, hogy a kutatás értékelésének reformjára van szükség annak érdekében, hogy a tudományos közösség a magas színvonalú kutatást jutalmazza és a tudományos integritást elősegítse, ahelyett, hogy a mérőszámokat és a nagy hatású folyóiratokban való publikációkat helyezné előtérbe.
Út a CoARA-ig – a kutatásértékelés reformjának mérföldkövei
Ahogy az MTA-s javaslatcsomag is kiemeli, legalább egy tucat irányelv és ajánlás létezik, amelyek a kutatásértékelés fejlesztésének igényével lépnek fel. Mivel az ajánláscsomag is a DORA és a Leideni Kiáltványra hivatkozik, mi is ezeket mutatjuk be röviden, mielőtt áttérnénk a napjaink kutatásértékelési reformtörekvései közül legfontosabb CoARA-kezdeményezés részletezésére.
A CoARA-ig vezető úton az egyik legjelentősebb globális kezdeményezés a DORA (San Franciscó-i Nyilatkozat a kutatás értékeléséről) volt, amelyet 2013-ban tettek közzé. A nyilatkozat kidolgozását és elindítását az Amerikai Sejtbiológiai Társaság tudósai kezdeményezték. Az aláírók között számos neves tudományos szervezet és magánszemély található, köztük számos Nobel-díjas tudós, és az aláírók száma azóta is folyamatosan növekszik.
A DORA egyik fő célkitűzése az volt, hogy ráirányítsa a figyelmet az olyan folyóirat-szintű mutatók mint az impakt faktor használatának korlátaira, és azokra a problémákra, amelyeket akkor okoznak, ha az egyéni kutatási teljesítmény mérésére használják ezeket. A DORA arra ösztönzi a tudományos közösséget, hogy a kutatók egyéni teljesítményének mérésére ne az impakt faktort használják, helyette sokoldalúbb kritériumok alapján vizsgálják a tudományos teljesítményt.
Három évvel később, 2015-ben a Leideni Kiáltvány újabb fontos lépést jelentett a kutatásértékelési rendszer átfogó megújítása felé. A kiáltvány mögött egy ötfős testület áll, amit Diana Hicks, a Georgia Institute of Technology Közpolitikai Iskolájának professzora és Paul Wouters, az Utrechti Egyetem Társadalomtudományi Karának professzora vezetett.
A kiáltvány fő célja az, hogy a tudományos teljesítményt olyan szempontok alapján értékeljék, amelyek a tudományos folyamatok sokféleségét és összetettségét tükrözik. A dokumentum a tudományterületi különbségeket, lokális-nyelvi sajátosságokat és a különböző intézményi célkitűzéseket szem előtt tartó kvalitatív értékelés fontosságára hívja fel a figyelmet. Ezt ugyanakkora megfelelő minőségű adatokon alapuló és ezeket átláthatóelvek szerint kiértékelő, kvantitatív értékelési módok is kiegészíthetik. A Kiáltvány továbbá a nyílt tudományosság szempontjainak fontosságát, a társadalmi hatás jelentőségét és az ún. alternatív mutatók értékelési folyamatban betöltött szerepét hangsúlyozza.
A Leideni kiáltványt eddig több mint 1000 szervezet és magánszemély, köztük számos egyetem, kutatóintézet és tudományos szervezet írta alá. Az aláírók vállalták, hogy a kiáltvány ajánlásait bevezetik és alkalmazni fogják.
A teljes kiáltvány online olvasható, illetve aki mélyebben meg szeretné ismerni a szöveg 10 legfontosabb megállapítását, annak az alábbi videót ajánljuk:
The Leiden Manifesto for Research Metrics from Diana Hicks on Vimeo.
A CoARA kora
Bizottság támogatását is magáénak tudó kezdeményezés nagyságrendjét jól mutatja, hogy a több mint 350 különböző szervezet véleménye alapján, az Európai Egyetemi Szövetség (European University Association) és a Science Europe vezetésével létrejött megállapodást mára már több mint 644 szervezet írta alá.
A kezdeményezés további célja, hogy a tudományos teljesítményértékelést a 21. századi tudományos gyakorlathoz igazítsa, és hogy az értékelési rendszer igazságosabb, átláthatóbb és hatékonyabb legyen, illetve ösztönözze a kutatókat és az intézményeket a tudományos eredmények szélesebb körű megosztására és elérhetővé tételére.
Miben más?
A CoARA-t övező nagy várakozások egyik oka, hogy műfaját tekintve eltér a kutatásértékelés megreformálását sürgető korábbi állásfoglalásoktól, javaslatoktól. A CoARA annyiban különbözik az előzményeitől, hogy bár minden aláíró intézmény továbbra is saját hatáskörében cselekszik, de előrehaladásukat a CoARA évenként ellenőrzi. A résztvevők kitűznek egy céldátumot is. Az aláíró intézményeknek 5 éven belül ténylegesen meg kell reformálniuk kutatási értékelési rendszerüket.
A CoARA alapelvei
A CoARA 10 alapelvet fogalmazott meg, amelyek egyaránt vonatkoznak a javasolt minőségi változtatásokra, illetve azoknak a szervezeti kereteknek a megteremtésére is, amelyek ezeket lehetővé teszik. Az alapelvek a következők:
- A kutatói közreműködés különböző típusainak elismerése — A kutatáshoz való sokrétű hozzájárulások és a kutatói pálya sokféleségének elismerése a kutatás egyedi igényeinek és jellegének megfelelően;
- A kutatás értékelésének elsősorban a minőségi (azaz kvalitatív) alapokra helyezése, amelyben a szakértői értékelés (peer review) központi szerepet játszik, és amelyet a mennyiségi (kvantitatív) mutatók felelős használata támogat;
- A folyóirat- és publikáció-alapú mérőszámok, különösen az impakt faktor és a Hirsch-index (röviden h-index) nem megfelelő használatának kerülése a kutatásértékelés során;
- A kutatásokat végző intézmények, szervezetek rangsorrendjének mellőzése a kutatási projektek értékelése során;
- Erőforrások biztosítása a kutatásértékelés újragondolásához;
- Új kutatásértékelési eljárások és eszközök kidolgozása;
- A reformok kommunikációja, átláthatósága, egyeztetése;
- Rendszeres tapasztalatcsere az intézmények között;
- Az alapelvek következetes alkalmazása, az előrehaladás rendszeres kommunikációja;
- Adatalapú értékelési rendszer kidolgozása, az intézményi adatok elérhetővé tétele.
A CoARA-megállapodástartalmát részletesen ismerteti az MTA javaslatcsomag.
A CoARA Magyarországon
Itthon a CoARA-val kapcsolatos munkát a Magyar Kutatási Hálózat (HUN-REN) koordinálja. Hazánkban a CoARA célkitűzéseit a HUN-REN Titkársága mellett a Magyar Tudományos Akadémia, a Magyar Rektori Konferencia, a Magyar Felsőoktatási Akkreditációs Bizottság, a Debreceni Egyetem, az Eötvös Loránd Tudományegyetem, valamint az Országos Rabbiképző – Zsidó Egyetem is támogatja.
A kezdeményezéshez aláíróként továbbra is lehet csatlakozni, illetve a CoARA 10 tematikus munkacsoportba és további, formálódó szakmai csoportokba is várja azokat a jelentkezőket, akik tevékeny részt vállalnának a kutatásértékelés reformjában.
*
Blogbejegyzésünkben bemutattuk az MTA kutatásértékelési javaslatcsomagban példaként említett, a kutatásértékelés megújításának érdekében született legfontosabb kezdeményezések alapelveit, legfontosabb gondolatait, eredményeit. Reméljük, hogy ezzel egyetemünk kutatói segítségére tudtunk lenni abban, hogy levonják a saját publikálási stratégiájukra vonatkozó fő következtetéseket. Amennyiben kérdéseik merülnének fel, forduljanak hozzánk bizalommal.
Az alábbi emailcímre várjuk kérdéseiket, észrevételeiket: authorsupport@lib.pte.hu
Ugyanakkor számos olyan témát is érintettünk, amely a relevanciája vagy újszerűsége miatt bővebb kifejtést érdemelne. Ezért jövő év elején további posztokkal jelentkezünk.
Ha nem szeretnének ezekről lemaradni, kövessék a megújult kutatástámogató blogunkat, és Facebook-oldalunkat is, ahol minden ilyen tartalmat megosztunk Önökkel.