Utoljára frissítve: 2023. 06. 23.
Chris Belter hat éve foglalkozik azzal, hogy bibliometriával és a kutatói teljesítmény különböző értékelési módjaival kapcsolatban segítséget nyújtson a National Institutes of Health (NIH) könyvtárában hozzá forduló kutatóknak. Előadásában azokat a tapasztalatait összegezte, amelyek véleménye szerint a más könyvtárakban hozzá hasonló szerepkörben tevékenykedő kollégák számára is hasznosnak bizonyulhatnak.
|
Napjaink kutatói számára egyre megkerülhetetlenebbek a különféle bibliometriai mérőszámok és kutatói azonosítók. Amikor pályáznak valamilyen állásra vagy ösztöndíjra, alkalmasságukat lehetőleg többféle mutatóval kell alátámasztaniuk, ha pedig ismertségüket, tudományos láthatóságukat szeretnék fokozni, esetleg kapcsolatba lépnének más kutatókkal vagy intézményekkel, online profilokat és kutatói azonosítókat kell létrehozniuk. Függetlenül attól, hogy miképpen vélekednek róluk, ezek a mérőszámok és kutatói azonosítók a tudományos szférában tevékenykedők életének mindennapi részévé váltak, nem lehet őket egyszerűen figyelmen kívül hagyni. Az Elsevier 2017. június 8-án „Researcher profiles and metrics that matter” címmel megtartott webináriuma során három előadásban járta körül azt a témát, hogy a könyvtár miképpen veheti ki a részét a kutatástámogatásból azáltal, hogy tájékoztatást nyújt a hozzá fordulónak a különféle bibliometriai eljárásokkal és az ORCID ID-hez hasonló kutatói azonosítókkal kapcsolatban. |
* * *
Chris Belter a bemutatkozást követően azzal kezdte előadását, hogy fontos fel- és a kutatók előtt elismernünk, hogy a tudományos teljesítmény kiértékelése kellemetlen, ugyanakkor szükségszerű procedúra. Annak érdekében, hogy kevésbé legyen feszélyező a szituáció, ellenséges a hangulat és a közvetítendő üzenetünk, hogy igen, ez egy kényes téma, viszont nagyon fontos beszélnünk róla, mert kihatással bír a tényleg kutatásra, a legnagyobb eséllyel érjen célt, ezt rögtön a beszélgetés elején érdemes leszögeznünk.
A tudománymetriai tanácsadással foglalkozó könyvtárosokhoz érkező kutatók számos előfeltevést hoznak magukkal a témával kapcsolatban. Ezekkel is fontos tisztában lennünk és belőlük kiindulva figyelmeztetnünk a hozzánk fordulókat a tudományos teljesítmény mérésével foglalkozó eljárások korlátaira. Chris Belter a praxisa során megismert prekoncepciók közül ismertette a legjellemzőbbeket, és bemutatta rajtuk keresztül, hogy sokszor lényegesen bonyolultabb a helyzet annál, mint elsőre tűnhet.
- Elsőként arra mutatott rá, hogy leegyszerűsítő az a kijelentés, hogy a citációk számba vétele a tudományos teljesítmény hatásának mérésére szolgál. Valójában az idézések ennél lényegesen több dologra utalnak, mert a különféle említések, megosztások és idézések mögött igen változatos kutatói motivációk rejlenek. A különféle mérések alkalmasak arra, hogy számszerűsítsék a létrejövő interakciókat, viszont ezeknek az okait képtelenek megragadni.
- Van egy olyan hipotézis is, miszerint a hivatkozásgyűjtés objektív, mert numerikusak a különféle mutatók előállításához szükséges műveletek. Az előadó ezzel kapcsolatban arra hívta fel a figyelmet, hogy az egy nagyon is kvalitatív, szubjektív aktus, amikor valaki interakcióba lép egy szöveggel. Nem árt emlékeztetnünk rá magunkat és másokat is, hogy ugyan a mérőszámokkal való munka kvantitatív jellegű, mindig megelőzik személyes motivációból eredő, kvalitatív döntések, amelyeknek következtében az számításokhoz felhasznált idézések létrejönnek.
- Szintén gyakori megközelítési mód, hogy a magasabb szám mindig jobb; „ha magasabb a H-indexed, mint a kollégádnak, többet érsz”. Chris ezzel nem ért egyet. Ugyanis ezeket a számokat nagyban befolyásolják strukturális faktorok, amelyeknek semmi közük a minőséghez vagy a gyakorolt hatáshoz. Pusztán azért, mert „valamilyen területen, valamilyen lapban publikálsz, magasabb számokhoz jutsz”. Óvatosan, körültekintően kell tehát következtetéseket levonnunk ezekből a mutatókból.
- Rögzült az az elképzelés is, hogy az idézettség, a mutatók azok, amik elsősorban számítanak egy pályafutás értékelésénél. Az előadó szerint ezzel is vigyáznunk kell, mert csak egy nagyon szűken meghatározott hatást mérhetünk általuk! Ezek a mérőszámok a megjelenést követő tudományos kutatásra gyakorolt hatást mérik, de a kutatások hatása nem merül ki ennyiben. Fontos megismernünk azt is, hogy a mérlegre tett munkák milyen hatást fejtenek ki a páciensek életére, javítják-e az életminőséget, tett-e szert általuk a kutatóintézet gazdasági előnyökre etc.
A kutatói értékelési folyamatnak egy fontos láncszeme a szakértői bírálat, a „peer review” módszere.
Az előadó egy a szakértői véleményezést ábrázoló folyamatábrán ’a véleményező elolvassa a bírálandó anyagot’ és ’a bírálat megszületése’ lépések közé beiktatott egy olyat is, amit ironikusan „csodatételként” aposztrofált. Ezzel arra irányította a figyelmet, hogy a peer review egy nagyon kvalitatív és szubjektív műfaj, amivel kapcsolatban közel sincs elég szabály, iránymutatás lefektetve, de kevés az azzal kapcsolatos kutatás is, hogy miképpen lehetne belőle a legtöbbet kihozni. Chris Belter azon az állásponton van, hogy a bibliometriai eljárások határainak tisztázása után, ugyanezt meg kell tennünk a peer review kapcsán is. Ennek érdekében ki is emelt pár problémát, aminek muszáj figyelmet szentelnünk.
- Ezek közül ő a legkomolyabbnak azt tartja, hogy ez az értékelési módszer magában rejti a tudatos vagy tudattalan ferdítés, részrehajlás lehetőségét. A torzítás kiváltó okai között lehetnek olyan nyilvánvalóak, mint a genderrel vagy etnicitással szembeni előítéletesség, de kevésbé kézenfekvőek is, amik egy speciális szakterülettel vagy kutatásmódszertannal szembeni ellenérzésben nyilvánulnak meg. Ezek a véleményezésre kihatnak, számolnunk kell velük.
- Komoly probléma a következetlenség, a reprodukálhatóság hiánya is. Ha egy pályázat vagy folyóiratcikk szövegét két különböző bírálónak adjuk oda, könnyen megtörténhet, hogy egymásnak ellentmondó eredményre jutnak a bírált anyag minőségével kapcsolatban.
- Ezen kívül az eljárás nagyon idő- és kutatásigényes is, ha valóban alaposan végzik. A probléma az, hogy a valóságban erre sok esetben nincs elég idő. Gyakori, hogy végig sem tudják olvasni a bírált anyagot, így a látszólag a pályázat vagy folyóiratcikk egészére vonatkozó értékelés gyakorlatilag csak annak egy részével kapcsolatban releváns.
Miután az előadó kiemelte a szakértői bírálati eljárással kapcsolatos fenntartásai közül a legfontosabbakat, a két módszert összehasonlítva beszélt a bibliometriai mérések pozitívumairól és negatívumairól.
Azzal kezdte, hogy a kettő viszonyában miben áll a bibliomentria haszna.
- Hasznos, ha olyan nagy adatállománnyal dolgozunk, ami például akkor jön létre, ha valakinek a teljes munkásságát akarjuk vizsgálni. Ekkora „data set” kezelésére a peer-review kevésbé alkalmas.
- Reprodukálható eredményeket ad. Ugyanazzal az adatbázissal, ugyanazt az eljárást követve, egymástól függetlenül ugyanarra az eredményre juthatunk. A szakértői értékelésektől ilyen fajta következetesség nem várható el.
- Kizárható az a fajta személyesség, amit egy bíráló jelent. A hatást egy nagy mintán lehet vizsgálni.
Az előnyöket követően Chris rátért a hátrányokra.
-
- Azzal kezdte a sort, hogy a mérések létrehozása és értelmezése is komoly szakértelmet igényel, amivel nem feltétlenül rendelkeznek a vele foglalkozók. Ennek hiányában könnyű téves konklúziókra jutni.
- Kizárólag publikációt vizsgál. Noha a publikációban meg nem jelenőt (non-publicational output) is vizsgálják már az alternatív tudománymetriai módszerek, de ez jelenleg még elenyésző kisebbséget alkot. A tudományos kutatáshoz való hozzájárulás márpedig nem szűkíthető le a publikációkra!
Végül megismételte, hogy ez a módszer a jövőbeli tudományos kutatásra gyakorolt hatással foglalkozik, arról viszont keveset mond, hogy az adott kutatás vagy munkásság milyen hatást gyakorolt mások mindennapi életére.
Konklúzióként elmondható, hogy ha a peer review-t a bibliometriai eljárásokkal együtt használjuk, az egyik jellemző torzításait a másikkal ellensúlyozzuk, egy sokkal teljesebb, pontosabb képet kaphatunk a kiértékelendő tudományos kutatásról.
Chris ezt követően azt tanácsolja, hogy a kutatókkal folytatott megbeszélésekre mindig úgy érkezzünk, hogy vannak nálunk adatok, amik alátámasztják az érveinket. Bízzunk abban, hogy a velünk szemben ülő olyan kutató, aki olvas tudományos folyóiratokat, dolgozik nagy adatbázisokkal, így nem lesz tőle teljesen idegen az érvrendszerünk. Ha mutatunk egy idézettségi eloszlást, kifejtjük az egyszerű átlagolással kapcsolatos aggályainkat, az ezt alátámasztó diagramra rámutatva, bízhatunk benne, hogy a kutató is ugyanarra a következtetésre jut. De a ’magasabb nem mindig több’ érv is ügyesen alátámasztható egy megfelelő diagrammal. Ha például azt akarja valaki bizonyítani, hogy adott tudományterületre több hivatkozás érkezik, mint egy másikra, bátran fordulhat az ide vonatkozó számokhoz.
Támaszkodjunk a már elvégzett kutatásokra, kimutatásokra, amikor érvelünk valami mellett, és sokkal hitelesebbek lesznek az érveink.
Az angol nyelvű előadás és a hozzá tartozó prezentációból készített pdf egy ingyenes regisztrációt követően megtekinthető a https://libraryconnect.elsevier.com/library-connect-webinars oldalon.
Forrás: Chris Belter:
Talking to researchers about metrics
A National Institutes of Health (NIH) bibliometriai tanácsadással foglalkozó munkatársa
A beszámolót készítette: Lovász Dávid
(PTE Egyetemi Könyvtár és Tudásközpont Digitális Tartalomszolgáltatási Osztály)