Utoljára frissítve: 2023. 07. 13.
Andrea Michaleknek, a Plum Analytics ügyvezető igazgatójának, illetve az Elsevier bibliometriával foglalkozó részlege alelnökének itt – az általa bemutatott prezentáció képeit felhasználva – ismertetett előadása azt a kérdést állította a középpontba, hogy egy mai kutatás során hol és milyen mérhető produktumok keletkeznek, illetve hogy ezeknek a becsatornázására milyen alternatív mérési törekvések bontakoztak ki az utóbbi években.
|
Napjaink kutatói számára egyre megkerülhetetlenebbek a különféle bibliometriai mérőszámok és kutatói azonosítók. Amikor pályáznak valamilyen állásra vagy ösztöndíjra, alkalmasságukat lehetőleg többféle mutatóval kell alátámasztaniuk, ha pedig ismertségüket, tudományos láthatóságukat szeretnék fokozni, esetleg kapcsolatba lépnének más kutatókkal vagy intézményekkel, online profilokat és kutatói azonosítókat kell létrehozniuk. Függetlenül attól, hogy miképpen vélekednek róluk, ezek a mérőszámok és kutatói azonosítók a tudományos szférában tevékenykedők életének mindennapi részévé váltak, nem lehet őket egyszerűen figyelmen kívül hagyni. Az Elsevier 2017. június 8-án „Researcher profiles and metrics that matter” címmel megtartott webináriuma során három előadásban járta körül azt a témát, hogy a könyvtár miképpen veheti ki a részét a kutatástámogatásból azáltal, hogy tájékoztatást nyújt a hozzá fordulónak a különféle bibliometriai eljárásokkal és az ORCID ID-hez hasonló kutatói azonosítókkal kapcsolatban. |
* * *
A kutatással kapcsolatos mérőszámoknak rengeteg felhasználási területe ismert. Alkalmazhatóak egy intézmény erősségeinek kielemzéséhez; annak megállapításához, hogy hol tűnik potenciálisan jó befektetésnek egy kutatásra áldozni; annak kielemzésére, hogy kik a feltörekvő tehetségek a fiatal kutatók között; illetve a kutatóknak is lehetőséget biztosítanak a saját narratívájuk megosztására.
A karrierjük kezdetén lévő kutatóknak egész más fontos a bibliometriai mérőszámokkal kapcsolatban, mint ami lényeges lehet a karrierjük végén járók számára. Fontos tehát annak a tudatos kezelése, ha segíteni akarunk egy kutatónak, hogy az illető hol tart a tudományos pályafutásában.
A teljes kutatási folyamat során számos alkalommal kerülnek képbe mérőszámok, onnan kezdve, hogy vannak olyanok, amik lehetővé teszik a kutatást, azokon át, amik a kutatás során szükségesek, egészen a kutatási eredmények megosztásáig. A Plum Analyticsnél szociális és gazdasági hatások (impact) vizsgálatát kifejezetten fontosnak tartják.
Fontos megérteni, hogy különböző szintjei vannak ezeknek a mutatóknak. Meghatározhatunk kutatói szintet (produktivitás, H-index), a publikált cikkek szintjét, vagy a befogadó folyóiratok szintjét. Gyakori, hogy a különböző szintekről érkező adatokat összekeverik, tévesen használják. Mindig olyan számokkal kell dolgoznunk, amik arról mondanak valamit, amiről beszélni, amit értékelni akarunk.
A világ különböző pontjain másféle méréseket részesítenek előnyben. Japánban sokkal fontosabb, hogy a kutató hol publikál, miközben az USA-ban inkább a citációval kapcsolatos számok a mértékadóak.
Mi számít kutatási terméknek (research output)? Nem csak a legjelentősebbként számon tartott folyóiratcikkek, amik valóban több mint a felét adják a vizsgált tartalmaknak. Rajtuk kívül ott van még a monográfiákból, tanulmánykötetekből, disszertációkból, konferenciák anyagaiból, egyéb hivatalos iratokból, különböző videókból és még rengeteg egyéb forrásból összeálló 44%, ami túl sok ahhoz, hogy ne foglalkozzunk vele. A modernebb megközelítés arra irányul, hogy mindenféle kutatási termékről használható adatokat gyűjtsenek be.
A kutatási folyamat, amelyről az előadó vázlatosan beszélt, azzal indul, hogy a kutatónak támad egy ötlete, ami alapján önálló kutatásba fog. Blogol róla, szerencsés esetben talál valamilyen pénzügyi támogató alapot. Amikor már előrébb tart a kutatásban, konferenciákat látogat, és ezt követően publikálja a kutatási eredményeit. A legtöbb esetben 2-5 évet is igénybe vehet, mire egy megfelelő szakmai bírálaton átesett cikk megszületik. Ezt követően más kutatóknak még el kell olvasniuk, építeniük kell a benne foglalt ismeretanyagra, hivatkozniuk kell rá, nekik is át kell jutniuk a peer review eljáráson, és akkor jutottunk csak el az idézettség eléréséig. Összességében 3-5 év is eltelhet, mire a kritikus tömeget eléri az idézetszám.
A régi paradigma szerint tehát 5-10 év is eltelik, mire mérhető lesz a tudományos munkával kapcsolatos citációk száma. Az új paradigma értelmében azonban azonnal mérhető egy kutatás az első online jelektől kezdve. Számos tevékenység van, amire figyelnek az alternatív mérőszánokkal foglalkozók. A kutatás részét képezi egy klikkelés is vagy egy tweet a kutatási ötlettel kapcsolatos blogposztról. Ha egy prezentáció felkerül például a SlideShare-re, mérhető, hogy hányan nézték meg, sőt, adott esetben az is megállapítható, hogy kik. Ha a prezentáció megosztásra/továbbosztásra kerül, akkor abból is keletkezik a letöltésekben mérhető szám. Az online megjelenést követően szinte azonnal számszerűsíthető adatok születnek: könyvjelzőként történő mentés, blogemlítés vagy bármilyen más írás, amiben azok szerzői említést tesznek róla. Természetesen az idézettség továbbra is meghatározó jelentőségű marad.
Rengeteg forrása van ezeknek az új paradigma szerint mérhető jellemzőknek. Fontos feladat összekötni ezeket a kutatóval vagy egy adott munkájával.
Ha az összegyűjtés megtörtént, akkor az elemezhetővé tételt kell elérnünk, hogy összehasonlíthassuk az egy kategóriába tartozókat. Ennek érdekében a Plum Analytics-nél a következőt teszik: kategóriákat hoznak létre a kapott adatok számára, hogy a hasonló dolgokat egy helyre lehessen rendezni.
- Az első ilyen kategória a használat (usage): milyen jól olvasott egy cikk, nézett egy videó, mennyien lépnek kapcsolatba a munkával.
- A második kategória az elmentés, elraktározás (captures): amikor emberek jelzik, hogy ehhez később még visszatérnek. Ezek nagyon jó indikátorok, jelzők, amik azt mutatják, hogy valami a jövőben jó eséllyel gyakran említetté, idézetté, bírálttá válhat.
- Külön csoportot alkotnak az említések (mentions): könyvismertetések, blogposztok, hírcikkek, wikipediás előfordulások. Ezek mutatják, hogy mi az, amiről az adott kutatás kapcsán szó van.
- Szintén számít a közösségi média (social media): a tweetek, a like-ok. Azt mutatják, hogy egy kutatás mennyire jól promótált, mekkora figyelmet kap, mekkora visszhangra lel.
- Végezetül az idézettség (citations): amelynek terén sokkal több innovációra lenne lehetőség. Vannak a hagyományos idézettségi indexek, mint a Scopus, ami egy jól szabályozott rendszer, jól is működik arra, amire kitalálták, de lehetőség van a definíció kiszélesítésére, és ezzel élnie kell a kutatónak.
Ezek a kutatásba bevonható, mérhető kategóriák számszerűsítve a következőképpen festenek:
Az előadó a citáció kategóriájának kiszélesítéséről a klinikai munkákkal kapcsolatos hivatkozások kapcsán beszélt. Ugyanis más területeken a kutatásokat 3-5-ször többet idézik, mint a klinikait. A Plum Analytics célja, hogy láthatóvá tegye a klinikai használatnak azokat a módozatait is, amelyeket a hagyományos idézés-módszerekkel nem lehetne; ezért szükségét érzik, hogy újfajta dokumentumokat vonjanak be a kutatásba (irányelvek, szabályzatok, speciális klinikai iratok), amiket az adott területen a kutatók ténylegesen használnak.
Az előadás fontos kérdése volt, hogy ha összegyűjtik ezeket az információkat, hogyan tudják őket használni? Andrea szerint a legfontosabb, hogy kvalitatív és kvantitatív inputra / módszer használatára is szükség van. Ezek egymást kiegészítik, nem pedig helyettesítik; a kombinációjuk pedig közelebb visz minket a teljesebb kép megismeréséhez. Kutatóként szintén fontos, hogy mindig győződjünk meg róla, hogy kvantitatív mutatóból egynél többet használtunk, mert az egyes mérési módszerek erősségei kiegyenlítik a többi gyengeségeit. Kerüljük el az egydimenziós megközelítést!
Az előadó felhívja a figyelmet arra, hogy ezeket az eredményeket felelősségteljesen kell használnunk. Fontos, hogy a mérés hiteles és a tudományterület szempontjából az elérhető legmérvadóbb adatokon alapuljon, továbbá fontos még, hogy tisztában legyünk vele, hogy a kvantitatív kiértékelés csak támogatja, nem helyettesíti a szakértők által végzett kvalitatív véleményezést. Törekedni kell az átlátszóságra, hogy mind a vizsgált anyag, mind a vizsgálati folyamat transzparens és nyitott legyen. Szintén szempont a diverzitás és a reflexivitás is. Végezetül a gyűjtés módszerével is tisztában kell lennünk. Különösen az alternatív, újabb mérési módszerek esetében fontos, hogy milyen módszerrel gyűjtötték az adatokat, hogy lehet rendesen kielemezni őket és mik a felhasználás határai.
Az angol nyelvű előadás egy ingyenes regisztrációt követően megtekinthető a https://libraryconnect.elsevier.com/library-connect-webinars oldalon.
Forrás: Andrea Michalek:
Managing Director of Plum Analytics,
Vice President of Research Metrics, Elsevier – Research Intelligence
A beszámolót készítette: Lovász Dávid
(PTE Egyetemi Könyvtár és Tudásközpont Digitális Tartalomszolgáltatási Osztály)