Beszámoló a „404 Not Found – Ki őrzi meg az internetet?” című workshopról

Utoljára frissítve: 2023. 06. 23.

2017. október 13-án (pénteken) 10 órától került sor az Országos Széchényi Könyvtár (OSZK) 6. emeleti dísztermében a „404 Not Found – Ki őrzi meg az internetet?” című workshop-szerű szakmai napra. A rendezvény öt előadásának témája a webarchiválás volt. Szó esett a technikai feltételekről, a lehetőségekről és a webarchiválás külföldi gyakorlatáról, valamint a közgyűjteményi feladatokról a webes és egyéni internetes tartalmak archiválása kapcsán.

A szervező és levezető elnök, Drótos László köszöntője után, Lendvay Miklós, az OSZK informatikai igazgatója „A Web mint a kulturális gyűjtőkör része” című bevezető előadásában [.pptx] bemutatta, hogy mennyi fajta és különböző típusú adat található az internet világában. Külön kitért arra is, hogy ebben a sokszínű világban az OSZK-n belül mennyiféle adat keletkezik. Az előadó rámutatott arra, hogy a tudományos publikációk manapság az interneten fellelhető digitalizált, vagy eleve digitálisan keletkezett adatokból, információkból „táplálkoznak”. Lendvay Miklós kifejtette, hogy az internet ma már nem kimondottan a klasszikus értelemben vett tartalomszolgáltatásról szól, hanem inkább a social media-ról. Mivel a nagy létszámú, fiatal generáció főleg csak az „üzengetésre”, és „magamutogató” megosztásra használja az online alkalmazásokat, ezért a személyes adatok nagyon nagy veszélyben vannak, hiszen a social media „mindent tud rólunk”. Az előadó ismertette, hogy az USA és az Európi Unió a webbiztonsággal kapcsolatosan teljesen eltérő gyakorlatot alkalmaz. Az előadó érintőlegesen arra is kitért, hogy 2018 májusától nagy valószínűséggel megszigorodik hazánkban a törvényi szabályozás arra vonatkozóan, hogy a könyvtárakban hogyan tárolhatjuk majd az olvasók személyes adatait. Mivel a közintézményi szférában csak alapvető személyi adatok lesznek tárolhatóak, ráadásul csakis abban az esetben, ha azt önkéntesen szolgáltatja be a „célszemély”, ezért előreláthatóan nagyon megnehezedik majd a kapcsolattartás lehetősége is, és a könyvtárak működése is.

Lendvai Miklós: A Web mint a kulturális gyűjtőkör része

Lendvay Miklós kitért a szemantikus web szükségességére is, szorgalmazva azt, hogy a könyvtáraknak elsődleges szerepe lesz abban, hogy a szolgáltatott webes információk a lehető leghatékonyabban juthassanak el a felhasználókhoz, amihez az adatok sokrétű kapcsolata szükséges. Ehhez elengedhetetlen a közös tárgyszótárak használata. Az előadó elmondta, hogy jelenleg a világban 616 közös tárgyszótár létezik, amelyeket a magyar nyelv sajátosságai miatt csak nagyon nehezen lehetne változtatás nélkül átvenni, használni. Ráadásul a szótárak szakmai sokszínűsége miatt nagyon nehéz lenne a választás is. Az előadás végén az előadó elmondta, hogy az OSZK tervei szerint 2018-tól áttérnek az RDA-típusú katalogizálásra, valamint folyamatban van a jelenleg használatos integrált könyvtári katalógus-platform cseréje is. ^{1} Lendvay Miklós végül szót ejtett az Országos Könyvtári Platform^{2} szükségességéről is, majd beszélt a „Webaratás pilot projekt”-ről^{3}, ugyanis az OSZK 2017 áprilisától az OKR projekt keretében elkezdett kísérletezni a webarchiválás technológiájával, az internetes források hosszú távú megőrzésének érdekében. Kiderült, hogy a pilot projekt 2018 végéig tart, és az informatikai hátterét a KIFÜ biztosítja.

Kees Teszelszky: The harvest of the Dutch digital fields: the landscape of webarchiving in The Netherlands

A második előadás keretében Kees Teszelszky^{4}, a Holland Nemzeti Könyvtár^{5} webarchiválással foglalkozó magyar származású munkatársa a 2007 óta működő holland és az idén indult belga projektről adott áttekintést a „The harvest of the Dutch digital fields: the landscape of webarchiving in The Netherlands” című előadásban [.ppt].

Az előadó arról beszélt, hogy hogyan néz ki a webarchiválás Hollandiában, mi a könyvtár szerepe, és milyen hibák merültek fel a munka során. Elmondta, hogy az USA után, 1986-tól beszélhetünk a „holland digitális táj” kialakulásáról, amely a legrégibb a világon, a Cern és Stanford után pedig Hollandia büszkélkedhet a harmadik legrégibb honlappal (1992). ^{6} Az előadó elmondta, hogy 1995-ig 10 ezer holland honlapot regisztráltak az országban, majd 2007-től digitális listákban^{7}, tematikusan kezdték gyűjteni a honlap címeket, de akkor még nem kezdődött el a tartalom archiválása. Jelenleg 13 ezer honlap teljes archiválása történt meg.

Az előadó elmondta, hogy a hollandok sok belgiumi domain-t használnak^{8}, ugyanis Belgium északi részében több flamand nyelvű honlap található, amelyek a holland felhasználókat szolgálják ki. A Belgium déli részében regisztrált belga domain-ek száma csak töredéke az északon regisztrált domain-eknek. A szomszédos Luxemburg pedig főleg az .eu kiterjesztésű domain-eket preferálja. Kees elmondta, hogy Hollandia a holland és a fríz nyelv miatti tudathasadásos állapotban van, ezért is nagyon nehéz a webarchiválás, ráadásul Hollandiában nincsen kötelespéldány törvény, így a beszolgáltatás önkéntes alapon történik, ezért a jobb megfogalmazás az, hogy „nem történik”.

Mivel a Holland Nemzeti Könyvtár 1974 előtt csak a kutatókat kiszolgáló könyvtárként üzemelt, így sok európai országgal szemben hátrányban van. Jelenleg két ember foglalkozik a tudományos terület webarchiválásával^{9}, ami évente 1000 honlappal gyarapodik. ^{10} A nemzeti kulturális gyűjtést a levéltárak végzik, de csak papíralapon. Míg Belgiumban különböző kutatócsoportok döntenek az archiválandó dolgokról, addig Hollandiában a Nemzeti Könyvtár hatásköre ez. A könyvtár csak a megszűnő honlapokat figyeli és a két specialista ezeket archiválja^{11} időszakosan (főleg a tulajdonosok, szolgáltatók értesítései alapján). Az archivált webtartalmakat gyűjteményekbe szervezik. ^{12} A webarchiválás három területe felosztásra került az országban, külön folyik a (1) kép/hang/videó, a (2) holland politikai dokumentumok és a (3) holland régiók gyűjteményének szervezése. Mivel semmilyen átjárhatóság sincs a különböző gyűjtemények között, ezért nagyon nehéz a tájékozódás.

Jelenleg „webrégészet” folyik az országban, aminek keretében különböző listákat készítenek a szolgáltatóktól nyert adatok alapján arról, hogy mi van jelenleg és mi volt online valaha. A listákból csak alapadatokat tudnak kinyerni: „mikor volt aktív az oldal”, „hányan látogatták” stb. ^{13}

Az előadó rámutatott arra, hogy a holland webarchiválás legnagyobb problémája, hogy a szolgáltatók és a domain-regisztrátorok csak régi elérhetőségi adatokkal tudnak szolgálni, ezért a honlaptulajdonosokat szinte képtelenség felderíteni, elérni. Mivel a törvény nem engedi meg, hogy engedély nélkül archiváljanak tartalmakat, ezért csak az önkéntes web-adományok jöhetnek szóba. A tartalomszolgáltatók pedig nem érdekeltek abban, hogy átadják az élő, vagy megszűnt honlapjaik tartalmát, így csak címlistákkal tudnak dolgozni a könyvtárban.

Kees Teszelszky elmondta, hogy a gyakorlatban elsőként a honlap linkstruktúráját mentik le^{14}, majd ezután kérik meg az engedélyeket a tartalom mentésére is. Amennyiben nem tudják beszerezni a szükséges engedélyeket, akkor csak a linkstruktúra marad meg az archívumban.

Peternák Miklós: Médiamúzeum Magyarországon: 404 és akiknek nem kell – A ’Magyar Tartalom’ húsz éves jubileuma alkalmából

Peternák Miklós a C3 kulturális és Kommunikációs Központ igazgatója a „404 és akiknek nem kell – Médiamúzeum Magyarországon: A ’Magyar Tartalom’ húsz éves jubileuma alkalmából” című előadásában [.pptx] az online tartalmak megőrzésének fontosságáról beszélt, elsősorban múzeumi-művészeti kontextusban. Az előadó elmondta, hogy a Youtube oldalaira percenként 400 órányi film kerül fel és az interneten napi 1 billió órányi nézői tartalomfogyasztás generálódik a különböző online filmmegosztók jóvoltából. Az előadó konkrét net-művészeti alkotásokat^{15} mutatott be, illetve elmondta, hogy az idők folyamán a böngészőváltások és fájlformátum-kihalások miatt mennyire nehézzé vált a tartalom aktívan tartása, megújítása. Az előadó konkrét példákon keresztül rámutatott arra, hogy a régebben keletkezett net-művészeti termékek a migrálás dacára, mennyire sérülékenyek és egyre kevesebb funkció marad meg belőlük, míg végül teljességgel elvesznek. ^{16} Peternák Miklós bemutatta A Net Art kultúra térképét is^{17}, közben elmondta, hogy sok netművész mára már belefáradt a honlapjainak megújításába, modernizálásába, ami az új alkotások létrehozása elől veszi el az idejüket, ráadásul a weblaptartalmak megsemmisülése miatt sokan idővel ki is vonultak az internetről és más művészeti ágban munkálkodnak ma már.

Kampis György: A MIA pilot rövid bemutatása (2013-2016)

Kampis György, az ELTE Tudománytörténet és Tudományfilozófia Tanszékének egyetemi tanára „A MIA pilot rövid bemutatása (2013-2016)” című előadásában [.pptx] a tanszéken – főként tudománymetriai célból lefolytatott – Magyar Internet Archívum webaratási pilot projektjét mutatta be. Az előadásból kiderült, hogy a PetaByte Nonprofit Kutatási Kft. 2013-tól kezdődően a MIA nemzeti archívum kialakításának feltételeit egy pilot projekt keretében vizsgálta, ennek érdekében felvették a kapcsolatot a MIA eredeti kezdeményezőivel és az akkori NIIF-fel, számos fejlesztést és előkísérletet végeztek és különböző egyeztetéseket folytattak. Műszaki oldalon a Heritrix crawler sorozatos módosításával, továbbfejlesztésével próbálkoztak. A tesztbe a NIIF HBONE akkori 500 résztvevőjét vonták be, önkényesen és longitudinálisan gyűjtve és elemezve az adatokat. Ezen felül különböző hír site-ok archiválását is végezték. A pilot néhány év alatt 16-17 TB adatot produkált, nagyobb tárolóhely hiányában a gyűjtést (és ezért a fejlesztést) idővel nagyrészt leállították 2015/16-ban.

Kampis György az előadásában a folyamatos financiális problémákról beszélt és arról, hogy megfelelő pályázatok híján magánpénzből kezdték és finanszírozták a projektet. Beszélt a felmerülő jogi és műszaki problémákról. A felvetett, főbb jogi kérdések: „Milyen jogon lehet archiválni?” (önkényesen); „Megosztható-e az archívált tartalom?” (nem); „Van-e garancia a tartalmat illetően?” (nincs). A műszaki problémák: a harvesztelés során, sok a „szemétfájl”; az adattisztítás lassú kézimunka; nehézkes a CMS kezelés; a letöltött tartalmak időbélyegei a letöltéskor megváltoznak; sok az elárvult link, mert a letöltéskor némely komplett honlap szétesik; böngésző verzióváltásos problémák lépnek fel.

A pilot projekt keretében magyar domain-ekre (.hu) koncentráltak, vagy a külföldi oldalakra, amelyek magyar tartalmat szolgáltattak. Archiváláskor ciklikusan a teljes domain tartalmat töltötték le a lehető legmélyebb linkstruktúráig. ^{18} A letöltéskor az alábbi kiterjesztésű fájlokat kizárták: .iso; .gz; .jar; .mp3; .ogg; .ppt; .rar; .wav; .xls; .zip. A videók letöltését engedélyezték (Youtube, Vimeo stb.), mert az akadémiai szférában egyre több az oktatást segítő, tudományos előadás- vagy egyéb videófelvétel. Az archiváláshoz egy T710-es szervert (Dell T710 server, 2×4 core Xeon E5520, 48GB RAM, 2TB HDD, Dell PowerEdge R720) használtak.

Az egyetemek és főiskolák lementett anyaga 53GB, ebből a különböző szöveges formátumok (html, doc, docx, rtf, pdf, ps): 36GB. Az MTA kutatóintézetei anyagának teljes másolata 33GB, ebből a szöveg 5GB. Átlagos méret: 974 MB per domain. Átlagos szövegméret: 474 MB per domain. A kinyert adatok alapján különböző szógyakoriságú mutatókat, grafikonokat és szófelhőket készítettek, amelyek csak kutatási céllal és engedéllyel hozzáférhetőek. Tartalmi elemzésekkel a napi, heti, havi hírtrendeket tudták kimutatni. ^{19} Mivel elfogyott idővel az anyagi keret, így a projekt a hír szájtok napi aratását kivéve lezárásra került. Az előadó konklúziójából az derült ki, hogy törvényi háttértámogatásra, anyagi keretre, előírt formátumú beszolgáltatásra lenne szükség.

Drótos László – Németh Márton: Kísérleti webaratás projekt az OSZK-ban

Utolsóként Drótos László témafelelős és Németh Márton webkönyvtáros, az OSZK munkatársaiként „Kísérleti webaratás projekt az OSZK-ban” címmel [.ppt] az OKR program keretében zajló webarchiválási pilot projekt első fél évének tapasztalatairól és eredményeiről számoltak be. Elsőként több diában bemutatták az OSZK egykori (1998-2003) felületeit, amelyeket az Internet Archive^{20} segítségével rekonstruáltak.

Az előadók vázolták a feladatokat, miszerint fontos lenne egy leendő, üzemszerűen működő, fenntartható magyar internet archívum műszaki, emberi, szervezeti és jogi feltételeinek megteremtése; az internetes tartalmak mentéséhez szükséges tudás elterjesztése a hazai közgyűjteményekben; helyi archívumok indításának ösztönzése, valamint fontos lenne bekapcsolódni a webarchívumok közötti nemzetközi együttműködésbe.

Bemutatásra kerültek az eddigi munkafázisok, elkészültek a tervezési fázissal: koncepciót, ütemtervet alakítottak ki, meghatározták a forrásigényt és a munkamegbeszéléseken megállapodtak az alapvető gyűjtőkörben. A munkában informatikus, webkönyvtáros, webadminisztrátor, témafelelős és rendszergazda vett részt. A KIFÜ biztosított egy aratószervert (20 TB), az OSZK beállított egy teszt- és adminisztrátori szervert és a MEK-es tanulószervert is erre használták. Szoftverként a Heritrix, az Open Wayback és a Web Curator Tool került kiválasztásra, valamint további teszteket hajtottak végre más szoftverekkel is. ^{21} Formátumként a WARC tárolóformátumot használták és CDX indexfájlokkal dolgoztak. Nagyobb méretű terhelési teszteket hajtottak végre különböző válogatási szempontok alapján (könyvtárak, múzeumok, levéltárak, egyetemek, e-periodikák, az OSZK saját felületei stb.)

Hozzászólások a workshopon elhangzottakhoz

Az előadók bemutattak több könyvtári oldalon végrehajtott tesztmentést „jól sikerült” és „rosszul sikerült” Heritix mentéssel, bemutatták a Nemzeti Könyvtár facebook-os oldalának mentését Webrecorderrel, valamint a mentések ellenőrzésének táblázatos eredményeit.

Az előadók az előadás zárásaként a további tervekről és megvalósítandó feladatokról beszéltek.

A két időrészre osztott előadások között kérdéseket lehetett feltenni az előadóknak, illetve a szünetben a terem hátsó végében elhelyezett büféasztal körül személyes beszélgetésre is sort keríthettek a megjelentek.

Ambrus Attila József
PTE Egyetemi Könyvtár és Tudásközpont
Digitális Tartalomszolgáltatási Osztály