HUMAL > Töövood > Mineviku elud Eesti kultuuriandmetes: 19. sajandi vallakohtute protokollide ja bibliograafiliste andmete põhjal interaktiivsete rakenduste arendamine

Mineviku elud Eesti kultuuriandmetes: 19. sajandi vallakohtute protokollide ja bibliograafiliste andmete põhjal interaktiivsete rakenduste arendamine

Töövoog käsitleb seda, kuidas 19. sajandi Eesti vallakohtute protokolle ja bibliograafilisi andmeid saab muuta üldsusele mõeldud interaktiivseteks digieksponaatideks. Kuigi need andmestikud sisaldavad rikkalikku ajaloolist ja kultuurilist materjali, ei ole need oma algsel struktureeritud kujul mittespetsialistidest kasutajatele vahetult ligipääsetavad. Seetõttu uurib töövoog, kuidas kultuuripärandi andmeid puhastada, ekstraheerida, siduda ja ümber kujundada interaktiivseteks rakendusteks.

Uurimisküsimus on, kuidas neid andmestikke töödelda ja kombineerida nii, et need toetaksid sisukat avalikku suhestumist Eesti kultuuriajalooga. Sellele vastamiseks arendab töövoog kaks omavahel seotud prototüüpi. Minu nimi ajaloos võimaldab kasutajatel otsida perekonnanimesid ja saada ajalooliselt kontekstualiseeritud tulemusi, sidudes vallakohtute protokollid bibliograafiliste ja isikuandmetega. Ajalooskandaalid muudab vallakohtute juhtumid mänguliseks kohtumõistmise kogemuseks, kus kasutajad tõlgendavad ajaloolist juhtumit ja võrdlevad oma otsust algse kohtulahendiga. Töövoo eesmärk ei ole üksnes luua kaks veebiprototüüpi, vaid ka dokumenteerida taaskasutatav protsess, mille abil muuta arhiivi- ja bibliograafilised andmestikud ligipääsetavateks, tõlgenduslikeks ja interaktiivseteks kultuuripärandi rakendusteks.

Töövoo sammud

Märksõnad: kontekstualiseerimine, avastamine, andmete kogumine

Eesmärk oli määratleda projekti ühine uurimissuund enne kahe digitaalse toote arendamist. Projekt lähtus laiemast eesmärgist muuta 19. sajandi Eesti kultuuriandmed avalikkusele paremini ligipääsetavaks. Selle asemel, et käsitleda arhiivi- ja bibliograafilisi andmestikke üksnes uurimismaterjalina, soovisime uurida, kuidas need võiksid toetada interaktiivseid kogemusi, kus kasutajad saavad ajaloolisi kirjeid otsida, tõlgendada ja nendega suhestuda.

Kasutasime kolme peamist andmefaili. Vallakohtute protokollid olid esitatud failina parish_courts_full_dataset.csv, mille litsentsiandja on Rahvusarhiiv, pärast häkatoni lõppu ei ole andmestik enam avalikult ligipääsetav. Bibliograafilised andmed anti kahe TSV-failina, enb_books.tsv ja persons.tsv, mille litsentsiandja on Eesti Rahvusraamatukogu . Need on kättesaadavad aadressil https://digilab.rara.ee/en/datasets/curated-enb/.

Need andmestikud lõid aluse projekti kahele harule: üks keskendus nimede jälgimisele vallakohtute protokollide ja bibliograafiliste andmete vahel, teine vallakohtute juhtumite muutmisele mänguliseks tõlgenduskogemuseks. Töövoog keskendus 19. sajandile, sest projektis kasutatud vallakohtute andmestik hõlmab seda perioodi, samas kui Eesti rahvusbibliograafia andmestike ajaline ulatus on laiem. Selleks et andmestikke oleks võimalik tähenduslikult võrrelda ja siduda, piirasime uurimisperioodi 19. sajandiga. Peamised piirangud olid vallakohtute protokollide poolstruktureeritud vorm, sealhulgas HTML-laadne tekst ja ajalooliselt varieeruvad nimekujud, ning bibliograafiliste andmestike ajaline kaetus.

Märksõnad: analüüsimine, uurimine, andmete visualiseerimine

Selle sammu eesmärk oli mõista, mida kolm andmestikku sisaldasid ja mida need realistlikult võimaldasid. Uurisime vallakohtute protokollide struktuuri, olemasolevaid välju, teksti vormingut ning nimede, juhtumitüüpide ja kohtuotsuste olemasolu. Eesti rahvusbibliograafia andmestike puhul vaatasime isikunimesid, publikatsiooniandmeid, kuupäevi, identifikaatoreid ning võimaluse korral linke välistele normandmetele.

See profiilimise etapp näitas, et sama lähtematerjal võib erinevate meetodite abil toetada kahte eri väljundit. Nimega seotud väljad ning isiku- ja publikatsiooniandmed võimaldasid luua haru Minu nimi ajaloos, samas kui juhtumikirjeldused, kohtutüübid ja otsustega seotud tekst võimaldasid luua haru Ajalooskandaalid. Selles mõttes toimis see samm sillana algse andmestike valiku ja hilisema tootepõhise töötluse vahel.

Märksõnad: ekstraheerimine, teisendamine, teksti kategoriseerimine

Selle sammu eesmärk oli puhastada ja ekstraheerida need metaandmete osad, mida oli hilisemas töövoos vaja. Asjakohane info oli peidetud poolstruktureeritud HTML-laadsesse teksti, mistõttu kasutati esmalt HTML-i parsimist ja teksti puhastamist, et eemaldada märgendus ning muuta sisu loetavamale kujule. Seejärel kasutati regulaaravaldisi, et tuvastada ja ekstraheerida valitud juhtumiinfot, sealhulgas kirjeldusi, istungite tulemusi ja muid tekstimustreid, mida oli vaja kahe tootearendusharu jaoks.

See samm toetab kahte haru erineval viisil. Minu nimi ajaloos puhul oli põhiülesanne nimede ekstraheerimine HTML-sisust ja kohtuga seotud väljadest, sest need nimed saavad hiljem aluseks vallakohtute protokollide sidumisel bibliograafiliste isikuandmetega. Ajalooskandaalide puhul keskenduti istungite tulemuste ekstraheerimisele HTML-tekstist, sest neist saab kohtumõistmismängu interaktiivne materjal.

Märksõnad: vastendus, mängustamine

Selles etapis töötlesime ekstraheeritud info struktureeritumale kujule, et seda saaks kasutada vastendamiseks, analüüsiks ja interaktsiooniks. Minu nimi ajaloos puhul tähendas see ajalooliste nimevariantide normaliseerimist, isikuregistri loomist, publikatsioonidega seotud info arvutamist ning nimekujuvastavuse mootori kasutamist eri allikate nimede võrdlemiseks. Vastendamisprotsess kasutab usaldusskoore ja ajastufiltreid, sest ajalooliste isikute tuvastamine on ebakindel ning seda ei tohiks käsitleda lihtsa täpse vastena.

Ajalooskandaalide puhul tähendas see etapp testimist, kas ekstraheeritud andmed võimaldavad sisukaid interaktsioone enne viimistletuma kasutajakogemuse loomist. Põhilise mänguloogika kontrollimiseks kasutati käsurea visandit: juhtumi esitamine, kasutajalt otsuse küsimine ning ajaloolise vastuse avaldamine. Mõlemas harus muudab see samm toored ekstraheeritud elemendid struktureeritud ja testitud materjaliks, mida saab kasutada rikastamiseks, disainiks ja tootearenduseks.

Märksõnad: rikastamine, link-avaandmed, analüüsimine, andmete visualiseerimine, disain

Selle sammu eesmärk oli lisada töödeldud andmetele konteksti ja kujundada seda, kuidas kasutajad saavad andmetega suhestuda. Minu nimi ajaloos puhul sai vastendatud isikuid rikastada Wikidata kaudu SPARQL-päringupunkti kasutades, mis võimaldab pärida ja taaskasutada Wikidatas olemasolevaid struktureeritud seoseid. Nii sai lisada infot, näiteks portreesid, kohti, koordinaate, keeleversioonide linke ja muid kontekstuaalseid detaile. Rikastatud andmeid sai seejärel kasutada mustrite analüüsiks ja visualiseerimiseks, näidates seoseid kohtutoimikutes esinemiste, nimede, kohtade ja publikatsioonitegevuse vahel.

Ajalooskandaalide puhul keskendus see etapp kujundusele ja disainile. Küsimus ei olnud siin selles, kuidas ekstraheeritud andmeid rikastada, vaid selles, kuidas muuta vallakohtute juhtumid kasutajatele arusaadavaks ja köitvaks. Disain pidi esitama ajaloolist teksti selgelt, pakkuma lihtsaid valikuid ning looma tunde, et kasutaja tõlgendab kohtujuhtumit, ilma et teda infoga üle koormataks. See samm liigub töödeldud andmetelt tõlgendamise suunas: ühes harus rikastamise ja visuaalse analüüsi kaudu, teises kasutajaliidese disaini ja mängukogemuse kaudu.

Märksõnad: loomine, avaldamine, levitamine, disain

Projekti viimane samm oli muuta töödeldud andmestikud, analüüs ja liideseideed avalikkusele suunatud veebirakendusteks. Minu nimi ajaloos avaldati Gradio prototüübina, mis võimaldab otsida nime ja saada ajalooliselt kontekstualiseeritud tulemusi 19. sajandi Eesti vallakohtute protokollide ja bibliograafiliste andmete põhjal. Selle avalik majutus on nüüdseks aegunud, kuid kood on kättesaadav ühises GitHubi repositooriumis ning reprodutseeritav.

Ajalooskandaalid avaldati Vercelis majutatud veebirakendusena, mis muudab vallakohtute juhtumid mängustatud kohtuniku-simulaatori kogemuseks. Juhtumikirjeldused ja istungite tulemuste andmed on integreeritud interaktsiooniloogikasse ja kasutajakogemusse, võimaldades kasutajatel ajaloolist juhtumit tõlgendada ning võrrelda oma otsust algse kohtulahendiga. Kuna vallakohtute andmestiku kasutamist piiravad litsentsitingimused, eeldatakse, et kasutajatel on ligipääs vallakohtute CSV-failile ning nad laadivad selle rakenduse kasutamisel ise üles. Mõlema prototüübi kood on talletatud ühises GitHubi repositooriumis, mis annab ka praktilise aluse töövoo reprodutseerimiseks ja rakenduste käivitamiseks.