Kaj izgubimo, ko postanemo preveč učinkoviti?

O disertaciji, akademskih merilih in umetni inteligenci v znanosti

Nedolgo nazaj se mi je na Facebooku zavrtel spomin iz podelitve spričevala za izdelano doktorsko disertacijo. Razmišljati sem začela, koliko enostavneje bi bilo z vsemi današnjimi orodji spisati disertacijo. Živo se spomnim, kako sem se prebijala čez cirka dvesto strokovnih člankov, poskušala razumeti, kaj pravijo, jih postaviti v nek širši kontekst in nato zgraditi celotno sliko raziskovalnega polja. Sama sem morala ugotoviti, kaj razumem in kaj moram še razumeti, zato da sem lahko ugotovila, kje je polje dobro pokrito, kje so luknje in kje v to polje vstopam s svojimi eksperimenti. 

Tako se je pred mano počasi začel sestavljati zemljevid raziskovanega področja. Več eksperimentov kot sem izvedla in več člankov kot sem prebrala, tem podrobnejšo karto sem imela pred sabo. Spomnim se frustracij, ki sem jih imela, in vprašanja, ki se mi je valilo po glavi. Sem sploh dobra raziskovalka? Delam prav, kljub vsem neuspelim poskusom in vsem slepim ulicam? Kljub temu da včasih težko verbaliziram, zakaj se mi zdi vredno vztrajati pri eni ideji, medtem ko sem toliko drugih opustila? Kdo sploh je dober raziskovalec? Težko je izmeriti, kako dobro je postavljeno vprašanje. Še težje je izmeriti vztrajnost nekoga, ki je nekaj let vztrajal pri nenavadnem problemu, ki se je na koncu izkazal za pomembnega ali pa zgolj za zelo dolgo slepo ulico. Lahko preštejemo publikacije, citiranja, h-indeks*. 

Kako izmerimo dobrega raziskovalca?

In v meni je še zelo živo, kako opevano je bilo, če je nekdo uspel objaviti članek v neki prestižni, ugledni reviji. Ampak potem si potreboval še čim več citiranj. In kako si kot raziskovalec v svojem članku citiral vse članke, ki jih je predhodno objavila tvoja raziskovalna ekipa. Zdaj, po eni strani je logično, ker širiš enako raziskovalno polje, a po drugi strani sem se večkrat spraševala, ali so vsi ti citati res smiselni. Bi lahko kakšen citat, ki ni tako bistven, tudi izpustili? 

Objavljeni članki in citiranja so na nek način valuta akademskega sveta. In kako v akademskem svetu kupiš takšen kapital? S publikacijami v uglednih revijah, s citati, nagradami, vabili na konference in podobno. Če ima nekdo veliko publikacij in citatov, mu bo akademska skupnost pripisala določeno akademsko težo. Kaj pa se zgodi, ko nekaj, kar je bilo nekoč zamišljeno kot merilo kakovosti, postane cilj? Problem nastane, ko začnejo kazalniki akademske vrednosti nadomeščati samo akademsko vrednost. 

Recimo, da bi univerza želela ugotoviti, kdo je odličen raziskovalec. Zelo težko je prebrati več kot deset let njegovega dela, razumeti področje in presoditi, kako izvirne so bile njegove ideje. Veliko lažje je pogledati število publikacij in citatov, h-indeks ter revije, v katerih je objavljal. Tako bi veljalo: 

dober raziskovalec → veliko kakovostnega dela → publikacije in citati 

A ker gledamo slednje, se ta vzročna zveza obrne: 

veliko objav in citatov → dober raziskovalec

In tu se nekaj spremeni. Ko ljudje vedo, po čem jih merimo, se začne njihovo vedenje prilagajati merilu. 

Kaj se zgodi, ko merilo postane cilj?  – Goodhartov zakon 

Objavljanje tako ni več vezano samo na vprašanje, ali ima raziskovalec kaj pomembnega za deliti. Objave postanejo del pogojev za napredovanje, financiranje in nadaljevanje raziskovalne kariere. Namesto vprašanja »Je to pomembno spoznanje?« se vedno bolj pojavljajo vprašanja: »Kaj lahko s tem naredim? Koliko rezultatov lahko dobim v čim krajšem času? Koliko bo to stalo?« Raziskovalec oziroma raziskovalna skupina mora pokazati svojo raziskovalno uspešnost, mora pokazati rezultate, da upraviči financiranje. 

Zanimivo idejo, ki je v desetih letih spremenila način razmišljanja, je skoraj nemogoče stlačiti v Excelovo tabelo. »Objavil je sedemnajst člankov« pa zelo enostavno. V mnogih delih akademskega sistema se je skozi desetletja gradilo okolje, v katerem se lahko znanstveno delo vedno bolj pretvarja v standardizirane, merljive izdelke oz. rezultate.

Kaj pa, če lahko izdelek naredimo brez procesa? 

In prav zato se mi zdi uporaba generativnega AI pri raziskovalnem delu tako zanimiva. V sistem, ki je že dolgo vajen meriti predvsem končne izdelke, smo dobili orodje, ki zna te izdelke proizvajati hitreje kot kadarkoli prej.

Postavimo se v nek svet, kjer na dveh časovnih premicah opazujemo dva doktorska študenta. Prvi je kot jaz takrat, ko sem pisala disertacijo. Prebrati mora petdeset člankov in iz njih sestaviti pregled literature. Nekaj tednov tava, nekatere članke narobe razume, postopoma pa začne opažati, kako je področje strukturirano in kje v literaturi so luknje. Drugi pa da teh petdeset člankov AI-ju in še isti dan dobi zelo dober strukturiran pregled. Morda je izdelek tega študenta celo boljši. Ampak kateri od njiju se je več naučil? Kateri od njiju je skozi proces postal boljši raziskovalec?

Generativni AI pa lahko močno pospeši proizvodnjo prav tistega, kar sistem šteje za pomembno in vredno. Gre za fantastičen stroj, ki povečuje produktivnost: več izdelkov oziroma rezultatov v krajšem času. 

Kdaj je trenje del učenja? 

A z njim lahko hitro odstranimo dejavnosti in procese, zaradi katerih, v mojem primeru, raziskovalci dejansko postajajo čedalje boljši in boljši raziskovalci? Nekatere frustracije so samo frustracije in prav je, da jih tehnologija odstrani. Toda nekatere so del učenja. Težava je v tem, da  včasih ne znamo dobro razlikovati med trenjem, ki je samo izguba časa, in trenjem, skozi katerega se človek uri, pili in postaja vedno boljši v veščinah, ki jih razvija. 

Z AI-jem lahko dobimo boljše izdelke in istočasno slabše strokovnjake. 

Produkcija strokovnih člankov, ustvarjanje znanja in oblikovanje dobrega raziskovalca namreč nikoli ne bodo ena in ista stvar.

Kaj pravzaprav želimo razvijati? 

Pregled literature je izdelek.
Razumevanje raziskovalnega področja je znanje.

Sposobnost presojanja, dvoma, orientiranja v nejasnosti in postavljanja novih vprašanj pa je del kritičnega mišljenja in strokovnosti, ki ju razviješ kot raziskovalec. Dober raziskovalec ni samo nekdo, ki pozna neko področje, ampak nekdo, ki zna v novem, nejasnem problemu presoditi, kaj sploh vprašati, čemu verjeti, kaj preveriti in kje vztrajati.

Če bomo omenjena študenta ocenjevali po kakovosti izdelka, bosta slej kot prej uporabila najboljše orodje za izdelavo izdelka. Toda če želimo razvijati njune sposobnosti in ju kaliti, da postaneta dobra raziskovalca, moramo morda meriti nekaj drugega.

Danes bi AI veliko korakov pri pisanju moje disertacije opravil hitreje in verjetno marsikaterega tudi bolje kot jaz. A tako se odpre vprašanje, na katerega si je – morda zaradi te želje po produktivnosti in hitrosti, ki vlada v svetu – težko odgovoriti. 

Katerih stvari mu ne želim prepustiti in se čez njih želim prebiti sama? Katere dele procesa lahko avtomatiziram brez izgube lastnega razvoja in kateri deli procesa dejansko oblikujejo moje mišljenje? 

Tam, kjer želim razviti lastno veščino, morda ni smiselno odstraniti vsega trenja. In kaj je smiselno meriti? Od tega bo namreč odvisno moje vedenje. Kajti to, kar merimo in optimiziramo, počasi postaja tudi to, kar počnemo. 

*h-indeks je bibliometrični kazalnik, ki združuje število raziskovalčevih objav in njihovo citiranost. Raziskovalec ima h-indeks 10, če ima vsaj 10 člankov, od katerih je bil vsak citiran vsaj 10-krat.

Izjava o avtorstvu
Vsebina tega zapisa je plod mojega lastnega raziskovanja, razmisleka, avtorskega in uredniškega dela. Pri pripravi besedila sem kot podporno orodje uporabila umetno inteligenco – predvsem za pomoč pri strukturiranju zapisa, iskanje lastnih slepih peg, in (kadar je relevantno) prevodu v angleščino. Vsebinske odločitve, poudarki in končna ureditev besedila so v celoti moji.