Što je citatni kartel i kako ga otkriti?

Sažetak: Tekst se bavi poznatom neodgovornom i nemoralnom pojavom citatnih kartela čime znanstvenici povećavaju broj citata i utjecaj. Tekst se sastoji od opisa same pojave i definicije pojma, zatim od opisa otkrivanja, identificiranja i sprječavanja citatnih kartela i kako pritom pomažu LLM-ovi (središnji dio) i od zaključka u kojem se sažima prethodno navedeno.

Što je citatni kartel?

Jedna od prvih stvari koju studenti nauče jest kako provoditi istraživanje i objaviti rezultate, najčešće u članku u časopisu. Pritom uče kako citirati kolege. Često citiraju poznate kolege čiji radovi imaju puno citata i koji su objavljeni u najboljim svjetskim časopisima. No, rijetko se zapitaju zašto neki sadržajno prosječni rad ima neproporcionalno puno citata.  Postoji nešto što se u engleskom naziva citation cartels, a to prevodimo kao citatni karteli ili karteli citiranja i živa je tema u znanosti i visokom obrazovanju. Prepoznavanje te pojave zbilo se prije 25 godina, a imenovanje prije 10-ak godina. Neki izvori poput Thompson Reutersa (kompanije koja između ostalog posjeduje baze akademskih podataka) izbjegavaju sam izraz te koriste dvosmisleni izraz „gomilanje citata“ (engl. „citation stacking“). „U konačnici, nikada ne znamo namjeru autora koji su uopće stvorili obrazac citiranja, već samo da obrazac može iskriviti rangiranje časopisa unutar njegovog područja. To je ono što Thomson Reuters želi izbjeći.“ (Davis 2016)

Kod citatnog se kartela radi o tome da se znanstveni radovi obmanjujućom taktikom pretvaraju iz manje u više utjecajne povećanjem broja citata, pri čemu se oblikuje kartel znanstvenika koji citiraju vlastite radove i radove članova kartela. Citirani radovi često nemaju veze s temom rada. Time si kartel umjetno podiže broj citata. Onaj tko ne prepoznaje kartel može pogrešno vjerovati kako se radi o kvalitetnom radu jer ima velik broj citata. Citatni karteli obmanjuju znanstvenu zajednicu o vrijednosti radova, znanstvenika, fakulteta i časopisa. 

U Hrvatskoj se malo pisalo o citatnim kartelima, a pojava je itekako prisutna u svijetu. Jedan od najopsežnijih i najsustavnijih članaka na temu citatnih kartela u hrvatskom časopisu (iako to nije jedina tema članka) je članak Racz, A. i Marković, S. (2018) „Worth(less) papers” – are journal impact factor and number of citations suitable indicators to evaluate quality of scientists?“ (Racz i Marković 2018:369-389). Oni u zaključku između ostalog tvrde: „Zbog toga, metrike temeljene na časopisima, poput faktora utjecaja časopisa i broja citata, nisu prikladni pokazatelji za procjenu kvalitete znanstvenika i više se ne bi trebale koristiti kao zamjenska mjera kvalitete pojedinačnih istraživačkih članaka, za procjenu doprinosa pojedinog znanstvenika ili pri donošenju odluka o zapošljavanju, napredovanju ili financiranju. Znanstveni sadržaj rada puno je važniji od metrika objavljivanja ili identiteta časopisa u kojem je objavljen.“ (Racz i Marković 2018:383, s engleskog preveo autor teksta)

No, oni ne predlažu kako bi se analizirao sadržaj članaka. To bi bilo posebno zanimljivo u humanističkim znanostima koje nemaju strogo strukturirane forme članaka pa oni mogu biti napisani iako formalno s uvodom, glavnim dijelom i zaključkom, ali bez jasnog istraživačkog pitanja, pregleda prethodne literature o temi, metode, analize, argumenata i zaključka. 

Zanimljiv je i rad iako samo jednom spominje citatne kartele: Stanzer, D. (2023) „Mjerenje hrvatske znanosti 2022.“. Zanimljiv je sljedeći citat: „Na primjer, u području Arts and Humanities hrvatski autori nerado citiraju domaće pa je samo 15% citata domaćih autora. U istom području Slovačka dobiva od domaćih autora čak 50-ak% citata, a Slovenija više od 30%.“ (Stanzer 2023:32). 

Zanimljiv je na koncu i članak: Jokić, M., M. (2006) „Scientometrijski pristup znanstvenom radu u polju filozofije“. Prolegomena, 5 (1), 99-110. Pojavljuje se zanimljiv podatak: „Časopis Filozofska istraživanja citira 7 stranih časopisa, s tim da ga hrvatski časopis Društvena istraživanja citira u 50% slučajeva.“ (Jokić 2006:107)

Otkrivanje, identificiranje i sprječavanje citatnih kartela i kako pritom pomažu LLMs 

Pojavu citatnih kartela prvi je zamijetio George Frank u tekstu na portalu Science „Scientific Communication – A Vanity Fair?“ (1999) u kojem upozorava na „moguće sivo tržište gdje bi urednici časopisa mogli napuhati broj citata zahtijevajući lažne reference“ itd. (Frank 1999:53-55). Vjerojatno prva uporaba izraza citatni karteli je u kolumni Davis, P. (2012) „The Emergence of a Citation Cartel“, na portalu The Scholarly Kitchen (The Scholarly Kitchen) i kasnije u članku Fister, I. Jr., Fister, I., & Perc, M. (2016) „Toward the discovery of citation cartels in citation networks“ (Frontiers in Physics, 4, 49). Michele Catanzaro je o tome 2024. na portalu Science: „Klike matematičara u institucijama u Kini, Saudijskoj Arabiji i drugdje umjetno su povećavale broj citata svojih kolega objavljujući nekvalitetne radove koji opetovano citiraju njihove radove, prema neobjavljenoj analizi koju je vidio časopis Science. Kao rezultat toga, njihova sveučilišta –od kojih neka, čini se, nemaju matematičke odsjeke – sada svake godine proizvode veći broj visoko citiranih matematičkih radova od škola s jakim iskustvom u tom području, poput sveučilišta Stanford i Princeton.“ (Catanzaro, 2024)

Na Catanzara se referira Thomas Morgan pišući o toj istoj temi 2025. na portalu The Conversation. Dakle, tema prelazi uske interese stručnjaka. Morgan piše sljedeće: „Jedan od izvora odabira znanstvenika je način na koji se ti radovi ocjenjuju. Stručnjaci mogu dati detaljne procjene, ali mnogi odbori za zapošljavanje ili napredovanje koriste preciznije metrike. To uključuje ukupan broj radova koje znanstvenik objavi, koliko su puta njegovi radovi citirani – odnosno, koliko se puta spominju u drugim radovima – i njihov h-indeks: statistiku koja spaja broj radova i citata u jedan broj. Časopisi se također ocjenjuju čimbenikom utjecaja i rangom časopisa. Sve ove metrike mogu potaknuti neke prilično neobične ishode. Na primjer, citiranje vlastitih prošlih radova u svakom novom koji napišete može napuhati vaš h-indeks. Neki beskrupulozni istraživači podigli su to na višu razinu, formirajući kartele citata gdje se članovi slažu da će što više citirati međusobne radove, bez obzira na kvalitetu ili relevantnost.“ (Morgan 2025)

Ovdje se ne radi samo o lažnom predstavljanju važnosti istraživanja, tj. o broju citata članaka pa samim time i o ukupnoj važnosti znanstvenika i drugih članova kartela, nego i o drugim svojstvima (npr. h-indeksu; h-indeks je bibliometrijski pokazatelj koji se koristi za procjenu znanstvene produktivnosti i utjecaja nekog istraživača, časopisa ili skupine. Uveo ga je fizičar Jorge E. Hirsch 2005.). Tu je i citiranost svih znanstvenika na nekoj katedri, odsjeku i cijelom fakultetu ili drugoj instituciji pa se prijevarom može stvoriti ne samo privid o većoj važnosti autora ili kartela nego i institucije što može biti važno pri njezinoj akreditaciji i rangiranju.  

Citatni kartel razlikuje se od nekoliko pojava s kojima ga ne treba miješati, iako mogu biti dio citatnog kartela. Autocitat je pojava u kojoj autor citira vlastite prethodne radove. Ta pojava je dopuštena u slučajevima kad se novi rad nastavlja na prethodne radove. No, autocitat kao prekomjerno citiranje vlastitih radova koji nisu nikako povezani s novim radom je zabranjen (nije zabranjeno pravilnicima, ali časopisi to uglavnom ne toleriraju između ostalog i zato što se time može sugerirati identitet autora). Prekomjerni autocitati često su dio citatnih kartela. 

Postoje i vrste citatnog kartela. Neovisni citatni karteli oblikuju se s ciljem kako bi autori imali više citata i time lažno povećali vlastitu vrijednost, a ovisni se oblikuju s ciljem kako bi časopisi ili institucije imale više citata i bile bolje ocijenjene tijekom rangiranja, evaluacija i reakreditacija i time lažno povećali svoju vrijednost.  

Neovisan citatni kartel je onaj kojeg oblikuje samo skupina znanstvenika i oni su jedini odgovorni ako se kartel otkrije. Ovisan citatni kartel (čak i prisilan) zbiva se u slučajevima kad izvanjske skupine poput nakladnika časopisa i/ili knjiga ili fakulteta (ponekad više njih u dosluhu) „sugeriraju“ autorima kako bi trebali citirati radove koji su objavljeni u njihovoj nakladi (časopisi, knjige itd.). 

Grafikon 1: Primjer usporedbe obrazaca normalne mreže citiranja i mreže citiranja u citatnom kartelu (izradio autor teksta pomoću ChatGPT-a).

Kad se analiziraju citati nekog članka, lako se uoči tvori li mreža citata često predložak razgranatog sustava bez posebne uređenosti ili tvori skladan predložak koji je simptom citatnog kartela i koji daljnjim istraživanjem može utvrditi da članovi kartela redovito citiraju jedni druge.

Znakovi postojanja citatnog kartela

Nekoliko je znakova koji, uzeti zajedno, sugeriraju da se radi o citatnom kartelu. 

Analiza citatne mreže. Zamislite radove, autore ili časopise kao čvorove u mreži, a citate kao veze između njih. U normalnoj znanosti, citati tvore široke, razgranate mreže. U kartelu tvore uzak prsten ili klaster. Klasteri. U kartelu često vidite uske klastere s neobično gustim međusobnim citatima poput zatvorene petlje istraživača ili časopisa koji se stalno međusobno citiraju (vidi: grafikon 1). Neobični obrasci citiranja. Rad koji većinu svojih citata dobiva od iste male skupine autora je sumnjiv. Neki alati označavaju kada jedan časopis nerazmjerno citira drugi časopis. Statističke crvene zastavice. Visoka stopa autocitata. Citati dolaze u skokovima itd. 

Broj citata može varirati među disciplinama (primjerice u matematici i filozofiji se citira manje, dok u biomedicini i ekonomiji više). Pri otkrivanju citatnog kartela mogu se koristiti bibliometrijske baze podataka, algoritmi, teorije grafova za identifikaciju klastera i otkrivanje anomalija strojnim učenjem za uočavanje statistički nevjerojatnog ponašanja citiranosti. Što se tiče sprječavanja, neki časopisi i usluge indeksiranja isključuju časopise kad otkriju citatni kartel. LLM (veliki jezični modeli, engl. large language models) poput ChatGPT-a ne mogu zamijeniti bibliometrijske podatke, druge metapodatke i istraživanje. No, ako se takvom LLM-u predoče ti podaci, onda on može ukazati na vjerojatnost postojanja citatnog kartela. Prije svega može ukazati na elementarne znakove citatnih kartela poput prekomjernog i neproporcionalnog međusobnog citiranja skupine autora, tj. može čak i izraditi stvarnu mrežu s takvim citiranjima, brojem citata, brojem autora i trajanjem međusobnog citiranja. Drugim riječima, može pružiti argument o postojanju tzv. „prstenastog citiranja“ ili kartela.

Zaključne napomene

Citatni karteli se jasno definiraju i čak se lako otkrivaju, no teško je tvrditi njihovo konkretno postojanje jer bi dokazni materijal za tvrdnju trebao uključivati ne samo dokaz vještine ili znanja, tj. postojanja konkretnog predloška ili uzorka prekomjernog međusobnog citiranja članova pretpostavljenog kartela, zatim dokaz da su postojale prilike za takav postupak, koje često uključuju same autore koji dijele instituciju i službene osobe u časopisima poput urednika (što je teško dokazati bez priznanja), nego na koncu i dokaz motiva, odnosno da su autori pretpostavljenog citatnog kartela izvršili postupak prekomjernog međusobnog citiranja samo kako bi si podigli ukupnu citiranost i vlastite članke učinili utjecajnijima nego što to zaista jesu (što je najteže dokazati). Procedura kojom bi se to moglo dokazivati mogla bi biti slična proceduri dokazivanja u kriminalističkom postupku ili proceduri istraživanja i odvagivanja dokaznog materijala koje provode etička povjerenstva. To da su citatni karteli prijevara nije upitno i kao takvi su neprofesionalni i nemoralni.