* Napomena: Čitate poglavlje iz Izvješća pučke pravobraniteljice za 2024. godinu, koje smo predali Hrvatskom saboru u ožujku 2025. Cijelo Izvješće možete otvoriti u PDF formatu ili u interaktivnoj verziji.
Više o povezanim temama pročitajte i u drugim poglavljima Izvješća, navedenima na dnu ove stranice.
Razvijanje i korištenje algoritama te sustava utemeljenih na umjetnoj inteligenciji (UI) sve je učestalije, kako u privatnom i javnom sektoru, tako i u državnoj upravi. Počele su se provoditi edukacije o UI, a građani su svjesniji mogućnosti koje UI donosi te sve više koriste njezine alate. U 2024. godini sudjelovali smo na više događanja s temom UI, a pučka pravobraniteljica je održala i nekoliko gostujućih predavanja koja su naišla na velik odaziv.
Rezultati drugog po redu ispitivanja „Percepcije UI u RH“, provedeni na uzorku od 2.200 ispitanika, pokazali su povećanje pismenosti o UI s 19% u 2023. na 24% u 2024. godini. Dok je 2023. godine 42% ispitanika iskušalo alate UI ili se njima koristilo, 2024. godine ih je to učinilo 35%. Istraživanje je pokazalo da većina korisnika nije zainteresirana plaćati korištenje naprednih alata UI. I dalje su asocijacije na UI više negativne nego pozitivne, iako je najveći broj ispitanika neopredijeljen. Percepcija građana o korištenju osobnih podataka u sustavima UI također je negativna te ih većina smatra da se njihovi podaci ionako već koriste bez dopuštenja. 49% građana strahuje od nestanka poslova u idućih pet do deset godina zbog UI.
Prema OECD-ovom izvješću o utjecaju generativne UI (GAI) na tržište rada na globalnoj razini, UI ima potencijal u rješavanju problema nedostatka radne snage i povećanju produktivnosti. No vjerojatno je da će radna mjesta u gradovima biti više pogođena od onih u ruralnim regijama.
Provedeno je i istraživanje o percepciji UI u hrvatskim medijima, na 45 članaka objavljenih od travnja do rujna 2023. godine s temom UI u kontekstu inovacija i transformacije društva. Zaključeno je da mediji imaju pozitivan do neutralan stav prema UI, a prednosti UI se ističu u medicini, sigurnosti i obrazovanju.
Slijedom primjene UI u obrazovanju, AEM je u suradnji s UNICEF-om razvila priručnik za učitelje. Sveučilišta su prepoznala potrebu za odgovornom uporabom alata UI u učenju i poučavanju, kao i potrebu za edukacijama o potencijalima i izazovima UI, kako bi se mogle donositi informirane oduke u svakodnevnom radu. Tako je Sveučilište u Rijeci donijelo Politiku korištenja alata UI te priprema smjernice za odgovorno korištenje alata UI, dok je Sveučilište u Zadru u suradnji s Hrvatskom udrugom za UI (CroAI) provelo edukaciju naziva “AI se educiraj”, s ciljem upoznavanja sudionika s osnovama UI, njezinim mogućnostima te etičkim izazovima, posebice u kontekstu obrazovanja. Na fakultetima je sve prisutnija upotreba alata UI. FER primjerice koristi alat Branku za olakšavanje upisa studenata na fakultet, dok se na filozofskim fakultetima u velikoj mjeri koriste različiti alati za pomoć u pisanju i kreiranju sadržaja. Prepoznata je i potreba za pokretanjem obrazovnih programa o primjeni UI. U akademskoj godini 2024./2025. Pravni fakultet u Zagrebu započeo je s izvođenjem Programa cjeloživotnog obrazovanja „Koristi i rizici modernih tehnologija za starije osobe“, namijenjenog stručnjacima koji rade u sustavu skrbi, a u planu je i uvođenje programa „UI u pravu i praksi“. Sveučilište Sjever je uvelo kolegij „UI u odnosima s javnošću“, koji omogućuje stjecanja znanja o primjeni UI alata u komunikacijskim strategijama.
Tijekom 2024. godine UI se počela uvoditi i primjenjivati u državnim tijelima. MPUDT je uvelo sustave UI kod anonimizacije i objave sudskih odluka (sustav ANON dostupan je od 1. siječnja 2025. na poveznici https://odluke.sudovi.hr/ s ciljem povećanja transparentnosti rada pravosuđa. Koristi se i sustav za automatsku dodjelu spisa, a raspisana je i javna nabava sustava tonskog snimanja i automatske transkripcije sudskih rasprava. Najavljen je i projekt „Predvidive sudske odluke“ u kojemu će građani unošenjem ključnih riječi i činjenica moći dobiti odgovor o mogućoj uspješnosti u sporu s ciljem smanjenja broja novih predmeta na sudovima. HZZ kroz NPOO razvija sustav kojim bi se ubrzao i automatizirao proces uparivanja posloprimaca s objavljenim oglasima, a čime bi se bolje prognoziralo zapošljavanje te sprječavala dugotrajna nezaposlenost. HZMO je automatizirao postupak ostvarivanja prava na nacionalnu naknadu za starije osobe.
U prosincu 2024. godine stupile su na snagu izmjene Zakona o sigurnosti prometa na cestama kojim se, između ostaloga, uređuje obavljanje djelatnosti automatiziranog cestovnog prijevoza putnika bez vozača, tzv. autonomnih vozila, koju funkciju u potpunosti preuzima UI. Ova vozila imaju za cilj smanjiti broj prometnih nesreća uzrokovanih ljudskim greškama te poboljšati mobilnost i kvalitetu života ljudi koji ne mogu voziti, poput starijih i nemoćnih, osoba s invaliditetom ili bez vozačke dozvole.
Digitalni asistent koji daje podršku klijentima uz pomoć UI (chatbot) razvijen je za šest e-usluga u pravosuđu te za interne potrebe Porezne uprave, a koristi se i u financijskom i sektoru osiguranja, čime je automatizirana korisnička podrška, ubrzano je vrijeme potrebno za dobivanje odgovora te je omogućena stalna dostupnost. Prema podacima HNB-a, kreditne institucije koriste jednostavne modele strojnog učenja pri donošenju odluka u svrhu otkrivanja prijevara, procjene kreditnog rizika i otkrivanja pranja novca, ali su sustavi objašnjivi i uključuju ljudski nadzor. Isto je važno jer korištenje ovih (polu)automatiziranih sustava za nadzor transakcija u borbi protiv pranja novca i financiranja terorizma, zbog mogućih grešaka u sustavu može dovesti do negativnih posljedica za građane.
S ciljem unaprjeđenja učinkovitosti rada liječnika te boljih ishoda operativnih zahvata i veće kvalitete liječenja, u KBC Zagreb je u 2024. godini nabavljen novi robotski kirurški sustav „Da Vinci“ utemeljen na UI. Koristi se i aplikacija za analizu podataka za rani probir karcinoma pluća i specijalizirani onkološki sustav za preciznu pripremu primjene radio terapije, kao i sustav za unaprjeđenje rada liječnika patologa. Projektima iz NPOO-a su u KBC-u Sestre milosrdnice implementirani robotizirani uređaji, ali se ne koriste automatizirani procesi liječenja.
O istraživačkim aktivnostima na području UI u medicini i biomedicini, oglašavanju i glazbi, robotici te primjeni višerobotskih sustava za operacije nadzora i intervencija na moru, bilo je riječi na 2. hrvatskom simpoziju o UI u organizaciji HAZU-a. Na Simpoziju je predstavljen projekt konzorcija AI4Health.Cro naziva „Umjetna inteligencija za pametno zdravstvo i medicinu“. U njemu su razvijeni sustavi UI za primjenu u zdravstvu koji ubrzavaju upis medicinske dokumentacije, sustav za automatsko otkrivanje anomalija u EKG signalima te za pomoć pacijentima u pridržavanju terapije za kroničnu hipertenziju. Na Simpoziju je istaknuto da nedostaje edukacija o UI koje nisu samo tehničke prirode te da postoji potreba za stvaranjem multidisciplinarnih timova, kao i kreiranjem kvalitetnih podataka.
AZOP i HGK su u 2024. godini provodile edukacije o UI za poduzetnike radi podrške u digitalnoj transformaciji hrvatskog gospodarstva.
Kako sustavi UI mogu imati posljedice na prava građana, potrebno je o rizicima UI na ljudska prava i nediskriminaciju educirati službenike i zaposlenike koji koriste ove alate, ali i osobe zadužene za uvođenje ovih sustava.
Vrlo značajno je što je 1. kolovoza 2024. godine stupila na snagu Uredba (EU) 2024/1689 Europskog parlamenta i Vijeća od 13. lipnja 2024. o utvrđivanju usklađenih pravila o umjetnoj inteligenciji (Uredba o UI). U veljači 2025. godine počinju biti obvezujuće njezine odredbe koje se odnose na zabranjene prakse, kao što su primjerice biometrijska kategorizacija, prepoznavanje emocija na radnom mjestu i u obrazovnim ustanovama, društveno bodovanje i sustavi za manipulaciju ljudskim ponašanjem. EK je objavila neobvezujuće smjernice u cilju usklađivanja s Uredbom te mjere koje se odnose na promociju pismenosti o UI. Rok za implementaciju Uredbe je 26. svibanj 2025. godine, a Zakon o provedbi Uredbe o UI planira se uputiti u proceduru Vlade RH do kraja prvog tromjesečja 2025. godine. U trenutku pripreme ovog Izvješća pučka pravobraniteljica dobila je poziv za imenovanje člana i zamjenika člana radne skupine koja će raditi na izradi Zakona.
| Preporuka 113.
Vladi Republike Hrvatske, da tijelima u RH nadležnim za zaštitu temeljnih prava iz čl. 77. st. 2. Uredbe o umjetnoj inteligenciji osigura ljudske, financijske i tehničke resurse za adekvatno i pravodobno izvršavanje obveza |
Zbog učinkovitog izvršavanja ovlasti tijela navedenih u čl. 77 Uredbe, definirani su novi mehanizmi suradnje tijela javne vlasti u pogledu visokorizičnih sustava UI, koji se odnose na zaštitu temeljnih prava, uključujući pravo na nediskriminaciju. MPUDT je, ispunjavajući obvezu iz čl. 77. st. 2. Uredbe, EK dostavilo popis tijela nadležnih za zaštitu temeljnih prava, te su, osim pučke pravobraniteljice, kao tijelo iz čl. 77. st.2. imenovani PzD, POSI, PRS, AZOP, DIP i AEM. U skladu s Uredbom, pri ispunjavanju mandata ta tijela su ovlaštena zatražiti i pristupiti svoj dokumentaciji izrađenoj ili vođenoj na temelju Uredbe te ju dobiti na pristupačnom jeziku i u pristupačnom formatu. S obzirom na specifična znanja i kompetencije koje Uredba zahtijeva vezano uz korištenje visokorizičnih sustava UI, potrebna je suradnja između navedenih institucija, ali i osiguranje adekvatnih ljudskih, financijskih i tehničkih resursa za adekvatno i pravodobno izvršavanje obveza temeljem ove Uredbe.
Ured za UI pri EK objavio je dokument radi lakše interpretacije pojedinih odredaba Uredbe, a obzirom da Uredba omogućava kompanijama samoprocjenu visine rizika za temeljna prava. To je problematično zbog nedostatka stručnog znanja programera o ljudskim pravima i ishoda koje bi primjena UI imala na njih. Zbog toga EK razvija tehničke standarde s ciljem lakšeg usklađivanja s obvezama iz Uredbe, kao i smjernice za provedbu procjene rizika i učinaka visokorizičnih sustava na ljudska prava, tzv. FRIA. S obzirom na potencijalno štetne učinke UI na ljudska prava, državna tijela i privatne kompanije, odnosno trgovačka društva, trebali bi provoditi procjenu rizika pri izradi sustava, prije uvođenja tehnologije, te periodično tijekom korištenja UI. Poštujući pravo građana na pristup informacijama o načinu rada i rizicima koje takvi sustavi predstavljaju, ove je procjene potrebno javno objaviti.
Pritom je važno naglasiti da je u procjenu učinaka na ljudska prava potrebno uključiti tzv. nulto pitanje, koje se odnosi na svrhu i cilj uvođenja sustava UI odnosno pitanje koja treba postaviti je treba li za nešto uopće koristiti UI. Tijela koja razvijaju i uvode sustav trebala bi razmotriti njegovu prikladnost i adekvatnost za svrhu za koju je namijenjen, odnosno utvrditi je li automatizacija bolja opcija od neautomatiziranog procesa, kao i prednosti te eventualne posljedice korištenja. Ukoliko sustav UI ne služi svrsi ili nije u skladu s ljudskim pravima, trebalo bi odustati od njegova korištenja.
EU je 23. listopada 2024. godine usvojila Direktivu (EU) 2024/2853 Europskog parlamenta i Vijeća o odgovornosti za neispravne proizvode i stavljanju izvan snage Direktive Vijeća 85/374/EEZ, koju je EK u veljači 2025. godine povukla, što je zabrinjavajuće. Nova pravila trebala su izričito pokrivati proizvode poput softvera, sustava UI ili digitalnih usluga povezanih s proizvodima te bi potrošači lakše ostvarivali naknadu štete na sudu.
Od lipnja 2024. godine počela su se primjenjivati i nova pravila EU o stavljanju na raspolaganje visokovrijednih skupova podataka za poticanje UI i inovacija (geolokacijski, prometni, meteorološki, podaci iz područja okoliša itd.) te je sukladno planu zakonodavnih aktivnosti za 2025. godinu u IV. tromjesečju predviđeno donošenje izmjena Zakona o pravu na pristup informacijama, kojima bi se transponirala navedena Direktiva.
Sustavi UI mogu pomoći i u postizanju ciljeva održivosti, ali istovremeno modeli koji su trenirani s velikom količinom podataka troše puno energije i emitiraju veliku količinu CO2, što zabrinjava zbog održivosti i utjecaja na okoliš. Stoga je potrebno uspostaviti standarde mjerenja potrošnje energije, CO₂ emisija, vode, upotrebe minerala za hardver i stvaranja elektroničkog otpada te povećati transparentnost sustava UI, o čemu su preporuke dali UNESCO i OECD.
| Preporuka 114.
Vladi Republike Hrvatske, da ratificira Okvirnu konvenciju o UI, ljudskim pravima, demokraciji i vladavini prava Vijeća Europe Preporuka 115. Ministarstvu pravosuđa, uprave i digitalne transformacije, da izradi Nacionalni plan za razvoj umjetne inteligencije |
VE je u svibnju 2024. godine usvojilo Okvirnu konvenciju o UI, ljudskim pravima, demokraciji i vladavini prava, prvi pravno obvezujući međunarodni instrument o UI, a 5. rujna ju je potpisalo sedam država članica (Velika Britanija, Norveška, Island, Andora, Gruzija, Moldavija i San Marino), EU, zatim SAD i Izrael, koje nisu članice VE, te naknadno Crna Gora. S obzirom da Konvencija nadopunjuje postojeće međunarodne standarde o ljudskim pravima, demokraciji i vladavini prava te pravne praznine koje mogu proizaći iz brzog tehnološkog napretka, radi usklađivanja s njezinim načelima i obvezama preporuča se da RH ratificira Okvirnu konvenciju.
Odbor za UI VE donio je u studenom neobvezujuće smjernice za strukturirani pristup procjeni rizika i učinaka UI sustava na ljudska prava, demokraciju i vladavinu prava (HUDERIA), koje mogu koristiti javni i privatni akteri tijekom cijelog životnog ciklusa sustava UI, a Odbor stručnjaka za UI, jednakost i diskriminaciju (GEC/ADI-AI) započeo je s izradom nacrta preporuka o utjecaju UI na jednakost. Preporuke se temelje na „Studiji o utjecaju sustava UI, njihovom potencijalu za promicanje jednakosti, uključujući ravnopravnost spolova i rizicima koje mogu izazvati u vezi s diskriminacijom”, o kojoj smo pisali u Izvješću za 2023. godinu, i rezultatima rada Odbora za umjetnu inteligenciju (CAI), a posebno Okvirne konvencije. Rok za izradu preporuka je kraj 2025. godine.
Na nacionalnoj razini 2024. godine je usvojen Program Politike „Put u digitalno desetljeće 2030.“ s ciljem digitalne transformacije društva, posebice digitalnih vještina građana i službenika, javnih usluga te povećanja primjene digitalnih tehnologija i uspostavljanja širokopojasne infrastrukture u svim naseljenim područjima. U e-Savjetovanju smo istaknuli da je potrebno posvetiti pozornost na rizike od diskriminacije, osobito kod primjene strojnog učenja i UI, te razvijati svijest o UI, prednostima i potencijalnim rizicima na ljudska prava. Naši prijedlozi i mišljenja nisu prihvaćeni, s obrazloženjem da će se svi izazovi UI definirati Nacionalnim planom za UI. Unatoč našim višegodišnjim preporukama te činjenici da je Uredba o UI stupila na snagu, RH još nije donijela Nacionalni plan o UI.