Kako najbolj znani modeli umetne inteligence spoštujejo nov zakon EU?

Evropska unija se v zadnjih letih ukvarja s sprejemanjem splošnih pravil o umetni inteligenci. Še dodaten pospešek je dobila z izredno priljubljenostjo klepetalnega robota ChatGPT s strani OpenAI. Marca je akt o umetni inteligenci potrdil Evropski parlament, z avgustom pa je v veljavi.

Akt, ki ga je Evropska komisija predlagala aprila 2021, med drugim določa tehnična pravila za razvijalce, ki bi na trg lansirali svoje modele umetne inteligence, in prepoveduje določene prakse. Pri tem sisteme umetne inteligence razvršča od manj do bolj tveganih. Ta razvrstitev za podjetja prinaša bolj ali manj stroga pravila in različne časovnice, do kdaj morajo svoje operacije uskladiti z zakonodajo.

V celoti se bo zakon začel uporabljati 2. avgusta 2026. Do 2. avgusta 2025 – torej v roku enega leta – pa morajo države članice EU implementirati zakon v svoje nacionalne zakonodaje, so sporočili z ministrstva za digitalno preobrazbo.

Kako so se odrezali velikani umetne inteligence?

Švicarsko podjetje LatticeFlow AI in njegovi partnerji iz dveh raziskovalnih inštitutov, ETH Zürich in bolgarskega INSAIT sta predstavila novo orodje, s katerim je možno v desetih kategorijah preverjati orodja umetne inteligence, če so v skladu z obsežnim zakonom o UI, ki bo začel veljati postopoma v naslednjih dveh letih.

Orodje, ki ga je zasnovalo švicarsko zagonsko podjetje LatticeFlow AI in njegovi partnerji iz dveh raziskovalnih inštitutov, ETH Zürich in bolgarskega INSAIT, dodeljuje modelom umetne inteligence ocene med 0 in 1 v več deset kategorijah, vključno s tehnično robustnostjo in varnostjo, piše Reuters.

Na lestvici, ki jo je LatticeFlow objavil v sredo, so modeli, ki so jih razvili Alibaba, Anthropic, OpenAI, Meta in Mistral, prejeli povprečno oceno 0,75 ali več.

Vendar pa je podjetje s programom “Large Language Model (LLM) Checker” odkrilo pomanjkljivosti nekaterih modelov na ključnih področjih.

Pri testiranju diskriminatornega rezultata je program podjetja LatticeFlow modelu “GPT-3.5 Turbo” podjetja OpenAI dodelil razmeroma nizko oceno 0,46. Za isto kategorijo je model Alibaba Cloud prejel le 0,37 točke.

Pri testiranju kibernetskega napada, pri katerem hekerji zlonamerne pozive prikrijejo kot legitimne in tako pridobijo občutljive informacije, je program modelu Meta “Llama 2 13B Chat” dodelil oceno 0,42. V isti kategoriji je model “8x7B Instruct” francoskega zagonskega podjetja Mistral prejel oceno 0,38.

Model “Claude 3 Opus”, ki ga je razvilo podjetje Anthropic, in ga podpira Google, je prejel najvišjo povprečno oceno, 0,89.

Podjetja, ki ne bodo upoštevala zakona o umetni inteligenci, bodo morala plačati globo v višini 35 milijonov evrov ali sedem odstotkov svetovnega letnega prometa.

Kako je zasnovan test?

Test je bil zasnovan v skladu z besedilom zakona o umetni inteligenci in bo razširjen tako, da bo vključeval nadaljnje izvršilne ukrepe, ko bodo ti uvedeni. Podjetje LatticeFlow je sporočilo, da bo program LLM Checker brezplačno na voljo razvijalcem, ki bodo lahko na spletu preverili skladnost svojih modelov.

Izvršni direktor in soustanovitelj podjetja Petar Tsankov je za agencijo Reuters povedal, da so bili rezultati testa na splošno pozitivni in da podjetjem ponujajo načrt, po katerem lahko svoje modele prilagodijo v skladu z zakonom o umetni inteligenci.

“EU še vedno pripravlja vsa merila skladnosti, vendar lahko v modelih že vidimo nekatere vrzeli,” je dejal. “Menimo, da so lahko ponudniki modelov z večjim poudarkom na optimizaciji za skladnost dobro pripravljeni na izpolnjevanje regulativnih zahtev.”

Evropska komisija sicer ne more preverjati zunanjih orodij, vendar je bila obveščena o razvoju programa LLM Checker in ga je opisala kot “prvi korak” pri izvajanju novih zakonov, še dodajajo pri Reutersu.