Zakaj pionirji umetne inteligence tako glasno svarijo, da se razvija prehitro

Tehnologija Andreja Lončar 13. septembra, 2026 10.41 > 13. septembra, 2026 10.42
featured image

Izvršni direktor podjetja Anthropic svari, da lahko umetna inteligenca uide izpod nadzora, OpenAI pa zaradi varnostnih tveganj odlaga prvo javno ponudbo delnic. Kaj se dogaja v panogi umetne inteligence?

13. septembra, 2026 10.41 > 13. septembra, 2026 10.42

Podjetje OpenAI letos ne bo vstopilo na borzo, je v pogovoru za revijo Fortune dejal izvršni direktor Sam Altman, pri čemer je navedel varnostne pomisleke v zvezi z umetno inteligenco.

Altman se je pri obrazložitvi naslonil na izjavo Evana Hubingerja, enega vodilnih raziskovalcev za varnost umetne inteligence pri konkurenčnem podjetju Anthropic, ki je ta teden ocenil, da obstaja več kot 10-odstotna verjetnost, da bo razvoj tehnologije v naslednjih desetih letih pripeljal do scenarija, v katerem bi lahko umetna inteligenca izumrla oziroma ubila vse ljudi.

Šef OpenAI je za Fortune tako stopnjo tveganja označil za nesprejemljivo.

“Dejansko menim, da glede na vse, kar se dogaja na področju varnosti, zdaj ni primeren trenutek za prvo javno ponudbo,” je Altman dejal v pogovoru za poslovno revijo Fortune in dodal, da niso pod časovnim pritiskom glede vstopa na borzo.

Dejal je, da mora biti OpenAI sposoben sprejemati odločitve, ki niso v interesu delničarjev – vključno z “začasno ustavitvijo” hitrega razvoja umetne inteligence, da bi dosegli “večji napredek pri varnosti in usklajenosti”.

Šef Anthropica pozval k večjemu nadzoru

Tudi izvršni direktor podjetja Anthropic Dario Amodei pa je včeraj v zapisu na spletni strani pozval k upočasnitvi razvoja umetne inteligence, pri tem pa izpostavil potrebo po večjem nadzoru nad prodorno tehnologijo.

“Če bomo z umetno inteligenco ravnali previdno, lahko postane najnovejši v dolgi vrsti tehnoloških čudežev, ki so človeštvo povzdignili in plemenitili. Toda tako kot mnoge tehnologije pred njo, tudi umetna inteligenca prinaša tveganja, ki so zaradi njene izjemne moči resna,” je navedel.

Omenil je tveganje izgube nadzora nad sistemi umetne inteligence, njene zlorabe za kibernetske napade in bioterorizem ter resne gospodarske motnje. “Tekma za najnižjo ceno, ki jo spodbujajo komercialni interesi, lahko ta tveganja še zaostri,” je navedel Amodei.

Kot je opozoril, se je razvoj umetne inteligence v zadnjih mesecih drastično pospešil, modeli umetne inteligence pa so postali sposobni samostojnega izboljševanja. “Če tega ne bomo nadzorovali, bi lahko razvoj prehitel našo sposobnost razumevanja in nadzora teh sistemov,” je opozoril.

Poziv Amodeija sta podprla tako Altman kot tudi Elon Musk, ki je na omrežju X napisal: “Dario ima prav.”

Raziskovalec pri Anthropicu: Podjetja so neodgovorna

Izjave šefov Open AI in Anthropica prihajajo le nekaj dni po tem, ko je raziskovalec pri podjetju Anthropic Jacob Coxon napovedal odhod iz kalifornijskega zagonskega podjetja. V zapisu na družbenem omrežju X je podjetje obtožil podcenjevanja eksistencialnega tveganja, ki ga umetna inteligenca predstavlja za človeštvo.

Coxon je opozoril, da vodilni razvijalci umetne inteligence ravnajo neodgovorno in se igrajo s človeškimi življenji ter da bodo kmalu na voljo računalniški sistemi, katerih zmogljivosti bodo presegle človeške.

Coxon je svoje stališče pojasnil v dolgem zapisu na družbenem omrežju X:

Julija je več kot 1.200 zaposlenih iz podjetij OpenAI, Anthropic, Google in Meta pozvalo ameriško vlado, naj podpre mednarodno usklajevanje za upočasnitev razvoja umetne inteligence. Administracija ameriškega predsednika Donalda Trumpa vztraja pri blagi regulaciji panoge.

A sveži pozivi iz panoge povečujejo pritisk na ameriško vlado, ki jo sicer k uvedbi novih varnostnih ukrepov na področju umetne inteligence pozivajo poslanci demokratov in tudi Trumpovih republikancev. Med drugim zahtevajo, da vodilni predstavniki tehnoloških podjetij pričajo pred komisijo, potem ko je prišlo do vala kibernetskih napadov, izvedenih brez neposrednega človeškega nadzora.

Laboratoriji pravijo vladam: ‘Zelo verjetno bomo ubili vse ljudi; prosim, ustavite nas.’ Vlade pa odgovarjajo: ‘Ali vam lahko ponudimo davčno olajšavo? Ali vam zgradimo podatkovni center?’ Morda bodo vlade nekega dne dojele, da njihovi volivci raje ne bi umrli.

Stuart Russell, profesor umetne inteligence na Univerzi Kalifornije v Berkeleyju

Kaj se torej dogaja

Opozorila o nevarnosti prevlade umetne inteligence sicer niso nova, sta pa zdaj hiter napredek in ostro rivalstvo med podjetjema Anthropic in OpenAI okrepila pozive k zamejitvi razvoja te tehnologije, piše britanski poslovni časnik FT.

Glavna skrb pri razvoju tehnologije je povezana z ugotovitvami, da agenti umetne inteligence delujejo samostojno vse dlje, se usklajujejo v ‘rojih’ in kažejo napredne hekerske sposobnosti, piše FT. Kot primer navajajo platformo Hugging Face, v katero so julija letos na lastno pest vdrli modeli umetne inteligence podjetja OpenAI.

Kot piše časnik, so govorili z več kot 20 vodilnimi raziskovalci na področju umetne inteligence, vlagatelji, akademiki in političnimi osebnostmi, ki se strinjajo, da je napredek hitrejši od pričakovanj. Podjetja, ki razvijajo orodja s področja umetne inteligence, pa so v vse močnejši bitki na trgu.

“Ni dvoma, da konkurenca med podjetji povzroča, da iščejo bližnjice pri varnosti,” je za FT dejal Stuart Russell, profesor umetne inteligence na Univerzi Kalifornije v Berkeleyju, ki opozarja na neskladje med opozorili iz panoge in odzivi političnih odločevalcev.”Laboratoriji pravijo vladam: ‘Zelo verjetno bomo ubili vse ljudi; prosim, ustavite nas.’ Vlade pa odgovarjajo: ‘Ali vam lahko ponudimo davčno olajšavo? Ali vam zgradimo podatkovni center?’ Morda bodo vlade nekega dne dojele, da njihovi volivci raje ne bi umrli.”

Primer Hugging Face kot svarilo

Tudi Amodei je v včerajšnjem zapisu opozoril na primer Hugging Face.

“Ta incident je enostavno prezreti, saj ni bil nihče poškodovan in je bila gospodarska škoda minimalna, vendar bi po mojem mnenju roj, ki bi imel večje zmogljivosti, lahko povzročil katastrofalno škodo,” je zapisal.

“Glede na vse hitrejši razvoj zmogljivosti umetne inteligence me skrbi, da bi tak roj v šestih do dvanajstih mesecih lahko prevzel nadzor nad celotnim internetom, kar bi lahko povzročilo škodo v višini več sto milijard dolarjev.”

Dodal je, da so se podobni, čeprav manj resni incidenti so se zgodili po celotni panogi, tudi v podjetju Anthropic. “Menim, da je dolžnost vsakega pionirskega podjetja na področju umetne inteligence, da ravna, kot da bi se ta incident zgodil njim.”

Najmočnejša in najmanj obvladljiva tehnologija

Tristan Harris, nekdanji zaposleni pri Googlu in soustanovitelj Centra za humano tehnologijo, je za FT dejal, da se ne bi smeli toliko osredotočati na to, ali bo tehnologija uničila vse človeštvo, temveč na to, ali smo na nevarni poti.

“Trenutno uvajamo najmočnejšo, najmanj obvladljivo in najbolj neprevidljivo tehnologijo, kar smo jih kdaj izumili, [ki] že kaže prav vsako od znanih znanstvenofantastičnih lastnosti,” je pojasnil ter dodal, da ta proces vodi “peščica pol-egoistično-verskih voditeljev iz Silicijeve doline, ki verjame, da ustvarjajo boga, in ji najslabši možni scenarij ne predstavlja težave, obenem pa je deležna spodbud, da varčuje na račun varnosti. To je dobesedno recept za katastrofo.”