Slovenec, ki je prepričal Google in prišel v svetovni elitni laboratorij

Pred desetimi leti je, takrat še Google, prevzel londonsko zagonsko podjetje DeepMind, ki se je ukvarjalo z umetno inteligenco. Danes Google DeepMind velja za enega najbolj vročih laboratorijev na področju umetne inteligence na svetu. Ta je denimo pred kratkim predstavil model Gemini, ki menda lahko rešuje matematične probleme, razume slike in zvok ter celo posnema človeško razmišljanje.

V Google DeepMindu dela približno dva tisoč ljudi, v njem se je leta 2019 po zahtevnem postopku zaposlil tudi slovenski znanstvenik dr. Žiga Avsec, ki z ekipo rešuje težje znanstvene probleme v biologiji. Avsec je v Ljubljani diplomiral iz fizike, na univerzi Ludwig-Maximilian v Münchnu je magistriral iz biofizike, doktoriral pa je na fakulteti za informatiko Tehniške univerze, prav tako v Münchnu. Za Forbes Slovenija je spregovoril o svojem delu, zakaj je to pomembno in kako je delati v enem najbolj pomembnih laboratorijev umetne inteligence na svetu.

Kako ste prišli v podjetje, ki je eno svetovnih središč razvoja najnovejših tehnologij, kaj je bilo za to potrebno?

Podjetje mi je prišlo na radar, ko je bila objavljena prva različica modela AlphaFold, ki napoveduje 3D-strukturo proteinov iz aminokisline proteina. To je bil prvi projekt DeepMinda na področju naravoslovnih znanosti. Bil mi je zelo zanimiv, saj sem tudi sam opravljal doktorat na področju strojnega učenja v genomiki. Opazil sem, da zaposlujejo znanstvenike na tem področju, in se prijavil. Sledila je serija intervjujev. To je bilo kar stresno obdobje, saj sem hkrati pisal zadnji članek za doktorat, doktorsko disertacijo in imel intervjuje za službo pri DeepMindu. Na srečo se je vse dobro končalo, saj so me nekaj dni po oddaji doktorske naloge obvestili, da sem dobil službo.

Kako so potekali pogovori za službo?

Imel sem več kot deset pogovorov, natančne številke se niti ne spomnim več, z različnimi predstavniki podjetja z različnih področij. Ljudje s tehničnega področja so preverjali moja znanja iz programiranja, osnov matematike, osnov strojnega učenja. Tiste z bolj znanstvenega področja je zanimalo moje preteklo raziskovanje in ideje za prihodnost. S kadrovskega oddelka jih je zanimalo, kaj me motivira, kaj me zanima, kaj bi rad počel na DeepMindu in podobno. Večina intervjujev je na začetku potekala prek spleta. Nato so me povabili v London, kjer sem imel v enem dnevu drugega za drugim več razgovorov. Celotna procedura je trajala kak mesec.

Kakšen je vaš delovnik?

V grobem je razdeljen na dva dela. En del so sestanki oziroma delo z ekipo, katere vodja sem. Uskladimo se, kdo bo kaj delal, izmenjamo ideje. Drugi del pa je programiranje, saj kljub obveznostim kot vodja še vedno poskušam dan ali dva na teden pisati kodo in brati članke, da sem v stiku s samo znanostjo.

Opazil sem, da zaposlujejo znanstvenike s področja genomike, in se prijavil. Sledila je serija intervjujev. To je bilo kar stresno obdobje.

Žiga Avsec

Delati začnem med deveto in deseto uro, končam običajno okoli sedmih, potem pa včasih še zvečer poženem računalnik, da programi tečejo čez noč. Pridejo seveda obdobja, kot se dela več, na primer pred objavo članka, včasih pa manj. Delovnik je zelo fleksibilen, čez vikend poskušam ne delati.

Imate tudi možnost dela od doma?

Imamo sistem tri plus dva, kar pomeni, da smo lahko tri dni v pisarni, dva pa doma. Sam običajno delam od doma en dan na teden, ker mi delo v pisarni ustreza, v njej so zelo dobri pogoji.

Kako bi preprosto razložili, kaj delate oziroma raziskujete?

Na kratko, z umetno inteligenco poskušamo bolje razumeti človeški genom. Ta vključuje zapis, ki celici denimo pove, kako se razvija celoten organizem, katere proteine mora proizvesti in kdaj. Poskušamo razumeti zaporedje v genomu. Vsaka celica v našem telesu ima zapis DNK, ki je dolg tri milijarde črk in je sestavljen s štirimi črkami – A, C, G ali T. Za primerjavo, v eni celici je zapis, dolg za eno celo omaro knjig. V njem so zapisane informacije, ki jih podedujemo od staršev.

Če razumemo zaporedje v genomu, nam to omogoča, da bolje razumemo spremembe v tem zaporedju (ko se na primer A spremeni v T), s čimer lahko odkrijemo, katere mutacije lahko privedejo do posameznih bolezni in katere nimajo nikakršnih posledic za zdravje. To je uporabno v medicini, genomiki in tudi raziskovanju na splošno.

Ta zapis je zelo težko razvozlati, saj se je oblikoval skozi evolucijo in mnogo različnih organizmov. S pomočjo umetne inteligence pa lahko to lažje razumemo in izdelamo napovedne modele.

Kaj bi lahko vaše raziskave spremenile v praksi v medicini in farmaciji?

Ena uporabnost je pri redkih dednih boleznih, pri katerih običajno ne vemo, katera mutacija je tista – praviloma je ena, ki povzroči bolezen. Ko pride do redke dedne bolezni, poskušajo znanstveniki ugotoviti, katera od več tisoč je tista mutacija, ki je vzrok bolezni. Če jo odkrijejo, se s tem lažje postavi diagnoza in lahko se tudi lažje izkristalizira, katera terapija zdravljenja bi bila najustreznejša.

Druga uporabnost naših raziskav je v farmacevtski industriji, kjer je velik fokus na odkrivanju genov, ki so povezani s posamezno boleznijo, saj se poskuša z zdravili targetirati te gene. S svojimi modeli lahko izboljšamo iskanje teh genov.

Se povezujete tudi z industrijo?

Sodelujemo z inštituti, vključno z Genomics Englandom, ki se ukvarjajo z redkimi dednimi boleznimi in jim pomagamo z razvojem modelov, ki sem jih omenil. Sodelujemo pa tudi z Alphabetovim podjetjem za razvoj zdravil Isomorphic Labsom.

Kako na vaša raziskovanja vpliva silovit razvoj umetne inteligence v zadnjih letih?

Napredek umetne inteligence je neverjeten že v zadnjih desetih letih, zadnje leto pa je to prišlo v zavest javnosti, ljudje jo čedalje bolj uporabljamo, sploh jezikovne modele, kot sta ChatGPT in Gemini.

Sam bi umetno inteligenco razdelil na dva različna tipa. Prvi tip je umetna inteligenca, ki operira v istih modalnostih kot človek, na primer jezik, slike in zvok. To so modeli, ki se učijo na velikih količinah podatkov s spleta.

Drugi tip pa so specializirani modeli, kot je že omenjeni AlphaFold in ki se učijo z znanstvenimi podatki. Razvoj velikih jezikovnih modelov v zadnjih letih ima manjši vpliv na naše delo pri razvoju specializiranih modelov, saj sta si ta pristopa dovolj različna.

Kje črpate podatke za svoje raziskave?

Modele učimo na realnih eksperimentalnih podatkih, ki jih najdemo v večjih javno dostopnih bazah. Za denimo AlphaFold, model, ki napoveduje 3D-strukturo proteinov iz aminokisline proteina, obstaja podatkovna baza Protein Databank, v katero znanstveniki že od osemdesetih let prejšnjega stoletja dodajajo svoje podatke vsakič, ko izmerijo strukturo proteina. Tako je nastala ogromna baza, iz katere črpamo podatke.

V Google DeepMindu mi je všeč, da si v centru dogajanja. Imamo velike računske zmožnosti, zelo dobre inženirje, veliko talentiranih ljudi, ki so ambiciozni.

Žiga Avsec

Za članek o modelu AlphaMissense, ki smo ga objavili lani v reviji Science, smo podatke, katere mutacije so pogoste v človeški populaciji, uporabili podatkovno bazo gnomAD, kjer so podatki iz različnih raziskovalnih skupin. Tretja baza je projekt ENCODE, ki je trajal dvajset let in v katerem so merili različne lastnosti nekodirajočega dela genoma – tako se je nabrala ogromna količina podatkov.

Znanstveniki lahko dostopajo do teh podatkov, ki so javni, vendar sami velike količine teh podatkov ne morejo prebrati v kratkem času, z umetno inteligenco pa lahko, in iz tega izdelamo vzorce.

Ali se pri svojem delu soočate z etičnimi dilemami, kako jih rešujete?

Tudi z etičnimi vprašanji se srečujemo. V Google DeepMindu imamo zelo dobro skupino, ki nam svetuje. Gre za vprašanja, kot so, ali lahko uporabimo določene podatke, ali so bili ti podatki etično pridobljeni. Pred objavo izsledkov raziskave recimo pomislimo, ali bi kdo lahko zlorabil naše modele in kakšne bi lahko bile posledice. Vprašanja rešujemo sproti skozi celoten projekt.

Ekipa, ki nam svetuje, je sestavljena iz različnih profilov. Med njimi so pravniki, ljudje, ki se ukvarjajo z etičnimi vprašanji, raziskovalci z različnih področij.

Pri objavi modela AlphaMissense na primer smo naredili poglobljeno analizo, ki so jo opravili pri inštitutu Google DeepMind in drugi strokovnjaki – vključno z zunanjim svetovalcem za biološko varnost, da bi ocenili morebitne pozitivne in negativne vplive.

Kateri so vaši največji dosežki?

Odkar sem v Google DeepMindu, je moja ekipa razvila dva večja modela. AlphaMissense je model, ki napoveduje, katere mutacije so patogene oziroma potencialno patogene. Pozorni smo bili na mutacije, ki spremenijo sekvenco aminokislin v proteinu. Članek o tem je bil lanskega septembra objavljen na naslovnici revije Science, kar je velik dosežek. Omenjeni model je uporaben pri analizi redkih dednih bolezni.

Drugi uspeh je model Enformer, ki na podlagi zelo dolgih sekvenc napoveduje lastnosti človeškega in mišjega genoma. S tem pomaga ljudem, da bolje razumemo mutacije, ki so locirane v nekodiranem delu genoma.

Pred tem pa smo v času mojega doktorata izdali članek o BPNetu. Gre za nevronsko mrežo, ki genomske podatke o vezavi proteinov na DNK interpretira na zelo veliki resoluciji. Ti modeli se zdaj uporabljajo za interpretacijo podatkov projekta ENCODE, ki sem ga omenil prej.

Kaj je vaš cilj, da bi raziskali, dognali?

Na splošno je razumevanje človeškega genoma še vedno v zgodnjih fazah, saj je problem zelo kompleksen. Velik cilj oziroma izziv v celotnem raziskovalnem področju je ugotoviti, kakšne so posledice različnih mutacij na različne celične procese. To je sveti gral celotnega področja. Če bi rešili ta problem, bi veliko stvari lahko izboljšali, tako v medicini kot tudi pri razvoju zdravil.

Za zdaj imamo mir pri svojem delu in razvoju. Delam na področju znanosti, ki mogoče trenutno ni tako pod žarometi, kot so jezikovni modeli.

Žiga Avsec

Eno velikih vprašanj je, kaj mutacija na določenem kromosomu pomeni za človeka. To napovedati natančno za poljubno mutacijo je zelo težek znanstveni problem. Za rešitev je potrebno znanje molekularne biologije, saj mutacije spremenijo molekularni proces v celici. Ravno to dela ta problem zares zahteven. Veliko procesov lahko na to vpliva.

Kako v Google DeepMindu sodelujete ekipe med seboj, izmenjujete znanje?

Vsaka ekipa ima svoj cilj. Če veš, da je katera druga ekipa uporabila tehniko, ki bi lahko potencialno pomagala tudi tebi, jih vprašaš, kaj je pri njih delovalo. Izhajamo iz problema in potem gledamo, kakšne rešitve so mogoče drugi uporabili, in vidimo, ali bi nam lahko pomagale.

Je med ekipami tudi tekmovalnost, recimo za sredstva?

Ne. Različne ekipe rešujejo različne probleme. Prostora je tako za večje strateške projekte kot tudi za manjše, bolj nišne eksperimente.

Kaj vse raziskujejo ekipe v Google DeepMindu?

Spekter je zelo širok. Morda najbolj poznan projekt je bil jezikovni model Gemini, ki je multimodalen, kar pomeni, da lahko razume tekst in slike. Za razvoj takšnega modela so potrebne različne ekipe z različnimi znanji.

Kateri drugi projekti so še odmevni?

V oddelku znanosti je bil odmeven še projekt AlphaFold, kjer so napovedovali 3D-strukturo proteinov iz sekvenc aminokislin. Pred kratkim je bil izdan članek o napovedovanju vremena s pomočjo umetne inteligence. Potem so še primeri igranja iger, kot so Go, Atari, StarCraft, ali pa reševanje osnovnih matematičnih problemov, kot je hitro množenje matrik.

Kakšen profil ljudi je v vaši ekipi?

Zelo različen. Zelo sem hvaležen, da je tako heterogena. Imamo ljudi, ki so odlični v programiranju, do posameznikov, ki se spoznajo na strojno učenje ali pa so dobro seznanjeni z znanostjo problemov, ki jih rešujemo. V našem primeru sta to biologija in genomika. Ekipa je kar multidisciplinarna, ker rešujemo zelo kompleksne probleme.

V zadnjem letu, odkar je prišel na trg ChatGPT, je umetna inteligenca bolj v zavesti ljudi. Tudi razprav je več, največkrat pa se delijo na dve skrajnosti – tehnofobe in tehnofrike. Kako vi vidite razvoj tega področja?

Obe strani moramo jemati resno. Umetna inteligenca nam lahko prinese ogromno dobrega. Z njeno pomočjo lahko najdemo zdravila za hude bolezni, lahko smo bolj produktivni in se nam ni več treba ukvarjati s stvarmi, ki so rutinske, ampak se lahko usmerimo k bolj kreativnemu delu.

Seveda pa so tudi področja, na katerih moramo biti previdni. Pri nas je veliko poudarka, da iščemo pravo ravnotežje med obema poloma, torej, da stvari razvijamo odgovorno.

Kaj bi lahko bila naslednja velika stvar v umetni inteligenci?

Težko rečem, kaj je naslednja velika stvar. Umetna inteligenca na področju znanosti ima zelo velik potencial, saj se z njo lahko spopadamo z vedno bolj kompleksnimi problemi in nam omogoča videti neke vzorce, ki jih morda sicer ne bi mogli. Možnosti za izboljšave je še zelo veliko. To je tista stvar, zaradi katere rad pridem v službo, saj mislim, da lahko k človeštvu doprinese dobro.

Delujete v laboratoriju, ki je eden najpomembnejših na področju razvoja umetne inteligence. Dobivate ponudbe za službo od konkurence?

Dobivam ponudbe, ampak sem zadovoljen tu, kjer sem.

Med tehnološkimi podjetji je ostra tekma na področju umetne inteligence. Čutite časovni pritisk pri svojem delu?

Za zdaj imamo mir pri svojem delu in razvoju. Delam na področju znanosti, ki mogoče trenutno ni tako pod žarometi, kot so jezikovni modeli.

Pred tremi leti ste v enem od intervjujev dejali, da je vaše delo v tujini začasno. Kakšen projekt v Sloveniji bi vas pritegnil nazaj?

Slovenijo imam zelo rad in je fantastična država, s prijaznimi ljudmi in izjemno lepo naravo. Težko bi izpostavil, katera stvar bi me pritegnila. V Google DeepMindu mi je trenutno všeč, da si v centru dogajanja. Imamo velike računske zmožnosti, zelo dobre inženirje, veliko talentiranih ljudi, ki so ambiciozni, ob tem pa je okolje razmeroma prijazno. Veliko znanja je z različnih področij, ki se jih potem da uporabiti pri problemih, ki jih mi rešujemo.

Kaj delate, ko ne delate?

Trenutno imam majhnega otroka, ki mu posvečam precej časa, veseli me tudi plezanje. V mlajših letih sem veliko igral golf, tudi tekmovalno, zdaj samo tu in tam, včasih se ukvarjam tudi s fotografijo.