Slav Petrov
Vice President, Research at Google DeepMind; co-leads Post-Training for Gemini
Themes
Slav Petrov je bugarski istraživač i potpredsjednik za istraživanje u Google DeepMindu, gdje suvodno vodi Post-Training za Gemini, Googleov napor u razvoju velikih jezičkih modela. Doktorirao je na Univerzitetu Kalifornija, Berkeley, i predavao je Statističku obradu prirodnog jezika na Univerzitetu New York.
Njegova istraživanja usmjerena su na obradu prirodnog jezika i velike jezičke modele, a njegov rad doprinio je jezičkim mogućnostima Googleovih proizvoda, uključujući Search, Assistant, Translate i Cloud. Dobio je više nagrada za najbolji rad na vodećim NLP konferencijama (ACL 2011, NAACL 2012, ACL 2016), kao i nagradu Test-of-Time na 10 godina na ACL 2023, te mu je 2014. predsjednik Bugarske dodijelio nagradu John Atanasoff.
Akademska i profesionalna pozadina
Petrovljev obrazovni put proteže se kroz tri zemlje i odražava međunarodnu prirodu njegove karijere. Diplomirao je računarstvo i poslovnu administraciju na Freie Universität Berlin, prije nego što je nastavio doktorski studij iz računarstva na University of California, Berkeley. Kasnije je studirao na Duke University, kao dio ranijeg akademskog puta. Od 2010. do 2016. godine obnašao je ulogu izvanrednog profesora na New York University, gdje je predavao Statističku obradu prirodnog jezika — uloga koja je tekla paralelno s njegovim industrijskim radom u Googleu, u kojem se zaposlio u augustu 2009.
Uloga u Google DeepMindu
U Google DeepMindu, Petrov obnaša poziciju potpredsjednika za istraživanje i suvoditelj je Post-Traininga za Gemini, vodeći veliki jezični model kompanije. Post-training je kritična faza u razvoju velikih jezičnih modela, koja uključuje tehnike kojima se dorađuje ponašanje modela, sposobnost slijeđenja instrukcija i usklađenost nakon početnog predtreniranja. Njegov tim je globalno raspoređen, što odražava razmjer i složenost posla. Prije osnivanja Google DeepMinda, Petrov je vodio istraživačke napore u području obrade prirodnog jezika koji su se izravno prelijevali u Googleove proizvode kao što su Search, Ads, Translate, Assistant i Chrome.
Njegov publikacijski opus obuhvaća više od desetljeća i pokriva širok raspon tema unutar obrade prirodnog jezika, uključujući strojno prevođenje, parsiranje i atribuciju u generiranju prirodnog jezika. Doprinositelj je radovima koji se povezuju s Googleovim nastojanjima u razvoju velikih modela, uključujući rad na PaLM, PaLM 2, Gemini, Gemini 1.5 i Gemma 2, kao i na skup podataka Natural Questions — široko korišten resurs za istraživanja odgovaranja na pitanja.
Doprinosi istraživanju i priznanja
Petrovljeva istraživačka produkcija uključuje doprinose u području sintaktičkog parsiranja, strojne obrade prirodnog jezika i razvoja okvira za evaluaciju generiranja jezika. Jedno od značajnijih recentnih područja rada uključuje mjerenje atribucije u modelima za generiranje prirodnog jezika — odnosno ispitivanje može li se izlaz modela povezati s provjerljivim izvorima, što je zabrinutost koja je s vremenom dobila na važnosti paralelno s primjenom velikih generativnih sustava. Ovaj rad, objavljen u Computational Linguistics 2023., odražava širi interes za to da izlazi jezičnih modela budu pouzdaniji i interpretabilniji.
Osim nagrada za radove na ACL i NAACL, Petrov je dobio nagradu Test-of-Time Award na ACL 2023 u trajanju od 10 godina, čime je prepoznato istraživanje iz desetljeća ranije koje se pokazalo trajno utjecajnim na struku. Njegova istraživačka područja, kako su navedena u Googleovom istraživačkom direktoriju, obuhvaćaju obradu prirodnog jezika, strojno prevođenje, strojnu inteligenciju i opću znanost.
Pozadina i druge postignuća
Petrov je živio u Bugarskoj, Njemačkoj i Sjedinjenim Američkim Državama u približno jednakoj mjeri, a trenutno je nastanjen u Berlinu. Njegova rana natjecateljska postignuća uključuju svjetsko prvenstvo na RoboCup 2004 — međunarodno natjecanje u robotici — koje prethodi njegovoj karijeri u istraživanju NLP-a. Diplomirao je na Freie Universität Berlin, a čini se da je njegovo vrijeme u Njemačkoj uokvirilo njegovu karijeru, pri čemu je Berlin poslužio kao njegova trenutna baza čak i dok vodi istraživanja za jednu od najistaknutijih svjetskih organizacija za umjetnu inteligenciju. Izrazio je osobnu odanost bugarskoj reprezentaciji u nogometu, posebice u utakmicama protiv Njemačke.