Slav Petrov
Vice President, Research at Google DeepMind; co-leads Post-Training for Gemini
Themes
Slav Petrov 是一位保加利亞研究人員,並擔任 Google DeepMind 的研究副總裁;在此職務中,他共同負責 Gemini 的後訓練(Post-Training),即 Google 的大型語言模型計畫。他擁有加州大學柏克萊分校的博士學位,並曾在紐約大學教授統計自然語言處理。
他的研究聚焦於自然語言處理與大型語言模型,而他的工作也為 Google 產品(包含 Search、Assistant、Translate 與 Cloud)貢獻了語言能力。他曾在多個主要 NLP 會議(ACL 2011、NAACL 2012、ACL 2016)獲得多次最佳論文獎,並在 ACL 2023 獲頒為期 10 年的「Test-of-Time Award」。此外,他於 2014 年獲保加利亞總統頒發 John Atanasoff Award。
學術與專業背景
Petrov 的求學旅程橫跨三個國家,反映出他職涯的國際性。他在 Freie Universität Berlin 完成電腦科學與商業管理的 Diplom,隨後在加州大學柏克萊分校攻讀電腦科學博士學位。他也曾在 Duke University 進修,作為其早期學術路徑的一部分。2010 年至 2016 年間,他擔任紐約大學的兼任教授,在那裡教授統計式自然語言處理——這個角色與他在產業界的工作同時進行;他於 2009 年 8 月加入 Google。
在 Google DeepMind 的角色
在 Google DeepMind,Petrov 擔任研究副總裁,並共同負責 Gemini 的後訓練(Post-Training),該公司旗艦大型語言模型。後訓練是大型語言模型開發中的關鍵階段,包含各種技術,用以在初始預訓練之後,精煉模型的行為、指令遵循能力,以及一致性(alignment)。他的團隊在全球分散配置,反映出所涉工作的規模與複雜度。在 Google DeepMind 成立之前,Petrov 曾領導 NLP 研究工作,這些成果直接供應給 Google 的產品,例如 Search、Ads、Translate、Assistant 與 Chrome。
他的發表紀錄跨越十年以上,涵蓋自然語言處理領域的廣泛主題,包括機器翻譯、解析(parsing),以及自然語言生成中的歸因(attribution)。他是與 Google 大型模型相關的里程碑論文的貢獻者,包含 PaLM、PaLM 2、Gemini、Gemini 1.5 與 Gemma 2 的相關工作,以及 Natural Questions 基準資料集——一個廣泛用於問答研究的資源。
研究貢獻與榮譽
Petrov 的研究成果涵蓋句法解析、機器翻譯,以及語言生成評估框架的開發。近期一個值得注意的研究方向,是衡量自然語言生成模型中的歸因——探討模型輸出是否能追溯到可驗證的來源;隨著大型生成式系統的部署,這項議題的重要性也日益提升。這項工作於 2023 年發表在 Computational Linguistics,反映出他更廣泛的興趣:讓語言模型的輸出更可靠、也更容易理解。
除了在 ACL 與 NAACL 的論文獎項之外,Petrov 於 ACL 2023 獲得為期 10 年的 Test-of-Time Award,表彰十年前的研究在領域中持續發揮影響力。他的研究領域(依照 Google 的研究目錄所列)涵蓋自然語言處理、機器翻譯、機器智慧與一般科學。
背景與其他成就
Petrov 曾在保加利亞、德國與美國生活,時間大致均衡;目前則以柏林為基地。他早期的競賽成就包括在 RoboCup 2004 贏得世界冠軍——這是一項國際機器人競賽——其時間早於他在 NLP 研究領域的職涯。他在 Freie Universität Berlin 完成 Diplom,而他在德國的時間似乎也為他的職涯劃下了起訖:即使他領導著全球最具代表性的 AI 組織之一的研究,他目前仍以柏林作為主要據點。他也曾表達對保加利亞國家足球隊的個人忠誠,尤其是在對陣德國的比賽中。