ABAB Pedia

Rohan Anil

Rohan Anil 是機器學習工程師、Core Automation 聯合創始人兼董事。他曾在谷歌GoogleGoogle是一家美國科技公司,由Larry Page與Sergey Brin創辦,1998年註冊成立,2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條研究怎樣減少訓練神經網絡所需的時間和計算資源,參與開發 Shampoo 優化算法,並在 PaLM 2 和 Gemini 項目中擔任技術負責人,隨後加入 AnthropicAnthropicAnthropic是一家於2021年成立的人工智能研究與產品公司,開發Claude模型、助手及Claude Code等工具,並以公益公司形式運營。Dario Amodei與Daniela Amodei為共同創辦人,其研究涉及模型安全、可解釋性和可控性。點擊查看完整詞條 的預訓練團隊。

本頁目錄6 節
詞條資料

學生競賽和鳥類圖像識別

Anil 在印度比爾拉理工學院果阿校區學習。2008年,校友刊記載,他與 Shubham Malhotra、Gaurav Paruthi 組成 GRAS 隊,贏得由印度理工學院坎普爾分校與 YRnD 舉辦的國際線上計算機安全競賽。同年,他代表學校與 Mohit Verma 和 Rishi Agarwal 組隊參加坎普爾賽區的國際大學生程序設計競賽。⁠[1][2]

2011年春,他在加利福尼亞大學聖迭戈分校計算機視覺課程中研究如何從照片上找到鳥並識別鳥種。他提交的項目報告在一個有200種鳥類的資料集上比較不同識別方法,並討論把額外信息引入系統後表現怎樣變化。⁠[3]

在谷歌開發優化方法

Anil 在谷歌工作了十一年半,從內存分配等底層系統工作轉向機器學習。他回憶,自己在2016年改進過谷歌用於邏輯迴歸的大規模求解器。後來看著神經網絡逐步取代既有方法,他選擇研究怎樣改善訓練本身。同事 Vineet Gupta 帶著一項在白板上討論過的想法前來找他,他參與將後來的 Shampoo 優化算法實現為能訓練大型神經網絡的系統。⁠[4][5]

2021年7月8日,他以 Google BrainGoogle BrainGoogle Brain曾是Google的人工智能研究團隊,2011年由Jeff Dean等人參與創立,2015年開源機器學習系統TensorFlow;2023年4月與DeepMind合併為Google DeepMind。點擊查看完整詞條 高級工程師的身份在明尼蘇達大學作報告。二階優化方法可使用更豐富的信息判斷更新方向,但通常需要大量額外計算、通信和內存。他與同事的工作研究瞭如何在包含不同處理器的機器上控制這些成本,並在機器翻譯、語言模型和圖像分類等任務中比較實際訓練時間。⁠[6]

PaLM、Gemini 和 Anthropic

創辦研究實驗室與衡量模型表現

7月29日,Anil 與 Tworek 接受紅杉資本Sequoia CapitalSequoia Capital是一家由Don Valentine於1972年創立的風險投資機構,投資範圍從種子期延伸至成長階段。其歷史投資包括Apple、Cisco、Google、YouTube、Airbnb和Stripe;2021年推出可繼續持有上市證券的Sequoia Capital Fund結構,2023年區域業務轉為獨立品牌與合夥組織。點擊查看完整詞條採訪。主持人點名詢問,怎樣在有限的算力和數據下提高學習效率。他建議先明確最終希望模型完成什麼,再決定怎樣衡量進展。他舉例說,若預訓練團隊花費更多算力來改善一個分數,後續訓練卻又改變該分數,那麼單獨衡量前一個階段無法說明最終產品進步了多少。⁠[5]

Core Automation 在網站上把能夠持續學習的新算法以及自動化自身的研究工作列為目標。7月30日提交給美國證券交易委員會U.S. Securities and Exchange CommissionU.S. Securities and Exchange Commission(美國證券交易委員會)是美國聯邦證券監管機構,大蕭條期間依據Securities Exchange Act of 1934設立,由五名委員組成,其使命是保護投資者,維護公平、有序、高效的市場,並促進資本形成。點擊查看完整詞條的文件將 Anil 列為董事,並記載該筆證券發行於7月15日首次出售。公司當時申報已售約4.32億美元,其中約1.35億美元來自此前未來股權簡單協議的轉換。⁠[9][10]

關聯機構、網站與公開賬號

谷歌:前 Google Brain 高級工程師、Gemini 文本研究聯合負責人。官網:https://www.google.com/(在新窗口打開)。⁠[6][8]

Anthropic:曾任預訓練團隊研究人員。官網:https://www.anthropic.com/(在新窗口打開)。⁠[4]

Core Automation:聯合創始人、董事。官網:https://www.coreauto.com/(在新窗口打開)。⁠[9][10][5]

來源11 個來源

  1. Notes from Goa, BITS Pilani Alumni Magazine, summer 2008(在新窗口打開)sandpaper.bitsaa.org↑
  2. ACM ICPC Asia Region Kanpur Site 2008: Teams(在新窗口打開)cse.iitk.ac.in↑
  3. Bird’s eye view: Detecting and Recognizing Birds using the BIRDS 200 dataset(在新窗口打開)cseweb.ucsd.edu↑
  4. Continual Learning Is the Next Bottleneck: Rohan Anil (Core Automation)(在新窗口打開)youtube.com↑
  5. Building the Automated AGI Lab: Core Automation's Jerry Tworek and Rohan Anil(在新窗口打開)youtube.com↑
  6. Scalable Second-Order Optimization for Deep Learning(在新窗口打開)cse.umn.edu↑
  7. PaLM 2 Technical Report(在新窗口打開)ai.google↑
  8. Gemini: A Family of Highly Capable Multimodal Models(在新窗口打開)arxiv.org↑
  9. Core Automation(在新窗口打開)coreauto.com↑
  10. Core Automation, Inc. Form D(在新窗口打開)sec.gov↑
  11. Rohan Anil(在新窗口打開)x.com↑