Behnam Neyshabur
Behnam Neyshabur 是 Mirendil 聯合創始人兼首席執行官,致力於加速 AI 研發。
本頁目錄15 節
詞條資料
2009—2017年學歷
他於2009年、2011年獲謝里夫理工大學計算機工程學士、碩士學位。[1]
2017年,他在芝加哥豐田工業大學獲博士學位,導師為 Nathan Srebro,論文為《Implicit Regularization in Deep Learning》。[2]
2015年容量與優化
他與 Ryota Tomioka、Nathan Srebro 研究受範數約束的前饋神經網絡,分析其容量、凸性與表示特徵。[3]
同年,他與 Ruslan Salakhutdinov、Nathan Srebro 提出 Path-SGD,利用路徑正則化設計優化方法,使其適應不改變網絡輸出的權重重縮放。[4]
2017年隱式正則化
他的博士論文研究優化算法怎樣隱式約束模型複雜度,以及這種約束與泛化的聯繫,並比較複雜度度量能否解釋深度學習中的實驗現象。[5]
2017—2019年博士後研究
2017年9月至2018年7月,他是高等研究院(IAS)數學學院成員,研究深度學習的優化與泛化。[6]
2019年加入 Google
2019年加入 GoogleGoogleGoogle是一家美國科技公司,由Larry Page與Sergey Brin創辦,1998年註冊成立,2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條,後共同領導 Blueshift 推理團隊。[8]
2019年泛化度量研究
他參與的研究比較40多種複雜度度量,並通過改變超參數訓練逾一萬個卷積網絡,檢驗這些度量與泛化表現的關係。[9]
2020年SAM
他與 Pierre Foret、Ariel Kleiner、Hossein Mobahi 提出 SAM,同時考慮損失值與損失曲面的尖銳程度,尋找鄰域內損失普遍較低的參數。[10]
論文報告在多種圖像任務中改善泛化,並測試標籤噪聲下的魯棒性。[10]
2022年6月門控狀態空間
他參與提出 Gated State Space(GSS),研究長距離自迴歸建模,實驗覆蓋書籍、代碼和數學文章;結合局部自注意力可進一步改善結果。[11]
2022年6月Minerva
他是 Minerva 論文共同作者。模型在通用語言預訓練後學習技術材料,面向數學與科學推理。[12]
Google 的說明強調,Minerva 仍可能計算或推理錯誤;正確答案也可能伴隨錯誤步驟,推理過程不能自動形式驗證。[13]
2022年11月REPAIR
他參與 REPAIR,研究對齊神經元后插值模型仍表現不佳的問題。方法重調預激活值,緩解插值網絡的方差坍縮。[14]
2024年加入 Anthropic
2026年Mirendil
Mirendil 於2026年6月24日正式對外公佈;公告稱創始團隊有20名研究人員和工程師。[15]
公司稱,Andreessen HorowitzAndreessen HorowitzAndreessen Horowitz(a16z)是 Marc Andreessen 與 Ben Horowitz 於2009年創辦的風險投資機構,覆蓋種子期至成長階段,並向被投企業提供運營支持。點擊查看完整詞條 與 Kleiner PerkinsKleiner PerkinsKleiner Perkins成立於1972年。1977年,Frank Caufield和Brook Byers加入Eugene Kleiner、Tom Perkins所在的機構,形成Kleiner Perkins Caufield & Byers名稱。點擊查看完整詞條 領投2億美元種子輪,隨後獲得 NVIDIANVIDIANVIDIA 是美國半導體與計算技術公司,提供圖形處理器、人工智能基礎設施、網絡互連和計算軟件,在納斯達克以 NVDA 為代碼上市。點擊查看完整詞條 等投資。[15]
公司目標是讓前沿 AI 研發更易獲得,通過訓練模型與重新設計研究流程,加速科學和技術發展。[16]
2026年8月計算基礎設施
Google Cloud 公告確認他為 Mirendil 聯合創始人兼 CEO,並稱公司採用其 TPU 與 NVIDIA 基礎設施支持模型訓練。[17]
關聯機構、網站與公開賬號
Behnam Neyshabur 個人網站:官網:https://www.neyshabur.net/(在新窗口打開)[8]
芝加哥豐田工業大學:官網:https://www.ttic.edu/(在新窗口打開)[2]
高等研究院(IAS):官網:https://www.ias.edu/(在新窗口打開)[6]
紐約大學:官網:https://www.nyu.edu/(在新窗口打開)[7]
Google DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究機構,2023年4月由2014年被 Google 收購的 DeepMind 與 Google Research 的 Brain 團隊合併而成,由 Demis Hassabis 任首席執行官。它開發了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 與 John Jumper 因 AlphaFold 的蛋白質結構預測工作獲得2024年諾貝爾化學獎。點擊查看完整詞條:官網:https://deepmind.google/(在新窗口打開)[8]
Anthropic:官網:https://www.anthropic.com/(在新窗口打開)[2]
Mirendil:官網:https://mirendil.com/(在新窗口打開)[16]
X 公開賬號:官方賬號:https://x.com/bneyshabur(在新窗口打開)[8]
來源
- Curriculum Vitae(在新窗口打開)
- TTIC Student Alumni(在新窗口打開)
- Norm-Based Capacity Control in Neural Networks(在新窗口打開)
- Path-SGD: Path-Normalized Optimization in Deep Neural Networks(在新窗口打開)
- Implicit Regularization in Deep Learning(在新窗口打開)
- Behnam Neyshabur(在新窗口打開)
- Behnam Neyshabur(在新窗口打開)
- Behnam Neyshabur(在新窗口打開)
- Fantastic Generalization Measures and Where to Find Them(在新窗口打開)
- Sharpness-Aware Minimization for Efficiently Improving Generalization(在新窗口打開)
- Long Range Language Modeling via Gated State Spaces(在新窗口打開)
- Solving Quantitative Reasoning Problems with Language Models(在新窗口打開)
- Minerva: Solving Quantitative Reasoning Problems with Language Models(在新窗口打開)
- REPAIR: REnormalizing Permuted Activations for Interpolation Repair(在新窗口打開)
- Announcing Mirendil(在新窗口打開)
- Mirendil(在新窗口打開)
- Mirendil taps AI Hypercomputer TPUs and GPUs for pre- and post-training applications(在新窗口打開)