ABAB Pedia

Behnam Neyshabur

Behnam Neyshabur 是 Mirendil 聯合創始人兼首席執行官,致力於加速 AI 研發。

本頁目錄15 節
詞條資料

學歷

他於2009年、2011年獲謝里夫理工大學計算機工程學士、碩士學位。⁠[1]

2017年,他在芝加哥豐田工業大學獲博士學位,導師為 Nathan Srebro,論文為《Implicit Regularization in Deep Learning》。⁠[2]

容量與優化

他與 Ryota Tomioka、Nathan Srebro 研究受範數約束的前饋神經網絡,分析其容量、凸性與表示特徵。⁠[3]

同年,他與 Ruslan Salakhutdinov、Nathan Srebro 提出 Path-SGD,利用路徑正則化設計優化方法,使其適應不改變網絡輸出的權重重縮放。⁠[4]

隱式正則化

他的博士論文研究優化算法怎樣隱式約束模型複雜度,以及這種約束與泛化的聯繫,並比較複雜度度量能否解釋深度學習中的實驗現象。⁠[5]

博士後研究

2017年9月至2018年7月,他是高等研究院(IAS)數學學院成員,研究深度學習的優化與泛化。⁠[6]

加入 Google

泛化度量研究

他參與的研究比較40多種複雜度度量,並通過改變超參數訓練逾一萬個卷積網絡,檢驗這些度量與泛化表現的關係。⁠[9]

SAM

他與 Pierre Foret、Ariel Kleiner、Hossein Mobahi 提出 SAM,同時考慮損失值與損失曲面的尖銳程度,尋找鄰域內損失普遍較低的參數。⁠[10]

論文報告在多種圖像任務中改善泛化,並測試標籤噪聲下的魯棒性。⁠[10]

門控狀態空間

他參與提出 Gated State Space(GSS),研究長距離自迴歸建模,實驗覆蓋書籍、代碼和數學文章;結合局部自注意力可進一步改善結果。⁠[11]

Minerva

他是 Minerva 論文共同作者。模型在通用語言預訓練後學習技術材料,面向數學與科學推理。⁠[12]

Google 的說明強調,Minerva 仍可能計算或推理錯誤;正確答案也可能伴隨錯誤步驟,推理過程不能自動形式驗證。⁠[13]

REPAIR

他參與 REPAIR,研究對齊神經元后插值模型仍表現不佳的問題。方法重調預激活值,緩解插值網絡的方差坍縮。⁠[14]

加入 Anthropic

Mirendil

Mirendil 於2026年6月24日正式對外公佈;公告稱創始團隊有20名研究人員和工程師。⁠[15]

公司目標是讓前沿 AI 研發更易獲得,通過訓練模型與重新設計研究流程,加速科學和技術發展。⁠[16]

計算基礎設施

Google Cloud 公告確認他為 Mirendil 聯合創始人兼 CEO,並稱公司採用其 TPU 與 NVIDIA 基礎設施支持模型訓練。⁠[17]

關聯機構、網站與公開賬號

Behnam Neyshabur 個人網站:官網:https://www.neyshabur.net/(在新窗口打開)⁠[8]

芝加哥豐田工業大學:官網:https://www.ttic.edu/(在新窗口打開)⁠[2]

高等研究院(IAS):官網:https://www.ias.edu/(在新窗口打開)⁠[6]

X 公開賬號:官方賬號:https://x.com/bneyshabur(在新窗口打開)⁠[8]

來源

  1. Curriculum Vitae(在新窗口打開)
  2. TTIC Student Alumni(在新窗口打開)
  3. Norm-Based Capacity Control in Neural Networks(在新窗口打開)
  4. Path-SGD: Path-Normalized Optimization in Deep Neural Networks(在新窗口打開)
  5. Implicit Regularization in Deep Learning(在新窗口打開)
  6. Behnam Neyshabur(在新窗口打開)
  7. Behnam Neyshabur(在新窗口打開)
  8. Behnam Neyshabur(在新窗口打開)
  9. Fantastic Generalization Measures and Where to Find Them(在新窗口打開)
  10. Sharpness-Aware Minimization for Efficiently Improving Generalization(在新窗口打開)
  11. Long Range Language Modeling via Gated State Spaces(在新窗口打開)
  12. Solving Quantitative Reasoning Problems with Language Models(在新窗口打開)
  13. Minerva: Solving Quantitative Reasoning Problems with Language Models(在新窗口打開)
  14. REPAIR: REnormalizing Permuted Activations for Interpolation Repair(在新窗口打開)
  15. Announcing Mirendil(在新窗口打開)
  16. Mirendil(在新窗口打開)
  17. Mirendil taps AI Hypercomputer TPUs and GPUs for pre- and post-training applications(在新窗口打開)