ABAB Pedia

Behnam Neyshabur

Behnam Neyshabur 是 Mirendil 联合创始人兼首席执行官,致力于加速 AI 研发。

本页目录15 节
词条资料

学历

他于2009年、2011年获谢里夫理工大学计算机工程学士、硕士学位。⁠[1]

2017年,他在芝加哥丰田工业大学获博士学位,导师为 Nathan Srebro,论文为《Implicit Regularization in Deep Learning》。⁠[2]

容量与优化

他与 Ryota Tomioka、Nathan Srebro 研究受范数约束的前馈神经网络,分析其容量、凸性与表示特征。⁠[3]

同年,他与 Ruslan Salakhutdinov、Nathan Srebro 提出 Path-SGD,利用路径正则化设计优化方法,使其适应不改变网络输出的权重重缩放。⁠[4]

隐式正则化

他的博士论文研究优化算法怎样隐式约束模型复杂度,以及这种约束与泛化的联系,并比较复杂度度量能否解释深度学习中的实验现象。⁠[5]

博士后研究

2017年9月至2018年7月,他是高等研究院(IAS)数学学院成员,研究深度学习的优化与泛化。⁠[6]

加入 Google

泛化度量研究

他参与的研究比较40多种复杂度度量,并通过改变超参数训练逾一万个卷积网络,检验这些度量与泛化表现的关系。⁠[9]

SAM

他与 Pierre Foret、Ariel Kleiner、Hossein Mobahi 提出 SAM,同时考虑损失值与损失曲面的尖锐程度,寻找邻域内损失普遍较低的参数。⁠[10]

论文报告在多种图像任务中改善泛化,并测试标签噪声下的鲁棒性。⁠[10]

门控状态空间

他参与提出 Gated State Space(GSS),研究长距离自回归建模,实验覆盖书籍、代码和数学文章;结合局部自注意力可进一步改善结果。⁠[11]

Minerva

他是 Minerva 论文共同作者。模型在通用语言预训练后学习技术材料,面向数学与科学推理。⁠[12]

Google 的说明强调,Minerva 仍可能计算或推理错误;正确答案也可能伴随错误步骤,推理过程不能自动形式验证。⁠[13]

REPAIR

他参与 REPAIR,研究对齐神经元后插值模型仍表现不佳的问题。方法重调预激活值,缓解插值网络的方差坍缩。⁠[14]

加入 Anthropic

Mirendil

Mirendil 于2026年6月24日正式对外公布;公告称创始团队有20名研究人员和工程师。⁠[15]

公司目标是让前沿 AI 研发更易获得,通过训练模型与重新设计研究流程,加速科学和技术发展。⁠[16]

计算基础设施

Google Cloud 公告确认他为 Mirendil 联合创始人兼 CEO,并称公司采用其 TPU 与 NVIDIA 基础设施支持模型训练。⁠[17]

关联机构、网站与公开账号

Behnam Neyshabur 个人网站:官网:https://www.neyshabur.net/(在新窗口打开)⁠[8]

芝加哥丰田工业大学:官网:https://www.ttic.edu/(在新窗口打开)⁠[2]

高等研究院(IAS):官网:https://www.ias.edu/(在新窗口打开)⁠[6]

X 公开账号:官方账号:https://x.com/bneyshabur(在新窗口打开)⁠[8]

来源

  1. Curriculum Vitae(在新窗口打开)
  2. TTIC Student Alumni(在新窗口打开)
  3. Norm-Based Capacity Control in Neural Networks(在新窗口打开)
  4. Path-SGD: Path-Normalized Optimization in Deep Neural Networks(在新窗口打开)
  5. Implicit Regularization in Deep Learning(在新窗口打开)
  6. Behnam Neyshabur(在新窗口打开)
  7. Behnam Neyshabur(在新窗口打开)
  8. Behnam Neyshabur(在新窗口打开)
  9. Fantastic Generalization Measures and Where to Find Them(在新窗口打开)
  10. Sharpness-Aware Minimization for Efficiently Improving Generalization(在新窗口打开)
  11. Long Range Language Modeling via Gated State Spaces(在新窗口打开)
  12. Solving Quantitative Reasoning Problems with Language Models(在新窗口打开)
  13. Minerva: Solving Quantitative Reasoning Problems with Language Models(在新窗口打开)
  14. REPAIR: REnormalizing Permuted Activations for Interpolation Repair(在新窗口打开)
  15. Announcing Mirendil(在新窗口打开)
  16. Mirendil(在新窗口打开)
  17. Mirendil taps AI Hypercomputer TPUs and GPUs for pre- and post-training applications(在新窗口打开)