Behnam Neyshabur
Behnam Neyshabur 是 Mirendil 联合创始人兼首席执行官,致力于加速 AI 研发。
本页目录15 节
词条资料
2009—2017年学历
他于2009年、2011年获谢里夫理工大学计算机工程学士、硕士学位。[1]
2017年,他在芝加哥丰田工业大学获博士学位,导师为 Nathan Srebro,论文为《Implicit Regularization in Deep Learning》。[2]
2015年容量与优化
他与 Ryota Tomioka、Nathan Srebro 研究受范数约束的前馈神经网络,分析其容量、凸性与表示特征。[3]
同年,他与 Ruslan Salakhutdinov、Nathan Srebro 提出 Path-SGD,利用路径正则化设计优化方法,使其适应不改变网络输出的权重重缩放。[4]
2017年隐式正则化
他的博士论文研究优化算法怎样隐式约束模型复杂度,以及这种约束与泛化的联系,并比较复杂度度量能否解释深度学习中的实验现象。[5]
2017—2019年博士后研究
2017年9月至2018年7月,他是高等研究院(IAS)数学学院成员,研究深度学习的优化与泛化。[6]
2019年加入 Google
2019年加入 GoogleGoogleGoogle是一家美国科技公司,由Larry Page与Sergey Brin创办,1998年注册成立,2015年成为Alphabet旗下企业。其业务涵盖互联网搜索、广告、软件平台、云计算及人工智能。点击查看完整词条,后共同领导 Blueshift 推理团队。[8]
2019年泛化度量研究
他参与的研究比较40多种复杂度度量,并通过改变超参数训练逾一万个卷积网络,检验这些度量与泛化表现的关系。[9]
2020年SAM
他与 Pierre Foret、Ariel Kleiner、Hossein Mobahi 提出 SAM,同时考虑损失值与损失曲面的尖锐程度,寻找邻域内损失普遍较低的参数。[10]
论文报告在多种图像任务中改善泛化,并测试标签噪声下的鲁棒性。[10]
2022年6月门控状态空间
他参与提出 Gated State Space(GSS),研究长距离自回归建模,实验覆盖书籍、代码和数学文章;结合局部自注意力可进一步改善结果。[11]
2022年6月Minerva
他是 Minerva 论文共同作者。模型在通用语言预训练后学习技术材料,面向数学与科学推理。[12]
Google 的说明强调,Minerva 仍可能计算或推理错误;正确答案也可能伴随错误步骤,推理过程不能自动形式验证。[13]
2022年11月REPAIR
他参与 REPAIR,研究对齐神经元后插值模型仍表现不佳的问题。方法重调预激活值,缓解插值网络的方差坍缩。[14]
2024年加入 Anthropic
2026年Mirendil
Mirendil 于2026年6月24日正式对外公布;公告称创始团队有20名研究人员和工程师。[15]
公司称,Andreessen HorowitzAndreessen HorowitzAndreessen Horowitz(a16z)是 Marc Andreessen 与 Ben Horowitz 于2009年创办的风险投资机构,覆盖种子期至成长阶段,并向被投企业提供运营支持。点击查看完整词条 与 Kleiner PerkinsKleiner PerkinsKleiner Perkins成立于1972年。1977年,Frank Caufield和Brook Byers加入Eugene Kleiner、Tom Perkins所在的机构,形成Kleiner Perkins Caufield & Byers名称。点击查看完整词条 领投2亿美元种子轮,随后获得 NVIDIANVIDIANVIDIA 是美国半导体与计算技术公司,提供图形处理器、人工智能基础设施、网络互连和计算软件,在纳斯达克以 NVDA 为代码上市。点击查看完整词条 等投资。[15]
公司目标是让前沿 AI 研发更易获得,通过训练模型与重新设计研究流程,加速科学和技术发展。[16]
2026年8月计算基础设施
Google Cloud 公告确认他为 Mirendil 联合创始人兼 CEO,并称公司采用其 TPU 与 NVIDIA 基础设施支持模型训练。[17]
关联机构、网站与公开账号
Behnam Neyshabur 个人网站:官网:https://www.neyshabur.net/(在新窗口打开)[8]
芝加哥丰田工业大学:官网:https://www.ttic.edu/(在新窗口打开)[2]
高等研究院(IAS):官网:https://www.ias.edu/(在新窗口打开)[6]
纽约大学:官网:https://www.nyu.edu/(在新窗口打开)[7]
Google DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究机构,2023年4月由2014年被 Google 收购的 DeepMind 与 Google Research 的 Brain 团队合并而成,由 Demis Hassabis 任首席执行官。它开发了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 与 John Jumper 因 AlphaFold 的蛋白质结构预测工作获得2024年诺贝尔化学奖。点击查看完整词条:官网:https://deepmind.google/(在新窗口打开)[8]
Anthropic:官网:https://www.anthropic.com/(在新窗口打开)[2]
Mirendil:官网:https://mirendil.com/(在新窗口打开)[16]
X 公开账号:官方账号:https://x.com/bneyshabur(在新窗口打开)[8]
来源
- Curriculum Vitae(在新窗口打开)
- TTIC Student Alumni(在新窗口打开)
- Norm-Based Capacity Control in Neural Networks(在新窗口打开)
- Path-SGD: Path-Normalized Optimization in Deep Neural Networks(在新窗口打开)
- Implicit Regularization in Deep Learning(在新窗口打开)
- Behnam Neyshabur(在新窗口打开)
- Behnam Neyshabur(在新窗口打开)
- Behnam Neyshabur(在新窗口打开)
- Fantastic Generalization Measures and Where to Find Them(在新窗口打开)
- Sharpness-Aware Minimization for Efficiently Improving Generalization(在新窗口打开)
- Long Range Language Modeling via Gated State Spaces(在新窗口打开)
- Solving Quantitative Reasoning Problems with Language Models(在新窗口打开)
- Minerva: Solving Quantitative Reasoning Problems with Language Models(在新窗口打开)
- REPAIR: REnormalizing Permuted Activations for Interpolation Repair(在新窗口打开)
- Announcing Mirendil(在新窗口打开)
- Mirendil(在新窗口打开)
- Mirendil taps AI Hypercomputer TPUs and GPUs for pre- and post-training applications(在新窗口打开)