Nathan Lambert
Nathan Lambert是机器学习研究者,专注于大语言模型后训练与人类反馈强化学习(RLHF),曾在Hugging Face和Ai2参与Zephyr、OLMo和Tülu等开放模型工作,撰写Interconnects通讯和RLHF教材,并于2026年联合创立非营利机构Trillium Labs。
本页目录22 节
词条资料
2013—2017年在Cornell University就读
2013年至2017年,他在Cornell UniversityCornell UniversityCornell University 是位于美国纽约州伊萨卡(Ithaca)的私立研究型大学,常春藤盟校成员,也是纽约州的联邦赠地大学,在常春藤盟校中独一无二。学校由 Ezra Cornell 与 Andrew Dickson White 于1865年创办,1868年开学。除伊萨卡主校区外,学校在纽约市设有 Weill Cornell Medicine 和 Cornell Tech,并在卡塔尔设有医学院分校。2024年秋季在校学生26,793人。现任校长为 Michael I. Kotlikoff。点击查看完整词条攻读电气与计算机工程学士学位。[1]
2017年进入UC Berkeley攻读博士
2017年秋,他进入UC BerkeleyUniversity of California, BerkeleyUniversity of California, Berkeley(加州大学伯克利分校,UC Berkeley)是University of California系统的成员校,其前身University of California于1868年由两校合并创立,1873年迁至加利福尼亚州伯克利。点击查看完整词条读博;他回忆最初加入Sergey LevineSergey LevineSergey Levine是计算机科学家,UC Berkeley电气工程与计算机科学系副教授,研究深度强化学习与机器人学习,参与提出Soft Actor-Critic和保守Q学习等算法,2024年联合创立机器人基础模型公司Physical Intelligence。点击查看完整词条和Pieter Abbeel课题组的请求被婉拒,后经导师Kristofer Pister介绍与Roberto Calandra合作。[2]
2019—2021年在Facebook AI与DeepMind实习
2019年至2020年,他在FacebookFacebookFacebook(脸书)是 Meta 旗下的社交网络平台,2004年从哈佛校园上线,逐步发展出动态消息、照片与视频分享、群组及 Marketplace 等功能。平台保留 Facebook 名称,母公司在2021年采用 Meta 品牌;两者的用户与财务数据应按各自口径理解。点击查看完整词条 AI实习;2021年远程在DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究机构,2023年4月由2014年被 Google 收购的 DeepMind 与 Google Research 的 Brain 团队合并而成,由 Demis Hassabis 任首席执行官。它开发了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 与 John Jumper 因 AlphaFold 的蛋白质结构预测工作获得2024年诺贝尔化学奖。点击查看完整词条实习。[1]
2021年3月做客TalkRL播客
2021年3月,他以UC Berkeley博士候选人身份做客TalkRL播客,讨论基于模型的强化学习、轨迹模型和四旋翼控制等话题;节目列出的参考文献包括他与Roberto Calandra、Sergey Levine、Kristofer Pister等人合著的“Low Level Control of a Quadrotor with Deep Model-Based Reinforcement Learning”。[3]
2022年完成博士论文
2022年,他完成博士论文“Synergy of Prediction and Control in Model-based Reinforcement Learning”(技术报告UCB/EECS-2022-65),导师为Kristofer Pister;论文研究学得的动力学模型如何与决策相互作用。[4]
2022年5月加入Hugging Face
2022年5月,他加入Hugging Face;他回忆是Douwe Kiela招募他参与打造“open-source DeepMind”(开源版DeepMind)。[2]
2022年12月发表RLHF图解博文
2022年12月9日,他与Louis Castricato、Leandro von Werra和Alex Havrilla在Hugging Face博客发表“Illustrating Reinforcement Learning from Human Feedback (RLHF)”,并于12月13日围绕该文举办讲座。[5]
2023年10月列名Zephyr论文作者
2023年10月发布的Zephyr论文“Zephyr: Direct Distillation of LM Alignment”将他列为第三作者。[6]
2023年加入Ai2
他回忆加入Ai2时团队正在训练Tülu 2 70B,Chris Manning后来称赞他“saving DPO”(拯救了DPO)。[2]
2024年2—3月参与OLMo并发布RewardBench
2024年2月,Dirk Groeneveld等人发布开放语言模型论文“OLMo: Accelerating the Science of Language Models”,他是作者之一。[7]
同年3月,他作为第一作者与Valentina Pyatkin、Tom Zick等人发布奖励模型评测基准“RewardBench”。[8]
2024年参与项目获ACL与GeekWire奖项
2024年,他参与的OLMo获ACL最佳主题论文奖和GeekWire年度创新奖,Dolma获ACL最佳资源论文奖。[1]
2024年11月主导发布Tülu 3
2024年11月21日,Ai2发布Tülu 3指令跟随模型系列,同时公开数据、数据配比、训练方案、代码、基础设施和评测框架,并引入基于可验证奖励的强化学习。[9]
次日发布的技术报告“Tulu 3: Pushing Frontiers in Open Language Model Post-Training”以他为第一作者。[10]
2025年2月2日首次做客Lex Fridman Podcast
他与SemiAnalysisSemiAnalysisSemiAnalysis 是 Dylan Patel 于2020年创办的半导体及人工智能研究机构,提供行业报道、机构数据模型、咨询与硬件测试。研究范围从芯片制造、存储和数据中心延伸到模型推理成本及人工智能应用的经济性。点击查看完整词条创始人Dylan PatelDylan PatelDylan Patel 是 SemiAnalysis 创始人兼首席执行官,研究半导体供应链、数据中心与人工智能经济性。他于2020年开始经营该研究业务,将个人行业写作扩展为数据模型、咨询和技术测试,并参与人工智能推理成本及软硬件协同设计的公开讨论。点击查看完整词条共同做客第459期Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast,节目页称他为Ai2研究科学家和AI博客Interconnects作者;节目讨论DeepSeek-R1与V3、训练成本、GPU出口管制、TSMCTSMCTSMC(台积电)是总部位于台湾新竹的半导体制造企业,开创了专业晶圆代工模式,为全球数百家客户制造芯片。点击查看完整词条与台湾、AI超大算力集群和开源等话题。[11]
2025年8月发起ATOM Project
2025年8月4日,他发起“American Truly Open Models”(ATOM)项目,倡导在美国建设真正开放的模型;联署自2025年8月征集至2026年9月,共有395名研究者、开发者和业界人士签名。[12]
2026年1月31日再次做客Lex Fridman Podcast
他与Sebastian RaschkaSebastian RaschkaSebastian Raschka是机器学习与大语言模型研究工程师和技术作家,曾任University of Wisconsin-Madison统计学助理教授和Lightning AI研究工程师,著有《Python Machine Learning》《Build a Large Language Model (From Scratch)》等书。点击查看完整词条共同做客第490期节目,节目页称他为Ai2后训练负责人;话题包括中美AI竞争、开源与闭源模型和后训练等。[13]
2026年4月发布ATOM报告
2026年4月,他与Florian Brand发布“The ATOM Report: Measuring the Open Language Model Ecosystem”,统计约1500个主流开放模型,认为中国模型在2025年夏季超过美国同类模型并持续拉开差距。[14]
2026年5月7日发表中国AI实验室走访游记
走访中国多数领先AI实验室后,他于2026年5月7日发表游记“Notes from inside China's AI labs”,认为中国实验室在组织与文化上非常适合快速追赶前沿。[15]
2026年7月《Reinforcement Learning from Human Feedback》由Manning出版
他撰写的RLHF与大模型后训练教材于2026年7月由Manning出版纸质版、ePub和liveBook版本,8月推出配套课程并开始在AmazonAmazonAmazon(亚马逊)是 Jeff Bezos 于1994年创办的美国上市科技与零售公司,主要公司办公地位于西雅图。业务涵盖电子商务、物流履约、数字广告、会员与影音服务、消费电子,以及 Amazon Web Services 云计算。点击查看完整词条销售,10月首次重印。[16]
出版社作者简介称,他通过Ai2和Hugging Face发布了Zephyr-Beta、Tulu 2、OLMo、TRL和Open Instruct等模型、数据集和训练代码。[17]
2026年10月1日联合创立Trillium Labs
2026年10月1日,他与Tom Zick宣布创立非营利机构Trillium Labs,旨在维护前沿AI的开放科学,首先从后训练入手,公开完整的训练方案、数据、代码、评测和中间检查点;机构起步资金来自Halcyon Futures和Schmidt Sciences。[18]
Trillium Labs的办公地点位于San Francisco湾区和Massachusetts州Cambridge,顾问包括Thomas WolfThomas WolfThomas Wolf是Hugging Face联合创始人兼首席科学官,参与推动Transformers等开源工具、BigScience开放科研合作及机器人项目。他早年从事物理研究和专利法律工作,随后转向机器学习,其公开工作着重降低人工智能模型、数据和开发工具的使用门槛。点击查看完整词条、Hanna Hajishirzi、Graham Neubig和Bryan Catanzaro。[19]
截至2026年10月:任Trillium Labs执行董事并经营Interconnects
他创办并运营的Interconnects通讯每周更新一至三次,内容包括评论、模型评测、研究者访谈和开放模型生态综述,自ChatGPTChatGPTChatGPT是OpenAI于2022年11月30日推出的生成式人工智能助手,通过网页和应用提供对话、写作、编程、搜索、文件分析及图像和语音交互等服务。产品从免费研究预览发展为面向个人、企业和教育机构的多种方案,并逐步增加深度研究、学习模式和跨应用任务执行能力。其应用也引发有关事实准确性、个人隐私、版权、教育及青少年安全的持续讨论。点击查看完整词条发布后已累计发文300余篇。[22]
关联机构、网站与公开账号
个人网站:公开链接:https://www.natolambert.com/(在新窗口打开)[11]
YouTubeYouTubeYouTube是Google旗下的视频分享与创作者平台,2005年由Steve Chen、Chad Hurley和Jawed Karim创办,2006年被Google收购。平台围绕视频上传、观看与创作者收益,发展出Shorts、YouTube Music、Premium、YouTube TV及儿童产品,总部位于美国加利福尼亚州San Bruno。点击查看完整词条:公开频道:https://www.youtube.com/@natolambert(在新窗口打开)[11]
LinkedInLinkedInLinkedIn 是面向职场人士的社交网络平台,2002年由 Reid Hoffman 等人创立、2003年上线,2011年在纽约证券交易所上市,2016年被 Microsoft 以约262亿美元收购后成为其全资子公司,收入来自会员订阅、广告和招聘解决方案。点击查看完整词条:公开资料:https://www.linkedin.com/in/natolambert/(在新窗口打开)[20]
Trillium Labs:官网:https://trilliumlabs.org/(在新窗口打开)[20]
Allen Institute for AI:官网:https://allenai.org/(在新窗口打开)[9]
Hugging Face:官网:https://huggingface.co/(在新窗口打开)[5]
来源
- Nathan Lambert(在新窗口打开)
- My path into AI - by Nathan Lambert - Interconnects AI(在新窗口打开)
- TalkRL: The Reinforcement Learning Podcast | Nathan Lambert(在新窗口打开)
- Synergy of Prediction and Control in Model-based Reinforcement Learning | EECS at UC Berkeley(在新窗口打开)
- Illustrating Reinforcement Learning from Human Feedback (RLHF)(在新窗口打开)
- [2310.16944] Zephyr: Direct Distillation of LM Alignment(在新窗口打开)
- [2402.00838] OLMo: Accelerating the Science of Language Models(在新窗口打开)
- [2403.13787] RewardBench: Evaluating Reward Models for Language Modeling(在新窗口打开)
- Tülu 3 opens language model post-training up to more tasks and more people | Ai2(在新窗口打开)
- [2411.15124] Tulu 3: Pushing Frontiers in Open Language Model Post-Training(在新窗口打开)
- #459 – DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters | Lex Fridman Podcast(在新窗口打开)
- The ATOM Project - American Truly Open Models(在新窗口打开)
- #490 – State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI | Lex Fridman Podcast(在新窗口打开)
- [2604.07190] The ATOM Report: Measuring the Open Language Model Ecosystem(在新窗口打开)
- Notes from inside China's AI labs - by Nathan Lambert(在新窗口打开)
- Reinforcement Learning from Human Feedback(在新窗口打开)
- about the author · Reinforcement Learning from Human Feedback(在新窗口打开)
- Introducing Trillium Labs - Trillium Labs(在新窗口打开)
- Trillium Labs opens nonprofit for open frontier AI research | ETIH EdTech News(在新窗口打开)
- Nathan Lambert(在新窗口打开)
- Retort AI | Nathan Lambert | Substack(在新窗口打开)
- About - Interconnects AI(在新窗口打开)