ABAB Pedia

Will DePue

Will DePue(2003年生)是人工智能研究员,独立非营利研究团体Unemployment Labs的创办人。他高中时创办的社区分析平台DeepResearch被Commsor收购,2023年7月至2026年4月在OpenAIOpenAIOpenAI是2015年创立的人工智能研究与产品机构,开发GPT系列模型、ChatGPT、Codex及开发者API,并开展图像、语音、视频与智能代理研究。2025年重组后,非营利的OpenAI Foundation继续控制营利主体OpenAI Group PBC。其发展涉及大规模融资与算力合作,也伴随治理、版权、隐私及人工智能安全争议。点击查看完整词条工作,是文生视频模型Sora和Sora 2Sora(OpenAI)Sora是OpenAI开发的文本生成视频模型及同名应用,2024年2月以研究预览形式亮相,2025年推出Sora 2和社交视频应用,2026年4月停止网页与应用服务。点击查看完整词条的核心贡献者,并参与o3、o4-mini和GPT-5等模型的后训练。2026年11月12日,他发表检查点取证报告,称深度求索DeepSeekDeepSeek(深度求索)是一家中国人工智能企业,开发大语言模型,并提供网页、应用及API形式的生成式人工智能服务。点击查看完整词条、月之暗面月之暗面月之暗面(Moonshot AI)是Kimi人工智能助手的开发企业,研究基础模型并提供智能体产品。点击查看完整词条、MiniMaxMiniMaxMiniMax(稀宇科技)是中国的人工智能公司,开发覆盖文本、语音、图像、视频和音乐的多模态基础模型,并经营面向个人用户的AI原生应用和面向企业及开发者的开放平台。点击查看完整词条和蚂蚁集团蚂蚁集团Ant Group(蚂蚁集团)是总部位于中国浙江省杭州市的数字技术与金融科技公司,运营支付宝,业务涵盖数字支付与商户服务、信贷科技、理财科技和保险科技,并开发人工智能大模型;Alibaba持有其约三分之一股权。点击查看完整词条的六个开源权重模型带有英伟达NVIDIANVIDIA 是美国半导体与计算技术公司,提供图形处理器、人工智能基础设施、网络互连和计算软件,在纳斯达克以 NVDA 为代码上市。点击查看完整词条Blackwell GPU的硬件指纹。

本页目录12 节
词条资料

读高中时创办Thrive.fyi

他生于2003年,读高中时在加州圣莫尼卡创办了Thrive.fyi,想做一个专为高中生设计的聊天平台,让学生之间、学生和老师之间能直接快速沟通,取代电子邮件。这个项目拿到了一轮亲友投资,2021年6月关闭。⁠[1][2]

创办社区分析平台DeepResearch

同年,他作为Geffen Academy at UCLA的首届毕业生毕业,是毕业班的第二名(salutatorian),之后到密歇根大学University of MichiganUniversity of Michigan(密歇根大学)是1817年在底特律创立、1837年迁至密歇根州安娜堡的大学,由经全州选举产生的董事会治理,另设Dearborn与Flint校区。点击查看完整词条读计算机科学,后来休学离校。他还是一名鹰级童军(Eagle Scout)。⁠[1][3]

DeepResearch被Commsor收购

DeepResearch成立不到半年就收到Commsor的收购要约,交易当月完成,他随后在Commsor任软件工程师一年,把产品推向企业客户。⁠[1][2]

他曾帮助管理一个名为Gen Z Mafia的年轻创业者社区,并在这里找到了DeepResearch的联合创始人,后来参与重启和扩大这个社区的使命,改名为The Human Colossus。2022年9月至2023年3月,他在非营利组织InternetActivism担任工程负责人,主导了Hyperlocal项目:在战争、灾害或断网时,用手机之间的蓝牙连接组成分布式网络传递消息。⁠[1][2]

加入OpenAI

他以驻留研究员(Resident)身份加入OpenAI,任技术人员,参与应用研究:防范越狱和提示注入、定制模型、模型能力评测和API微调等。2024年1月起,他转为正式技术人员(Member of Technical Staff)。⁠[2][3]

作为核心成员参与开发Sora

他是OpenAI第一个文生视频模型Sora的核心贡献者,也是Sora技术报告Video generation models as world simulators的作者之一;Sora于当月亮相、同年12月公开上线。后来他也是Sora 2的核心贡献者,主要改进了文本条件、可控性和对世界的理解。⁠[1][2][3]

重返OpenAI组建新团队

他在X上宣布,长时间休息后回到OpenAI,与同为Sora团队成员的Troy Luhman、Eric Luhman组建一个新团队,押注一项风险极高、但有很小却不可忽视的机会通向超级人工智能(ASI)的方向;团队保持精简,但欢迎愿意在未知领域取得进展的研究员和工程师加入。他的LinkedInLinkedInLinkedIn 是面向职场人士的社交网络平台,2002年由 Reid Hoffman 等人创立、2003年上线,2011年在纽约证券交易所上市,2016年被 Microsoft 以约262亿美元收购后成为其全资子公司,收入来自会员订阅、广告和招聘解决方案。点击查看完整词条写他在OpenAI曾带领一个团队研究新架构,做高度探索性的研究。⁠[3][1][2]

离开OpenAI

他在OpenAI工作了近三年,LinkedIn上的任职到这个月为止。他在个人网站上说,离开后准备长时间休息、四处旅行,探索许多不同的事情,乐意做演讲、为有影响力的项目提供建议。⁠[2][1]

此后他创办了Unemployment Labs,这是一个由前沿实验室出身的研究员和工程师组成的小型独立非营利研究团体,挂靠在加州非营利组织macrogrants之下,501(c)(3)免税资格尚在申请中。⁠[4][5][6]

发表检查点取证报告

他以Unemployment Labs名义发表报告Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs,称深度求索、月之暗面、MiniMax和蚂蚁集团自2026年4月以来发布的六个开源权重模型带有与英伟达Blackwell GPU相符的硬件指纹,而同一批公司更早的模型对应的是上一代Hopper。这六个模型是DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3和Ling-3.1-flash。Blackwell芯片出口到中国需要美国美国美国是位于北美洲、实行联邦制的国家,由50个州、作为合众国政府所在地的哥伦比亚特区以及波多黎各、关岛等属地组成,首都为华盛顿哥伦比亚特区。1776年7月4日,大陆会议通过《独立宣言》。2020年人口普查(2020年4月1日)全国常住人口为331,449,281人(约3.31亿人);众议院435个议席依据人口普查结果在各州之间分配。点击查看完整词条许可证,目前未见发放这类许可的记录。⁠[7]

报告估计,假设训练用的就是初始化权重的那批芯片,Kimi K3和DeepSeek-V4-Pro两次最大的训练各需要约4500和3000块Blackwell GPU、持续两三个月,五次训练合计约1.2万块,最大的单个集群造价约2亿至3亿美元,五个合计超过5亿美元;报告承认对这些估算没有把握。初版给出的最大训练用2000至3000块GPU、最大集群1.5亿至2亿美元,当天修订时被替换。⁠[7]

他在X上说,独立实验室以及OpenAI、AnthropicAnthropicAnthropic是一家于2021年成立的人工智能研究与产品公司,开发Claude模型、助手及Claude Code等工具,并以公益公司形式运营。Dario Amodei与Daniela Amodei为共同创办人,其研究涉及模型安全、可解释性和可控性。点击查看完整词条等前沿实验室的多位资深研究员已经核验了这一结果。报告公布了把DeepSeek-V3对应到Hopper、把DeepSeek-V4-Flash对应到Blackwell的初始种子,并在GitHub上发布了验证代码,供他人复现。⁠[5][6]

OpenAI的后训练工作

在o3的大规模训练之前,他在内部建了一个频道,提议把ARC-AGI的公开训练集加入强化学习数据。同事把纯文本的ARC数据集加进去后,成绩很快升到约45%;数据集随后被放进o3的大规模训练,训练完成后o3在ARC上达到88%。他认为外界批评每道题要花3000美元并不成立,前沿性能先上去,效率随后就会跟上。⁠[1]

检查点取证方法

方法的出发点是:模型训练前,PyTorch用名为Philox的伪随机数算法、从一个种子出发为几十亿个权重赋初值,并通过英伟达的cuRAND库把这项工作分给GPU上的大量线程。每个流式多处理器(SM)最多使用2048个线程,因此芯片的SM数量决定了随机数被放到哪些位置:Hopper的H100、H200、H800有132个SM,Blackwell的B200/B300有148个,GB200/GB300有152个。只有种子和线程数同时正确,才能复原初始权重的排列。⁠[7][6]

训练后,一些从未用到的词元对应的权重几乎保持初值,其余权重也保留着微弱的统计痕迹。他在约6万亿种种子与芯片布局的组合中搜索,找出最能重现这些痕迹的组合,再用搜索时没用过的权重验证。用未改动的PyTorch在实体B300上,按恢复出的种子逐位重现了DeepSeek-V4-Flash保留下来的初始权重,在租用的GB200上重现了Kimi K3的初始权重,而H100重现不出来。对24个开发者公开了训练硬件的模型,这一方法的判断全部与公开信息一致。⁠[7][5]

个人项目

他说自己的项目大多是做出他希望世上已有的东西。WebGPT用新的WebGPU接口,以不到两千行原生JavaScript在浏览器里运行GPT模型,他在两周内从零做成,在GitHub上获得约2700颗星;FIGMA-OS是他在2023年6月看到Figma推出带条件判断和变量的原型工具后,熬夜做出的第一台在Figma里实现的图灵完备8位计算机。⁠[1]

他还做了Alexandria Index,免费开放最新的嵌入向量数据集,第一批是arXiv上的全部论文,超过400万条;以及Ephemeral Notes,一个所有文字在60秒内慢慢消失的记事本,用来辅助思考时扩展工作记忆。⁠[1]

来源7 个来源

  1. Will DePue(在新窗口打开)depue.notion.site↑
  2. Will DePue | LinkedIn(在新窗口打开)linkedin.com↑
  3. A star OpenAI engineer says he's starting a new team to chase artificial superintelligence(在新窗口打开)tech.yahoo.com↑
  4. Unemployment Labs(在新窗口打开)unemploymentlabs.com↑
  5. Chinese AI labs are training models on Nvidia's Blackwell despite export controls, says ex-OpenAI engineer(在新窗口打开)theregister.com↑
  6. Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models(在新窗口打开)the-decoder.com↑
  7. Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs(在新窗口打开)unemploymentlabs.com↑