Will DePue
Will DePue(2003年生)是人工智能研究员,独立非营利研究团体Unemployment Labs的创办人。他高中时创办的社区分析平台DeepResearch被Commsor收购,2023年7月至2026年4月在OpenAIOpenAIOpenAI是2015年创立的人工智能研究与产品机构,开发GPT系列模型、ChatGPT、Codex及开发者API,并开展图像、语音、视频与智能代理研究。2025年重组后,非营利的OpenAI Foundation继续控制营利主体OpenAI Group PBC。其发展涉及大规模融资与算力合作,也伴随治理、版权、隐私及人工智能安全争议。点击查看完整词条工作,是文生视频模型Sora和Sora 2Sora(OpenAI)Sora是OpenAI开发的文本生成视频模型及同名应用,2024年2月以研究预览形式亮相,2025年推出Sora 2和社交视频应用,2026年4月停止网页与应用服务。点击查看完整词条的核心贡献者,并参与o3、o4-mini和GPT-5等模型的后训练。2026年11月12日,他发表检查点取证报告,称深度求索DeepSeekDeepSeek(深度求索)是一家中国人工智能企业,开发大语言模型,并提供网页、应用及API形式的生成式人工智能服务。点击查看完整词条、月之暗面月之暗面月之暗面(Moonshot AI)是Kimi人工智能助手的开发企业,研究基础模型并提供智能体产品。点击查看完整词条、MiniMaxMiniMaxMiniMax(稀宇科技)是中国的人工智能公司,开发覆盖文本、语音、图像、视频和音乐的多模态基础模型,并经营面向个人用户的AI原生应用和面向企业及开发者的开放平台。点击查看完整词条和蚂蚁集团蚂蚁集团Ant Group(蚂蚁集团)是总部位于中国浙江省杭州市的数字技术与金融科技公司,运营支付宝,业务涵盖数字支付与商户服务、信贷科技、理财科技和保险科技,并开发人工智能大模型;Alibaba持有其约三分之一股权。点击查看完整词条的六个开源权重模型带有英伟达NVIDIANVIDIA 是美国半导体与计算技术公司,提供图形处理器、人工智能基础设施、网络互连和计算软件,在纳斯达克以 NVDA 为代码上市。点击查看完整词条Blackwell GPU的硬件指纹。
本页目录12 节
词条资料
2020年8月读高中时创办Thrive.fyi
2021年6月创办社区分析平台DeepResearch
高中最后一年,他从摆弄DiscordDiscordDiscord 是由 Jason Citron 与 Stanislav Vishnevskiy 创办的通信与游戏社交平台,提供文字、语音、视频和屏幕直播功能。平台于2015年推出,支持围绕游戏和共同兴趣建立社群,并向开发者提供社交工具。点击查看完整词条的接口和下载的服务器消息数据开始,画出社区成员的关系图,随后拉来三个朋友把一个本地Python脚本做成产品DeepResearch,成为Discord上领先的社区分析平台。头六个月里,它分析了3600万名社区用户,保存了一亿多条数据;他为此在一个月内自学了前端和后端开发,并用FigmaFigmaFigma 是由 Dylan Field 与 Evan Wallace 于2012年创办的设计软件公司,总部位于美国旧金山。其同名产品以浏览器内的界面设计、原型制作及多人协作为基础,后来扩展出 FigJam、Dev Mode、Slides、Make 和 Weave 等工具。公司于2025年7月在纽约证券交易所上市,代码为 FIG。点击查看完整词条设计了全部界面。[1][2]
同年,他作为Geffen Academy at UCLA的首届毕业生毕业,是毕业班的第二名(salutatorian),之后到密歇根大学University of MichiganUniversity of Michigan(密歇根大学)是1817年在底特律创立、1837年迁至密歇根州安娜堡的大学,由经全州选举产生的董事会治理,另设Dearborn与Flint校区。点击查看完整词条读计算机科学,后来休学离校。他还是一名鹰级童军(Eagle Scout)。[1][3]
2022年2月DeepResearch被Commsor收购
2023年7月加入OpenAI
2024年2月作为核心成员参与开发Sora
2025年10月29日重返OpenAI组建新团队
他在X上宣布,长时间休息后回到OpenAI,与同为Sora团队成员的Troy Luhman、Eric Luhman组建一个新团队,押注一项风险极高、但有很小却不可忽视的机会通向超级人工智能(ASI)的方向;团队保持精简,但欢迎愿意在未知领域取得进展的研究员和工程师加入。他的LinkedInLinkedInLinkedIn 是面向职场人士的社交网络平台,2002年由 Reid Hoffman 等人创立、2003年上线,2011年在纽约证券交易所上市,2016年被 Microsoft 以约262亿美元收购后成为其全资子公司,收入来自会员订阅、广告和招聘解决方案。点击查看完整词条写他在OpenAI曾带领一个团队研究新架构,做高度探索性的研究。[3][1][2]
2026年4月离开OpenAI
2026年11月12日发表检查点取证报告
他以Unemployment Labs名义发表报告Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs,称深度求索、月之暗面、MiniMax和蚂蚁集团自2026年4月以来发布的六个开源权重模型带有与英伟达Blackwell GPU相符的硬件指纹,而同一批公司更早的模型对应的是上一代Hopper。这六个模型是DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3和Ling-3.1-flash。Blackwell芯片出口到中国需要美国美国美国是位于北美洲、实行联邦制的国家,由50个州、作为合众国政府所在地的哥伦比亚特区以及波多黎各、关岛等属地组成,首都为华盛顿哥伦比亚特区。1776年7月4日,大陆会议通过《独立宣言》。2020年人口普查(2020年4月1日)全国常住人口为331,449,281人(约3.31亿人);众议院435个议席依据人口普查结果在各州之间分配。点击查看完整词条许可证,目前未见发放这类许可的记录。[7]
报告估计,假设训练用的就是初始化权重的那批芯片,Kimi K3和DeepSeek-V4-Pro两次最大的训练各需要约4500和3000块Blackwell GPU、持续两三个月,五次训练合计约1.2万块,最大的单个集群造价约2亿至3亿美元,五个合计超过5亿美元;报告承认对这些估算没有把握。初版给出的最大训练用2000至3000块GPU、最大集群1.5亿至2亿美元,当天修订时被替换。[7]
他在X上说,独立实验室以及OpenAI、AnthropicAnthropicAnthropic是一家于2021年成立的人工智能研究与产品公司,开发Claude模型、助手及Claude Code等工具,并以公益公司形式运营。Dario Amodei与Daniela Amodei为共同创办人,其研究涉及模型安全、可解释性和可控性。点击查看完整词条等前沿实验室的多位资深研究员已经核验了这一结果。报告公布了把DeepSeek-V3对应到Hopper、把DeepSeek-V4-Flash对应到Blackwell的初始种子,并在GitHub上发布了验证代码,供他人复现。[5][6]
OpenAI的后训练工作
他参与了ChatGPTChatGPTChatGPT是OpenAI于2022年11月30日推出的生成式人工智能助手,通过网页和应用提供对话、写作、编程、搜索、文件分析及图像和语音交互等服务。产品从免费研究预览发展为面向个人、企业和教育机构的多种方案,并逐步增加深度研究、学习模式和跨应用任务执行能力。其应用也引发有关事实准确性、个人隐私、版权、教育及青少年安全的持续讨论。点击查看完整词条多个模型的后训练,包括o3、o4-mini、几版4o主线模型以及GPT-5的推理和非推理版本,工作重点之一是提高推理模型的奖励模型表现。他自述最得意的是自己主导的应对模型谄媚问题的研究。[1][2]
在o3的大规模训练之前,他在内部建了一个频道,提议把ARC-AGI的公开训练集加入强化学习数据。同事把纯文本的ARC数据集加进去后,成绩很快升到约45%;数据集随后被放进o3的大规模训练,训练完成后o3在ARC上达到88%。他认为外界批评每道题要花3000美元并不成立,前沿性能先上去,效率随后就会跟上。[1]
检查点取证方法
方法的出发点是:模型训练前,PyTorch用名为Philox的伪随机数算法、从一个种子出发为几十亿个权重赋初值,并通过英伟达的cuRAND库把这项工作分给GPU上的大量线程。每个流式多处理器(SM)最多使用2048个线程,因此芯片的SM数量决定了随机数被放到哪些位置:Hopper的H100、H200、H800有132个SM,Blackwell的B200/B300有148个,GB200/GB300有152个。只有种子和线程数同时正确,才能复原初始权重的排列。[7][6]
训练后,一些从未用到的词元对应的权重几乎保持初值,其余权重也保留着微弱的统计痕迹。他在约6万亿种种子与芯片布局的组合中搜索,找出最能重现这些痕迹的组合,再用搜索时没用过的权重验证。用未改动的PyTorch在实体B300上,按恢复出的种子逐位重现了DeepSeek-V4-Flash保留下来的初始权重,在租用的GB200上重现了Kimi K3的初始权重,而H100重现不出来。对24个开发者公开了训练硬件的模型,这一方法的判断全部与公开信息一致。[7][5]
报告本身列出了方法的局限:指纹只说明生成初始权重的硬件,支持但不能证明训练也在Blackwell上进行;无法看出芯片在哪里、归谁所有,Blackwell系统可以在中国境外的数据中心租用,因此不能据此断定芯片被走私或违反了出口管制;经过特殊配置的AMDAMDAMD(Advanced Micro Devices, Inc.)是1969年成立的美国上市半导体公司,总部位于加利福尼亚州Santa Clara,股票在纳斯达克交易,代码为AMD。公司开发CPU、GPU、FPGA、自适应片上系统及相关软件,主要面向数据中心、个人计算机、游戏和嵌入式市场;产品品牌包括Ryzen、EPYC、Radeon与Instinct。点击查看完整词条硬件是唯一可能产生相同图样的替代,他对DeepSeek-V4-Flash排除了这种可能。阿里巴巴AlibabaAlibaba 是以电子商务、云计算与人工智能为核心业务的技术集团,1999年由 Jack Ma 等18人创立;Yahoo 于2005年成为其重要投资者。点击查看完整词条、智谱、腾讯腾讯Tencent(腾讯)是中国的互联网与科技公司,经营QQ和微信(Weixin/WeChat)等通信与社交平台,业务涵盖网络游戏、营销服务、金融科技与企业服务,以及混元(HY)大模型和元宝等人工智能产品。点击查看完整词条、小米和阶跃星辰能检查的最新模型都对应Hopper。[7][6]
个人项目
他说自己的项目大多是做出他希望世上已有的东西。WebGPT用新的WebGPU接口,以不到两千行原生JavaScript在浏览器里运行GPT模型,他在两周内从零做成,在GitHub上获得约2700颗星;FIGMA-OS是他在2023年6月看到Figma推出带条件判断和变量的原型工具后,熬夜做出的第一台在Figma里实现的图灵完备8位计算机。[1]
他还做了Alexandria Index,免费开放最新的嵌入向量数据集,第一批是arXiv上的全部论文,超过400万条;以及Ephemeral Notes,一个所有文字在60秒内慢慢消失的记事本,用来辅助思考时扩展工作记忆。[1]
来源7 个来源
- Will DePue(在新窗口打开)depue.notion.site↑
- Will DePue | LinkedIn(在新窗口打开)linkedin.com↑
- A star OpenAI engineer says he's starting a new team to chase artificial superintelligence(在新窗口打开)tech.yahoo.com↑
- Unemployment Labs(在新窗口打开)unemploymentlabs.com↑
- Chinese AI labs are training models on Nvidia's Blackwell despite export controls, says ex-OpenAI engineer(在新窗口打开)theregister.com↑
- Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models(在新窗口打开)the-decoder.com↑
- Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs(在新窗口打开)unemploymentlabs.com↑