Will DePue
Will DePue(2003年生)是人工智能研究員,獨立非營利研究團體Unemployment Labs的創辦人。他高中時創辦的社區分析平臺DeepResearch被Commsor收購,2023年7月至2026年4月在OpenAIOpenAIOpenAI是2015年創立的人工智能研究與產品機構,開發GPT系列模型、ChatGPT、Codex及開發者API,並開展圖像、語音、視頻與智能代理研究。2025年重組後,非營利的OpenAI Foundation繼續控制營利主體OpenAI Group PBC。其發展涉及大規模融資與算力合作,也伴隨治理、版權、隱私及人工智能安全爭議。點擊查看完整詞條工作,是文生視頻模型Sora和Sora 2Sora(OpenAI)Sora是OpenAI開發的文本生成視頻模型及同名應用,2024年2月以研究預覽形式亮相,2025年推出Sora 2和社交視頻應用,2026年4月停止網頁與應用服務。點擊查看完整詞條的核心貢獻者,並參與o3、o4-mini和GPT-5等模型的後訓練。2026年11月12日,他發表檢查點取證報告,稱深度求索DeepSeekDeepSeek(深度求索)是一家中國人工智能企業,開發大語言模型,並提供網頁、應用及API形式的生成式人工智能服務。點擊查看完整詞條、月之暗面月之暗面月之暗面(Moonshot AI)是Kimi人工智能助手的開發企業,研究基礎模型並提供智能體產品。點擊查看完整詞條、MiniMaxMiniMaxMiniMax(稀宇科技)是中國的人工智能公司,開發覆蓋文本、語音、圖像、視頻和音樂的多模態基礎模型,並經營面向個人用戶的AI原生應用和麵向企業及開發者的開放平臺。點擊查看完整詞條和螞蟻集團螞蟻集團Ant Group(螞蟻集團)是總部位於中國浙江省杭州市的數字技術與金融科技公司,運營支付寶,業務涵蓋數字支付與商戶服務、信貸科技、理財科技和保險科技,並開發人工智能大模型;Alibaba持有其約三分之一股權。點擊查看完整詞條的六個開源權重模型帶有英偉達NVIDIANVIDIA 是美國半導體與計算技術公司,提供圖形處理器、人工智能基礎設施、網絡互連和計算軟件,在納斯達克以 NVDA 為代碼上市。點擊查看完整詞條Blackwell GPU的硬件指紋。
本頁目錄12 節
詞條資料
2020年8月讀高中時創辦Thrive.fyi
2021年6月創辦社區分析平臺DeepResearch
高中最後一年,他從擺弄DiscordDiscordDiscord 是由 Jason Citron 與 Stanislav Vishnevskiy 創辦的通信與遊戲社交平臺,提供文字、語音、視頻和屏幕直播功能。平臺於2015年推出,支持圍繞遊戲和共同興趣建立社群,並向開發者提供社交工具。點擊查看完整詞條的接口和下載的服務器消息數據開始,畫出社區成員的關係圖,隨後拉來三個朋友把一個本地Python腳本做成產品DeepResearch,成為Discord上領先的社區分析平臺。頭六個月裡,它分析了3600萬名社區用戶,保存了一億多條數據;他為此在一個月內自學了前端和後端開發,並用FigmaFigmaFigma 是由 Dylan Field 與 Evan Wallace 於2012年創辦的設計軟件公司,總部位於美國舊金山。其同名產品以瀏覽器內的界面設計、原型製作及多人協作為基礎,後來擴展出 FigJam、Dev Mode、Slides、Make 和 Weave 等工具。公司於2025年7月在紐約證券交易所上市,代碼為 FIG。點擊查看完整詞條設計了全部界面。[1][2]
同年,他作為Geffen Academy at UCLA的首屆畢業生畢業,是畢業班的第二名(salutatorian),之後到密歇根大學University of MichiganUniversity of Michigan(密歇根大學)是1817年在底特律創立、1837年遷至密歇根州安娜堡的大學,由經全州選舉產生的董事會治理,另設Dearborn與Flint校區。點擊查看完整詞條讀計算機科學,後來休學離校。他還是一名鷹級童軍(Eagle Scout)。[1][3]
2022年2月DeepResearch被Commsor收購
2023年7月加入OpenAI
2024年2月作為核心成員參與開發Sora
2025年10月29日重返OpenAI組建新團隊
他在X上宣佈,長時間休息後回到OpenAI,與同為Sora團隊成員的Troy Luhman、Eric Luhman組建一個新團隊,押注一項風險極高、但有很小卻不可忽視的機會通向超級人工智能(ASI)的方向;團隊保持精簡,但歡迎願意在未知領域取得進展的研究員和工程師加入。他的LinkedInLinkedInLinkedIn 是面向職場人士的社交網絡平臺,2002年由 Reid Hoffman 等人創立、2003年上線,2011年在紐約證券交易所上市,2016年被 Microsoft 以約262億美元收購後成為其全資子公司,收入來自會員訂閱、廣告和招聘解決方案。點擊查看完整詞條寫他在OpenAI曾帶領一個團隊研究新架構,做高度探索性的研究。[3][1][2]
2026年4月離開OpenAI
2026年11月12日發表檢查點取證報告
他以Unemployment Labs名義發表報告Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs,稱深度求索、月之暗面、MiniMax和螞蟻集團自2026年4月以來發布的六個開源權重模型帶有與英偉達Blackwell GPU相符的硬件指紋,而同一批公司更早的模型對應的是上一代Hopper。這六個模型是DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3和Ling-3.1-flash。Blackwell芯片出口到中國需要美國美國美國是位於北美洲、實行聯邦制的國家,由50個州、作為合眾國政府所在地的哥倫比亞特區以及波多黎各、關島等屬地組成,首都為華盛頓哥倫比亞特區。1776年7月4日,大陸會議通過《獨立宣言》。2020年人口普查(2020年4月1日)全國常住人口為331,449,281人(約3.31億人);眾議院435個議席依據人口普查結果在各州之間分配。點擊查看完整詞條許可證,目前未見發放這類許可的記錄。[7]
報告估計,假設訓練用的就是初始化權重的那批芯片,Kimi K3和DeepSeek-V4-Pro兩次最大的訓練各需要約4500和3000塊Blackwell GPU、持續兩三個月,五次訓練合計約1.2萬塊,最大的單個集群造價約2億至3億美元,五個合計超過5億美元;報告承認對這些估算沒有把握。初版給出的最大訓練用2000至3000塊GPU、最大集群1.5億至2億美元,當天修訂時被替換。[7]
他在X上說,獨立實驗室以及OpenAI、AnthropicAnthropicAnthropic是一家於2021年成立的人工智能研究與產品公司,開發Claude模型、助手及Claude Code等工具,並以公益公司形式運營。Dario Amodei與Daniela Amodei為共同創辦人,其研究涉及模型安全、可解釋性和可控性。點擊查看完整詞條等前沿實驗室的多位資深研究員已經核驗了這一結果。報告公佈了把DeepSeek-V3對應到Hopper、把DeepSeek-V4-Flash對應到Blackwell的初始種子,並在GitHub上發佈了驗證代碼,供他人復現。[5][6]
OpenAI的後訓練工作
他參與了ChatGPTChatGPTChatGPT是OpenAI於2022年11月30日推出的生成式人工智能助手,通過網頁和應用提供對話、寫作、編程、搜索、文件分析及圖像和語音交互等服務。產品從免費研究預覽發展為面向個人、企業和教育機構的多種方案,並逐步增加深度研究、學習模式和跨應用任務執行能力。其應用也引發有關事實準確性、個人隱私、版權、教育及青少年安全的持續討論。點擊查看完整詞條多個模型的後訓練,包括o3、o4-mini、幾版4o主線模型以及GPT-5的推理和非推理版本,工作重點之一是提高推理模型的獎勵模型表現。他自述最得意的是自己主導的應對模型諂媚問題的研究。[1][2]
在o3的大規模訓練之前,他在內部建了一個頻道,提議把ARC-AGI的公開訓練集加入強化學習數據。同事把純文本的ARC數據集加進去後,成績很快升到約45%;數據集隨後被放進o3的大規模訓練,訓練完成後o3在ARC上達到88%。他認為外界批評每道題要花3000美元並不成立,前沿性能先上去,效率隨後就會跟上。[1]
檢查點取證方法
方法的出發點是:模型訓練前,PyTorch用名為Philox的偽隨機數算法、從一個種子出發為幾十億個權重賦初值,並通過英偉達的cuRAND庫把這項工作分給GPU上的大量線程。每個流式多處理器(SM)最多使用2048個線程,因此芯片的SM數量決定了隨機數被放到哪些位置:Hopper的H100、H200、H800有132個SM,Blackwell的B200/B300有148個,GB200/GB300有152個。只有種子和線程數同時正確,才能復原初始權重的排列。[7][6]
訓練後,一些從未用到的詞元對應的權重幾乎保持初值,其餘權重也保留著微弱的統計痕跡。他在約6萬億種種子與芯片佈局的組合中搜索,找出最能重現這些痕跡的組合,再用搜索時沒用過的權重驗證。用未改動的PyTorch在實體B300上,按恢復出的種子逐位重現了DeepSeek-V4-Flash保留下來的初始權重,在租用的GB200上重現了Kimi K3的初始權重,而H100重現不出來。對24個開發者公開了訓練硬件的模型,這一方法的判斷全部與公開信息一致。[7][5]
報告本身列出了方法的侷限:指紋只說明生成初始權重的硬件,支持但不能證明訓練也在Blackwell上進行;無法看出芯片在哪裡、歸誰所有,Blackwell系統可以在中國境外的數據中心租用,因此不能據此斷定芯片被走私或違反了出口管制;經過特殊配置的AMDAMDAMD(Advanced Micro Devices, Inc.)是1969年成立的美國上市半導體公司,總部位於加利福尼亞州Santa Clara,股票在納斯達克交易,代碼為AMD。公司開發CPU、GPU、FPGA、自適應片上系統及相關軟件,主要面向數據中心、個人計算機、遊戲和嵌入式市場;產品品牌包括Ryzen、EPYC、Radeon與Instinct。點擊查看完整詞條硬件是唯一可能產生相同圖樣的替代,他對DeepSeek-V4-Flash排除了這種可能。阿里巴巴AlibabaAlibaba 是以電子商務、雲計算與人工智能為核心業務的技術集團,1999年由 Jack Ma 等18人創立;Yahoo 於2005年成為其重要投資者。點擊查看完整詞條、智譜、騰訊騰訊Tencent(騰訊)是中國的互聯網與科技公司,經營QQ和微信(Weixin/WeChat)等通信與社交平臺,業務涵蓋網絡遊戲、營銷服務、金融科技與企業服務,以及混元(HY)大模型和元寶等人工智能產品。點擊查看完整詞條、小米和階躍星辰能檢查的最新模型都對應Hopper。[7][6]
個人項目
他說自己的項目大多是做出他希望世上已有的東西。WebGPT用新的WebGPU接口,以不到兩千行原生JavaScript在瀏覽器裡運行GPT模型,他在兩週內從零做成,在GitHub上獲得約2700顆星;FIGMA-OS是他在2023年6月看到Figma推出帶條件判斷和變量的原型工具後,熬夜做出的第一臺在Figma裡實現的圖靈完備8位計算機。[1]
他還做了Alexandria Index,免費開放最新的嵌入向量數據集,第一批是arXiv上的全部論文,超過400萬條;以及Ephemeral Notes,一個所有文字在60秒內慢慢消失的記事本,用來輔助思考時擴展工作記憶。[1]
來源7 個來源
- Will DePue(在新窗口打開)depue.notion.site↑
- Will DePue | LinkedIn(在新窗口打開)linkedin.com↑
- A star OpenAI engineer says he's starting a new team to chase artificial superintelligence(在新窗口打開)tech.yahoo.com↑
- Unemployment Labs(在新窗口打開)unemploymentlabs.com↑
- Chinese AI labs are training models on Nvidia's Blackwell despite export controls, says ex-OpenAI engineer(在新窗口打開)theregister.com↑
- Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models(在新窗口打開)the-decoder.com↑
- Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs(在新窗口打開)unemploymentlabs.com↑