ABAB Pedia

Will DePue

Will DePue(2003年生)是人工智能研究員,獨立非營利研究團體Unemployment Labs的創辦人。他高中時創辦的社區分析平臺DeepResearch被Commsor收購,2023年7月至2026年4月在OpenAIOpenAIOpenAI是2015年創立的人工智能研究與產品機構,開發GPT系列模型、ChatGPT、Codex及開發者API,並開展圖像、語音、視頻與智能代理研究。2025年重組後,非營利的OpenAI Foundation繼續控制營利主體OpenAI Group PBC。其發展涉及大規模融資與算力合作,也伴隨治理、版權、隱私及人工智能安全爭議。點擊查看完整詞條工作,是文生視頻模型Sora和Sora 2Sora(OpenAI)Sora是OpenAI開發的文本生成視頻模型及同名應用,2024年2月以研究預覽形式亮相,2025年推出Sora 2和社交視頻應用,2026年4月停止網頁與應用服務。點擊查看完整詞條的核心貢獻者,並參與o3、o4-mini和GPT-5等模型的後訓練。2026年11月12日,他發表檢查點取證報告,稱深度求索DeepSeekDeepSeek(深度求索)是一家中國人工智能企業,開發大語言模型,並提供網頁、應用及API形式的生成式人工智能服務。點擊查看完整詞條、月之暗面月之暗面月之暗面(Moonshot AI)是Kimi人工智能助手的開發企業,研究基礎模型並提供智能體產品。點擊查看完整詞條、MiniMaxMiniMaxMiniMax(稀宇科技)是中國的人工智能公司,開發覆蓋文本、語音、圖像、視頻和音樂的多模態基礎模型,並經營面向個人用戶的AI原生應用和麵向企業及開發者的開放平臺。點擊查看完整詞條和螞蟻集團螞蟻集團Ant Group(螞蟻集團)是總部位於中國浙江省杭州市的數字技術與金融科技公司,運營支付寶,業務涵蓋數字支付與商戶服務、信貸科技、理財科技和保險科技,並開發人工智能大模型;Alibaba持有其約三分之一股權。點擊查看完整詞條的六個開源權重模型帶有英偉達NVIDIANVIDIA 是美國半導體與計算技術公司,提供圖形處理器、人工智能基礎設施、網絡互連和計算軟件,在納斯達克以 NVDA 為代碼上市。點擊查看完整詞條Blackwell GPU的硬件指紋。

本頁目錄12 節
詞條資料

讀高中時創辦Thrive.fyi

他生於2003年,讀高中時在加州聖莫尼卡創辦了Thrive.fyi,想做一個專為高中生設計的聊天平臺,讓學生之間、學生和老師之間能直接快速溝通,取代電子郵件。這個項目拿到了一輪親友投資,2021年6月關閉。⁠[1][2]

創辦社區分析平臺DeepResearch

同年,他作為Geffen Academy at UCLA的首屆畢業生畢業,是畢業班的第二名(salutatorian),之後到密歇根大學University of MichiganUniversity of Michigan(密歇根大學)是1817年在底特律創立、1837年遷至密歇根州安娜堡的大學,由經全州選舉產生的董事會治理,另設Dearborn與Flint校區。點擊查看完整詞條讀計算機科學,後來休學離校。他還是一名鷹級童軍(Eagle Scout)。⁠[1][3]

DeepResearch被Commsor收購

DeepResearch成立不到半年就收到Commsor的收購要約,交易當月完成,他隨後在Commsor任軟件工程師一年,把產品推向企業客戶。⁠[1][2]

他曾幫助管理一個名為Gen Z Mafia的年輕創業者社區,並在這裡找到了DeepResearch的聯合創始人,後來參與重啟和擴大這個社區的使命,改名為The Human Colossus。2022年9月至2023年3月,他在非營利組織InternetActivism擔任工程負責人,主導了Hyperlocal項目:在戰爭、災害或斷網時,用手機之間的藍牙連接組成分佈式網絡傳遞消息。⁠[1][2]

加入OpenAI

他以駐留研究員(Resident)身份加入OpenAI,任技術人員,參與應用研究:防範越獄和提示注入、定製模型、模型能力評測和API微調等。2024年1月起,他轉為正式技術人員(Member of Technical Staff)。⁠[2][3]

作為核心成員參與開發Sora

他是OpenAI第一個文生視頻模型Sora的核心貢獻者,也是Sora技術報告Video generation models as world simulators的作者之一;Sora於當月亮相、同年12月公開上線。後來他也是Sora 2的核心貢獻者,主要改進了文本條件、可控性和對世界的理解。⁠[1][2][3]

重返OpenAI組建新團隊

他在X上宣佈,長時間休息後回到OpenAI,與同為Sora團隊成員的Troy Luhman、Eric Luhman組建一個新團隊,押注一項風險極高、但有很小卻不可忽視的機會通向超級人工智能(ASI)的方向;團隊保持精簡,但歡迎願意在未知領域取得進展的研究員和工程師加入。他的LinkedInLinkedInLinkedIn 是面向職場人士的社交網絡平臺,2002年由 Reid Hoffman 等人創立、2003年上線,2011年在紐約證券交易所上市,2016年被 Microsoft 以約262億美元收購後成為其全資子公司,收入來自會員訂閱、廣告和招聘解決方案。點擊查看完整詞條寫他在OpenAI曾帶領一個團隊研究新架構,做高度探索性的研究。⁠[3][1][2]

離開OpenAI

他在OpenAI工作了近三年,LinkedIn上的任職到這個月為止。他在個人網站上說,離開後準備長時間休息、四處旅行,探索許多不同的事情,樂意做演講、為有影響力的項目提供建議。⁠[2][1]

此後他創辦了Unemployment Labs,這是一個由前沿實驗室出身的研究員和工程師組成的小型獨立非營利研究團體,掛靠在加州非營利組織macrogrants之下,501(c)(3)免稅資格尚在申請中。⁠[4][5][6]

發表檢查點取證報告

他以Unemployment Labs名義發表報告Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs,稱深度求索、月之暗面、MiniMax和螞蟻集團自2026年4月以來發布的六個開源權重模型帶有與英偉達Blackwell GPU相符的硬件指紋,而同一批公司更早的模型對應的是上一代Hopper。這六個模型是DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3和Ling-3.1-flash。Blackwell芯片出口到中國需要美國美國美國是位於北美洲、實行聯邦制的國家,由50個州、作為合眾國政府所在地的哥倫比亞特區以及波多黎各、關島等屬地組成,首都為華盛頓哥倫比亞特區。1776年7月4日,大陸會議通過《獨立宣言》。2020年人口普查(2020年4月1日)全國常住人口為331,449,281人(約3.31億人);眾議院435個議席依據人口普查結果在各州之間分配。點擊查看完整詞條許可證,目前未見發放這類許可的記錄。⁠[7]

報告估計,假設訓練用的就是初始化權重的那批芯片,Kimi K3和DeepSeek-V4-Pro兩次最大的訓練各需要約4500和3000塊Blackwell GPU、持續兩三個月,五次訓練合計約1.2萬塊,最大的單個集群造價約2億至3億美元,五個合計超過5億美元;報告承認對這些估算沒有把握。初版給出的最大訓練用2000至3000塊GPU、最大集群1.5億至2億美元,當天修訂時被替換。⁠[7]

他在X上說,獨立實驗室以及OpenAI、AnthropicAnthropicAnthropic是一家於2021年成立的人工智能研究與產品公司,開發Claude模型、助手及Claude Code等工具,並以公益公司形式運營。Dario Amodei與Daniela Amodei為共同創辦人,其研究涉及模型安全、可解釋性和可控性。點擊查看完整詞條等前沿實驗室的多位資深研究員已經核驗了這一結果。報告公佈了把DeepSeek-V3對應到Hopper、把DeepSeek-V4-Flash對應到Blackwell的初始種子,並在GitHub上發佈了驗證代碼,供他人復現。⁠[5][6]

OpenAI的後訓練工作

在o3的大規模訓練之前,他在內部建了一個頻道,提議把ARC-AGI的公開訓練集加入強化學習數據。同事把純文本的ARC數據集加進去後,成績很快升到約45%;數據集隨後被放進o3的大規模訓練,訓練完成後o3在ARC上達到88%。他認為外界批評每道題要花3000美元並不成立,前沿性能先上去,效率隨後就會跟上。⁠[1]

檢查點取證方法

方法的出發點是:模型訓練前,PyTorch用名為Philox的偽隨機數算法、從一個種子出發為幾十億個權重賦初值,並通過英偉達的cuRAND庫把這項工作分給GPU上的大量線程。每個流式多處理器(SM)最多使用2048個線程,因此芯片的SM數量決定了隨機數被放到哪些位置:Hopper的H100、H200、H800有132個SM,Blackwell的B200/B300有148個,GB200/GB300有152個。只有種子和線程數同時正確,才能復原初始權重的排列。⁠[7][6]

訓練後,一些從未用到的詞元對應的權重幾乎保持初值,其餘權重也保留著微弱的統計痕跡。他在約6萬億種種子與芯片佈局的組合中搜索,找出最能重現這些痕跡的組合,再用搜索時沒用過的權重驗證。用未改動的PyTorch在實體B300上,按恢復出的種子逐位重現了DeepSeek-V4-Flash保留下來的初始權重,在租用的GB200上重現了Kimi K3的初始權重,而H100重現不出來。對24個開發者公開了訓練硬件的模型,這一方法的判斷全部與公開信息一致。⁠[7][5]

個人項目

他說自己的項目大多是做出他希望世上已有的東西。WebGPT用新的WebGPU接口,以不到兩千行原生JavaScript在瀏覽器裡運行GPT模型,他在兩週內從零做成,在GitHub上獲得約2700顆星;FIGMA-OS是他在2023年6月看到Figma推出帶條件判斷和變量的原型工具後,熬夜做出的第一臺在Figma裡實現的圖靈完備8位計算機。⁠[1]

他還做了Alexandria Index,免費開放最新的嵌入向量數據集,第一批是arXiv上的全部論文,超過400萬條;以及Ephemeral Notes,一個所有文字在60秒內慢慢消失的記事本,用來輔助思考時擴展工作記憶。⁠[1]

來源7 個來源

  1. Will DePue(在新窗口打開)depue.notion.site↑
  2. Will DePue | LinkedIn(在新窗口打開)linkedin.com↑
  3. A star OpenAI engineer says he's starting a new team to chase artificial superintelligence(在新窗口打開)tech.yahoo.com↑
  4. Unemployment Labs(在新窗口打開)unemploymentlabs.com↑
  5. Chinese AI labs are training models on Nvidia's Blackwell despite export controls, says ex-OpenAI engineer(在新窗口打開)theregister.com↑
  6. Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models(在新窗口打開)the-decoder.com↑
  7. Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs(在新窗口打開)unemploymentlabs.com↑