ABAB Pedia
詞條廣場

Benjamin F Spector

Benjamin F Spector 是 Flapping Airplanes 聯合創始人，研究機器學習系統。

本頁目錄13 節
詞條資料

2021年學習型字符串索引

他與合作者提出 RadixStringSpline（RSS），用學習型模型定位字符串在有序數據中的位置。索引以樹狀結構組合基數樣條，只處理區分字符串所需的前綴，並約束預測誤差，縮小最後一步查找範圍。⁠[1]

2022年麻省理工學院學位

2022年，他獲麻省理工學院計算機科學與工程、數學兩個學士學位及計算機科學 MEng 學位。⁠[2]

MIT 導師為 Tim Kraska。⁠[3]

2023年Hertz 獎學金與 Prod

他獲2023年 Hertz Fellowship，曾創辦非營利創業加速器 Prod。⁠[4]

2023年8月分階段推測解碼

他與 Chris Ré 研究小批量、設備端語言模型推理，提出樹狀的推測性候選批處理及第二階段推測，以降低生成開銷、增加一次驗證可接受的詞元數量。⁠[5]

2024年10月ThunderKittens

他參與提出 ThunderKittens，為 AI 的 GPU 內核編程提供分層抽象：線程束層使用16×16數據塊，線程塊層重疊異步工作，網格層降低啟動和內存訪問開銷。⁠[6]

2024年11月精度與縮放規律

他參與《Scaling Laws for Precision》，將數值精度納入訓練與推理的縮放分析。研究討論低精度怎樣影響有效參數量，以及預訓練數據增加後，訓練後量化可能造成更大性能損失。⁠[7]

2025年5月低延遲 Megakernel

他與 Hazy Research 合作者將 Llama-1B 的完整前向計算放入單個 GPU megakernel，減少內核邊界造成的等待。方案以 GPU 解釋器調度工作，配合共享內存分頁和計數器同步，針對單請求低延遲推理。⁠[8]

2025年9月吞吐量與多 GPU 執行

團隊隨後面向 H100 上的 Llama-70B 張量並行推理，利用指令與解釋器框架重疊計算、存儲訪問和通信。說明同時指出，研究代碼對編譯器及硬件配置敏感，作者未承諾持續支持。⁠[9]

2025年11月ParallelKittens

他參與 ParallelKittens，將 ThunderKittens 擴展到多 GPU 內核。團隊討論網絡傳輸方式與調度的取捨，在不同層次重疊通信和計算，並保留以數據塊為單位的編程方式。⁠[10]

截至2026年10月：Flapping Airplanes

他與 Asher SpectorAsher SpectorAsher Spector 是統計學研究者、Flapping Airplanes 聯合創始人。點擊查看完整詞條、Aidan SmithAidan SmithAidan Smith是工程師、Flapping Airplanes聯合創始人，曾在Neuralink工作。他入選2025屆Thiel Fellowship。點擊查看完整詞條 共同創辦 Flapping Airplanes。⁠[11]

該實驗室以數據效率為研究方向；官網稱累計融資1.8億美元，仍處於隱身研發階段。⁠[12]

斯坦福研究經歷

他曾在斯坦福大學攻讀計算機科學博士，導師為 Chris Ré。⁠[3]

關聯機構、網站與公開賬號

麻省理工學院：官網：https://www.mit.edu/（在新窗口打開）⁠[2]

斯坦福大學：官網：https://www.stanford.edu/（在新窗口打開）⁠[3]

Hertz 基金會：官網：https://www.hertzfoundation.org/（在新窗口打開）⁠[4]

Hazy Research：官網：https://hazyresearch.stanford.edu/（在新窗口打開）⁠[8]

Prod：官網：https://www.prod.so/（在新窗口打開）⁠[13]

Flapping Airplanes：官網：https://flappingairplanes.com/（在新窗口打開）⁠[12]

Benjamin F Spector 個人網站：官網：https://benjaminfspector.com/（在新窗口打開）⁠[3]

X 公開賬號：官方賬號：https://x.com/spectorb（在新窗口打開）⁠[14]

來源

  1. Bounding the Last Mile: Efficient Learned String Indexing（在新窗口打開）
  2. Six from MIT awarded 2023 Hertz Foundation Fellowships（在新窗口打開）
  3. benjamin f spector（在新窗口打開）
  4. Benjamin Spector（在新窗口打開）
  5. Accelerating LLM Inference with Staged Speculative Decoding（在新窗口打開）
  6. ThunderKittens: Simple, Fast, and Adorable AI Kernels（在新窗口打開）
  7. Scaling Laws for Precision（在新窗口打開）
  8. Look Ma, No Bubbles! Designing a Low-Latency Megakernel for Llama-1B（在新窗口打開）
  9. We Bought the Whole GPU, So We're Damn Well Going to Use the Whole GPU（在新窗口打開）
  10. ParallelKittens: Simple and Fast Multi-GPU AI Kernels（在新窗口打開）
  11. Flapping Airplanes（在新窗口打開）
  12. Flapping Airplanes（在新窗口打開）
  13. Prod（在新窗口打開）
  14. Benjamin F Spector (@spectorb)（在新窗口打開）