ABAB Pedia

Omar Khattab

Omar Khattab是麻省理工學院電氣工程與計算機科學系助理教授,領導OASYS實驗室,研究語言模型編程、信息檢索與AI系統。

本頁目錄25 節
詞條資料

卡內基梅隆大學畢業

ColBERT檢索模型

2020年,他與Matei Zaharia發表ColBERT研究,將查詢和文檔分別編碼,再進行細粒度的後期交互。文檔表示可預先計算,使基於BERT的語義匹配兼顧檢索效率。⁠[2]

檢索與可追溯的搜索

他與Christopher Potts、Matei Zaharia在Stanford HAI文章中主張,把神經信息檢索作為搜索改進的基礎,保留答案所依賴的文檔來源,並通過更新索引吸收新知識。⁠[3]

Apple研究實習

DSPy論文

他作為第一作者參與的DSPy論文提出,將語言模型應用寫成可組合的聲明式模塊,由編譯和優化過程依據任務指標改進模型調用流程,減少手工維護提示詞的依賴。⁠[5]

語言模型軟件抽象

他參與撰寫的Two Sigma文章以七層模型梳理語言模型軟件,並比較五類框架的可靠性、性能、可移植性及擴展能力,強調不同層次職責的分離。⁠[6]

複合AI系統

他是《The Shift from Models to Compound AI Systems》的共同作者。文章討論將模型、檢索和工具組合成系統,並把質量、成本及優化問題放在整個系統層面考察。⁠[7]

Databricks研究工作

研究理念

他在個人文章中建議圍繞長期項目組織研究,而非只追求單篇論文;選題應有發展空間,並通過快速迭代、可用的軟件發佈和社區反饋擴大研究影響。⁠[8]

斯坦福大學博士

他於2019年進入斯坦福大學Stanford UniversityStanford University是美國加利福尼亞州的研究型大學,由Leland與Jane Stanford於1885年創立,1891年開學。點擊查看完整詞條攻讀計算機科學博士,2025年1月完成學位,導師為Christopher Potts和Matei Zaharia;博士研究聚焦通過基礎模型編程提升AI系統的可靠性與可擴展性。⁠[4]

WARP與SIGIR最佳論文獎

他與Jan Luca Scheerer、Matei Zaharia、Christopher Potts及Gustavo Alonso共同發表多向量檢索引擎WARP。該論文獲SIGIR 2025最佳論文獎。⁠[9][10]

Tartans on the Rise

卡內基梅隆大學將他列入2025年Tartans on the Rise校友名單。報道介紹了他提高語言模型編程抽象層次、幫助領域專家構建軟件的研究方向。⁠[1]

AI系統工程演講

他在AI Engineer演講中提出,應把應用所需的規範、控制流程、工具和評估,與不斷變化的模型及優化方法分開。工程工作的重點是明確系統要解決的問題,避免把暫時有效的提示技巧固化為底層設計。⁠[11]

加入MIT

2025年7月,他開始在MIT擔任助理教授。其現任崗位設於電氣工程與計算機科學系,並擔任TIBCO Founders職業發展教授。⁠[4][12]

GEPA提示優化

他參與GEPA研究,通過對執行過程和反饋進行自然語言反思,生成並篩選提示詞變體。論文比較了特定任務中的優化表現;其結果不意味著提示優化在所有場景都優於強化學習。⁠[13]

遞歸語言模型

他與Alex Zhang介紹遞歸語言模型,將長輸入保存在可執行環境中,由模型通過代碼檢查和拆分內容,再調用子模型處理局部問題。早期實驗採用受限的遞歸深度,重點研究長上下文任務。⁠[14]

Pedagogical RL

他參與的Pedagogical RL研究利用教師可見、學生不可見的信息生成教學軌跡,同時考慮學生能否學會這些軌跡。文章報告初步任務實驗,探索模型如何藉助更有針對性的示範學習。⁠[15]

Machine Studying

他與Jacob Xiaochen Li、Rick Battle提出Machine Studying問題:讓智能體在未知未來題目的情況下學習一份資料,並在之後仍可查閱資料時更高效地完成任務。研究以質量與推理成本的關係衡量專業能力,並公佈開發中的StudyBench。⁠[16]

框架與組合泛化

他與Alex Zhang研究智能體運行框架如何幫助模型從較短任務遷移到更長任務,重點分析上下文外置和程序化子調用。文中用遞歸語言模型實驗討論任務分解與訓練分佈之間的關係。⁠[17]

OASYS與AI應用適配

MIT對其OASYS實驗室的報道,將研究目標概括為解決AI應用的最後一公里:把通用模型適配到具體用戶的需求。Khattab強調發展可重用的開源系統方法,而不是隻解決單一垂直場景。⁠[18]

AI系統與智能體課程

他在MIT開設6.S978“Engineering AI Systems and Agents”,課程圍繞可靠性、效率和可維護性,討論聲明式規範、評估、反饋和計算預算。⁠[19]

AI與研究工作

他在個人X帖文中表示,AI提高生產力並未使自己的研究工作失去意義;工具進步擴大了他希望完成的目標,因此高質量成果仍需要投入時間和專業判斷。他也表達了對權力集中的擔憂。這些說法是其個人科研經驗與觀點。⁠[20]

權重空間編程實驗

他與Rikiya Takehi、Jayden Teoh、Alex Zhang發佈研究文章,探索讓語言模型直接讀取和修改其他神經網絡的權重。文章列出早期成功案例,也報告未能獲得明顯改進的實驗;這些結果尚不能證明該方法可普遍替代模型訓練。⁠[21]

主題:關聯機構、網站與公開賬號

來源

  1. CMU-Q’s Omar Khattab is a Tartan on the Rise(在新窗口打開)
  2. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT(在新窗口打開)
  3. A Moderate Proposal for Radically Better AI-powered Web Search(在新窗口打開)
  4. Omar Khattab(在新窗口打開)
  5. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines(在新窗口打開)
  6. A Guide to Large Language Model Abstractions(在新窗口打開)
  7. The Shift from Models to Compound AI Systems(在新窗口打開)
  8. On Impactful AI Research(在新窗口打開)
  9. WARP: An Efficient Engine for Multi-Vector Retrieval(在新窗口打開)
  10. Best Paper Awards(在新窗口打開)
  11. On Engineering AI Systems that Endure The Bitter Lesson - Omar Khattab, DSPy & Databricks(在新窗口打開)
  12. Omar Khattab(在新窗口打開)
  13. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning(在新窗口打開)
  14. Recursive Language Models(在新窗口打開)
  15. Pedagogical RL: Teaching Models to Teach Themselves from Privileged Information(在新窗口打開)
  16. Machine Studying(在新窗口打開)
  17. Language model harnesses are compositional generalizers(在新窗口打開)
  18. Solving AI’s ‘Last Mile’ Problem(在新窗口打開)
  19. 6.S978: Engineering AI Systems and Agents(在新窗口打開)
  20. Omar Khattab on X (October 27, 2026)(在新窗口打開)
  21. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights(在新窗口打開)
  22. Omar Khattab(在新窗口打開)