ABAB Pedia

Omar Khattab

Omar Khattab是麻省理工学院电气工程与计算机科学系助理教授,领导OASYS实验室,研究语言模型编程、信息检索与AI系统。

本页目录25 节
词条资料

卡内基梅隆大学毕业

ColBERT检索模型

2020年,他与Matei Zaharia发表ColBERT研究,将查询和文档分别编码,再进行细粒度的后期交互。文档表示可预先计算,使基于BERT的语义匹配兼顾检索效率。⁠[2]

检索与可追溯的搜索

他与Christopher Potts、Matei Zaharia在Stanford HAI文章中主张,把神经信息检索作为搜索改进的基础,保留答案所依赖的文档来源,并通过更新索引吸收新知识。⁠[3]

Apple研究实习

DSPy论文

他作为第一作者参与的DSPy论文提出,将语言模型应用写成可组合的声明式模块,由编译和优化过程依据任务指标改进模型调用流程,减少手工维护提示词的依赖。⁠[5]

语言模型软件抽象

他参与撰写的Two Sigma文章以七层模型梳理语言模型软件,并比较五类框架的可靠性、性能、可移植性及扩展能力,强调不同层次职责的分离。⁠[6]

复合AI系统

他是《The Shift from Models to Compound AI Systems》的共同作者。文章讨论将模型、检索和工具组合成系统,并把质量、成本及优化问题放在整个系统层面考察。⁠[7]

Databricks研究工作

研究理念

他在个人文章中建议围绕长期项目组织研究,而非只追求单篇论文;选题应有发展空间,并通过快速迭代、可用的软件发布和社区反馈扩大研究影响。⁠[8]

斯坦福大学博士

他于2019年进入斯坦福大学Stanford UniversityStanford University是美国加利福尼亚州的研究型大学,由Leland与Jane Stanford于1885年创立,1891年开学。点击查看完整词条攻读计算机科学博士,2025年1月完成学位,导师为Christopher Potts和Matei Zaharia;博士研究聚焦通过基础模型编程提升AI系统的可靠性与可扩展性。⁠[4]

WARP与SIGIR最佳论文奖

他与Jan Luca Scheerer、Matei Zaharia、Christopher Potts及Gustavo Alonso共同发表多向量检索引擎WARP。该论文获SIGIR 2025最佳论文奖。⁠[9][10]

Tartans on the Rise

卡内基梅隆大学将他列入2025年Tartans on the Rise校友名单。报道介绍了他提高语言模型编程抽象层次、帮助领域专家构建软件的研究方向。⁠[1]

AI系统工程演讲

他在AI Engineer演讲中提出,应把应用所需的规范、控制流程、工具和评估,与不断变化的模型及优化方法分开。工程工作的重点是明确系统要解决的问题,避免把暂时有效的提示技巧固化为底层设计。⁠[11]

加入MIT

2025年7月,他开始在MIT担任助理教授。其现任岗位设于电气工程与计算机科学系,并担任TIBCO Founders职业发展教授。⁠[4][12]

GEPA提示优化

他参与GEPA研究,通过对执行过程和反馈进行自然语言反思,生成并筛选提示词变体。论文比较了特定任务中的优化表现;其结果不意味着提示优化在所有场景都优于强化学习。⁠[13]

递归语言模型

他与Alex Zhang介绍递归语言模型,将长输入保存在可执行环境中,由模型通过代码检查和拆分内容,再调用子模型处理局部问题。早期实验采用受限的递归深度,重点研究长上下文任务。⁠[14]

Pedagogical RL

他参与的Pedagogical RL研究利用教师可见、学生不可见的信息生成教学轨迹,同时考虑学生能否学会这些轨迹。文章报告初步任务实验,探索模型如何借助更有针对性的示范学习。⁠[15]

Machine Studying

他与Jacob Xiaochen Li、Rick Battle提出Machine Studying问题:让智能体在未知未来题目的情况下学习一份资料,并在之后仍可查阅资料时更高效地完成任务。研究以质量与推理成本的关系衡量专业能力,并公布开发中的StudyBench。⁠[16]

框架与组合泛化

他与Alex Zhang研究智能体运行框架如何帮助模型从较短任务迁移到更长任务,重点分析上下文外置和程序化子调用。文中用递归语言模型实验讨论任务分解与训练分布之间的关系。⁠[17]

OASYS与AI应用适配

MIT对其OASYS实验室的报道,将研究目标概括为解决AI应用的最后一公里:把通用模型适配到具体用户的需求。Khattab强调发展可重用的开源系统方法,而不是只解决单一垂直场景。⁠[18]

AI系统与智能体课程

他在MIT开设6.S978“Engineering AI Systems and Agents”,课程围绕可靠性、效率和可维护性,讨论声明式规范、评估、反馈和计算预算。⁠[19]

AI与研究工作

他在个人X帖文中表示,AI提高生产力并未使自己的研究工作失去意义;工具进步扩大了他希望完成的目标,因此高质量成果仍需要投入时间和专业判断。他也表达了对权力集中的担忧。这些说法是其个人科研经验与观点。⁠[20]

权重空间编程实验

他与Rikiya Takehi、Jayden Teoh、Alex Zhang发布研究文章,探索让语言模型直接读取和修改其他神经网络的权重。文章列出早期成功案例,也报告未能获得明显改进的实验;这些结果尚不能证明该方法可普遍替代模型训练。⁠[21]

主题:关联机构、网站与公开账号

来源

  1. CMU-Q’s Omar Khattab is a Tartan on the Rise(在新窗口打开)
  2. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT(在新窗口打开)
  3. A Moderate Proposal for Radically Better AI-powered Web Search(在新窗口打开)
  4. Omar Khattab(在新窗口打开)
  5. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines(在新窗口打开)
  6. A Guide to Large Language Model Abstractions(在新窗口打开)
  7. The Shift from Models to Compound AI Systems(在新窗口打开)
  8. On Impactful AI Research(在新窗口打开)
  9. WARP: An Efficient Engine for Multi-Vector Retrieval(在新窗口打开)
  10. Best Paper Awards(在新窗口打开)
  11. On Engineering AI Systems that Endure The Bitter Lesson - Omar Khattab, DSPy & Databricks(在新窗口打开)
  12. Omar Khattab(在新窗口打开)
  13. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning(在新窗口打开)
  14. Recursive Language Models(在新窗口打开)
  15. Pedagogical RL: Teaching Models to Teach Themselves from Privileged Information(在新窗口打开)
  16. Machine Studying(在新窗口打开)
  17. Language model harnesses are compositional generalizers(在新窗口打开)
  18. Solving AI’s ‘Last Mile’ Problem(在新窗口打开)
  19. 6.S978: Engineering AI Systems and Agents(在新窗口打开)
  20. Omar Khattab on X (October 27, 2026)(在新窗口打开)
  21. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights(在新窗口打开)
  22. Omar Khattab(在新窗口打开)