ABAB Pedia

Jeffrey Pennington

Jeffrey Pennington 是机器学习研究者,早年研究理论粒子物理,后转向词向量与深度学习理论。他与 Richard SocherRichard SocherRichard Socher 是人工智能研究者、创业者和投资人,Recursive 联合创始人兼首席执行官、You.com 创始人兼首席执行官,以及 AIX Ventures 创始人兼管理合伙人。他取得斯坦福大学计算机科学博士学位,参与 Stanford Sentiment Treebank、GloVe 等自然语言处理研究,创办 MetaMind 后曾任 Salesforce 首席科学家。点击查看完整词条、Christopher ManningChristopher ManningChristopher Manning 是自然语言处理研究者、斯坦福大学荣休教授,曾任 Stanford AI Lab 主任,并参与 AIX Ventures 的投资工作。他与 Richard Socher 合作研究递归神经网络、情感分析和词向量。点击查看完整词条 共同提出 GloVe。

本页目录6 节
词条资料

物理与数学教育

Pennington 于2007年取得南加利福尼亚大学物理与数学学士学位,2013年获斯坦福大学Stanford UniversityStanford University是美国加利福尼亚州的研究型大学,由Leland与Jane Stanford于1885年创立,1891年开学。点击查看完整词条理论粒子物理博士,导师为 Lance Dixon。⁠[1]

从粒子物理转向 NLP

博士阶段他在 SLAC 从事理论研究,随后在 Stanford NLP 研究组进行博士后研究,研究词语表示和深度学习算法。⁠[2][1]

GloVe 词向量

他与 Richard Socher、Christopher Manning 共同提出 GloVe,通过全局词语共现统计学习词向量。⁠[3]

非线性随机矩阵研究

Pennington 与 Pratik Worah 研究如何把非线性激活纳入随机矩阵分析,借助谱分布研究随机特征模型与神经网络。这项工作把数学工具用于解释深度学习系统。⁠[4]

高维统计与深度学习解释

2021年科罗拉多大学博尔德分校的讲座将他列为 Google BrainGoogle BrainGoogle Brain曾是Google的人工智能研究团队,2011年由Jeff Dean等人参与创立,2015年开源机器学习系统TensorFlow;2023年4月与DeepMind合并为Google DeepMind。点击查看完整词条 的 Staff Research Scientist。讲座研究高维模型中的偏差、方差与泛化,并讨论随机特征和神经切线核如何帮助理解神经网络训练。⁠[2]

来源

  1. Jeffrey Pennington — Curriculum Vitae(在新窗口打开)
  2. APPM Department Colloquium - Jeffrey Pennington(在新窗口打开)
  3. GloVe: Global Vectors for Word Representation(在新窗口打开)
  4. Nonlinear random matrix theory for deep learning(在新窗口打开)