ABAB Pedia

Jeffrey Pennington

Jeffrey Pennington 是機器學習研究者,早年研究理論粒子物理,後轉向詞向量與深度學習理論。他與 Richard SocherRichard SocherRichard Socher 是人工智能研究者、創業者和投資人,Recursive 聯合創始人兼首席執行官、You.com 創始人兼首席執行官,以及 AIX Ventures 創始人兼管理合夥人。他取得斯坦福大學計算機科學博士學位,參與 Stanford Sentiment Treebank、GloVe 等自然語言處理研究,創辦 MetaMind 後曾任 Salesforce 首席科學家。點擊查看完整詞條、Christopher ManningChristopher ManningChristopher Manning 是自然語言處理研究者、斯坦福大學榮休教授,曾任 Stanford AI Lab 主任,並參與 AIX Ventures 的投資工作。他與 Richard Socher 合作研究遞歸神經網絡、情感分析和詞向量。點擊查看完整詞條 共同提出 GloVe。

本頁目錄6 節
詞條資料

物理與數學教育

Pennington 於2007年取得南加利福尼亞大學物理與數學學士學位,2013年獲斯坦福大學Stanford UniversityStanford University是美國加利福尼亞州的研究型大學,由Leland與Jane Stanford於1885年創立,1891年開學。點擊查看完整詞條理論粒子物理博士,導師為 Lance Dixon。⁠[1]

從粒子物理轉向 NLP

博士階段他在 SLAC 從事理論研究,隨後在 Stanford NLP 研究組進行博士後研究,研究詞語表示和深度學習算法。⁠[2][1]

GloVe 詞向量

他與 Richard Socher、Christopher Manning 共同提出 GloVe,通過全局詞語共現統計學習詞向量。⁠[3]

非線性隨機矩陣研究

Pennington 與 Pratik Worah 研究如何把非線性激活納入隨機矩陣分析,藉助譜分佈研究隨機特徵模型與神經網絡。這項工作把數學工具用於解釋深度學習系統。⁠[4]

高維統計與深度學習解釋

2021年科羅拉多大學博爾德分校的講座將他列為 Google BrainGoogle BrainGoogle Brain曾是Google的人工智能研究團隊,2011年由Jeff Dean等人參與創立,2015年開源機器學習系統TensorFlow;2023年4月與DeepMind合併為Google DeepMind。點擊查看完整詞條 的 Staff Research Scientist。講座研究高維模型中的偏差、方差與泛化,並討論隨機特徵和神經切線核如何幫助理解神經網絡訓練。⁠[2]

來源

  1. Jeffrey Pennington — Curriculum Vitae(在新窗口打開)
  2. APPM Department Colloquium - Jeffrey Pennington(在新窗口打開)
  3. GloVe: Global Vectors for Word Representation(在新窗口打開)
  4. Nonlinear random matrix theory for deep learning(在新窗口打開)