ABAB Pedia

Richard S. Sutton

Richard S. Sutton 是加拿大計算機科學家、阿爾伯塔大學教授。他研究一個學習者怎樣從行動的後果中修正下一次預測,提出時序差分學習方法,並與 Andrew G. Barto 合著《強化學習導論》。兩人獲2024年度圖靈獎。

本頁目錄8 節
詞條資料

早年與1978年至1984年:從心理學轉向計算機科學

Sutton 生於美國美國美國是位於北美洲、實行聯邦制的國家,由50個州、作為合眾國政府所在地的哥倫比亞特區以及波多黎各、關島等屬地組成,首都為華盛頓哥倫比亞特區。1776年7月4日,大陸會議通過《獨立宣言》。2020年人口普查(2020年4月1日)全國常住人口為331,449,281人(約3.31億人);眾議院435個議席依據人口普查結果在各州之間分配。點擊查看完整詞條俄亥俄州俄亥俄州俄亥俄州是美國中西部的一個州,首府為Columbus。該州於1803年加入聯邦,為第17個州,也是第一個由西北領地劃出的州;2020年人口普查(2020年4月1日)人口為11,799,448人(約1180萬人)。點擊查看完整詞條托萊多,在芝加哥郊區、伊利諾伊州伊利諾伊州伊利諾伊州是美國的一個州,瀕密歇根湖,與威斯康星州、印第安納州、肯塔基州、密蘇里州和艾奧瓦州相鄰;首府為Springfield,最大城市為芝加哥。該州於1818年12月3日加入聯邦,為第21個州;2020年人口普查(2020年4月1日)人口為12,812,508人(約1281.3萬人)。點擊查看完整詞條奧克布魯克長大。他在斯坦福大學Stanford UniversityStanford University是美國加利福尼亞州的研究型大學,由Leland與Jane Stanford於1885年創立,1891年開學。點擊查看完整詞條學習行為心理學,1978年取得學士學位。此後前往馬薩諸塞大學阿默斯特分校研究計算機科學,自1978年開始與 Andrew G. Barto 合作。Barto 先後指導他的博士和博士後研究。⁠[1][2][3][4]

他於1980年取得碩士學位,1984年2月提交博士論文《強化學習中的時序信用分配》。論文探討一個具體問題:當行動與結果相隔許久,獲得獎勵的學習者如何判斷先前哪些選擇對結果起了作用。⁠[2][5]

博士畢業後至2002年:企業實驗室與強化學習教材

1998年,他與 Barto 出版《強化學習導論》。書中把行動、經驗與獎懲放在同一框架下,解釋學習系統如何在嘗試不同選擇時改進決策。兩人此後繼續修訂這本書,第二版於2018年由麻省理工學院出版社出版。⁠[3][6]

埃德蒙頓、實驗室與研究生

2003年,他遷居加拿大埃德蒙頓,在阿爾伯塔大學任教。Sutton 後來在採訪中說,當時自己已患癌數年,病情再次緩解,便決定重找工作,最終得以繼續教書和研究。他建立該校的強化學習與人工智能實驗室,並擔任 iCORE/AITF 強化學習與人工智能教席至2018年。他於2015年成為加拿大公民。BetaKit 報道,他於2017年正式放棄美國國籍。⁠[3][7][8]

Sutton 和 Martin Müller 共同指導過 David SilverDavid SilverDavid Silver是計算機科學家,長期在DeepMind領導強化學習研究,主導了AlphaGo、AlphaGo Zero和AlphaZero項目,並共同領導AlphaStar;他是University College London教授、英國皇家學會院士,2026年離開Google DeepMind,專注於他創辦的Ineffable Intelligence。點擊查看完整詞條,Silver 在博士階段開始研究電腦圍棋。DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究機構,2023年4月由2014年被 Google 收購的 DeepMind 與 Google Research 的 Brain 團隊合併而成,由 Demis Hassabis 任首席執行官。它開發了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 與 John Jumper 因 AlphaFold 的蛋白質結構預測工作獲得2024年諾貝爾化學獎。點擊查看完整詞條 聯合創始人 Demis HassabisDemis HassabisDemis Hassabis是英國人工智能研究者和企業家,DeepMind聯合創始人,2010年至2026年擔任DeepMind及Google DeepMind CEO,此後任Google DeepMind董事長、Alphabet首席科學家和Isomorphic Labs CEO;他早年是國際象棋神童和遊戲設計師,因AlphaFold蛋白質結構預測與John Jumper分享2024年諾貝爾化學獎,曾兩次做客Lex Fridman Podcast。點擊查看完整詞條 稱 Sutton 為公司第一位顧問。2017年,DeepMind 在埃德蒙頓設立第一家海外研究機構,由 Sutton、Michael Bowling 和 Patrick Pilarski 共同領導,三人繼續在大學任教。Sutton 的前博士後 Hado van Hasselt 說,他從導師那裡學到的溝通方法是把重要內容放在前面,講清自己的意圖。⁠[9]

學術榮譽與新的研究機構

2025年3月,Sutton 與 Barto 共同獲頒2024年度圖靈獎,以表彰兩人為強化學習建立概念及算法基礎。2026年,阿爾伯塔大學在首次冬季畢業典禮上向他頒授榮譽學位。⁠[11][3][12]

與學生再度合作創辦 Oak Lab

回顧17歲時關於智能的筆記

10月30日,薩頓公開轉述了自己1975年、17歲時寫的一段筆記。當年的他推想,一旦人類弄清大腦如何解決問題,能構造出比自身更高智能的系統,後者就有可能繼續設計更高智能的系統,令變化在數年間加速。薩頓說,自己早在五十多年前就想到這種可能,是他如今對技術奇點持樂觀態度的一個原因。⁠[14]

關聯機構、網站與公開賬號

阿爾伯塔大學:計算機科學教授,強化學習與人工智能實驗室創辦人。官網:https://www.ualberta.ca/(在新窗口打開)。⁠[3]

阿爾伯塔機器智能研究所:首席科學顧問。官網:https://www.amii.ca/(在新窗口打開)。⁠[10]

DeepMind:曾任阿爾伯塔研究辦公室共同負責人。官網:https://deepmind.google/(在新窗口打開)。⁠[9]

Keen Technologies:與 John Carmack 合作的研究科學家。官網:https://keenagi.com/(在新窗口打開)。⁠[3]

Openmind Research Institute:創辦人。官網:https://openmindresearch.org/(在新窗口打開)。⁠[10]

Oak Lab:聯合創始人。官網:https://oaklab.ai/(在新窗口打開)。⁠[13][7]

來源14 個來源

  1. Research Teams: Reinforcement Learning and Artificial Intelligence(在新窗口打開)icore.ca↑
  2. Overcoming the Curse of Dimensionality with Reinforcement Learning: Richard S. Sutton(在新窗口打開)web.mit.edu↑
  3. AI visionary to receive honorary degree at U of A’s first winter convocation(在新窗口打開)ualberta.ca↑
  4. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology(在新窗口打開)awards.acm.org↑
  5. Temporal Credit Assignment in Reinforcement Learning(在新窗口打開)web.cs.umass.edu↑
  6. Reinforcement Learning: An Introduction, second edition(在新窗口打開)mitpress.mit.edu↑
  7. Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again(在新窗口打開)youtube.com↑
  8. AI pioneer Richard Sutton to receive honourary degree from U of A(在新窗口打開)betakit.com↑
  9. DeepMind is ready and set to Go(在新窗口打開)ualberta.ca↑
  10. Richard S. Sutton(在新窗口打開)amii.ca↑
  11. Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence(在新窗口打開)amii.ca↑
  12. Complete list of Honorary Degree Recipients by year(在新窗口打開)omeka.library.ualberta.ca↑
  13. Oak Lab(在新窗口打開)oaklab.ai↑
  14. One reason I am sanguine about the technological singularity is that I have seen it coming for over 50 years.(在新窗口打開)x.com↑