Richard S. Sutton
Richard S. Sutton 是加拿大計算機科學家、阿爾伯塔大學教授。他研究一個學習者怎樣從行動的後果中修正下一次預測,提出時序差分學習方法,並與 Andrew G. Barto 合著《強化學習導論》。兩人獲2024年度圖靈獎。
本頁目錄8 節
詞條資料
早年與1978年至1984年:從心理學轉向計算機科學
Sutton 生於美國美國美國是位於北美洲、實行聯邦制的國家,由50個州、作為合眾國政府所在地的哥倫比亞特區以及波多黎各、關島等屬地組成,首都為華盛頓哥倫比亞特區。1776年7月4日,大陸會議通過《獨立宣言》。2020年人口普查(2020年4月1日)全國常住人口為331,449,281人(約3.31億人);眾議院435個議席依據人口普查結果在各州之間分配。點擊查看完整詞條俄亥俄州俄亥俄州俄亥俄州是美國中西部的一個州,首府為Columbus。該州於1803年加入聯邦,為第17個州,也是第一個由西北領地劃出的州;2020年人口普查(2020年4月1日)人口為11,799,448人(約1180萬人)。點擊查看完整詞條托萊多,在芝加哥郊區、伊利諾伊州伊利諾伊州伊利諾伊州是美國的一個州,瀕密歇根湖,與威斯康星州、印第安納州、肯塔基州、密蘇里州和艾奧瓦州相鄰;首府為Springfield,最大城市為芝加哥。該州於1818年12月3日加入聯邦,為第21個州;2020年人口普查(2020年4月1日)人口為12,812,508人(約1281.3萬人)。點擊查看完整詞條奧克布魯克長大。他在斯坦福大學Stanford UniversityStanford University是美國加利福尼亞州的研究型大學,由Leland與Jane Stanford於1885年創立,1891年開學。點擊查看完整詞條學習行為心理學,1978年取得學士學位。此後前往馬薩諸塞大學阿默斯特分校研究計算機科學,自1978年開始與 Andrew G. Barto 合作。Barto 先後指導他的博士和博士後研究。[1][2][3][4]
博士畢業後至2002年:企業實驗室與強化學習教材
畢業後,Sutton 在馬薩諸塞州馬薩諸塞州馬薩諸塞州(Commonwealth of Massachusetts)是美國東北部新英格蘭地區的一個州,首府和最大城市為波士頓。馬薩諸塞是最初13個州之一,於1788年2月6日批准美國憲法,為第6個批准的州。2020年人口普查(2020年4月1日)人口為7,029,917人。點擊查看完整詞條沃爾瑟姆的 GTE 實驗室工作九年,主持研究相互聯結的計算單元如何學習的項目。他發表了時序差分學習的早期論文。這種方法使系統可以比較連續時刻的預測,利用新預測修正舊預測。後來他回到阿默斯特的計算機科學系,任研究科學家三年;1998年轉到 AT&TAT&TAT&T(AT&T Inc.)是總部位於美國得克薩斯州達拉斯的電信公司,前身是1984年貝爾系統拆分時成立的地區控股公司 SBC Communications;SBC 於2005年合併原 AT&T Corp. 並改用其名,此後經營全美無線網絡與光纖寬帶,曾一度擁有 DIRECTV 和 WarnerMedia。點擊查看完整詞條 的香農實驗室,工作至2002年。[2][1][4]
2003年至2018年埃德蒙頓、實驗室與研究生
2003年,他遷居加拿大埃德蒙頓,在阿爾伯塔大學任教。Sutton 後來在採訪中說,當時自己已患癌數年,病情再次緩解,便決定重找工作,最終得以繼續教書和研究。他建立該校的強化學習與人工智能實驗室,並擔任 iCORE/AITF 強化學習與人工智能教席至2018年。他於2015年成為加拿大公民。BetaKit 報道,他於2017年正式放棄美國國籍。[3][7][8]
Sutton 和 Martin Müller 共同指導過 David SilverDavid SilverDavid Silver是計算機科學家,長期在DeepMind領導強化學習研究,主導了AlphaGo、AlphaGo Zero和AlphaZero項目,並共同領導AlphaStar;他是University College London教授、英國皇家學會院士,2026年離開Google DeepMind,專注於他創辦的Ineffable Intelligence。點擊查看完整詞條,Silver 在博士階段開始研究電腦圍棋。DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究機構,2023年4月由2014年被 Google 收購的 DeepMind 與 Google Research 的 Brain 團隊合併而成,由 Demis Hassabis 任首席執行官。它開發了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 與 John Jumper 因 AlphaFold 的蛋白質結構預測工作獲得2024年諾貝爾化學獎。點擊查看完整詞條 聯合創始人 Demis HassabisDemis HassabisDemis Hassabis是英國人工智能研究者和企業家,DeepMind聯合創始人,2010年至2026年擔任DeepMind及Google DeepMind CEO,此後任Google DeepMind董事長、Alphabet首席科學家和Isomorphic Labs CEO;他早年是國際象棋神童和遊戲設計師,因AlphaFold蛋白質結構預測與John Jumper分享2024年諾貝爾化學獎,曾兩次做客Lex Fridman Podcast。點擊查看完整詞條 稱 Sutton 為公司第一位顧問。2017年,DeepMind 在埃德蒙頓設立第一家海外研究機構,由 Sutton、Michael Bowling 和 Patrick Pilarski 共同領導,三人繼續在大學任教。Sutton 的前博士後 Hado van Hasselt 說,他從導師那裡學到的溝通方法是把重要內容放在前面,講清自己的意圖。[9]
2018年至2026年學術榮譽與新的研究機構
2018年,加拿大人工智能協會向 Sutton 授予終身成就獎。他也是加拿大皇家學會、英國皇家學會和美國人工智能促進協會會士,在阿爾伯塔機器智能研究所機器智能研究所機器智能研究所(MIRI)是研究人工智能長期風險的機構,前身為2000年成立的人工智能奇點研究所。其工作從探討如何加速超越人類水平的人工智能,轉向研究這些系統能否遵循人類意圖,後來又轉向公眾溝通及治理。2023年,Malo Bourgon 接任首席執行官,Nate Soares 出任總裁。點擊查看完整詞條任首席科學顧問並擔任加拿大 CIFAR 人工智能講席。2019年的文章《苦澀的教訓》回顧了計算能力增長如何改變研究方法的成敗。2023年,他與 John CarmackJohn CarmackJohn Carmack是美國程序員和電腦遊戲設計師,id Software聯合創始人,主導Wolfenstein 3-D、DOOM和Quake等第一人稱射擊遊戲的技術開發;後任Oculus首席技術官,2022年創辦通用人工智能公司Keen Technologies。點擊查看完整詞條 在 Keen Technologies 合作研究可以持續從環境中學習的系統。他也創辦了 Openmind Research Institute。[10][3][7]
2026年8月18日與學生再度合作創辦 Oak Lab
Sutton 與早年由他指導博士研究的 Khurram JavedKhurram JavedKhurram Javed 是強化學習研究者、Oak Lab 聯合創始人。他在巴基斯坦參加數學競賽並修讀軟件工程,後在加拿大阿爾伯塔大學分別師從 Martha White 和 Richard S. Sutton。他的研究關注計算資源有限的系統怎樣從連續到來的經驗中學習。點擊查看完整詞條 創辦 Oak Lab。兩人作客紅杉資本Sequoia CapitalSequoia Capital是一家由Don Valentine於1972年創立的風險投資機構,投資範圍從種子期延伸至成長階段。其歷史投資包括Apple、Cisco、Google、YouTube、Airbnb和Stripe;2021年推出可繼續持有上市證券的Sequoia Capital Fund結構,2023年區域業務轉為獨立品牌與合夥組織。點擊查看完整詞條的節目時,他在約15分26秒解釋,他們的前提是環境永遠比學習者的計算能力所能完整描述的更復雜,因此研究者需要問系統怎樣選擇值得跟蹤的經驗。在約37分04秒談到《阿爾伯塔計劃》時,他建議把長期目標分成小到足以單獨檢驗的問題,讓團隊能夠看清每一步是否取得進展。[7][13]
2026年10月回顧17歲時關於智能的筆記
10月30日,薩頓公開轉述了自己1975年、17歲時寫的一段筆記。當年的他推想,一旦人類弄清大腦如何解決問題,能構造出比自身更高智能的系統,後者就有可能繼續設計更高智能的系統,令變化在數年間加速。薩頓說,自己早在五十多年前就想到這種可能,是他如今對技術奇點持樂觀態度的一個原因。[14]
關聯機構、網站與公開賬號
阿爾伯塔大學:計算機科學教授,強化學習與人工智能實驗室創辦人。官網:https://www.ualberta.ca/(在新窗口打開)。[3]
阿爾伯塔機器智能研究所:首席科學顧問。官網:https://www.amii.ca/(在新窗口打開)。[10]
DeepMind:曾任阿爾伯塔研究辦公室共同負責人。官網:https://deepmind.google/(在新窗口打開)。[9]
Keen Technologies:與 John Carmack 合作的研究科學家。官網:https://keenagi.com/(在新窗口打開)。[3]
Openmind Research Institute:創辦人。官網:https://openmindresearch.org/(在新窗口打開)。[10]
Oak Lab:聯合創始人。官網:https://oaklab.ai/(在新窗口打開)。[13][7]
來源14 個來源
- Research Teams: Reinforcement Learning and Artificial Intelligence(在新窗口打開)icore.ca↑
- Overcoming the Curse of Dimensionality with Reinforcement Learning: Richard S. Sutton(在新窗口打開)web.mit.edu↑
- AI visionary to receive honorary degree at U of A’s first winter convocation(在新窗口打開)ualberta.ca↑
- Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology(在新窗口打開)awards.acm.org↑
- Temporal Credit Assignment in Reinforcement Learning(在新窗口打開)web.cs.umass.edu↑
- Reinforcement Learning: An Introduction, second edition(在新窗口打開)mitpress.mit.edu↑
- Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again(在新窗口打開)youtube.com↑
- AI pioneer Richard Sutton to receive honourary degree from U of A(在新窗口打開)betakit.com↑
- DeepMind is ready and set to Go(在新窗口打開)ualberta.ca↑
- Richard S. Sutton(在新窗口打開)amii.ca↑
- Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence(在新窗口打開)amii.ca↑
- Complete list of Honorary Degree Recipients by year(在新窗口打開)omeka.library.ualberta.ca↑
- Oak Lab(在新窗口打開)oaklab.ai↑
- One reason I am sanguine about the technological singularity is that I have seen it coming for over 50 years.(在新窗口打開)x.com↑