ABAB Pedia

Richard S. Sutton

Richard S. Sutton 是加拿大计算机科学家、阿尔伯塔大学教授。他研究一个学习者怎样从行动的后果中修正下一次预测,提出时序差分学习方法,并与 Andrew G. Barto 合著《强化学习导论》。两人获2024年度图灵奖。

本页目录8 节
词条资料

早年与1978年至1984年:从心理学转向计算机科学

Sutton 生于美国美国美国是位于北美洲、实行联邦制的国家,由50个州、作为合众国政府所在地的哥伦比亚特区以及波多黎各、关岛等属地组成,首都为华盛顿哥伦比亚特区。1776年7月4日,大陆会议通过《独立宣言》。2020年人口普查(2020年4月1日)全国常住人口为331,449,281人(约3.31亿人);众议院435个议席依据人口普查结果在各州之间分配。点击查看完整词条俄亥俄州俄亥俄州俄亥俄州是美国中西部的一个州,首府为Columbus。该州于1803年加入联邦,为第17个州,也是第一个由西北领地划出的州;2020年人口普查(2020年4月1日)人口为11,799,448人(约1180万人)。点击查看完整词条托莱多,在芝加哥郊区、伊利诺伊州伊利诺伊州伊利诺伊州是美国的一个州,濒密歇根湖,与威斯康星州、印第安纳州、肯塔基州、密苏里州和艾奥瓦州相邻;首府为Springfield,最大城市为芝加哥。该州于1818年12月3日加入联邦,为第21个州;2020年人口普查(2020年4月1日)人口为12,812,508人(约1281.3万人)。点击查看完整词条奥克布鲁克长大。他在斯坦福大学Stanford UniversityStanford University是美国加利福尼亚州的研究型大学,由Leland与Jane Stanford于1885年创立,1891年开学。点击查看完整词条学习行为心理学,1978年取得学士学位。此后前往马萨诸塞大学阿默斯特分校研究计算机科学,自1978年开始与 Andrew G. Barto 合作。Barto 先后指导他的博士和博士后研究。⁠[1][2][3][4]

他于1980年取得硕士学位,1984年2月提交博士论文《强化学习中的时序信用分配》。论文探讨一个具体问题:当行动与结果相隔许久,获得奖励的学习者如何判断先前哪些选择对结果起了作用。⁠[2][5]

博士毕业后至2002年:企业实验室与强化学习教材

1998年,他与 Barto 出版《强化学习导论》。书中把行动、经验与奖惩放在同一框架下,解释学习系统如何在尝试不同选择时改进决策。两人此后继续修订这本书,第二版于2018年由麻省理工学院出版社出版。⁠[3][6]

埃德蒙顿、实验室与研究生

2003年,他迁居加拿大埃德蒙顿,在阿尔伯塔大学任教。Sutton 后来在采访中说,当时自己已患癌数年,病情再次缓解,便决定重找工作,最终得以继续教书和研究。他建立该校的强化学习与人工智能实验室,并担任 iCORE/AITF 强化学习与人工智能教席至2018年。他于2015年成为加拿大公民。BetaKit 报道,他于2017年正式放弃美国国籍。⁠[3][7][8]

Sutton 和 Martin Müller 共同指导过 David SilverDavid SilverDavid Silver是计算机科学家,长期在DeepMind领导强化学习研究,主导了AlphaGo、AlphaGo Zero和AlphaZero项目,并共同领导AlphaStar;他是University College London教授、英国皇家学会院士,2026年离开Google DeepMind,专注于他创办的Ineffable Intelligence。点击查看完整词条,Silver 在博士阶段开始研究电脑围棋。DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究机构,2023年4月由2014年被 Google 收购的 DeepMind 与 Google Research 的 Brain 团队合并而成,由 Demis Hassabis 任首席执行官。它开发了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 与 John Jumper 因 AlphaFold 的蛋白质结构预测工作获得2024年诺贝尔化学奖。点击查看完整词条 联合创始人 Demis HassabisDemis HassabisDemis Hassabis是英国人工智能研究者和企业家,DeepMind联合创始人,2010年至2026年担任DeepMind及Google DeepMind CEO,此后任Google DeepMind董事长、Alphabet首席科学家和Isomorphic Labs CEO;他早年是国际象棋神童和游戏设计师,因AlphaFold蛋白质结构预测与John Jumper分享2024年诺贝尔化学奖,曾两次做客Lex Fridman Podcast。点击查看完整词条 称 Sutton 为公司第一位顾问。2017年,DeepMind 在埃德蒙顿设立第一家海外研究机构,由 Sutton、Michael Bowling 和 Patrick Pilarski 共同领导,三人继续在大学任教。Sutton 的前博士后 Hado van Hasselt 说,他从导师那里学到的沟通方法是把重要内容放在前面,讲清自己的意图。⁠[9]

学术荣誉与新的研究机构

2025年3月,Sutton 与 Barto 共同获颁2024年度图灵奖,以表彰两人为强化学习建立概念及算法基础。2026年,阿尔伯塔大学在首次冬季毕业典礼上向他颁授荣誉学位。⁠[11][3][12]

与学生再度合作创办 Oak Lab

回顾17岁时关于智能的笔记

10月30日,萨顿公开转述了自己1975年、17岁时写的一段笔记。当年的他推想,一旦人类弄清大脑如何解决问题,能构造出比自身更高智能的系统,后者就有可能继续设计更高智能的系统,令变化在数年间加速。萨顿说,自己早在五十多年前就想到这种可能,是他如今对技术奇点持乐观态度的一个原因。⁠[14]

关联机构、网站与公开账号

阿尔伯塔大学:计算机科学教授,强化学习与人工智能实验室创办人。官网:https://www.ualberta.ca/(在新窗口打开)。⁠[3]

阿尔伯塔机器智能研究所:首席科学顾问。官网:https://www.amii.ca/(在新窗口打开)。⁠[10]

DeepMind:曾任阿尔伯塔研究办公室共同负责人。官网:https://deepmind.google/(在新窗口打开)。⁠[9]

Keen Technologies:与 John Carmack 合作的研究科学家。官网:https://keenagi.com/(在新窗口打开)。⁠[3]

Openmind Research Institute:创办人。官网:https://openmindresearch.org/(在新窗口打开)。⁠[10]

Oak Lab:联合创始人。官网:https://oaklab.ai/(在新窗口打开)。⁠[13][7]

来源14 个来源

  1. Research Teams: Reinforcement Learning and Artificial Intelligence(在新窗口打开)icore.ca↑
  2. Overcoming the Curse of Dimensionality with Reinforcement Learning: Richard S. Sutton(在新窗口打开)web.mit.edu↑
  3. AI visionary to receive honorary degree at U of A’s first winter convocation(在新窗口打开)ualberta.ca↑
  4. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology(在新窗口打开)awards.acm.org↑
  5. Temporal Credit Assignment in Reinforcement Learning(在新窗口打开)web.cs.umass.edu↑
  6. Reinforcement Learning: An Introduction, second edition(在新窗口打开)mitpress.mit.edu↑
  7. Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again(在新窗口打开)youtube.com↑
  8. AI pioneer Richard Sutton to receive honourary degree from U of A(在新窗口打开)betakit.com↑
  9. DeepMind is ready and set to Go(在新窗口打开)ualberta.ca↑
  10. Richard S. Sutton(在新窗口打开)amii.ca↑
  11. Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence(在新窗口打开)amii.ca↑
  12. Complete list of Honorary Degree Recipients by year(在新窗口打开)omeka.library.ualberta.ca↑
  13. Oak Lab(在新窗口打开)oaklab.ai↑
  14. One reason I am sanguine about the technological singularity is that I have seen it coming for over 50 years.(在新窗口打开)x.com↑