Richard S. Sutton
Richard S. Sutton 是加拿大计算机科学家、阿尔伯塔大学教授。他研究一个学习者怎样从行动的后果中修正下一次预测,提出时序差分学习方法,并与 Andrew G. Barto 合著《强化学习导论》。两人获2024年度图灵奖。
本页目录8 节
词条资料
早年与1978年至1984年:从心理学转向计算机科学
Sutton 生于美国美国美国是位于北美洲、实行联邦制的国家,由50个州、作为合众国政府所在地的哥伦比亚特区以及波多黎各、关岛等属地组成,首都为华盛顿哥伦比亚特区。1776年7月4日,大陆会议通过《独立宣言》。2020年人口普查(2020年4月1日)全国常住人口为331,449,281人(约3.31亿人);众议院435个议席依据人口普查结果在各州之间分配。点击查看完整词条俄亥俄州俄亥俄州俄亥俄州是美国中西部的一个州,首府为Columbus。该州于1803年加入联邦,为第17个州,也是第一个由西北领地划出的州;2020年人口普查(2020年4月1日)人口为11,799,448人(约1180万人)。点击查看完整词条托莱多,在芝加哥郊区、伊利诺伊州伊利诺伊州伊利诺伊州是美国的一个州,濒密歇根湖,与威斯康星州、印第安纳州、肯塔基州、密苏里州和艾奥瓦州相邻;首府为Springfield,最大城市为芝加哥。该州于1818年12月3日加入联邦,为第21个州;2020年人口普查(2020年4月1日)人口为12,812,508人(约1281.3万人)。点击查看完整词条奥克布鲁克长大。他在斯坦福大学Stanford UniversityStanford University是美国加利福尼亚州的研究型大学,由Leland与Jane Stanford于1885年创立,1891年开学。点击查看完整词条学习行为心理学,1978年取得学士学位。此后前往马萨诸塞大学阿默斯特分校研究计算机科学,自1978年开始与 Andrew G. Barto 合作。Barto 先后指导他的博士和博士后研究。[1][2][3][4]
博士毕业后至2002年:企业实验室与强化学习教材
毕业后,Sutton 在马萨诸塞州马萨诸塞州马萨诸塞州(Commonwealth of Massachusetts)是美国东北部新英格兰地区的一个州,首府和最大城市为波士顿。马萨诸塞是最初13个州之一,于1788年2月6日批准美国宪法,为第6个批准的州。2020年人口普查(2020年4月1日)人口为7,029,917人。点击查看完整词条沃尔瑟姆的 GTE 实验室工作九年,主持研究相互联结的计算单元如何学习的项目。他发表了时序差分学习的早期论文。这种方法使系统可以比较连续时刻的预测,利用新预测修正旧预测。后来他回到阿默斯特的计算机科学系,任研究科学家三年;1998年转到 AT&TAT&TAT&T(AT&T Inc.)是总部位于美国得克萨斯州达拉斯的电信公司,前身是1984年贝尔系统拆分时成立的地区控股公司 SBC Communications;SBC 于2005年合并原 AT&T Corp. 并改用其名,此后经营全美无线网络与光纤宽带,曾一度拥有 DIRECTV 和 WarnerMedia。点击查看完整词条 的香农实验室,工作至2002年。[2][1][4]
2003年至2018年埃德蒙顿、实验室与研究生
2003年,他迁居加拿大埃德蒙顿,在阿尔伯塔大学任教。Sutton 后来在采访中说,当时自己已患癌数年,病情再次缓解,便决定重找工作,最终得以继续教书和研究。他建立该校的强化学习与人工智能实验室,并担任 iCORE/AITF 强化学习与人工智能教席至2018年。他于2015年成为加拿大公民。BetaKit 报道,他于2017年正式放弃美国国籍。[3][7][8]
Sutton 和 Martin Müller 共同指导过 David SilverDavid SilverDavid Silver是计算机科学家,长期在DeepMind领导强化学习研究,主导了AlphaGo、AlphaGo Zero和AlphaZero项目,并共同领导AlphaStar;他是University College London教授、英国皇家学会院士,2026年离开Google DeepMind,专注于他创办的Ineffable Intelligence。点击查看完整词条,Silver 在博士阶段开始研究电脑围棋。DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究机构,2023年4月由2014年被 Google 收购的 DeepMind 与 Google Research 的 Brain 团队合并而成,由 Demis Hassabis 任首席执行官。它开发了 AlphaGo、AlphaFold 和 Gemini 系列模型,Hassabis 与 John Jumper 因 AlphaFold 的蛋白质结构预测工作获得2024年诺贝尔化学奖。点击查看完整词条 联合创始人 Demis HassabisDemis HassabisDemis Hassabis是英国人工智能研究者和企业家,DeepMind联合创始人,2010年至2026年担任DeepMind及Google DeepMind CEO,此后任Google DeepMind董事长、Alphabet首席科学家和Isomorphic Labs CEO;他早年是国际象棋神童和游戏设计师,因AlphaFold蛋白质结构预测与John Jumper分享2024年诺贝尔化学奖,曾两次做客Lex Fridman Podcast。点击查看完整词条 称 Sutton 为公司第一位顾问。2017年,DeepMind 在埃德蒙顿设立第一家海外研究机构,由 Sutton、Michael Bowling 和 Patrick Pilarski 共同领导,三人继续在大学任教。Sutton 的前博士后 Hado van Hasselt 说,他从导师那里学到的沟通方法是把重要内容放在前面,讲清自己的意图。[9]
2018年至2026年学术荣誉与新的研究机构
2018年,加拿大人工智能协会向 Sutton 授予终身成就奖。他也是加拿大皇家学会、英国皇家学会和美国人工智能促进协会会士,在阿尔伯塔机器智能研究所机器智能研究所机器智能研究所(MIRI)是研究人工智能长期风险的机构,前身为2000年成立的人工智能奇点研究所。其工作从探讨如何加速超越人类水平的人工智能,转向研究这些系统能否遵循人类意图,后来又转向公众沟通及治理。2023年,Malo Bourgon 接任首席执行官,Nate Soares 出任总裁。点击查看完整词条任首席科学顾问并担任加拿大 CIFAR 人工智能讲席。2019年的文章《苦涩的教训》回顾了计算能力增长如何改变研究方法的成败。2023年,他与 John CarmackJohn CarmackJohn Carmack是美国程序员和电脑游戏设计师,id Software联合创始人,主导Wolfenstein 3-D、DOOM和Quake等第一人称射击游戏的技术开发;后任Oculus首席技术官,2022年创办通用人工智能公司Keen Technologies。点击查看完整词条 在 Keen Technologies 合作研究可以持续从环境中学习的系统。他也创办了 Openmind Research Institute。[10][3][7]
2026年8月18日与学生再度合作创办 Oak Lab
Sutton 与早年由他指导博士研究的 Khurram JavedKhurram JavedKhurram Javed 是强化学习研究者、Oak Lab 联合创始人。他在巴基斯坦参加数学竞赛并修读软件工程,后在加拿大阿尔伯塔大学分别师从 Martha White 和 Richard S. Sutton。他的研究关注计算资源有限的系统怎样从连续到来的经验中学习。点击查看完整词条 创办 Oak Lab。两人作客红杉资本Sequoia CapitalSequoia Capital是一家由Don Valentine于1972年创立的风险投资机构,投资范围从种子期延伸至成长阶段。其历史投资包括Apple、Cisco、Google、YouTube、Airbnb和Stripe;2021年推出可继续持有上市证券的Sequoia Capital Fund结构,2023年区域业务转为独立品牌与合伙组织。点击查看完整词条的节目时,他在约15分26秒解释,他们的前提是环境永远比学习者的计算能力所能完整描述的更复杂,因此研究者需要问系统怎样选择值得跟踪的经验。在约37分04秒谈到《阿尔伯塔计划》时,他建议把长期目标分成小到足以单独检验的问题,让团队能够看清每一步是否取得进展。[7][13]
2026年10月回顾17岁时关于智能的笔记
10月30日,萨顿公开转述了自己1975年、17岁时写的一段笔记。当年的他推想,一旦人类弄清大脑如何解决问题,能构造出比自身更高智能的系统,后者就有可能继续设计更高智能的系统,令变化在数年间加速。萨顿说,自己早在五十多年前就想到这种可能,是他如今对技术奇点持乐观态度的一个原因。[14]
关联机构、网站与公开账号
阿尔伯塔大学:计算机科学教授,强化学习与人工智能实验室创办人。官网:https://www.ualberta.ca/(在新窗口打开)。[3]
阿尔伯塔机器智能研究所:首席科学顾问。官网:https://www.amii.ca/(在新窗口打开)。[10]
DeepMind:曾任阿尔伯塔研究办公室共同负责人。官网:https://deepmind.google/(在新窗口打开)。[9]
Keen Technologies:与 John Carmack 合作的研究科学家。官网:https://keenagi.com/(在新窗口打开)。[3]
Openmind Research Institute:创办人。官网:https://openmindresearch.org/(在新窗口打开)。[10]
Oak Lab:联合创始人。官网:https://oaklab.ai/(在新窗口打开)。[13][7]
来源14 个来源
- Research Teams: Reinforcement Learning and Artificial Intelligence(在新窗口打开)icore.ca↑
- Overcoming the Curse of Dimensionality with Reinforcement Learning: Richard S. Sutton(在新窗口打开)web.mit.edu↑
- AI visionary to receive honorary degree at U of A’s first winter convocation(在新窗口打开)ualberta.ca↑
- Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology(在新窗口打开)awards.acm.org↑
- Temporal Credit Assignment in Reinforcement Learning(在新窗口打开)web.cs.umass.edu↑
- Reinforcement Learning: An Introduction, second edition(在新窗口打开)mitpress.mit.edu↑
- Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again(在新窗口打开)youtube.com↑
- AI pioneer Richard Sutton to receive honourary degree from U of A(在新窗口打开)betakit.com↑
- DeepMind is ready and set to Go(在新窗口打开)ualberta.ca↑
- Richard S. Sutton(在新窗口打开)amii.ca↑
- Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence(在新窗口打开)amii.ca↑
- Complete list of Honorary Degree Recipients by year(在新窗口打开)omeka.library.ualberta.ca↑
- Oak Lab(在新窗口打开)oaklab.ai↑
- One reason I am sanguine about the technological singularity is that I have seen it coming for over 50 years.(在新窗口打开)x.com↑