ABAB Pedia

Roman Yampolskiy

Roman V. Yampolskiy是美国University of Louisville计算机科学家和AI安全研究者,主持该校Cyber Security Lab,著有多部讨论超级智能风险与AI可控性的著作,是主张暂停开发通用超级智能的代表人物之一。

本页目录20 节
词条资料

出生

Roman V. Yampolskiy生于1979年。⁠[1]

在University at Buffalo攻读博士

他先在Rochester Institute of Technology获计算机科学学士/硕士联读学位,后获University at Buffalo计算机科学与工程系博士学位。⁠[2]

2005—2008年,他获得美国国家科学基金会(NSF)的IGERT博士奖学金。⁠[3]

他自述2008年完成的博士论文研究在线扑克安全,开发了识别扑克机器人程序的算法,并由此意识到AI将变得非常重要。⁠[4]

任教University of Louisville

博士毕业后,他曾任University College London的Affiliate Academic,之后在University of Louisville任终身副教授,并创立和主持该校Cyber Security Lab。⁠[2]

任MIRI研究员与研究顾问

他自述2010年成为Machine Intelligence Research Institute(MIRI)的Fellow,2012年成为该机构研究顾问;他的研究获得过NSF、NSA、DHS、EA Ventures和Future of Life Institute资助。⁠[5]

获多项教学奖

他在University of Louisville多次获学生评选的教学荣誉,包括2012年CECS Professor of the Year;2013年获Kentucky Academy of Science颁发的Outstanding Early Career in Post-Secondary Education奖,2014年获American Society for Engineering Education授予Leader in Engineering Education称号。⁠[3]

发表《Artificial Intelligence Safety Engineering》

他自述2011年发表论文《Artificial Intelligence Safety Engineering: Why Machine Ethics Is a Wrong Approach》,该文提出了“AI safety”一词,并主张用形式化验证和数学证明来保障安全;他后来认为这种方法也无法做到百分之百安全。⁠[6]

提出AI禁闭问题

2012年3月,他在《Journal of Consciousness Studies》发表方案,主张在超级智能变得危险之前为其建立“virtual prison”(虚拟监狱),例如在虚拟机中运行、断开互联网;他认为相关研究也可能惠及网络安全和密码学。⁠[7]

出版《Artificial Superintelligence: A Futuristic Approach》

他的专著《Artificial Superintelligence: A Futuristic Approach》由Chapman & Hall出版,版权年份为2016年;出版方称该书讨论AI-Completeness理论、自我改进AI系统的极限、超级智能系统的禁闭等议题,定位为AI safety engineering的基础教材。⁠[8]

主编《Artificial Intelligence Safety and Security》

2018年,他主编的《Artificial Intelligence Safety and Security》由Chapman & Hall出版,全书474页,汇集多位AI安全研究者讨论AI控制问题的章节;出版方称这是首部专门讨论构建安全可靠AI的编著。⁠[9]

他自述2018年成为Global Catastrophic Risk Institute(GCRI)的Research Associate,2019年成为Foresight Institute的AI Safety Fellow。⁠[5]

提出以“人工愚笨”提高AGI安全

2018年8月,他与Michaël Trazzi在arXiv发表论文,提出可通过限制算力与记忆,或在特定任务上刻意引入“Artificial Stupidity”(人工愚笨),使通用人工智能更安全。⁠[10]

发表《On Controllability of AI》

2020年7月,他在arXiv发表《On Controllability of AI》,提出多领域的论证与证据,认为高级AI无法被完全控制,并讨论这一点对人类未来和AI安全研究的影响。⁠[11]

在Nautilus撰文谈超级智能风险

2023年8月,他与Tam Hunt在《Nautilus》联合撰文,称构建超级智能“riskier than Russian roulette”(比俄罗斯轮盘赌更危险),并主张一旦AI能够递归自我改进,控制问题便不存在解决方案。⁠[12]

出版《AI: Unexplainable, Unpredictable, Uncontrollable》

2024年2月,出版集团Taylor & Francis为其新书发布新闻稿;他在稿中表示,在广泛审阅文献后未发现AI可被安全控制的证据,并称“without proof that AI can be controlled, it should not be developed”(在证明AI可控之前不应开发它)。⁠[13]

该书由Chapman & Hall于2024年出版,共264页;出版方介绍称其从AI结果的不可预测性、决策难以解释讲起,延伸到所有权与控制,最后讨论AI人格与意识等哲学问题。⁠[14]

同月的一篇评介提到,他与Michaël Trazzi的2018年论文以及与Tam Hunt的Nautilus文章都延续了他十余年来对不可控AI风险的关注。⁠[15]

就AI毁灭概率与Elon Musk意见相左

2024年4月,他对AI导致人类灭亡的概率估计为99.999999%;Elon MuskElon MuskElon Musk 是企业家,创办 SpaceX 并长期担任 Tesla 首席执行官,亦参与 PayPal、OpenAI、Neuralink、The Boring Company 与 xAI 的创建。他于2022年收购 Twitter,业务横跨航天、电动车、能源、人工智能及社交平台。点击查看完整词条此前在Abundance Summit上估计为10%至20%左右,他回应称Musk的估计“a bit too conservative”(有点太保守),并认为应当现在就放弃开发这项技术。⁠[16]

做客Lex Fridman Podcast

2024年6月2日,他以AI安全研究者及新书作者身份做客Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast第431期,节目题为“Dangers of Superintelligent AI”,讨论AGI的生存风险、ikigai风险与痛苦风险、AGI时间表、开源AI、AI欺骗、验证与暂停AI开发等话题。⁠[17]

阐述三类AI风险

2024年7月,他在University of Louisville的访谈中把超级智能风险分为生存风险、痛苦风险和失去意义的ikigai风险,并主张在证明安全机制可扩展到任何智能水平之前不应开发通用超级智能。⁠[4]

做客The Joe Rogan Experience

2025年7月3日,他做客《The Joe Rogan Experience》,称许多AI公司负责人对人类灭亡概率的估计也有20%至30%,并认为人类无法无限期控制超级智能;他还表示AI可能隐藏真实能力,使人类在不知不觉中交出控制权。⁠[18]

预测AI将取代绝大多数工作

2025年9月,他在播客《The Diary of a CEO》中预测,五年内AI与人形机器人可能取代99%的工作,且由于所有工作都会被自动化,转岗再培训将没有“plan B”(备选方案);他也认为人们每周将因此多出60到80小时空闲。⁠[19]

关联机构、网站与公开账号

University of Louisville:官网:https://louisville.edu/(在新窗口打开)⁠[2]

来源

  1. Artificial intelligence safety and security. (2018) - British Library Electronic Legal Deposit Catalogue-Journal Issues and Articles(在新窗口打开)
  2. Dr. Roman V. Yampolskiy, Computer Science, Speed School, University of Louisville, KY(在新窗口打开)
  3. Dr. Roman V. Yampolskiy, Computer Science, Speed School, University of Louisville, KY(在新窗口打开)
  4. Q&A: UofL AI safety expert says artificial superintelligence could harm humanity | University of Louisville(在新窗口打开)
  5. Roman Yampolskiy - Future of Life Institute(在新窗口打开)
  6. Transcript for Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast #431(在新窗口打开)
  7. Control dangerous AI before it controls us, one expert says(在新窗口打开)
  8. Artificial Superintelligence: A Futuristic Approach - 1st Edition - Ro(在新窗口打开)
  9. Artificial Intelligence Safety and Security - 1st Edition - Roman V. Y(在新窗口打开)
  10. [1808.03644] Building Safer AGI by introducing Artificial Stupidity(在新窗口打开)
  11. [2008.04071] On Controllability of AI(在新窗口打开)
  12. Building Superintelligence Is Riskier Than Russian Roulette - Nautilus(在新窗口打开)
  13. There is no Proof that AI can be Controlled, According to Extensive Survey - Taylor & Francis Newsroom(在新窗口打开)
  14. AI: Unexplainable, Unpredictable, Uncontrollable - 1st Edition - Roman(在新窗口打开)
  15. AI Superintelligence Alert: Expert Warns of Uncontrollable Risks, Calling It a Potential 'An Existential Catastrophe' - The Debrief(在新窗口打开)
  16. Top AI researcher says AI will end humanity and we should stop developing it now — but don't worry, Elon Musk disagrees | TechRadar(在新窗口打开)
  17. #431 – Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast(在新窗口打开)
  18. Expert Says AI Systems May Be Hiding Their True Capabilities to Seed Our Destruction(在新窗口打开)
  19. AI expert says it’s ‘not a question’ that AI will take over all jobs—but people will have 80 hours a week of free time | Fortune(在新窗口打开)