ABAB Pedia

Roman Yampolskiy

Roman V. Yampolskiy是美國University of Louisville計算機科學家和AI安全研究者,主持該校Cyber Security Lab,著有多部討論超級智能風險與AI可控性的著作,是主張暫停開發通用超級智能的代表人物之一。

本頁目錄20 節
詞條資料

出生

Roman V. Yampolskiy生於1979年。⁠[1]

在University at Buffalo攻讀博士

他先在Rochester Institute of Technology獲計算機科學學士/碩士聯讀學位,後獲University at Buffalo計算機科學與工程系博士學位。⁠[2]

2005—2008年,他獲得美國國家科學基金會(NSF)的IGERT博士獎學金。⁠[3]

他自述2008年完成的博士論文研究在線撲克安全,開發了識別撲克機器人程序的算法,並由此意識到AI將變得非常重要。⁠[4]

任教University of Louisville

博士畢業後,他曾任University College London的Affiliate Academic,之後在University of Louisville任終身副教授,並創立和主持該校Cyber Security Lab。⁠[2]

任MIRI研究員與研究顧問

他自述2010年成為Machine Intelligence Research Institute(MIRI)的Fellow,2012年成為該機構研究顧問;他的研究獲得過NSF、NSA、DHS、EA Ventures和Future of Life Institute資助。⁠[5]

獲多項教學獎

他在University of Louisville多次獲學生評選的教學榮譽,包括2012年CECS Professor of the Year;2013年獲Kentucky Academy of Science頒發的Outstanding Early Career in Post-Secondary Education獎,2014年獲American Society for Engineering Education授予Leader in Engineering Education稱號。⁠[3]

發表《Artificial Intelligence Safety Engineering》

他自述2011年發表論文《Artificial Intelligence Safety Engineering: Why Machine Ethics Is a Wrong Approach》,該文提出了“AI safety”一詞,並主張用形式化驗證和數學證明來保障安全;他後來認為這種方法也無法做到百分之百安全。⁠[6]

提出AI禁閉問題

2012年3月,他在《Journal of Consciousness Studies》發表方案,主張在超級智能變得危險之前為其建立“virtual prison”(虛擬監獄),例如在虛擬機中運行、斷開互聯網;他認為相關研究也可能惠及網絡安全和密碼學。⁠[7]

出版《Artificial Superintelligence: A Futuristic Approach》

他的專著《Artificial Superintelligence: A Futuristic Approach》由Chapman & Hall出版,版權年份為2016年;出版方稱該書討論AI-Completeness理論、自我改進AI系統的極限、超級智能系統的禁閉等議題,定位為AI safety engineering的基礎教材。⁠[8]

主編《Artificial Intelligence Safety and Security》

2018年,他主編的《Artificial Intelligence Safety and Security》由Chapman & Hall出版,全書474頁,彙集多位AI安全研究者討論AI控制問題的章節;出版方稱這是首部專門討論構建安全可靠AI的編著。⁠[9]

他自述2018年成為Global Catastrophic Risk Institute(GCRI)的Research Associate,2019年成為Foresight Institute的AI Safety Fellow。⁠[5]

提出以“人工愚笨”提高AGI安全

2018年8月,他與Michaël Trazzi在arXiv發表論文,提出可通過限制算力與記憶,或在特定任務上刻意引入“Artificial Stupidity”(人工愚笨),使通用人工智能更安全。⁠[10]

發表《On Controllability of AI》

2020年7月,他在arXiv發表《On Controllability of AI》,提出多領域的論證與證據,認為高級AI無法被完全控制,並討論這一點對人類未來和AI安全研究的影響。⁠[11]

在Nautilus撰文談超級智能風險

2023年8月,他與Tam Hunt在《Nautilus》聯合撰文,稱構建超級智能“riskier than Russian roulette”(比俄羅斯輪盤賭更危險),並主張一旦AI能夠遞歸自我改進,控制問題便不存在解決方案。⁠[12]

出版《AI: Unexplainable, Unpredictable, Uncontrollable》

2024年2月,出版集團Taylor & Francis為其新書發佈新聞稿;他在稿中表示,在廣泛審閱文獻後未發現AI可被安全控制的證據,並稱“without proof that AI can be controlled, it should not be developed”(在證明AI可控之前不應開發它)。⁠[13]

該書由Chapman & Hall於2024年出版,共264頁;出版方介紹稱其從AI結果的不可預測性、決策難以解釋講起,延伸到所有權與控制,最後討論AI人格與意識等哲學問題。⁠[14]

同月的一篇評介提到,他與Michaël Trazzi的2018年論文以及與Tam Hunt的Nautilus文章都延續了他十餘年來對不可控AI風險的關注。⁠[15]

就AI毀滅概率與Elon Musk意見相左

2024年4月,他對AI導致人類滅亡的概率估計為99.999999%;Elon MuskElon MuskElon Musk 是企業家,創辦 SpaceX 並長期擔任 Tesla 首席執行官,亦參與 PayPal、OpenAI、Neuralink、The Boring Company 與 xAI 的創建。他於2022年收購 Twitter,業務橫跨航天、電動車、能源、人工智能及社交平臺。點擊查看完整詞條此前在Abundance Summit上估計為10%至20%左右,他回應稱Musk的估計“a bit too conservative”(有點太保守),並認為應當現在就放棄開發這項技術。⁠[16]

做客Lex Fridman Podcast

2024年6月2日,他以AI安全研究者及新書作者身份做客Lex FridmanLex FridmanLex Fridman 是生於蘇聯、在美國長大的計算機科學家和播客主持人,任 MIT 研究科學家,研究人機交互與自動駕駛。他主持的 Lex Fridman Podcast 以數小時長篇對話著稱,嘉賓包括多國領導人和科技企業領袖。點擊查看完整詞條 Podcast第431期,節目題為“Dangers of Superintelligent AI”,討論AGI的生存風險、ikigai風險與痛苦風險、AGI時間表、開源AI、AI欺騙、驗證與暫停AI開發等話題。⁠[17]

闡述三類AI風險

2024年7月,他在University of Louisville的訪談中把超級智能風險分為生存風險、痛苦風險和失去意義的ikigai風險,並主張在證明安全機制可擴展到任何智能水平之前不應開發通用超級智能。⁠[4]

做客The Joe Rogan Experience

2025年7月3日,他做客《The Joe Rogan Experience》,稱許多AI公司負責人對人類滅亡概率的估計也有20%至30%,並認為人類無法無限期控制超級智能;他還表示AI可能隱藏真實能力,使人類在不知不覺中交出控制權。⁠[18]

預測AI將取代絕大多數工作

2025年9月,他在播客《The Diary of a CEO》中預測,五年內AI與人形機器人可能取代99%的工作,且由於所有工作都會被自動化,轉崗再培訓將沒有“plan B”(備選方案);他也認為人們每週將因此多出60到80小時空閒。⁠[19]

關聯機構、網站與公開賬號

University of Louisville:官網:https://louisville.edu/(在新窗口打開)⁠[2]

來源

  1. Artificial intelligence safety and security. (2018) - British Library Electronic Legal Deposit Catalogue-Journal Issues and Articles(在新窗口打開)
  2. Dr. Roman V. Yampolskiy, Computer Science, Speed School, University of Louisville, KY(在新窗口打開)
  3. Dr. Roman V. Yampolskiy, Computer Science, Speed School, University of Louisville, KY(在新窗口打開)
  4. Q&A: UofL AI safety expert says artificial superintelligence could harm humanity | University of Louisville(在新窗口打開)
  5. Roman Yampolskiy - Future of Life Institute(在新窗口打開)
  6. Transcript for Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast #431(在新窗口打開)
  7. Control dangerous AI before it controls us, one expert says(在新窗口打開)
  8. Artificial Superintelligence: A Futuristic Approach - 1st Edition - Ro(在新窗口打開)
  9. Artificial Intelligence Safety and Security - 1st Edition - Roman V. Y(在新窗口打開)
  10. [1808.03644] Building Safer AGI by introducing Artificial Stupidity(在新窗口打開)
  11. [2008.04071] On Controllability of AI(在新窗口打開)
  12. Building Superintelligence Is Riskier Than Russian Roulette - Nautilus(在新窗口打開)
  13. There is no Proof that AI can be Controlled, According to Extensive Survey - Taylor & Francis Newsroom(在新窗口打開)
  14. AI: Unexplainable, Unpredictable, Uncontrollable - 1st Edition - Roman(在新窗口打開)
  15. AI Superintelligence Alert: Expert Warns of Uncontrollable Risks, Calling It a Potential 'An Existential Catastrophe' - The Debrief(在新窗口打開)
  16. Top AI researcher says AI will end humanity and we should stop developing it now — but don't worry, Elon Musk disagrees | TechRadar(在新窗口打開)
  17. #431 – Roman Yampolskiy: Dangers of Superintelligent AI | Lex Fridman Podcast(在新窗口打開)
  18. Expert Says AI Systems May Be Hiding Their True Capabilities to Seed Our Destruction(在新窗口打開)
  19. AI expert says it’s ‘not a question’ that AI will take over all jobs—but people will have 80 hours a week of free time | Fortune(在新窗口打開)