ABAB Pedia

Amanda Askell

Amanda Askell是哲學家和人工智能研究者,在AnthropicAnthropicAnthropic是一家於2021年成立的人工智能研究與產品公司,開發Claude模型、助手及Claude Code等工具,並以公益公司形式運營。Dario Amodei與Daniela Amodei為共同創辦人,其研究涉及模型安全、可解釋性和可控性。點擊查看完整詞條從事對齊微調工作,負責訓練Claude模型的誠實與品格等特質,是2026年發佈的Claude constitution(憲章)的主要作者。

本頁目錄27 節
詞條資料

在University of Dundee學習哲學

她於2005年至2009年在University of Dundee攻讀哲學,獲MA (Hons)學位。⁠[1]

她起初在Duncan of Jordanstone藝術學院學習美術與哲學。⁠[2]

在University of Oxford完成BPhil論文

在New York University攻讀哲學博士

2011年至2018年,她在New York University攻讀哲學博士,導師為Cian Dorr,委員會成員包括David Chalmers和Shelly Kagan。⁠[1]

發表演講並參加播客

2017年6月4日,她發表題為“The Moral Value of Information”的演講;8月6日,她以“Pascal’s Wager and other low risks with high stakes”為題參加Rationally Speaking播客。⁠[4]

獲CVSP Young Ethicist Prize

2017年8月,University of Colorado Boulder的Center for Values and Social Policy宣佈,她與Rutgers University博士生Tyler John憑合寫論文“Moral Offsetting”分享當年的Young Ethicist Prize,獎項在第十屆Rocky Mountain Ethics Congress上頒發。⁠[5]

該文對道德抵消(moral offsetting)作概念分析,論證至少部分抵消行為在道德上可以允許。⁠[5]

完成博士答辯並做客80,000 Hours播客

2018年9月發佈的80,000 Hours播客訪談介紹,她剛在NYU完成博士論文“Pareto Principles in Infinite Ethics”的答辯,並在rationalreflection.net撰寫博客。⁠[6]

她在節目中談到“moral empathy”(道德同理心),認為人們常常無法從持不同觀點者的角度看待問題。⁠[6]

加入OpenAI政策團隊

Berkman Klein Center當時的簡介稱,她在OpenAI研究倫理與政策,課題包括負責任的AI開發、合作以及通過辯論實現AI安全,並曾為Vox、The Guardian和Quartz撰稿。⁠[8]

發表“AI Safety Needs Social Scientists”

2019年2月19日,她與Geoffrey Irving在Distill發表文章“AI Safety Needs Social Scientists”。⁠[9]

談GPT-2發佈與AI開發競賽

2019年3月發佈的80,000 Hours節目由她與OpenAI同事Miles Brundage、Jack ClarkJack ClarkAnthropic聯合創始人、公共利益負責人。點擊查看完整詞條共同受訪,訪談錄於OpenAI發佈GPT-2語言模型當天。⁠[7]

她表示自己當時關注不同AI開發者之間的開發競賽,認為這類競賽不必是高度對抗性的。⁠[7]

合著AI合作與模型發佈策略論文

2019年7月,她與Miles Brundage、Gillian Hadfield在arXiv發佈論文“The Role of Cooperation in Responsible AI Development”,她為第一作者。⁠[10]

同年8月,她作為合著者之一參與Irene Solaiman等人的論文“Release Strategies and the Social Impacts of Language Models”。⁠[11]

列名GPT-3論文作者

她是2020年5月發表的GPT-3論文“Language Models are Few-Shot Learners”的作者之一。⁠[3]

在個人博客撰寫倫理與認識論文章

2020年6月,她在個人博客發表“The optimal rate of failure”,認為許多事情的最優失敗率並不是零,過度規避風險本身代價高昂。⁠[12]

同年12月,她發表“In AI ethics, ‘bad’ isn’t good enough”,區分AI系統的“pro tanto”(初步的)危害與通盤考慮後的判斷。⁠[13]

加入Anthropic

2021年,她加入Anthropic,任對齊微調(alignment finetuning)方向研究科學家。⁠[1]

她自述其團隊訓練模型變得更誠實、具備良好的品格特質,並開發可擴展到更強模型的新微調技術。⁠[2]

發表通用語言助手對齊研究

2021年12月,她作為第一作者與Yuntao Bai、Anna Chen等人在arXiv發佈論文“A General Language Assistant as a Laboratory for Alignment”。⁠[14]

參與“Constitutional AI”論文

2022年12月15日,Yuntao Bai、Saurav Kadavath等人發佈論文“Constitutional AI: Harmlessness from AI Feedback”,她是作者之一。⁠[15]

研究大模型的道德自我修正

2023年2月,她與Deep Ganguli等人發佈論文“The Capacity for Moral Self-Correction in Large Language Models”,她為第二作者。⁠[16]

她解釋,可以把相關指令寫進模型的“constitution”,並“train the model to do what you want”(訓練模型去做你想要的事)。⁠[17]

發表論文“The Moral Inefficacy of Carbon Offsetting”

2024年4月,她發表哲學論文“The Moral Inefficacy of Carbon Offsetting”。⁠[3]

Anthropic介紹Claude的品格訓練

2024年6月8日,Anthropic發文介紹,Claude 3是其首個在對齊微調中加入“character training”(品格訓練)的模型,目標是讓Claude具備好奇心、開放心態和深思熟慮等特質。⁠[18]

文章附有她與Stuart Ritchie討論設計大語言模型性格之哲學的約37分鐘對談。⁠[19]

做客Lex Fridman Podcast

她在第452期Lex FridmanLex FridmanLex Fridman 是生於蘇聯、在美國長大的計算機科學家和播客主持人,任 MIT 研究科學家,研究人機交互與自動駕駛。他主持的 Lex Fridman Podcast 以數小時長篇對話著稱,嘉賓包括多國領導人和科技企業領袖。點擊查看完整詞條 Podcast中出場,節目頁稱她是負責Claude品格與性格的AI研究者;她的部分討論了哲學、與Claude對話、提示工程、後訓練、系統提示、品格訓練和AI意識等話題。⁠[20]

談道德確定性與有效利他主義

她認為AI應當靈活、不顯得道德僵化,並說“People are quite dangerous when they have moral certainty”(人在擁有道德確定性時相當危險)。⁠[21]

她表示在Anthropic遇到過有效利他主義者,但這並非公司的主題。⁠[21]

在Anthropic開發者活動上講解Claude的性格

2025年5月,她在Anthropic於San Francisco舉辦的首次開發者活動上講解公司如何調校Claude的性格,並把理想形象比作“a well-liked traveler who can adjust to local customs”(能入鄉隨俗、受人喜愛的旅行者)。⁠[22]

同月,哲學行業網站Daily Nous稱她是Anthropic的“character training”負責人。⁠[23]

確認“soul doc”的存在

2025年12月1日,在用戶從Claude模型中提取出一份內部文件後,她在X上確認該文件基於真實文件、Anthropic確曾用其訓練Claude,並說它在內部被稱為“soul doc”。⁠[24]

Anthropic發佈新版Claude constitution

2026年1月22日,Anthropic發佈新版Claude constitution(憲章),稱其是表達並塑造Claude身份的基礎文件,並以CC0 1.0協議發佈。⁠[25]

文件致謝部分寫明,她主導Anthropic的品格工作,是該文件的主要作者,撰寫了大部分內容並主持多輪修訂;Joe Carlsmith撰寫了多個章節的重要部分。⁠[26]

就Claude的“靈魂”接受訪談

2026年1月,她在一次訪談中談及自己為何把Claude更多當作需要培養品格的對象而非單純工具,以及誰有權塑造Claude價值觀等問題。⁠[27]

2026年2月,她把Claude描述為“an entirely new entity”(一種全新的實體),並認為模型應當有“some core”(某種核心),而非完全可定製。⁠[28]

截至2026年10月:捐贈承諾與公開簡介

她自述是Giving What We Can成員,承諾捐出一生收入的至少10%,主要捐給全球扶貧慈善機構。⁠[2]

她的X賬號簡介寫道“Philosopher & ethicist trying to make AI be good”(努力讓AI變好的哲學家與倫理學家)。⁠[24]

關聯機構、網站與公開賬號

個人網站:公開鏈接:https://askell.io/(在新窗口打開)⁠[20]

來源

  1. Curriculum Vitae | Amanda Askell(在新窗口打開)
  2. About Me | Amanda Askell(在新窗口打開)
  3. Publications and Preprints | Amanda Askell(在新窗口打開)
  4. Speaking | Amanda Askell(在新窗口打開)
  5. NYU and Rutgers Graduate Students Share 2017 CVSP Young Ethicist Prize | Center for Values and Social Policy | University of Colorado Boulder(在新窗口打開)
  6. Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries | 80,000 Hours(在新窗口打開)
  7. OpenAI can teach algorithms to write, win video games & handle objects. How can policy keep up with AI advances? | 80,000 Hours(在新窗口打開)
  8. Amanda Askell | Berkman Klein Center(在新窗口打開)
  9. AI Safety Needs Social Scientists(在新窗口打開)
  10. [1907.04534] The Role of Cooperation in Responsible AI Development(在新窗口打開)
  11. [1908.09203] Release Strategies and the Social Impacts of Language Models(在新窗口打開)
  12. The optimal rate of failure(在新窗口打開)
  13. In AI ethics, "bad" isn't good enough(在新窗口打開)
  14. [2112.00861] A General Language Assistant as a Laboratory for Alignment(在新窗口打開)
  15. Constitutional AI: Harmlessness from AI Feedback(在新窗口打開)
  16. [2302.07459] The Capacity for Moral Self-Correction in Large Language Models(在新窗口打開)
  17. Language models might be able to self-correct biases—if you ask them | MIT Technology Review(在新窗口打開)
  18. Claude's character \ Anthropic(在新窗口打開)
  19. Claude's Character(在新窗口打開)
  20. #452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast(在新窗口打開)
  21. If Anthropic Succeeds, a Nation of Benevolent AI Geniuses Could Be Born | WIRED(在新窗口打開)
  22. How Anthropic Builds Claude's Personality(在新窗口打開)
  23. Philosophers and Anthropic’s Claude(在新窗口打開)
  24. Amanda Askell on X: “The model extractions aren't always completely accurate, but most are pretty faithful to the underlying document.”(在新窗口打開)
  25. Claude's new constitution \ Anthropic(在新窗口打開)
  26. Claude’s Constitution \ Anthropic(在新窗口打開)
  27. Claude has an 80-page constitution. Is that enough to make it good? | Vox(在新窗口打開)
  28. What Is Claude? Anthropic Doesn’t Know, Either | The New Yorker(在新窗口打開)