ABAB Pedia

Amanda Askell

Amanda Askell是哲学家和人工智能研究者,在AnthropicAnthropicAnthropic是一家于2021年成立的人工智能研究与产品公司,开发Claude模型、助手及Claude Code等工具,并以公益公司形式运营。Dario Amodei与Daniela Amodei为共同创办人,其研究涉及模型安全、可解释性和可控性。点击查看完整词条从事对齐微调工作,负责训练Claude模型的诚实与品格等特质,是2026年发布的Claude constitution(宪章)的主要作者。

本页目录27 节
词条资料

在University of Dundee学习哲学

她于2005年至2009年在University of Dundee攻读哲学,获MA (Hons)学位。⁠[1]

她起初在Duncan of Jordanstone艺术学院学习美术与哲学。⁠[2]

在University of Oxford完成BPhil论文

在New York University攻读哲学博士

2011年至2018年,她在New York University攻读哲学博士,导师为Cian Dorr,委员会成员包括David Chalmers和Shelly Kagan。⁠[1]

发表演讲并参加播客

2017年6月4日,她发表题为“The Moral Value of Information”的演讲;8月6日,她以“Pascal’s Wager and other low risks with high stakes”为题参加Rationally Speaking播客。⁠[4]

获CVSP Young Ethicist Prize

2017年8月,University of Colorado Boulder的Center for Values and Social Policy宣布,她与Rutgers University博士生Tyler John凭合写论文“Moral Offsetting”分享当年的Young Ethicist Prize,奖项在第十届Rocky Mountain Ethics Congress上颁发。⁠[5]

该文对道德抵消(moral offsetting)作概念分析,论证至少部分抵消行为在道德上可以允许。⁠[5]

完成博士答辩并做客80,000 Hours播客

2018年9月发布的80,000 Hours播客访谈介绍,她刚在NYU完成博士论文“Pareto Principles in Infinite Ethics”的答辩,并在rationalreflection.net撰写博客。⁠[6]

她在节目中谈到“moral empathy”(道德同理心),认为人们常常无法从持不同观点者的角度看待问题。⁠[6]

加入OpenAI政策团队

Berkman Klein Center当时的简介称,她在OpenAI研究伦理与政策,课题包括负责任的AI开发、合作以及通过辩论实现AI安全,并曾为Vox、The Guardian和Quartz撰稿。⁠[8]

发表“AI Safety Needs Social Scientists”

2019年2月19日,她与Geoffrey Irving在Distill发表文章“AI Safety Needs Social Scientists”。⁠[9]

谈GPT-2发布与AI开发竞赛

2019年3月发布的80,000 Hours节目由她与OpenAI同事Miles Brundage、Jack ClarkJack ClarkAnthropic联合创始人、公共利益负责人。点击查看完整词条共同受访,访谈录于OpenAI发布GPT-2语言模型当天。⁠[7]

她表示自己当时关注不同AI开发者之间的开发竞赛,认为这类竞赛不必是高度对抗性的。⁠[7]

合著AI合作与模型发布策略论文

2019年7月,她与Miles Brundage、Gillian Hadfield在arXiv发布论文“The Role of Cooperation in Responsible AI Development”,她为第一作者。⁠[10]

同年8月,她作为合著者之一参与Irene Solaiman等人的论文“Release Strategies and the Social Impacts of Language Models”。⁠[11]

列名GPT-3论文作者

她是2020年5月发表的GPT-3论文“Language Models are Few-Shot Learners”的作者之一。⁠[3]

在个人博客撰写伦理与认识论文章

2020年6月,她在个人博客发表“The optimal rate of failure”,认为许多事情的最优失败率并不是零,过度规避风险本身代价高昂。⁠[12]

同年12月,她发表“In AI ethics, ‘bad’ isn’t good enough”,区分AI系统的“pro tanto”(初步的)危害与通盘考虑后的判断。⁠[13]

加入Anthropic

2021年,她加入Anthropic,任对齐微调(alignment finetuning)方向研究科学家。⁠[1]

她自述其团队训练模型变得更诚实、具备良好的品格特质,并开发可扩展到更强模型的新微调技术。⁠[2]

发表通用语言助手对齐研究

2021年12月,她作为第一作者与Yuntao Bai、Anna Chen等人在arXiv发布论文“A General Language Assistant as a Laboratory for Alignment”。⁠[14]

参与“Constitutional AI”论文

2022年12月15日,Yuntao Bai、Saurav Kadavath等人发布论文“Constitutional AI: Harmlessness from AI Feedback”,她是作者之一。⁠[15]

研究大模型的道德自我修正

2023年2月,她与Deep Ganguli等人发布论文“The Capacity for Moral Self-Correction in Large Language Models”,她为第二作者。⁠[16]

她解释,可以把相关指令写进模型的“constitution”,并“train the model to do what you want”(训练模型去做你想要的事)。⁠[17]

发表论文“The Moral Inefficacy of Carbon Offsetting”

2024年4月,她发表哲学论文“The Moral Inefficacy of Carbon Offsetting”。⁠[3]

Anthropic介绍Claude的品格训练

2024年6月8日,Anthropic发文介绍,Claude 3是其首个在对齐微调中加入“character training”(品格训练)的模型,目标是让Claude具备好奇心、开放心态和深思熟虑等特质。⁠[18]

文章附有她与Stuart Ritchie讨论设计大语言模型性格之哲学的约37分钟对谈。⁠[19]

做客Lex Fridman Podcast

她在第452期Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast中出场,节目页称她是负责Claude品格与性格的AI研究者;她的部分讨论了哲学、与Claude对话、提示工程、后训练、系统提示、品格训练和AI意识等话题。⁠[20]

谈道德确定性与有效利他主义

她认为AI应当灵活、不显得道德僵化,并说“People are quite dangerous when they have moral certainty”(人在拥有道德确定性时相当危险)。⁠[21]

她表示在Anthropic遇到过有效利他主义者,但这并非公司的主题。⁠[21]

在Anthropic开发者活动上讲解Claude的性格

2025年5月,她在Anthropic于San Francisco举办的首次开发者活动上讲解公司如何调校Claude的性格,并把理想形象比作“a well-liked traveler who can adjust to local customs”(能入乡随俗、受人喜爱的旅行者)。⁠[22]

同月,哲学行业网站Daily Nous称她是Anthropic的“character training”负责人。⁠[23]

确认“soul doc”的存在

2025年12月1日,在用户从Claude模型中提取出一份内部文件后,她在X上确认该文件基于真实文件、Anthropic确曾用其训练Claude,并说它在内部被称为“soul doc”。⁠[24]

Anthropic发布新版Claude constitution

2026年1月22日,Anthropic发布新版Claude constitution(宪章),称其是表达并塑造Claude身份的基础文件,并以CC0 1.0协议发布。⁠[25]

文件致谢部分写明,她主导Anthropic的品格工作,是该文件的主要作者,撰写了大部分内容并主持多轮修订;Joe Carlsmith撰写了多个章节的重要部分。⁠[26]

就Claude的“灵魂”接受访谈

2026年1月,她在一次访谈中谈及自己为何把Claude更多当作需要培养品格的对象而非单纯工具,以及谁有权塑造Claude价值观等问题。⁠[27]

2026年2月,她把Claude描述为“an entirely new entity”(一种全新的实体),并认为模型应当有“some core”(某种核心),而非完全可定制。⁠[28]

截至2026年10月:捐赠承诺与公开简介

她自述是Giving What We Can成员,承诺捐出一生收入的至少10%,主要捐给全球扶贫慈善机构。⁠[2]

她的X账号简介写道“Philosopher & ethicist trying to make AI be good”(努力让AI变好的哲学家与伦理学家)。⁠[24]

关联机构、网站与公开账号

个人网站:公开链接:https://askell.io/(在新窗口打开)⁠[20]

来源

  1. Curriculum Vitae | Amanda Askell(在新窗口打开)
  2. About Me | Amanda Askell(在新窗口打开)
  3. Publications and Preprints | Amanda Askell(在新窗口打开)
  4. Speaking | Amanda Askell(在新窗口打开)
  5. NYU and Rutgers Graduate Students Share 2017 CVSP Young Ethicist Prize | Center for Values and Social Policy | University of Colorado Boulder(在新窗口打开)
  6. Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries | 80,000 Hours(在新窗口打开)
  7. OpenAI can teach algorithms to write, win video games & handle objects. How can policy keep up with AI advances? | 80,000 Hours(在新窗口打开)
  8. Amanda Askell | Berkman Klein Center(在新窗口打开)
  9. AI Safety Needs Social Scientists(在新窗口打开)
  10. [1907.04534] The Role of Cooperation in Responsible AI Development(在新窗口打开)
  11. [1908.09203] Release Strategies and the Social Impacts of Language Models(在新窗口打开)
  12. The optimal rate of failure(在新窗口打开)
  13. In AI ethics, "bad" isn't good enough(在新窗口打开)
  14. [2112.00861] A General Language Assistant as a Laboratory for Alignment(在新窗口打开)
  15. Constitutional AI: Harmlessness from AI Feedback(在新窗口打开)
  16. [2302.07459] The Capacity for Moral Self-Correction in Large Language Models(在新窗口打开)
  17. Language models might be able to self-correct biases—if you ask them | MIT Technology Review(在新窗口打开)
  18. Claude's character \ Anthropic(在新窗口打开)
  19. Claude's Character(在新窗口打开)
  20. #452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast(在新窗口打开)
  21. If Anthropic Succeeds, a Nation of Benevolent AI Geniuses Could Be Born | WIRED(在新窗口打开)
  22. How Anthropic Builds Claude's Personality(在新窗口打开)
  23. Philosophers and Anthropic’s Claude(在新窗口打开)
  24. Amanda Askell on X: “The model extractions aren't always completely accurate, but most are pretty faithful to the underlying document.”(在新窗口打开)
  25. Claude's new constitution \ Anthropic(在新窗口打开)
  26. Claude’s Constitution \ Anthropic(在新窗口打开)
  27. Claude has an 80-page constitution. Is that enough to make it good? | Vox(在新窗口打开)
  28. What Is Claude? Anthropic Doesn’t Know, Either | The New Yorker(在新窗口打开)