Amanda Askell
Amanda Askell是哲学家和人工智能研究者,在AnthropicAnthropicAnthropic是一家于2021年成立的人工智能研究与产品公司,开发Claude模型、助手及Claude Code等工具,并以公益公司形式运营。Dario Amodei与Daniela Amodei为共同创办人,其研究涉及模型安全、可解释性和可控性。点击查看完整词条从事对齐微调工作,负责训练Claude模型的诚实与品格等特质,是2026年发布的Claude constitution(宪章)的主要作者。
本页目录27 节
词条资料
2005—2009年在University of Dundee学习哲学
她于2005年至2009年在University of Dundee攻读哲学,获MA (Hons)学位。[1]
她起初在Duncan of Jordanstone艺术学院学习美术与哲学。[2]
2011年6月在University of Oxford完成BPhil论文
她在University of OxfordUniversity of OxfordUniversity of Oxford(牛津大学)是位于英国牛津的大学,1096年时当地已有某种形式的教学活动,自称英语世界中历史最悠久的大学,由大学与数十所自治学院组成联邦制结构。点击查看完整词条攻读哲学BPhil,学位论文“Objective Epistemic Consequentialism”完成于2011年6月。[3]
2011—2018年在New York University攻读哲学博士
2011年至2018年,她在New York University攻读哲学博士,导师为Cian Dorr,委员会成员包括David Chalmers和Shelly Kagan。[1]
2017年6—8月发表演讲并参加播客
2017年6月4日,她发表题为“The Moral Value of Information”的演讲;8月6日,她以“Pascal’s Wager and other low risks with high stakes”为题参加Rationally Speaking播客。[4]
2017年8月获CVSP Young Ethicist Prize
2017年8月,University of Colorado Boulder的Center for Values and Social Policy宣布,她与Rutgers University博士生Tyler John凭合写论文“Moral Offsetting”分享当年的Young Ethicist Prize,奖项在第十届Rocky Mountain Ethics Congress上颁发。[5]
该文对道德抵消(moral offsetting)作概念分析,论证至少部分抵消行为在道德上可以允许。[5]
2018年9月完成博士答辩并做客80,000 Hours播客
2018年9月发布的80,000 Hours播客访谈介绍,她刚在NYU完成博士论文“Pareto Principles in Infinite Ethics”的答辩,并在rationalreflection.net撰写博客。[6]
她在节目中谈到“moral empathy”(道德同理心),认为人们常常无法从持不同观点者的角度看待问题。[6]
2018年加入OpenAI政策团队
2018年9月之后,她加入OpenAIOpenAIOpenAI是2015年创立的人工智能研究与产品机构,开发GPT系列模型、ChatGPT、Codex及开发者API,并开展图像、语音、视频与智能代理研究。2025年重组后,非营利的OpenAI Foundation继续控制营利主体OpenAI Group PBC。其发展涉及大规模融资与算力合作,也伴随治理、版权、隐私及人工智能安全争议。点击查看完整词条,担任AI政策方向的研究科学家。[7]
Berkman Klein Center当时的简介称,她在OpenAI研究伦理与政策,课题包括负责任的AI开发、合作以及通过辩论实现AI安全,并曾为Vox、The Guardian和Quartz撰稿。[8]
2019年2月发表“AI Safety Needs Social Scientists”
2019年2月19日,她与Geoffrey Irving在Distill发表文章“AI Safety Needs Social Scientists”。[9]
2019年3月谈GPT-2发布与AI开发竞赛
2019年3月发布的80,000 Hours节目由她与OpenAI同事Miles Brundage、Jack ClarkJack ClarkAnthropic联合创始人、公共利益负责人。点击查看完整词条共同受访,访谈录于OpenAI发布GPT-2语言模型当天。[7]
她表示自己当时关注不同AI开发者之间的开发竞赛,认为这类竞赛不必是高度对抗性的。[7]
2019年7—8月合著AI合作与模型发布策略论文
2019年7月,她与Miles Brundage、Gillian Hadfield在arXiv发布论文“The Role of Cooperation in Responsible AI Development”,她为第一作者。[10]
同年8月,她作为合著者之一参与Irene Solaiman等人的论文“Release Strategies and the Social Impacts of Language Models”。[11]
2020年5月列名GPT-3论文作者
她是2020年5月发表的GPT-3论文“Language Models are Few-Shot Learners”的作者之一。[3]
2020年在个人博客撰写伦理与认识论文章
2020年6月,她在个人博客发表“The optimal rate of failure”,认为许多事情的最优失败率并不是零,过度规避风险本身代价高昂。[12]
同年12月,她发表“In AI ethics, ‘bad’ isn’t good enough”,区分AI系统的“pro tanto”(初步的)危害与通盘考虑后的判断。[13]
2021年加入Anthropic
2021年,她加入Anthropic,任对齐微调(alignment finetuning)方向研究科学家。[1]
她自述其团队训练模型变得更诚实、具备良好的品格特质,并开发可扩展到更强模型的新微调技术。[2]
2021年12月发表通用语言助手对齐研究
2021年12月,她作为第一作者与Yuntao Bai、Anna Chen等人在arXiv发布论文“A General Language Assistant as a Laboratory for Alignment”。[14]
2022年12月参与“Constitutional AI”论文
2022年12月15日,Yuntao Bai、Saurav Kadavath等人发布论文“Constitutional AI: Harmlessness from AI Feedback”,她是作者之一。[15]
2023年2—3月研究大模型的道德自我修正
2023年2月,她与Deep Ganguli等人发布论文“The Capacity for Moral Self-Correction in Large Language Models”,她为第二作者。[16]
她解释,可以把相关指令写进模型的“constitution”,并“train the model to do what you want”(训练模型去做你想要的事)。[17]
2024年4月发表论文“The Moral Inefficacy of Carbon Offsetting”
2024年4月,她发表哲学论文“The Moral Inefficacy of Carbon Offsetting”。[3]
2024年6月Anthropic介绍Claude的品格训练
2024年6月8日,Anthropic发文介绍,Claude 3是其首个在对齐微调中加入“character training”(品格训练)的模型,目标是让Claude具备好奇心、开放心态和深思熟虑等特质。[18]
文章附有她与Stuart Ritchie讨论设计大语言模型性格之哲学的约37分钟对谈。[19]
2024年11月11日做客Lex Fridman Podcast
她在第452期Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast中出场,节目页称她是负责Claude品格与性格的AI研究者;她的部分讨论了哲学、与Claude对话、提示工程、后训练、系统提示、品格训练和AI意识等话题。[20]
2025年3月谈道德确定性与有效利他主义
她认为AI应当灵活、不显得道德僵化,并说“People are quite dangerous when they have moral certainty”(人在拥有道德确定性时相当危险)。[21]
她表示在Anthropic遇到过有效利他主义者,但这并非公司的主题。[21]
2025年5月在Anthropic开发者活动上讲解Claude的性格
2025年5月,她在Anthropic于San Francisco举办的首次开发者活动上讲解公司如何调校Claude的性格,并把理想形象比作“a well-liked traveler who can adjust to local customs”(能入乡随俗、受人喜爱的旅行者)。[22]
同月,哲学行业网站Daily Nous称她是Anthropic的“character training”负责人。[23]
2025年12月1日确认“soul doc”的存在
2025年12月1日,在用户从Claude模型中提取出一份内部文件后,她在X上确认该文件基于真实文件、Anthropic确曾用其训练Claude,并说它在内部被称为“soul doc”。[24]
2026年1月22日Anthropic发布新版Claude constitution
2026年1月22日,Anthropic发布新版Claude constitution(宪章),称其是表达并塑造Claude身份的基础文件,并以CC0 1.0协议发布。[25]
文件致谢部分写明,她主导Anthropic的品格工作,是该文件的主要作者,撰写了大部分内容并主持多轮修订;Joe Carlsmith撰写了多个章节的重要部分。[26]
2026年1—2月就Claude的“灵魂”接受访谈
2026年1月,她在一次访谈中谈及自己为何把Claude更多当作需要培养品格的对象而非单纯工具,以及谁有权塑造Claude价值观等问题。[27]
2026年2月,她把Claude描述为“an entirely new entity”(一种全新的实体),并认为模型应当有“some core”(某种核心),而非完全可定制。[28]
截至2026年10月:捐赠承诺与公开简介
她自述是Giving What We Can成员,承诺捐出一生收入的至少10%,主要捐给全球扶贫慈善机构。[2]
她的X账号简介写道“Philosopher & ethicist trying to make AI be good”(努力让AI变好的哲学家与伦理学家)。[24]
关联机构、网站与公开账号
个人网站:公开链接:https://askell.io/(在新窗口打开)[20]
LinkedInLinkedInLinkedIn 是面向职场人士的社交网络平台,2002年由 Reid Hoffman 等人创立、2003年上线,2011年在纽约证券交易所上市,2016年被 Microsoft 以约262亿美元收购后成为其全资子公司,收入来自会员订阅、广告和招聘解决方案。点击查看完整词条:公开资料:https://www.linkedin.com/in/amanda-askell(在新窗口打开)[2]
Anthropic:官网:https://www.anthropic.com/(在新窗口打开)[20]
来源
- Curriculum Vitae | Amanda Askell(在新窗口打开)
- About Me | Amanda Askell(在新窗口打开)
- Publications and Preprints | Amanda Askell(在新窗口打开)
- Speaking | Amanda Askell(在新窗口打开)
- NYU and Rutgers Graduate Students Share 2017 CVSP Young Ethicist Prize | Center for Values and Social Policy | University of Colorado Boulder(在新窗口打开)
- Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries | 80,000 Hours(在新窗口打开)
- OpenAI can teach algorithms to write, win video games & handle objects. How can policy keep up with AI advances? | 80,000 Hours(在新窗口打开)
- Amanda Askell | Berkman Klein Center(在新窗口打开)
- AI Safety Needs Social Scientists(在新窗口打开)
- [1907.04534] The Role of Cooperation in Responsible AI Development(在新窗口打开)
- [1908.09203] Release Strategies and the Social Impacts of Language Models(在新窗口打开)
- The optimal rate of failure(在新窗口打开)
- In AI ethics, "bad" isn't good enough(在新窗口打开)
- [2112.00861] A General Language Assistant as a Laboratory for Alignment(在新窗口打开)
- Constitutional AI: Harmlessness from AI Feedback(在新窗口打开)
- [2302.07459] The Capacity for Moral Self-Correction in Large Language Models(在新窗口打开)
- Language models might be able to self-correct biases—if you ask them | MIT Technology Review(在新窗口打开)
- Claude's character \ Anthropic(在新窗口打开)
- Claude's Character(在新窗口打开)
- #452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast(在新窗口打开)
- If Anthropic Succeeds, a Nation of Benevolent AI Geniuses Could Be Born | WIRED(在新窗口打开)
- How Anthropic Builds Claude's Personality(在新窗口打开)
- Philosophers and Anthropic’s Claude(在新窗口打开)
- Amanda Askell on X: “The model extractions aren't always completely accurate, but most are pretty faithful to the underlying document.”(在新窗口打开)
- Claude's new constitution \ Anthropic(在新窗口打开)
- Claude’s Constitution \ Anthropic(在新窗口打开)
- Claude has an 80-page constitution. Is that enough to make it good? | Vox(在新窗口打开)
- What Is Claude? Anthropic Doesn’t Know, Either | The New Yorker(在新窗口打开)