Amanda Askell
Amanda Askell是哲學家和人工智能研究者,在AnthropicAnthropicAnthropic是一家於2021年成立的人工智能研究與產品公司,開發Claude模型、助手及Claude Code等工具,並以公益公司形式運營。Dario Amodei與Daniela Amodei為共同創辦人,其研究涉及模型安全、可解釋性和可控性。點擊查看完整詞條從事對齊微調工作,負責訓練Claude模型的誠實與品格等特質,是2026年發佈的Claude constitution(憲章)的主要作者。
本頁目錄27 節
詞條資料
2005—2009年在University of Dundee學習哲學
她於2005年至2009年在University of Dundee攻讀哲學,獲MA (Hons)學位。[1]
她起初在Duncan of Jordanstone藝術學院學習美術與哲學。[2]
2011年6月在University of Oxford完成BPhil論文
她在University of OxfordUniversity of OxfordUniversity of Oxford(牛津大學)是位於英國牛津的大學,1096年時當地已有某種形式的教學活動,自稱英語世界中歷史最悠久的大學,由大學與數十所自治學院組成聯邦制結構。點擊查看完整詞條攻讀哲學BPhil,學位論文“Objective Epistemic Consequentialism”完成於2011年6月。[3]
2011—2018年在New York University攻讀哲學博士
2011年至2018年,她在New York University攻讀哲學博士,導師為Cian Dorr,委員會成員包括David Chalmers和Shelly Kagan。[1]
2017年6—8月發表演講並參加播客
2017年6月4日,她發表題為“The Moral Value of Information”的演講;8月6日,她以“Pascal’s Wager and other low risks with high stakes”為題參加Rationally Speaking播客。[4]
2017年8月獲CVSP Young Ethicist Prize
2017年8月,University of Colorado Boulder的Center for Values and Social Policy宣佈,她與Rutgers University博士生Tyler John憑合寫論文“Moral Offsetting”分享當年的Young Ethicist Prize,獎項在第十屆Rocky Mountain Ethics Congress上頒發。[5]
該文對道德抵消(moral offsetting)作概念分析,論證至少部分抵消行為在道德上可以允許。[5]
2018年9月完成博士答辯並做客80,000 Hours播客
2018年9月發佈的80,000 Hours播客訪談介紹,她剛在NYU完成博士論文“Pareto Principles in Infinite Ethics”的答辯,並在rationalreflection.net撰寫博客。[6]
她在節目中談到“moral empathy”(道德同理心),認為人們常常無法從持不同觀點者的角度看待問題。[6]
2018年加入OpenAI政策團隊
2018年9月之後,她加入OpenAIOpenAIOpenAI是2015年創立的人工智能研究與產品機構,開發GPT系列模型、ChatGPT、Codex及開發者API,並開展圖像、語音、視頻與智能代理研究。2025年重組後,非營利的OpenAI Foundation繼續控制營利主體OpenAI Group PBC。其發展涉及大規模融資與算力合作,也伴隨治理、版權、隱私及人工智能安全爭議。點擊查看完整詞條,擔任AI政策方向的研究科學家。[7]
Berkman Klein Center當時的簡介稱,她在OpenAI研究倫理與政策,課題包括負責任的AI開發、合作以及通過辯論實現AI安全,並曾為Vox、The Guardian和Quartz撰稿。[8]
2019年2月發表“AI Safety Needs Social Scientists”
2019年2月19日,她與Geoffrey Irving在Distill發表文章“AI Safety Needs Social Scientists”。[9]
2019年3月談GPT-2發佈與AI開發競賽
2019年3月發佈的80,000 Hours節目由她與OpenAI同事Miles Brundage、Jack ClarkJack ClarkAnthropic聯合創始人、公共利益負責人。點擊查看完整詞條共同受訪,訪談錄於OpenAI發佈GPT-2語言模型當天。[7]
她表示自己當時關注不同AI開發者之間的開發競賽,認為這類競賽不必是高度對抗性的。[7]
2019年7—8月合著AI合作與模型發佈策略論文
2019年7月,她與Miles Brundage、Gillian Hadfield在arXiv發佈論文“The Role of Cooperation in Responsible AI Development”,她為第一作者。[10]
同年8月,她作為合著者之一參與Irene Solaiman等人的論文“Release Strategies and the Social Impacts of Language Models”。[11]
2020年5月列名GPT-3論文作者
她是2020年5月發表的GPT-3論文“Language Models are Few-Shot Learners”的作者之一。[3]
2020年在個人博客撰寫倫理與認識論文章
2020年6月,她在個人博客發表“The optimal rate of failure”,認為許多事情的最優失敗率並不是零,過度規避風險本身代價高昂。[12]
同年12月,她發表“In AI ethics, ‘bad’ isn’t good enough”,區分AI系統的“pro tanto”(初步的)危害與通盤考慮後的判斷。[13]
2021年加入Anthropic
2021年,她加入Anthropic,任對齊微調(alignment finetuning)方向研究科學家。[1]
她自述其團隊訓練模型變得更誠實、具備良好的品格特質,並開發可擴展到更強模型的新微調技術。[2]
2021年12月發表通用語言助手對齊研究
2021年12月,她作為第一作者與Yuntao Bai、Anna Chen等人在arXiv發佈論文“A General Language Assistant as a Laboratory for Alignment”。[14]
2022年12月參與“Constitutional AI”論文
2022年12月15日,Yuntao Bai、Saurav Kadavath等人發佈論文“Constitutional AI: Harmlessness from AI Feedback”,她是作者之一。[15]
2023年2—3月研究大模型的道德自我修正
2023年2月,她與Deep Ganguli等人發佈論文“The Capacity for Moral Self-Correction in Large Language Models”,她為第二作者。[16]
她解釋,可以把相關指令寫進模型的“constitution”,並“train the model to do what you want”(訓練模型去做你想要的事)。[17]
2024年4月發表論文“The Moral Inefficacy of Carbon Offsetting”
2024年4月,她發表哲學論文“The Moral Inefficacy of Carbon Offsetting”。[3]
2024年6月Anthropic介紹Claude的品格訓練
2024年6月8日,Anthropic發文介紹,Claude 3是其首個在對齊微調中加入“character training”(品格訓練)的模型,目標是讓Claude具備好奇心、開放心態和深思熟慮等特質。[18]
文章附有她與Stuart Ritchie討論設計大語言模型性格之哲學的約37分鐘對談。[19]
2024年11月11日做客Lex Fridman Podcast
她在第452期Lex FridmanLex FridmanLex Fridman 是生於蘇聯、在美國長大的計算機科學家和播客主持人,任 MIT 研究科學家,研究人機交互與自動駕駛。他主持的 Lex Fridman Podcast 以數小時長篇對話著稱,嘉賓包括多國領導人和科技企業領袖。點擊查看完整詞條 Podcast中出場,節目頁稱她是負責Claude品格與性格的AI研究者;她的部分討論了哲學、與Claude對話、提示工程、後訓練、系統提示、品格訓練和AI意識等話題。[20]
2025年3月談道德確定性與有效利他主義
她認為AI應當靈活、不顯得道德僵化,並說“People are quite dangerous when they have moral certainty”(人在擁有道德確定性時相當危險)。[21]
她表示在Anthropic遇到過有效利他主義者,但這並非公司的主題。[21]
2025年5月在Anthropic開發者活動上講解Claude的性格
2025年5月,她在Anthropic於San Francisco舉辦的首次開發者活動上講解公司如何調校Claude的性格,並把理想形象比作“a well-liked traveler who can adjust to local customs”(能入鄉隨俗、受人喜愛的旅行者)。[22]
同月,哲學行業網站Daily Nous稱她是Anthropic的“character training”負責人。[23]
2025年12月1日確認“soul doc”的存在
2025年12月1日,在用戶從Claude模型中提取出一份內部文件後,她在X上確認該文件基於真實文件、Anthropic確曾用其訓練Claude,並說它在內部被稱為“soul doc”。[24]
2026年1月22日Anthropic發佈新版Claude constitution
2026年1月22日,Anthropic發佈新版Claude constitution(憲章),稱其是表達並塑造Claude身份的基礎文件,並以CC0 1.0協議發佈。[25]
文件致謝部分寫明,她主導Anthropic的品格工作,是該文件的主要作者,撰寫了大部分內容並主持多輪修訂;Joe Carlsmith撰寫了多個章節的重要部分。[26]
2026年1—2月就Claude的“靈魂”接受訪談
2026年1月,她在一次訪談中談及自己為何把Claude更多當作需要培養品格的對象而非單純工具,以及誰有權塑造Claude價值觀等問題。[27]
2026年2月,她把Claude描述為“an entirely new entity”(一種全新的實體),並認為模型應當有“some core”(某種核心),而非完全可定製。[28]
截至2026年10月:捐贈承諾與公開簡介
她自述是Giving What We Can成員,承諾捐出一生收入的至少10%,主要捐給全球扶貧慈善機構。[2]
她的X賬號簡介寫道“Philosopher & ethicist trying to make AI be good”(努力讓AI變好的哲學家與倫理學家)。[24]
關聯機構、網站與公開賬號
個人網站:公開鏈接:https://askell.io/(在新窗口打開)[20]
LinkedInLinkedInLinkedIn 是面向職場人士的社交網絡平臺,2002年由 Reid Hoffman 等人創立、2003年上線,2011年在紐約證券交易所上市,2016年被 Microsoft 以約262億美元收購後成為其全資子公司,收入來自會員訂閱、廣告和招聘解決方案。點擊查看完整詞條:公開資料:https://www.linkedin.com/in/amanda-askell(在新窗口打開)[2]
Anthropic:官網:https://www.anthropic.com/(在新窗口打開)[20]
來源
- Curriculum Vitae | Amanda Askell(在新窗口打開)
- About Me | Amanda Askell(在新窗口打開)
- Publications and Preprints | Amanda Askell(在新窗口打開)
- Speaking | Amanda Askell(在新窗口打開)
- NYU and Rutgers Graduate Students Share 2017 CVSP Young Ethicist Prize | Center for Values and Social Policy | University of Colorado Boulder(在新窗口打開)
- Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries | 80,000 Hours(在新窗口打開)
- OpenAI can teach algorithms to write, win video games & handle objects. How can policy keep up with AI advances? | 80,000 Hours(在新窗口打開)
- Amanda Askell | Berkman Klein Center(在新窗口打開)
- AI Safety Needs Social Scientists(在新窗口打開)
- [1907.04534] The Role of Cooperation in Responsible AI Development(在新窗口打開)
- [1908.09203] Release Strategies and the Social Impacts of Language Models(在新窗口打開)
- The optimal rate of failure(在新窗口打開)
- In AI ethics, "bad" isn't good enough(在新窗口打開)
- [2112.00861] A General Language Assistant as a Laboratory for Alignment(在新窗口打開)
- Constitutional AI: Harmlessness from AI Feedback(在新窗口打開)
- [2302.07459] The Capacity for Moral Self-Correction in Large Language Models(在新窗口打開)
- Language models might be able to self-correct biases—if you ask them | MIT Technology Review(在新窗口打開)
- Claude's character \ Anthropic(在新窗口打開)
- Claude's Character(在新窗口打開)
- #452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast(在新窗口打開)
- If Anthropic Succeeds, a Nation of Benevolent AI Geniuses Could Be Born | WIRED(在新窗口打開)
- How Anthropic Builds Claude's Personality(在新窗口打開)
- Philosophers and Anthropic’s Claude(在新窗口打開)
- Amanda Askell on X: “The model extractions aren't always completely accurate, but most are pretty faithful to the underlying document.”(在新窗口打開)
- Claude's new constitution \ Anthropic(在新窗口打開)
- Claude’s Constitution \ Anthropic(在新窗口打開)
- Claude has an 80-page constitution. Is that enough to make it good? | Vox(在新窗口打開)
- What Is Claude? Anthropic Doesn’t Know, Either | The New Yorker(在新窗口打開)