Andrej Karpathy

Karpathy 生於斯洛伐克，15歲時隨家人移居加拿大多倫多。他在一篇博士經驗總結中寫道，自己從小就知道想讀博士，原因之一是喜歡上學和學習，另一個原因是想成為遊戲《半條命》裡擁有麻省理工學院理論物理博士學位的主角 Gordon Freeman。⁠[1][2][3][3]

Karpathy 早年熱衷魔方，練到約17秒復原，並因苦於缺乏學習資源而在 YouTubeYouTubeYouTube是Google旗下的視頻分享與創作者平臺，2005年由Steve Chen、Chad Hurley和Jawed Karim創辦，2006年被Google收購。平臺圍繞視頻上傳、觀看與創作者收益，發展出Shorts、YouTube Music、Premium、YouTube TV及兒童產品，總部位於美國加利福尼亞州San Bruno。點擊查看完整詞條 上製作講解速擰方法的視頻，這些視頻後來頗受歡迎。⁠[4]

2005年至2009年，Karpathy 在多倫多大學攻讀學士學位，主修計算機科學和物理雙專業、輔修數學，並在旁聽 Geoffrey Hinton 的課程和讀書會時第一次接觸深度學習。他回憶，本科時原本想做量子計算，但上量子力學課時發現自己並不享受，轉而越來越被人工智能吸引；在圖書館裡意識到自己無法讀完所有書，於是想到可以造出能學會一切的東西。⁠[4][1][1][1]

2009年至2011年，Karpathy 在英屬哥倫比亞大學讀碩士，與 Michiel van de Panne 研究物理模擬角色的運動控制器學習，即在物理仿真中用機器學習實現敏捷的機器人運動；相關論文《Locomotion Skills for Simulated Quadrupeds》發表於 SIGGRAPH 2011。⁠[4][4]

2011年起，Karpathy 在斯坦福視覺實驗室攻讀博士，導師是李飛飛Fei-Fei LiFei-Fei Li（李飛飛）是美國計算機科學家、斯坦福大學計算機科學教授及以人為本人工智能研究院創始聯合院長，空間智能公司 World Labs 聯合創始人兼首席執行官。她主導創建 ImageNet，曾任 Google 副總裁與 Google Cloud 首席科學家，以及 Twitter 獨立董事。2026年起，她擔任斯坦福校長人工智能高級顧問及 HAI 顧問委員會聯合主席。點擊查看完整詞條（Fei-Fei Li），第一年輪轉期間還與 Daphne Koller、吳恩達（Andrew Ng）、Sebastian Thrun 和 Vladlen Koltun 合作。他的研究集中在卷積神經網絡、循環神經網絡及其在計算機視覺、自然語言處理及兩者交叉領域的應用。讀博期間，他2011年在初創期的 Google Brain 實習研究基於視頻的大規模無監督學習，2013年在 GoogleGoogleGoogle是一家美國科技公司，由Larry Page與Sergey Brin創辦，1998年註冊成立，2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條 Research 研究 YouTube 視頻的大規模監督學習，2015年在 DeepMindGoogle DeepMindGoogle DeepMind 是 Google 旗下的人工智能研究機構，2023年4月由2014年被 Google 收購的 DeepMind 與 Google Research 的 Brain 團隊合併而成，由 Demis Hassabis 任首席執行官。它開發了 AlphaGo、AlphaFold 和 Gemini 系列模型，Hassabis 與 John Jumper 因 AlphaFold 的蛋白質結構預測工作獲得2024年諾貝爾化學獎。點擊查看完整詞條 的深度強化學習團隊與 Koray Kavukcuoglu 和 Vlad Mnih 共事。⁠[4][4][4][4]

他的博士論文《Connecting Images and Natural Language》於2016年完成，研究讓神經網絡識別圖像中的多個具體物體、用自然語言加以描述，也能反過來根據“白色網球鞋”這類自然語言描述在圖像中找到對應物體。⁠[4][5][5]

讀博期間，Karpathy 從零用 JavaScript 寫成深度學習庫 ConvNetJS，可直接在瀏覽器裡訓練卷積神經網絡，並於2014年4月就此接受 Data Science Weekly 訪談。2014年9月，他親自與一個早期卷積網絡比賽，把圖像分到 ImageNet 的1000個類別中，為此製作了專門工具、學了大量狗的品種知識，因此被戲稱為 ImageNet 的“參照人類”。⁠[4][6][4][6]

2015年，Karpathy 設計並主講斯坦福第一門深度學習課程 CS231n“用於視覺識別的卷積神經網絡”。這門課成為斯坦福規模最大的課程之一，選課人數從2015年的150人增至2016年的330人和2017年的750人，他2016年的授課視頻和課程筆記均公開。⁠[4][4][4]

2015年5月21日，Karpathy 發表博文《The Unreasonable Effectiveness of Recurrent Neural Networks》，訓練字符級循環神經網絡語言模型生成詩歌、LaTeX 數學公式和代碼，並配套開源了用 LSTM 等結構寫成的 Torch 字符級語言模型 char-rnn。⁠[6][4]

2015年12月，OpenAI 在蒙特利爾舉行的神經信息處理系統大會（NIPS）上宣佈成立，Karpathy 是創始成員之一，2015年至2017年在 OpenAI 擔任研究科學家；當時他還是斯坦福博士生，履歷中已有在 Google 和 DeepMind 的實習經歷。⁠[7][4][7]

2016年9月7日，Karpathy 在博士生涯結束後發表《A Survival Guide to a PhD》，總結讀博經驗。⁠[3][3]

2017年6月20日，Tesla 宣佈聘請 Karpathy 出任人工智能與 Autopilot 視覺總監，直接向 Elon MuskElon MuskElon Musk 是企業家，創辦 SpaceX 並長期擔任 Tesla 首席執行官，亦參與 PayPal、OpenAI、Neuralink、The Boring Company 與 xAI 的創建。他於2022年收購 Twitter，業務橫跨航天、電動車、能源、人工智能及社交平臺。點擊查看完整詞條 彙報，並與負責 Autopilot 軟硬件的 Jim Keller 密切合作。他在 Tesla 領導 Autopilot 的計算機視覺團隊，團隊負責全部內部數據標註、神經網絡訓練以及在 Tesla 自研推理芯片上的部署；他還曾短暫領導人形機器人 Optimus 項目。⁠[5][4][4]

2017年11月，Karpathy 發表文章《Software 2.0》，這是他最受歡迎的文章之一。⁠[4]

2020年，《麻省理工科技評論》將 Karpathy 列入“35歲以下創新者”，認為他拓展了卷積神經網絡技術，使系統不只能識別圖像中的單個物體，還能理解多個物體互動的整個場景；Tesla 不像多數車企那樣用昂貴的激光測距儀掃描環境、構建虛擬地圖，而是用普通攝像頭，系統需要近50個神經網絡持續處理來自逾百萬輛車的數據。⁠[2][2][2][2]

2021年5月，Tesla 宣佈 Model 3 和 Model Y 改用名為“Tesla Vision”的純攝像頭系統、不再配備雷達，部分安全功能暫時受限。消費者權益組織 Consumer Reports 隨即撤銷4月27日以後生產的這兩款車的“Top Pick”推薦，美國公路安全保險協會（IIHS）也撤銷了其“Top Safety Pick+”評級。Consumer Reports 倡導副總裁 David Friedman 表示，去掉雷達意味著安全功能可能在需要時失效；批評者還指出 Tesla 沒有激光雷達，Autopilot 曾難以識別靜止物體和橫穿的拖車。⁠[8][8][8][8][8][8][8][8][8]

2021年6月，Karpathy 在計算機視覺與模式識別會議（CVPR 2021）自動駕駛研討會的主題演講中為純視覺方案辯護：他認為基於視覺的方案更易“規模化”，能在未經詳細測繪的各種環境中工作；雷達垂直分辨率不佳，會因井蓋或立交橋陰影產生誤報，而用龐大、乾淨、多樣的數據集訓練神經網絡後，攝像頭在深度和速度等指標上可以優於雷達。⁠[9][9][9][9]

2022年7月13日，休假四個月的 Karpathy 宣佈離開 Tesla。他在推文中寫道，五年來幫助 Tesla 實現目標是莫大的榮幸，離開是艱難的決定，其間 Autopilot 從車道保持發展到城市街道駕駛；他說暫無具體計劃，想重拾在人工智能技術、開源和教育方面的長期興趣。同一時期，Tesla 向加州監管部門申報，裁撤 Autopilot 團隊中229名數據標註員工並關閉其聖馬特奧辦公室。⁠[10][10][10][10]

2023年，Karpathy 重返 OpenAI，組建了一支從事中期訓練（midtraining）和合成數據生成的新團隊；同年他在微軟MicrosoftMicrosoft（微軟）是由 Bill Gates 和 Paul Allen 於1975年創辦、總部位於美國華盛頓州雷德蒙德的科技公司，業務涵蓋 Windows、Microsoft 365、Azure、企業軟件、人工智能、遊戲和設備。點擊查看完整詞條 Build 大會上作“State of GPT”演講。2024年2月，他再次離開 OpenAI，稱要做個人項目。⁠[4][4][11]

2024年7月16日，Karpathy 宣佈創辦 Eureka Labs，稱之為“AI 原生的新型學校”：教師仍負責設計課程材料，由經過優化的 AI 助教輔助、擴展教學，師生與 AI 可在同一平臺上完成整套課程。首個產品是本科水平的課程 LLM101n，引導學生訓練自己的人工智能，課程材料在線提供，並計劃開設線上與線下學習小組。⁠[12][12][12][12]

Karpathy 說，他對教育的興趣貫穿了從 YouTube 魔方教程到斯坦福 CS231n、再到“Zero to Hero”系列的經歷，此前把人工智能與教育結合的工作都只是“正職”之外的副業，這次要全職投入。⁠[11][11]

2024年8月20日，匹茲堡大學英語副教授、英語寫作項目主任 Annette Vee 撰文質疑以 Eureka Labs 為代表的 AI 教學設想。她指出，從1920年代的“自動教師”到大規模開放在線課程，個性化學習技術屢屢因學生缺乏興趣而失敗；學生需要與真人建立聯繫、受到激勵，而 AI 教學平臺還存在數據隱私與安全風險，若由同一機器人教授數百萬學生，也可能導致思想多樣性喪失。⁠[13][13][13][13][13][13][13]

Karpathy 在 Eureka Labs 的設想中並不主張由機器人取代教師，而是由教師設計課程、AI 助教在其指導下輔助學生，他的目標是讓任何人都能學會任何東西。⁠[12][12]

2025年2月2日，Karpathy 在 X 上發帖，描述一種他稱為“vibe coding”的新編程方式：完全順著感覺走，忘掉代碼的存在，靠告訴人工智能自己想要什麼來寫代碼、做網頁和應用。這一說法迅速流行，Merriam-Webster 詞典收錄該詞並註明一般認為由 Karpathy 首創，也指出這種做法往往伴隨程序缺陷，在專業環境中的可維護性受到質疑。⁠[14][14][14][14]

2025年10月，Karpathy 接受 Dwarkesh PatelDwarkesh PatelDwarkesh Patel 是播客主持人和作者，主持長篇訪談節目 Dwarkesh Podcast，關注人工智能、科技、歷史和經濟等領域。他於2020年在大學期間開始製作播客，2024年入選 TIME100 AI，並與 Gavin Leech 合作整理出版《The Scaling Era: An Oral History of AI, 2019–2025》。點擊查看完整詞條 約兩個半小時的播客訪談時說，通用人工智能至少還要十年，業界有誇大其詞之嫌；他直言當前的人工智能智能體“還不行”，智力不足、多模態能力不夠、不能操作電腦、也沒有持續學習能力，“這是垃圾（slop）”，如果做不好，軟件中可能堆積大量垃圾，安全漏洞也會增加。他說自己的時間預期比舊金山的人工智能派對或 TwitterTwitterTwitter 是曾運營同名實時短消息與社交平臺的美國公司。服務起源於2006年，Twitter, Inc. 於2007年註冊，2013年上市，2022年被 Elon Musk 收購併私有化。2023年公司披露已併入 X Corp.，同年7月平臺啟用 X 品牌。點擊查看完整詞條 上的看法悲觀5到10倍，但“十年其實是非常樂觀的時間表”。⁠[15][16][15][16][16][15][16]

訪談引發科技界強烈反應，有人在 X 上稱如果這次訪談都不能戳破人工智能泡沫，就沒有什麼能戳破了。Elon Musk 在 X 上邀請 Karpathy 與 Grok 5 進行編程比賽，Karpathy 回應說更願意與 Grok 5 合作而不是與之競爭。⁠[16][15][15]

2025年11月6日，Collins 詞典宣佈由 Karpathy 首創的“vibe coding”當選2025年度詞彙，並指出科技界對這種做法究竟是革命性的還是魯莽的仍有爭論。⁠[17][17][17][17]

2026年2月12日，Karpathy 在博客發佈 microgpt，用200行不依賴任何外部庫的純 Python 代碼實現 GPT 的訓練與推理。⁠[6]

2026年5月19日，Karpathy 宣佈加入 Anthropic，在 Nick Joseph 領導的預訓練團隊工作，並將組建一支用 Claude 加速預訓練研究的團隊。他表示，未來幾年大語言模型前沿的發展將尤為關鍵，很高興回到研發一線，同時仍熱愛教育，打算日後繼續這方面的工作。⁠[18][18][18][18]

Karpathy 在 YouTube 上製作人工智能教學視頻，分技術與大眾兩條線：技術線是“Neural Networks: Zero to Hero”系列，從反向傳播和自動微分引擎 micrograd 講起，逐步用代碼從零構建字符級語言模型 makemore、WaveNet 式網絡、GPT 和 GPT 分詞器；大眾線包括講解大語言模型原理的“Deep Dive into LLMs like ChatGPTChatGPTChatGPT是OpenAI於2022年11月30日推出的生成式人工智能助手，通過網頁和應用提供對話、寫作、編程、搜索、文件分析及圖像和語音交互等服務。產品從免費研究預覽發展為面向個人、企業和教育機構的多種方案，並逐步增加深度研究、學習模式和跨應用任務執行能力。其應用也引發有關事實準確性、個人隱私、版權、教育及青少年安全的持續討論。點擊查看完整詞條”和介紹個人用法的“How I use LLMs”。他認為語言模型是學習深度學習的絕佳入口，因為所學內容大多可遷移到計算機視覺等其他領域。⁠[4][4][19][19][19][19]

Karpathy 維護過多個開源項目：微型自動微分引擎 micrograd，幫助研究者篩選和推薦 arXiv 論文的 arxiv-sanity 及其重寫版 arxiv-sanity-lite，早期圖像描述項目 neuraltalk2（後與 Justin JohnsonJustin JohnsonJustin Johnson 是美國計算機視覺與人工智能研究者，空間智能公司 World Labs 聯合創始人，密歇根大學計算機科學與工程系兼職教授。他在斯坦福大學 Fei-Fei Li 實驗室獲得博士學位，曾任密歇根大學助理教授與 Meta FAIR 研究科學家。點擊查看完整詞條 擴展為密集描述），以及注重隱私的本地生產力追蹤工具 ulogme 等。他先後在 GitHub、Medium 和 Bear 上寫過三個博客，熱門文章包括《A Recipe for Training Neural Networks》（2019年）、《Biohacking Lite》（2020年）和用純 Python 從零演示比特幣比特幣比特幣（Bitcoin，常用符號 BTC）是一套開放的點對點電子現金協議、網絡及其原生數字資產。完整節點按共識規則獨立驗證交易和區塊；交易以 UTXO 記錄，區塊通過工作量證明組織為公開賬本。比特幣不由單一機構發行或管理，但使用、託管和交易仍涉及密鑰、隱私、市場與法律風險。點擊查看完整詞條交易的《A from-scratch tour of Bitcoin in Python》（2021年）。⁠[4][4][4][4][4][4][4]

Karpathy 在個人網站上按“推薦程度乘以冷門程度”列出讀過的科幻小說，自稱喜歡硬科幻，看重新奇的技術構想、世界觀構建和未來預測，不喜歡冗長的景物與外貌描寫，也無法接受長著人臉、用聲音說話的類人外星人；他認為人工智能是大多數科幻世界裡最大的缺失。他把姜峰楠（Ted Chiang）的短篇集列為“必讀”，對劉慈欣《三體》三部曲的評價則是有幾顆絕妙的新奇想法，但人物缺乏靈魂、敘事有邏輯矛盾，結局令人失望。⁠[20][20][20][20][20][20]

個人網站：https://karpathy.ai/（在新窗口打開）⁠[4]

X：公開賬號：https://x.com/karpathy（在新窗口打開）⁠[4][21]

YouTube：公開頻道：https://www.youtube.com/@AndrejKarpathy（在新窗口打開）⁠[4]

GitHub：公開賬號：https://github.com/karpathy（在新窗口打開）⁠[4]

Eureka Labs：官網：https://eurekalabs.ai/（在新窗口打開）。⁠[12]