Jürgen Schmidhuber
Jürgen Schmidhuber是德国计算机科学家,与Sepp Hochreiter于1997年发表长短期记忆网络(LSTM),长期担任瑞士AI实验室IDSIA科学主任,2021年起领导KAUST人工智能计划;他在元学习、人工好奇心和Gödel机等方面有大量工作,并就深度学习史上的署名与优先权问题公开批评多位图灵奖得主。他曾于2018年做客Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast。
本页目录23 节
词条资料
1987年在慕尼黑工业大学完成毕业论文
他自述约15岁起的主要目标就是造出比自己更聪明、能自我改进的人工智能,然后退休。[1]
1987年,他在慕尼黑工业大学信息学研究所完成毕业论文,探讨“learning how to learn”(学会学习)的自指学习,并在同年发表了第一篇遗传编程论文。[2]
他认为这篇论文提出了最早的具体递归自我改进(RSI)算法,并开启了他此后数十年关于元学习的一系列工作。[3]
1990—1991年慕尼黑的Annus Mirabilis
他表示,1990年至1991年间他在慕尼黑工业大学的实验室发表了现代深度学习的许多基本思想,包括用于人工好奇心的对抗式生成网络原理、未归一化线性Transformer、深度网络预训练、神经网络蒸馏和循环世界模型,但当时少有人关注。[4]
自1990年起,他构建由预测模块和强化学习模块组成、具有好奇心的智能体,以预测器学习进步作为内在奖励,并据此提出关于创造力、乐趣与内在动机的形式化理论。[5]
1991—1995年科罗拉多博士后与慕尼黑任教
1991年7月至1992年12月他在科罗拉多大学博尔德分校做博士后,1993年10月起回慕尼黑工业大学任Oberassistent,1995年1月获Privatdozent资格。[6]
1995年3月出任IDSIA科学主任
1995年3月起,他担任瑞士卢加诺Swiss AI Lab IDSIA的科学主任,后于2009年至2021年任卢加诺大学(USI)人工智能教授。[6]
1997年发表LSTM论文并成家
1997年,他与博士生Sepp Hochreiter在Neural Computation发表Long Short-Term Memory论文;他称LSTM是20世纪被引用最多的神经网络。他回忆这一年自己结婚并成为父亲。[7]
他的妻子是Ulrike Krommer,两人育有两个女儿;他的弟弟Christof Schmidhuber是理论物理学家,后转入金融业。[1]
2003年提出Gödel机
2003年他发布Gödel机预印本,这是一种自指的通用问题求解器,能在证明某项自我改写可以提升未来表现后改写自身的任何部分,以形式化I. J. Good关于“intelligence explosion”(智能爆炸)的设想。[8]
2009—2010年LSTM与深度网络赢得比赛
2009年至2010年,他的团队以CTC训练的LSTM在连笔手写识别等重要问题上击败所有竞争算法,他认为这开启了监督式深度学习革命。[9]
2011年DanNet赢得计算机视觉比赛
2011年,他的团队以博士后Dan Cireșan命名的DanNet成为首个赢得计算机视觉比赛的纯深度卷积神经网络,借助NVIDIANVIDIANVIDIA 是美国半导体与计算技术公司,提供图形处理器、人工智能基础设施、网络互连和计算软件,在纳斯达克以 NVDA 为代码上市。点击查看完整词条 GPU在2011至2012年连赢四项比赛,并首次在视觉挑战中达到超人水平。[10]
2014年NNAISENSE成立
NNAISENSE由多位AI先驱创办,自2014年起与ACATIS Investment等金融机构合作,将AI用于选股和投资组合构建,2017年推出首只AI基金。[11]
2015年5月发表Highway Networks
2015年5月,他的团队发表Highway Networks,这是首批可用梯度训练、具有数百层的极深前馈神经网络;他指出7个月后发表的ResNet相当于门始终打开的Highway Net。[9]
2016年7月27日获IEEE神经网络先驱奖
他在温哥华IJCNN 2016颁奖晚宴上领取IEEE CIS Neural Networks Pioneer Award,获奖理由为“pioneering contributions to deep learning and neural networks”(对深度学习和神经网络的开创性贡献);他在致辞中称乌克兰数学家A. G. Ivakhnenko为深度学习之父。[12]
2016年12月谈机器意识
他认为一些现有AI系统已具备初步意识,并表示:“I would like to claim we had little, rudimentary, conscious learning systems for at least 25 years”(我想说,至少25年前我们就有了小型的、初级的有意识学习系统)。[13]
2017年阐述其研究对大型科技公司的影响
他2017年撰文表示,他的团队自1991年起开发的深度学习方法已通过AppleAppleApple(苹果公司)是1976年创办、总部位于美国加利福尼亚州库比蒂诺的上市科技公司。业务包括 iPhone、Mac、iPad、可穿戴设备,以及数字内容、支付、云端存储等服务。公司通过自研硬件、操作系统和服务构建产品体系。点击查看完整词条、AlphabetAlphabetAlphabet是一家美国科技控股公司,2015年通过Google重组形成,旗下业务包括Google以及自动驾驶、生命科学和早期技术投资等企业。集团按Google Services、Google Cloud与Other Bets披露业务。点击查看完整词条、MicrosoftMicrosoftMicrosoft(微软)是由 Bill Gates 和 Paul Allen 于1975年创办、总部位于美国华盛顿州雷德蒙德的科技公司,业务涵盖 Windows、Microsoft 365、Azure、企业软件、人工智能、游戏和设备。点击查看完整词条、FacebookFacebookFacebook(脸书)是 Meta 旗下的社交网络平台,2004年从哈佛校园上线,逐步发展出动态消息、照片与视频分享、群组及 Marketplace 等功能。平台保留 Facebook 名称,母公司在2021年采用 Meta 品牌;两者的用户与财务数据应按各自口径理解。点击查看完整词条和AmazonAmazonAmazon(亚马逊)是 Jeff Bezos 于1994年创办的美国上市科技与零售公司,主要公司办公地位于西雅图。业务涵盖电子商务、物流履约、数字广告、会员与影音服务、消费电子,以及 Amazon Web Services 云计算。点击查看完整词条等全球市值最高的上市公司惠及数十亿用户。[14]
2018年12月23日做客Lex Fridman Podcast
他做客Lex Fridman Podcast第11期,节目题为“Godel Machines, MetaMetaMeta(Meta Platforms, Inc.)是美国上市科技公司,2021年由 Facebook 公司更名而来,经营社交通信、数字广告、虚拟现实、智能眼镜及人工智能业务。点击查看完整词条-Learning, and LSTMs”,介绍他是LSTM的共同创造者,并提出了包括创造力形式理论在内的许多非常规AI构想。[15]
2020年6月25日批评2018年图灵奖
他发表长文批评ACMAustralian Community MediaAustralian Community Media(ACM)是澳大利亚地区与乡村新闻出版集团,旗下有The Canberra Times等逾100个品牌;2019年Nine将其出售给由Antony Catalano与Thorney Investment Group相关方控制的公司。点击查看完整词条对2018年图灵奖(授予Yoshua BengioYoshua BengioYoshua Bengio是加拿大蒙特利尔大学计算机科学教授、Mila创始人和深度学习先驱,2018年度与Geoffrey Hinton、Yann LeCun共获图灵奖;2023年起他转向AI安全研究,主持国际AI安全报告,并于2025年创立非营利组织LawZero。他曾于2018年做客Lex Fridman Podcast。点击查看完整词条、Geoffrey HintonGeoffrey Hinton机器学习研究者。点击查看完整词条和Yann LeCunYann LeCunYann LeCun 是计算机科学家,研究人工智能、机器学习与计算机视觉,任纽约大学教授及 AMI Labs 执行董事长。他曾在贝尔实验室和AT&T从事手写识别与图像研究,创立并领导Facebook人工智能研究机构,后任Meta首席AI科学家。他与Geoffrey Hinton、Yoshua Bengio共同获得2018年度图灵奖,近年主要推动世界模型和开放人工智能研究。点击查看完整词条)的表彰理由,认为获奖者的工作所依据的算法和概念最早由其他未获引用的研究者提出,并列举了他与Bengio和Hinton之间的8项直接优先权争议。[16]
2021年10月1日出任KAUST AI Initiative主任
2021年10月1日起,他领导沙特阿拉伯阿卜杜拉国王科技大学(KAUST)的人工智能计划,同时继续担任NNAISENSE首席科学家、IDSIA科学主任和卢加诺大学兼职教授。[17]
2022年7月7日批评LeCun论文
他撰文认为Yann LeCun 2022年关于自主机器智能的论文重复了1990年至2015年间的重要工作而未加引用。[18]
2023年12月14日发布优先权争议技术报告
他发布IDSIA技术报告,指称三位2018年图灵奖得主经常重新发表其团队首先描述的方法而未适当署名,列出与Bengio的7项、与Hinton的6项和与LeCun的4项直接优先权争议。[19]
2024年12月7日批评诺贝尔物理学奖
他发布技术报告,称2024年授予John Hopfield和Geoffrey Hinton的诺贝尔物理学奖“effectively a prize for plagiarism”(实际上是对剽窃的奖励),认为二人重新发表了Ivakhnenko、Amari等人1960至1970年代在乌克兰和日本提出的方法而未引用原始论文。[20]
2025年NNAISENSE被ACATIS收购
2025年,长期合作伙伴ACATIS Investment收购NNAISENSE,公司转向打造以生成式AI驱动的量化多策略对冲基金。[11]
2026年3月阐述最常被引用神经网络的来源
他在2026年3月更新的一篇文章里主张,LSTM、Highway Net及其变体ResNet、DanNet、GAN和Transformer等最常被引用的神经网络都建立在他实验室的工作基础上。[21]
关联机构、网站与公开账号
个人网站:公开链接:https://people.idsia.ch/~juergen/(在新窗口打开)[1]
IDSIA:官网:https://idsia.usi-supsi.ch/(在新窗口打开)[1]
KAUST:官网:https://cemse.kaust.edu.sa/ai(在新窗口打开)[1]
NNAISENSE:官网:https://nnaisense.com/(在新窗口打开)[11]
来源
- Juergen Schmidhuber's home page(在新窗口打开)
- 1987 THESIS ON LEARNING HOW TO LEARN, METALEARNING, META GENETIC PROGRAMMING, CREDIT-CONSERVING MACHINE LEARNING ECONOMY(在新窗口打开)
- Recursive Self-Improvement (RSI) Since 1987(在新窗口打开)
- Deep Learning: Our Miraculous Year 1990-1991(在新窗口打开)
- Formal Theory of Creativity and Fun and Intrinsic Motivation Explains Science, Art, Music, Humor (Juergen Schmidhuber). Artificial Scientists, Artificial Artists, Developmental Robotics, Curiosity, Attention, Surprise, Novelty, Discovery, Open-Ended Learning, Formal Theory of Beauty, Creating Novel Patters(在新窗口打开)
- Curriculum Vitae(在新窗口打开)
- 2022: 25-year anniversary: LSTM (1997), all computable metaverses, hierarchical Q-learning, adversarial intrinsic Reinforcement Learning, low-complexity NNs, low-complexity art, Meta-RL, soccer learning(在新窗口打开)
- GOEDEL MACHINE HOME PAGE(在新窗口打开)
- Highway Networks, the first working really deep feedforward neural networks with hundreds of layers(在新窗口打开)
- 2011: DanNet triggers deep CNN revolution(在新窗口打开)
- NNAISENSE — Intelligent Investing, Powered by Generative AI(在新窗口打开)
- 2016 IEEE CIS Neural Networks Pioneer Award Goes to Juergen Schmidhuber(在新窗口打开)
- Artificial Intelligence Gained Consciousness in 1991(在新窗口打开)
- Our impact on the world's most valuable public companies (Google, Apple, Microsoft, Amazon, etc)(在新窗口打开)
- Juergen Schmidhuber: Godel Machines, Meta-Learning, and LSTMs | Lex Fridman Podcast(在新窗口打开)
- Critique of 2018 Turing Award for Drs. Bengio & Hinton & LeCun(在新窗口打开)
- Director of AI Initiative at KAUST(在新窗口打开)
- LeCun's 2022 paper on autonomous machine intelligence rehashes but does not cite essential work of 1990-2015(在新窗口打开)
- How 3 Turing Awardees Republished Key Methods and Ideas Whose Creators They Failed to Credit(在新窗口打开)
- A Nobel Prize for Plagiarism(在新窗口打开)
- The most cited AIs are all based on work done in my labs(在新窗口打开)