ABAB Pedia

Vladimir Vapnik

Vladimir Vapnik是出生于苏联的数学家和计算机科学家,与Alexey Chervonenkis共同建立了VC理论等统计学习理论基础,并在AT&TAT&TAT&T(AT&T Inc.)是总部位于美国得克萨斯州达拉斯的电信公司,前身是1984年贝尔系统拆分时成立的地区控股公司 SBC Communications;SBC 于2005年合并原 AT&T Corp. 并改用其名,此后经营全美无线网络与光纤宽带,曾一度拥有 DIRECTV 和 WarnerMedia。点击查看完整词条 Bell Labs参与发明支持向量机,后任Columbia UniversityColumbia UniversityColumbia University(正式名称 Columbia University in the City of New York)是位于美国纽约市的私立研究型大学,常春藤盟校成员。学校前身是1754年依英王 George II 特许状创立的 King's College,是纽约州历史最悠久、全美第五古老的高等教育机构;1784年改名 Columbia College,1896年迁至曼哈顿晨边高地并启用大学名称。学校设17个学院,另有4所附属学院,2025年秋季在校学生35,978人。2026年7月1日起,法学学者 Jennifer L. Mnookin 任校长。点击查看完整词条计算机科学教授。

本页目录21 节
词条资料

出生

Vladimir Naumovich Vapnik(Владимир Наумович Вапник)生于1936年12月6日。⁠[1]

他生于前苏联。⁠[2]

获Uzbek State University数学硕士学位

1958年,他在苏联撒马尔罕的Uzbek State University获数学硕士学位。⁠[3]

任职莫斯科Institute of Control Sciences

1961年至1990年,他在莫斯科Institute of Control Sciences工作,后升任计算机科学研究部主任;1964年他在该所获统计学博士学位。⁠[2]

该所所史记载,1960年代初他与Alexey Chervonenkis加入Lerner实验室,1962年至1971年共同发展了用于模式识别的“generalized portrait”(广义肖像)方法。⁠[1]

与Alexey Chervonenkis建立VC理论

他与Chervonenkis在1966年7月以草稿形式得到相对频率一致收敛的结果,1968年在Soviet Mathematics Doklady发表简报,1971年在Теория вероятностей и ее применения(概率论及其应用)发表完整证明。⁠[4]

该论文给出了在事件类上频率一致收敛于概率的充分条件,以及兼顾概率测度性质的充要条件。⁠[5]

IEEE历史中心的传记称,由此形成的Vapnik-Chervonenkis(VC)学习理论确立了表示学习机器局限的基本量,他后来又提出处理泛化问题的结构风险最小化原则。⁠[6]

与Chervonenkis出版模式识别专著

1974年,他与Chervonenkis合著的Теория распознавания образов(模式识别理论)在莫斯科出版。⁠[1]

英文专著在纽约出版

1982年,Springer在纽约出版其Estimation of Dependences Based on Empirical Data。⁠[7]

移居美国,加入AT&T Bell Laboratories

1990年移居美国后,他加入AT&T Bell Labs,并在那里与同事发展了支持向量机理论。⁠[8]

与Bernhard Boser、Isabelle Guyon提出最优间隔分类器训练算法

1992年,他与Bernhard E. Boser、Isabelle Guyon在计算学习理论年会(COLT)上发表论文,提出使训练样本与决策边界间隔最大化的训练算法,其解表示为距边界最近的“supporting patterns”(支持模式)的线性组合。⁠[9]

发表“Support-Vector Networks”并任教Royal Holloway

1995年,他与Corinna Cortes在Machine Learning期刊发表“Support-Vector Networks”,将支持向量网络推广到不可分的训练数据,并在光学字符识别基准上与多种经典算法比较。⁠[10]

同年,他被任命为Royal Holloway, University of London计算机科学与统计学教授。⁠[3]

同年出版的The Nature of Statistical Learning Theory描述了计算或生物系统能够学习一项任务的一般条件及学习速度。⁠[7]

加入NEC Laboratories与Columbia University

当选美国国家工程院院士

2006年,他当选美国国家工程院院士,当选理由为“insights into the fundamental complexities of learning and for inventing practical and widely applied machine-learning algorithms”(对学习基本复杂性的洞见,以及发明实用且广泛应用的机器学习算法)。⁠[11]

获本杰明·富兰克林奖章

加入Facebook AI Research

获IEEE John von Neumann Medal

2016年12月,Columbia University宣布他因发展统计学习理论和支持向量机获IEEE John von Neumann Medal;他此前还获2008年Paris Kanellakis Award等奖项。⁠[8]

首次做客Lex Fridman Podcast

2018年11月16日,他做客Lex FridmanLex FridmanLex Fridman 是生于苏联、在美国长大的计算机科学家和播客主持人,任 MIT 研究科学家,研究人机交互与自动驾驶。他主持的 Lex Fridman Podcast 以数小时长篇对话著称,嘉宾包括多国领导人和科技企业领袖。点击查看完整词条 Podcast第5期“Statistical Learning”,节目介绍称他是支持向量机、支持向量聚类和VC理论的共同发明者,并会谈及当前人工智能方法的局限与开放问题。⁠[15]

提出“统计不变量学习”范式

2019年,他与Rauf Izmailov在Machine Learning期刊提出“Learning Using Statistical Invariants”(LUSI)范式:学习机器先计算问题特有的统计不变量,再在保持这些不变量的前提下最小化期望误差,同时利用强收敛与弱收敛机制。⁠[16]

发表“完整统计学习理论”论文

2020年,他与Izmailov在第九届Conformal and Probabilistic Prediction and Applications研讨会论文集发表论文,把同时使用强、弱两种收敛模式的理论称为“complete statistical theory of learning”(完整统计学习理论),并给出LUSI-SVM与LUSI-NN等算法。⁠[17]

再度做客Lex Fridman Podcast

2020年2月14日,他再次做客Lex Fridman Podcast(第71期),题为“Predicates, Invariants, and the Essence of Intelligence”,话题包括谓词、强收敛与弱收敛、深度学习与智能本质、符号人工智能和学习理论中的哲学。⁠[18]

获BBVA基金会前沿知识奖

2020年2月,BBVA基金会宣布将第12届前沿知识奖信息与通信技术类授予他与Isabelle Guyon、Bernhard Schölkopf,以表彰他们对机器学习的基础性贡献;评委称支持向量机与核方法是“a major machine learning paradigm in both research and applications”(研究和应用中的一大机器学习范式)。⁠[19]

获奖后他说:“You cannot give the machine the rule, the machine has to learn the rule.”(不能把规则交给机器,机器必须自己学会规则。)⁠[19]

关联机构、网站与公开账号

Institute of Control Sciences:官网:https://www.ipu.ru/en(在新窗口打开)⁠[3]

来源

  1. Vladimir N. Vapnik | ИПУ РАН(在新窗口打开)
  2. Vladimir Vapnik, 12th Frontiers of Knowledge Award in Information and Communication Technologies(在新窗口打开)
  3. Royal Holloway, University of London : Department of Computer Science(在新窗口打开)
  4. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities | ML Anthology(在新窗口打开)
  5. V. N. Vapnik, A. Ya. Červonenkis, “On uniform convergence of the frequencies of events to their probabilities”, Teor. Veroyatnost. i Primenen., 1971, Volume 16, Issue 2,Pages <nobr>264–279</nobr>(在新窗口打开)
  6. Vladimir N. Vapnik - Engineering and Technology History Wiki(在新窗口打开)
  7. UN TEXTE, UN MATHEMATICIEN(在新窗口打开)
  8. Vladimir Vapnik awarded the IEEE John von Neumann Medal | Department of Computer Science, Columbia University(在新窗口打开)
  9. A Training Algorithm for Optimal Margin Classifiers | ML Anthology(在新窗口打开)
  10. Support-Vector Networks | ML Anthology(在新窗口打开)
  11. Vladimir Vapnik – Simons Foundation(在新窗口打开)
  12. 2012 Franklin Institute Laureates Announced - Research & Development World(在新窗口打开)
  13. Vladimir Vapnik Joins Facebook AI Research(在新窗口打开)
  14. Machine Learning Pioneer Vladimir Vapnik Joins Facebook(在新窗口打开)
  15. Vladimir Vapnik: Statistical Learning | Lex Fridman Podcast(在新窗口打开)
  16. Rethinking Statistical Learning Theory: Learning Using Statistical Invariants | ML Anthology(在新窗口打开)
  17. Complete statistical theory of learning: learning using statistical invariants(在新窗口打开)
  18. Vladimir Vapnik: Predicates, Invariants, and the Essence of Intelligence | Lex Fridman Podcast(在新窗口打开)
  19. The Frontiers of Knowledge Awards recognize Guyon, Schölkopt and Vapnik for teaching machines how to classify data(在新窗口打开)