ABAB Pedia

Vladimir Vapnik

Vladimir Vapnik是出生於蘇聯的數學家和計算機科學家,與Alexey Chervonenkis共同建立了VC理論等統計學習理論基礎,並在AT&TAT&TAT&T(AT&T Inc.)是總部位於美國得克薩斯州達拉斯的電信公司,前身是1984年貝爾系統拆分時成立的地區控股公司 SBC Communications;SBC 於2005年合併原 AT&T Corp. 並改用其名,此後經營全美無線網絡與光纖寬帶,曾一度擁有 DIRECTV 和 WarnerMedia。點擊查看完整詞條 Bell Labs參與發明支持向量機,後任Columbia UniversityColumbia UniversityColumbia University(正式名稱 Columbia University in the City of New York)是位於美國紐約市的私立研究型大學,常春藤盟校成員。學校前身是1754年依英王 George II 特許狀創立的 King's College,是紐約州歷史最悠久、全美第五古老的高等教育機構;1784年改名 Columbia College,1896年遷至曼哈頓晨邊高地並啟用大學名稱。學校設17個學院,另有4所附屬學院,2025年秋季在校學生35,978人。2026年7月1日起,法學學者 Jennifer L. Mnookin 任校長。點擊查看完整詞條計算機科學教授。

本頁目錄21 節
詞條資料

出生

Vladimir Naumovich Vapnik(Владимир Наумович Вапник)生於1936年12月6日。⁠[1]

他生於前蘇聯。⁠[2]

獲Uzbek State University數學碩士學位

1958年,他在蘇聯撒馬爾罕的Uzbek State University獲數學碩士學位。⁠[3]

任職莫斯科Institute of Control Sciences

1961年至1990年,他在莫斯科Institute of Control Sciences工作,後升任計算機科學研究部主任;1964年他在該所獲統計學博士學位。⁠[2]

該所所史記載,1960年代初他與Alexey Chervonenkis加入Lerner實驗室,1962年至1971年共同發展了用於模式識別的“generalized portrait”(廣義肖像)方法。⁠[1]

與Alexey Chervonenkis建立VC理論

他與Chervonenkis在1966年7月以草稿形式得到相對頻率一致收斂的結果,1968年在Soviet Mathematics Doklady發表簡報,1971年在Теория вероятностей и ее применения(概率論及其應用)發表完整證明。⁠[4]

該論文給出了在事件類上頻率一致收斂於概率的充分條件,以及兼顧概率測度性質的充要條件。⁠[5]

IEEE歷史中心的傳記稱,由此形成的Vapnik-Chervonenkis(VC)學習理論確立了表示學習機器侷限的基本量,他後來又提出處理泛化問題的結構風險最小化原則。⁠[6]

與Chervonenkis出版模式識別專著

1974年,他與Chervonenkis合著的Теория распознавания образов(模式識別理論)在莫斯科出版。⁠[1]

英文專著在紐約出版

1982年,Springer在紐約出版其Estimation of Dependences Based on Empirical Data。⁠[7]

移居美國,加入AT&T Bell Laboratories

1990年移居美國後,他加入AT&T Bell Labs,並在那裡與同事發展了支持向量機理論。⁠[8]

與Bernhard Boser、Isabelle Guyon提出最優間隔分類器訓練算法

1992年,他與Bernhard E. Boser、Isabelle Guyon在計算學習理論年會(COLT)上發表論文,提出使訓練樣本與決策邊界間隔最大化的訓練算法,其解表示為距邊界最近的“supporting patterns”(支持模式)的線性組合。⁠[9]

發表“Support-Vector Networks”並任教Royal Holloway

1995年,他與Corinna Cortes在Machine Learning期刊發表“Support-Vector Networks”,將支持向量網絡推廣到不可分的訓練數據,並在光學字符識別基準上與多種經典算法比較。⁠[10]

同年,他被任命為Royal Holloway, University of London計算機科學與統計學教授。⁠[3]

同年出版的The Nature of Statistical Learning Theory描述了計算或生物系統能夠學習一項任務的一般條件及學習速度。⁠[7]

加入NEC Laboratories與Columbia University

當選美國國家工程院院士

2006年,他當選美國國家工程院院士,當選理由為“insights into the fundamental complexities of learning and for inventing practical and widely applied machine-learning algorithms”(對學習基本複雜性的洞見,以及發明實用且廣泛應用的機器學習算法)。⁠[11]

獲本傑明·富蘭克林獎章

加入Facebook AI Research

獲IEEE John von Neumann Medal

2016年12月,Columbia University宣佈他因發展統計學習理論和支持向量機獲IEEE John von Neumann Medal;他此前還獲2008年Paris Kanellakis Award等獎項。⁠[8]

首次做客Lex Fridman Podcast

2018年11月16日,他做客Lex FridmanLex FridmanLex Fridman 是生於蘇聯、在美國長大的計算機科學家和播客主持人,任 MIT 研究科學家,研究人機交互與自動駕駛。他主持的 Lex Fridman Podcast 以數小時長篇對話著稱,嘉賓包括多國領導人和科技企業領袖。點擊查看完整詞條 Podcast第5期“Statistical Learning”,節目介紹稱他是支持向量機、支持向量聚類和VC理論的共同發明者,並會談及當前人工智能方法的侷限與開放問題。⁠[15]

提出“統計不變量學習”範式

2019年,他與Rauf Izmailov在Machine Learning期刊提出“Learning Using Statistical Invariants”(LUSI)範式:學習機器先計算問題特有的統計不變量,再在保持這些不變量的前提下最小化期望誤差,同時利用強收斂與弱收斂機制。⁠[16]

發表“完整統計學習理論”論文

2020年,他與Izmailov在第九屆Conformal and Probabilistic Prediction and Applications研討會論文集發表論文,把同時使用強、弱兩種收斂模式的理論稱為“complete statistical theory of learning”(完整統計學習理論),並給出LUSI-SVM與LUSI-NN等算法。⁠[17]

再度做客Lex Fridman Podcast

2020年2月14日,他再次做客Lex Fridman Podcast(第71期),題為“Predicates, Invariants, and the Essence of Intelligence”,話題包括謂詞、強收斂與弱收斂、深度學習與智能本質、符號人工智能和學習理論中的哲學。⁠[18]

獲BBVA基金會前沿知識獎

2020年2月,BBVA基金會宣佈將第12屆前沿知識獎信息與通信技術類授予他與Isabelle Guyon、Bernhard Schölkopf,以表彰他們對機器學習的基礎性貢獻;評委稱支持向量機與核方法是“a major machine learning paradigm in both research and applications”(研究和應用中的一大機器學習範式)。⁠[19]

獲獎後他說:“You cannot give the machine the rule, the machine has to learn the rule.”(不能把規則交給機器,機器必須自己學會規則。)⁠[19]

關聯機構、網站與公開賬號

Institute of Control Sciences:官網:https://www.ipu.ru/en(在新窗口打開)⁠[3]

來源

  1. Vladimir N. Vapnik | ИПУ РАН(在新窗口打開)
  2. Vladimir Vapnik, 12th Frontiers of Knowledge Award in Information and Communication Technologies(在新窗口打開)
  3. Royal Holloway, University of London : Department of Computer Science(在新窗口打開)
  4. On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities | ML Anthology(在新窗口打開)
  5. V. N. Vapnik, A. Ya. Červonenkis, “On uniform convergence of the frequencies of events to their probabilities”, Teor. Veroyatnost. i Primenen., 1971, Volume 16, Issue 2,Pages <nobr>264–279</nobr>(在新窗口打開)
  6. Vladimir N. Vapnik - Engineering and Technology History Wiki(在新窗口打開)
  7. UN TEXTE, UN MATHEMATICIEN(在新窗口打開)
  8. Vladimir Vapnik awarded the IEEE John von Neumann Medal | Department of Computer Science, Columbia University(在新窗口打開)
  9. A Training Algorithm for Optimal Margin Classifiers | ML Anthology(在新窗口打開)
  10. Support-Vector Networks | ML Anthology(在新窗口打開)
  11. Vladimir Vapnik – Simons Foundation(在新窗口打開)
  12. 2012 Franklin Institute Laureates Announced - Research & Development World(在新窗口打開)
  13. Vladimir Vapnik Joins Facebook AI Research(在新窗口打開)
  14. Machine Learning Pioneer Vladimir Vapnik Joins Facebook(在新窗口打開)
  15. Vladimir Vapnik: Statistical Learning | Lex Fridman Podcast(在新窗口打開)
  16. Rethinking Statistical Learning Theory: Learning Using Statistical Invariants | ML Anthology(在新窗口打開)
  17. Complete statistical theory of learning: learning using statistical invariants(在新窗口打開)
  18. Vladimir Vapnik: Predicates, Invariants, and the Essence of Intelligence | Lex Fridman Podcast(在新窗口打開)
  19. The Frontiers of Knowledge Awards recognize Guyon, Schölkopt and Vapnik for teaching machines how to classify data(在新窗口打開)