ABAB Pedia

Ishan Misra

Ishan Misra是計算機視覺與機器學習研究科學家,在MetaMetaMeta(Meta Platforms, Inc.)是美國上市科技公司,2021年由 Facebook 公司更名而來,經營社交通信、數字廣告、虛擬現實、智能眼鏡及人工智能業務。點擊查看完整詞條從事自監督學習和生成式視頻研究,參與PIRL、SEER、ImageBind和Emu Video等工作並任Movie Gen項目技術負責人,現為Meta TBD Labs研究總監。

本頁目錄15 節
詞條資料

就讀IIIT Hyderabad

他的父親退休前任浦那一家研究所遺傳學系主任,母親是化學碩士和教師。2008年他進入IIIT Hyderabad攻讀計算機科學學士,後獲最高累積績點金獎。⁠[1]

入選Siebel Scholars

在CMU獲機器人學碩士、博士學位

他於2014年和2018年先後獲Carnegie Mellon University機器人學碩士和博士學位,導師為Martial Hebert和Abhinav Gupta。⁠[3]

博士論文獲獎並加入Facebook紐約

在CVPR發表PIRL

他與Laurens van der Maaten在CVPR 2020發表論文,提出自監督的前置任務不變表示學習方法PIRL,主張語義表示應對圖像變換保持不變;論文稱PIRL在多項自監督基準上創下新紀錄,並在目標檢測表示學習上超過監督預訓練。⁠[4]

參與SEER自監督模型

2021年3月,他與Priya Goyal、Mathilde Caron等人發表SEER論文:這一擁有13億參數的RegNetY模型在10億張隨機、未經整理的圖像上無監督訓練,在ImageNet上取得84.2%的top-1準確率。⁠[5]

做客Lex Fridman Podcast

2021年7月31日,時任FAIR研究科學家的他作為第206期嘉賓做客Lex FridmanLex FridmanLex Fridman 是生於蘇聯、在美國長大的計算機科學家和播客主持人,任 MIT 研究科學家,研究人機交互與自動駕駛。他主持的 Lex Fridman Podcast 以數小時長篇對話著稱,嘉賓包括多國領導人和科技企業領袖。點擊查看完整詞條 Podcast,節目題為“Self-Supervised Deep Learning in Computer Vision”,話題包括自監督學習、對比學習、數據增強、SwAV、SEER和VISSL庫。⁠[6]

入選MIT Technology Review“35歲以下創新者”

2022年,時任Meta AI Research研究科學家的他入選MIT Technology Review的35 Innovators Under 35榜單,其研究表明可僅憑視覺數據訓練模型。⁠[7]

合著ImageBind

他是CVPR 2023論文ImageBind的作者之一,該方法在圖像、文本、音頻、深度、熱成像和IMU六種模態間學習聯合嵌入,並表明僅用與圖像配對的數據即可將各模態綁定在一起。⁠[8]

Emu Video發佈

2023年11月,Meta發佈Emu Video,可根據文字說明或圖片生成四秒動畫短片,分辨率為512×512、每秒16幀。⁠[9]

他是Emu Video論文的作者之一;該模型先依據文本生成圖像,再依據文本和圖像生成視頻,論文稱人類評估中其視頻質量相對Google Imagen Video的偏好率為81%。⁠[10]

獲CMU近期校友成就獎

他獲Carnegie Mellon University 2024年近期校友成就獎;學校稱他的自監督學習研究改變了視覺模型的訓練方式,其生成式視頻建模工作是Meta生成式視頻系統的核心。⁠[3]

Movie Gen發佈

2024年10月,Meta團隊發表Movie Gen論文,介紹一組可生成帶同步音頻的1080p高清視頻、並支持視頻編輯和個性化生成的基礎模型,其中最大的視頻模型為300億參數Transformer;他是論文作者之一。⁠[11]

截至2026年10月:Meta TBD Labs研究總監

截至2026年10月,他是Meta超級智能部門TBD Labs研究總監兼研究科學家;此前在Meta GenAI領導視頻生成研究,任Movie Gen項目整體技術負責人,並獲2025年PAMI青年研究者獎榮譽提名。⁠[12]

關聯機構、網站與公開賬號

來源

  1. Ishan Misra – Sonic histories to visual futures: Tracing a computer vision researcher's journey -(在新窗口打開)
  2. News Brief: Five SCS Students Named Siebel Scholars - News - Carnegie Mellon University(在新窗口打開)
  3. Ishan Misra (SCS 2014, 2018) | Engage with CMU(在新窗口打開)
  4. CVPR 2020 Open Access Repository(在新窗口打開)
  5. [2103.01988v2] Self-supervised Pretraining of Visual Features in the Wild(在新窗口打開)
  6. #206 - Ishan Misra: Self-Supervised Deep Learning in Computer Vision | Lex Fridman Podcast(在新窗口打開)
  7. SCS Alum Named to MIT Technology Review's Innovators Under 35 List(在新窗口打開)
  8. CVPR 2023 Open Access Repository(在新窗口打開)
  9. Meta brings us a step closer to AI-generated movies | TechCrunch(在新窗口打開)
  10. [2311.10709v1] Emu Video: Factorizing Text-to-Video Generation by Explicit Image Conditioning(在新窗口打開)
  11. [2410.13720] Movie Gen: A Cast of Media Foundation Models(在新窗口打開)
  12. Ishan Misra(在新窗口打開)