ABAB Pedia

Ming-Yu Liu(NVIDIA)

Ming-Yu Liu(劉洺堉)是計算機視覺與生成式 AI 研究者,NVIDIA Cosmos Lab 副總裁、IEEE Fellow,領導 NVIDIA 面向機器人和自動駕駛等“物理 AI”的世界基礎模型平臺 Cosmos;他的團隊此前開發了 pix2pixHD、GauGAN(NVIDIA Canvas)等圖像生成技術。

本頁目錄16 節
詞條資料

交通大學本科畢業

Liu 於2003年從交通大學取得學士學位。⁠[1]

馬里蘭大學博士畢業

他在馬里蘭大學帕克分校電機與計算機工程系先後於2011年取得碩士學位、2012年取得博士學位,博士導師為 Rama Chellappa。⁠[1][1][2]

在三菱電機研究實驗室的研究

加入 NVIDIA 前,他在馬薩諸塞州劍橋的三菱電機研究實驗室(MERL)任首席研究科學家,此外還曾在英特爾從事軟件工程工作。在 MERL 期間,他因參與開發商用機器人箱內揀選系統獲得2014年 R&D 100 獎,街景語義標註論文入圍2015年機器人學會議 RSS 最佳論文,2016年獲 MERL 的 CR&D Award。2016年6月,他與 Oncel Tuzel 發表耦合生成對抗網絡(CoGAN)論文。⁠[1][2][2][3][2][4][5][5]

加入 NVIDIA Research

2016年,Liu 加入 NVIDIA Research,研究方向是生成式圖像建模,目標是讓機器具備類似人的想像能力。他在2017年和2018年兩度獲 NVIDIA 內部的 Pioneer Research Award。⁠[3][3][4]

pix2pixHD

他與另外五名合作者發表論文《High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs》,即用條件生成對抗網絡從語義標註圖合成高分辨率圖像的 pix2pixHD。⁠[6][6][3]

CVPR 競賽奪冠

2018年,他在 CVPR 期間的語義分割領域自適應競賽和魯棒光流估計挑戰賽中均獲第一名,並獲評 CVPR 2018 傑出審稿人。⁠[2][4]

SPADE 與 GauGAN

2019年3月,他與第一作者 Taesung Park 等三名合作者發表空間自適應歸一化(SPADE)語義圖像合成論文,該論文入圍2019年 CVPR 最佳論文。基於這項研究的 GauGAN 應用讓用戶畫出形狀後由神經網絡填充逼真細節,在 SIGGRAPH 2019 Real-Time Live! 上同時獲得最佳演示獎和觀眾選擇獎,又獲《大眾科學》2019年“Best of What’s New”獎。他介紹,項目起點只是想改進上一代圖像合成算法 pix2pixHD,沒想到初步成果就已被許多人認為有用。⁠[7][7][2][1][2][3][3]

視頻壓縮研究與 SIGGRAPH 再獲獎

馬里蘭大學傑出校友

2023年,馬里蘭大學電機與計算機工程系授予他傑出校友獎,當時他是 NVIDIA 研究高級總監。他參與了 NVIDIA Picasso、NVIDIA Maxine 和 NVIDIA Canvas:在 Picasso 中為客戶搭建用合規數據訓練圖像、視頻和三維生成器的生成式 AI 平臺,團隊為 Maxine 開發了改善視頻通話體驗的實時人像系統。同年,他參與的三維表面重建研究 Neuralangelo 入選《時代》2023年最佳發明。⁠[1][1][1][1][8][8][4]

發佈 NVIDIA Cosmos

NVIDIA 在 CES 上發佈物理 AI 開發平臺 Cosmos,Liu 撰文介紹:Cosmos 是一組世界基礎模型,可預測並生成具有物理感知的虛擬環境未來狀態視頻,用來幫助開發者打造下一代機器人和自動駕駛汽車;首批模型以允許商用的開放模型許可提供。Cosmos 獲 CNET Group 頒發的 Best of CES 最佳 AI 與最佳整體獎。次日,NVIDIA 團隊在 arXiv 提交技術報告《Cosmos World Foundation Model Platform for Physical AI》。⁠[9][9][9][9][9][10][10]

交通大學電機學院傑出校友

2026年,他獲交通大學電機學院(ECE College)頒發傑出校友獎。⁠[4][4]

發佈 Cosmos 3

NVIDIA 在 COMPUTEX 期間的 GTC Taipei 發佈世界基礎模型 Cosmos 3,Liu 撰文介紹:該模型在單一模型中結合視覺推理與文本、視頻、圖像、環境聲音和動作的多模態生成,採用混合 Transformer 架構,先由推理模塊理解場景,再由生成模塊輸出合成視頻或機器人任務數據,並能原生生成關節角度、夾爪位置等數值動作數據。⁠[11][11][11][11][11]

在 Runway AI Summit 談世界模型

主題:研究方向與團隊

Liu 表示,Cosmos 研發的世界基礎模型要讓機器不僅感知世界,還能模擬、推理並與之交互。他把自己的願景形容為為機器人建造“黑客帝國”:一個以物理為基礎的模擬宇宙,讓機器在真正行動之前可以安全、大規模地“做夢”、演練和積累經驗。Cosmos、NVIDIA Canvas(GauGAN)和 NVIDIA Maxine(LivePortrait)三款產品均源自其研究團隊的研究。⁠[4][4][4][8]

關聯機構、網站與公開賬號

來源

  1. ECE Announces Recipients of 2023 Distinguished Alumni Award(在新窗口打開)
  2. Presenter | SIGGRAPH Asia 2022 Daegu(在新窗口打開)
  3. Using AI to Generate Images, the GauGAN Journey(在新窗口打開)
  4. Ming-Yu Liu(在新窗口打開)
  5. [1606.07536] Coupled Generative Adversarial Networks(在新窗口打開)
  6. [1711.11585] High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs(在新窗口打開)
  7. [1903.07291] Semantic Image Synthesis with Spatially-Adaptive Normalization(在新窗口打開)
  8. Ming-Yu Liu | Research(在新窗口打開)
  9. Cosmos World Foundation Models Openly Available to Physical AI Developers(在新窗口打開)
  10. [2501.03575] Cosmos World Foundation Model Platform for Physical AI(在新窗口打開)
  11. How Cosmos 3 Helps Physical AI Think Before It Acts(在新窗口打開)
  12. Runway AI Summit — San Francisco 2026(在新窗口打開)