ABAB Pedia

Ming-Yu Liu(NVIDIA)

Ming-Yu Liu(刘洺堉)是计算机视觉与生成式 AI 研究者,NVIDIA Cosmos Lab 副总裁、IEEE Fellow,领导 NVIDIA 面向机器人和自动驾驶等“物理 AI”的世界基础模型平台 Cosmos;他的团队此前开发了 pix2pixHD、GauGAN(NVIDIA Canvas)等图像生成技术。

本页目录16 节
词条资料

交通大学本科毕业

Liu 于2003年从交通大学取得学士学位。⁠[1]

马里兰大学博士毕业

他在马里兰大学帕克分校电机与计算机工程系先后于2011年取得硕士学位、2012年取得博士学位,博士导师为 Rama Chellappa。⁠[1][1][2]

在三菱电机研究实验室的研究

加入 NVIDIA 前,他在马萨诸塞州剑桥的三菱电机研究实验室(MERL)任首席研究科学家,此外还曾在英特尔从事软件工程工作。在 MERL 期间,他因参与开发商用机器人箱内拣选系统获得2014年 R&D 100 奖,街景语义标注论文入围2015年机器人学会议 RSS 最佳论文,2016年获 MERL 的 CR&D Award。2016年6月,他与 Oncel Tuzel 发表耦合生成对抗网络(CoGAN)论文。⁠[1][2][2][3][2][4][5][5]

加入 NVIDIA Research

2016年,Liu 加入 NVIDIA Research,研究方向是生成式图像建模,目标是让机器具备类似人的想象能力。他在2017年和2018年两度获 NVIDIA 内部的 Pioneer Research Award。⁠[3][3][4]

pix2pixHD

他与另外五名合作者发表论文《High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs》,即用条件生成对抗网络从语义标注图合成高分辨率图像的 pix2pixHD。⁠[6][6][3]

CVPR 竞赛夺冠

2018年,他在 CVPR 期间的语义分割领域自适应竞赛和鲁棒光流估计挑战赛中均获第一名,并获评 CVPR 2018 杰出审稿人。⁠[2][4]

SPADE 与 GauGAN

2019年3月,他与第一作者 Taesung Park 等三名合作者发表空间自适应归一化(SPADE)语义图像合成论文,该论文入围2019年 CVPR 最佳论文。基于这项研究的 GauGAN 应用让用户画出形状后由神经网络填充逼真细节,在 SIGGRAPH 2019 Real-Time Live! 上同时获得最佳演示奖和观众选择奖,又获《大众科学》2019年“Best of What’s New”奖。他介绍,项目起点只是想改进上一代图像合成算法 pix2pixHD,没想到初步成果就已被许多人认为有用。⁠[7][7][2][1][2][3][3]

视频压缩研究与 SIGGRAPH 再获奖

马里兰大学杰出校友

2023年,马里兰大学电机与计算机工程系授予他杰出校友奖,当时他是 NVIDIA 研究高级总监。他参与了 NVIDIA Picasso、NVIDIA Maxine 和 NVIDIA Canvas:在 Picasso 中为客户搭建用合规数据训练图像、视频和三维生成器的生成式 AI 平台,团队为 Maxine 开发了改善视频通话体验的实时人像系统。同年,他参与的三维表面重建研究 Neuralangelo 入选《时代》2023年最佳发明。⁠[1][1][1][1][8][8][4]

发布 NVIDIA Cosmos

NVIDIA 在 CES 上发布物理 AI 开发平台 Cosmos,Liu 撰文介绍:Cosmos 是一组世界基础模型,可预测并生成具有物理感知的虚拟环境未来状态视频,用来帮助开发者打造下一代机器人和自动驾驶汽车;首批模型以允许商用的开放模型许可提供。Cosmos 获 CNET Group 颁发的 Best of CES 最佳 AI 与最佳整体奖。次日,NVIDIA 团队在 arXiv 提交技术报告《Cosmos World Foundation Model Platform for Physical AI》。⁠[9][9][9][9][9][10][10]

交通大学电机学院杰出校友

2026年,他获交通大学电机学院(ECE College)颁发杰出校友奖。⁠[4][4]

发布 Cosmos 3

NVIDIA 在 COMPUTEX 期间的 GTC Taipei 发布世界基础模型 Cosmos 3,Liu 撰文介绍:该模型在单一模型中结合视觉推理与文本、视频、图像、环境声音和动作的多模态生成,采用混合 Transformer 架构,先由推理模块理解场景,再由生成模块输出合成视频或机器人任务数据,并能原生生成关节角度、夹爪位置等数值动作数据。⁠[11][11][11][11][11]

在 Runway AI Summit 谈世界模型

主题:研究方向与团队

Liu 表示,Cosmos 研发的世界基础模型要让机器不仅感知世界,还能模拟、推理并与之交互。他把自己的愿景形容为为机器人建造“黑客帝国”:一个以物理为基础的模拟宇宙,让机器在真正行动之前可以安全、大规模地“做梦”、演练和积累经验。Cosmos、NVIDIA Canvas(GauGAN)和 NVIDIA Maxine(LivePortrait)三款产品均源自其研究团队的研究。⁠[4][4][4][8]

关联机构、网站与公开账号

来源

  1. ECE Announces Recipients of 2023 Distinguished Alumni Award(在新窗口打开)
  2. Presenter | SIGGRAPH Asia 2022 Daegu(在新窗口打开)
  3. Using AI to Generate Images, the GauGAN Journey(在新窗口打开)
  4. Ming-Yu Liu(在新窗口打开)
  5. [1606.07536] Coupled Generative Adversarial Networks(在新窗口打开)
  6. [1711.11585] High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs(在新窗口打开)
  7. [1903.07291] Semantic Image Synthesis with Spatially-Adaptive Normalization(在新窗口打开)
  8. Ming-Yu Liu | Research(在新窗口打开)
  9. Cosmos World Foundation Models Openly Available to Physical AI Developers(在新窗口打开)
  10. [2501.03575] Cosmos World Foundation Model Platform for Physical AI(在新窗口打开)
  11. How Cosmos 3 Helps Physical AI Think Before It Acts(在新窗口打开)
  12. Runway AI Summit — San Francisco 2026(在新窗口打开)