需根据应用场景定制数字人
编者按：本文来自微信公众号 竞核（ID：Coreesports），编译：苏于涵，创业邦经授权发布。
在2021GTC大会上，英伟达CEO黄仁勋表示Omniverse愿景是让个人模拟制造出遵从物理规律的共享3D虚拟世界。Omniverse可完成实时3D设计协作和虚拟世界模拟，将图形、AI、模拟和可扩展计算整合到一个平台上。
同時，英伟达将自己定位为提供底层基础设施服务商。英伟达技术专家表示，Omniverse为“数字人”引入了最接近“人”的表情、语言系统。英伟达认为，当数字人跟真人可以沟通交流，贯穿真实跟虚拟世界时，才算是完美诠释了元宇宙的概念。
今年NVIDIA GTC大会已于3月21日展开，CEO黄仁勋在主题演讲中，着重介绍了Omniverse Avatar。黄仁勋请出了基于自身形象定制的、完全实时、完全动画化的Avatar——Toy Jensen。并借Toy Jensen之口介绍了Avatar的制作流程。
Avatar是一个基于Omniverse平台框架构建的虚拟人，Avatar的声音完全由Riva的文本转语音RADTTS合成，而且可用于通过Omniverse Audio2Face驱动Avatar的面部动画。接下来Omniverse动画的动画图形用于定义并控制Avatar的动作，包括手和手臂的动作，以及细微的头部和身体运动。
使用NVIDIA开源的跨平台材质定义语言（MDL）可以增加触感，而RTX渲染器能实时以高保真度呈现Avatar形象。最后得益于Riva中的最新对话式AI技术和Megatron 530B NLP模型，从而实现Avatar自由对话。
同时Omniverse Avatar可以从云、数据中心、或其它任何分解系统运行，而这都要归功于Tokkio。Tokkio是一款使用Omniverse Avatar构建的应用，它将客户服务AI引入零售店、快餐餐厅甚至网络。它使用计算机视觉、Riva语言AI和NVIDIA NeMO 等NVIDIA AI模型和技术打造而成。由于Tokkio在我们的统一计算框架（或UCF）上运行，因此可以从云端横向扩展。
如果说Omniverse的魅力是融合多种可能，将游戏、VR、数字会议空间、数字资产，甚至可能是到大脑与机器的互动，乃至于人工智能被纳入其中。在做到融合的愿景之前，业界普遍看好行业底层技术如游戏引擎和数字人广泛地应用到其它领域。
2月23日晚11点，NVIDIA GTC 2022在电话会上谈论数字人如何影响各行各业。对话嘉宾有Cedrus Digital 研发负责人 Sarah Bacha 、迪士尼动画工作室研发副总裁Markus Gross， Epic Games数字人科技部门副总经理Vladimir Mastilovic、Cine Tracer 开发者Matt Workman，NVIDIA图形处理及AI负责人Simon Yuen， Reallusion产品市场副总经理John Matin II及Microsoft首席科学家Erroll Wood。
以下是编译内容节选，略经编辑：
Epic Games数字人科技部门副总经理 Vladimir Mastilovic:
大家好，我的名字是弗拉基米尔，我是Epic Games数字人技术副总裁。早前，我供职于数字人技术与创意内容开发商3Lateral。从那时开始，我们一直专注于研发数字人技术。因此，我们整合优化了大量动捕系统，以便在实时环境处理大量数据。我们很多项目都围绕开放世界游戏，比如最近的《极限竞速：地平线》系列。
我们在实时数据处理方面拥有丰富的经验。我们研发了 Metrics Human Product，我们的使命是把它带给每个人，帮助他们讲故事，期望未来能广泛地应用到其它领域。
Cine Tracer开发者Matt Workman :
大家好，我是马特·沃克曼。我是一名专注数字人的开发者和内容生产者。几乎每一天，我都专注于开发一款电影摄影布光产品Cine Tracer。Cine Tracer用虚幻引擎制作，主要被电影制作者用于预演和故事板，现在它在Steam上销售。
在过去的一年里，我一直在整合数字人资产，做了很多衣服、鞋子、帽子等等。我一直在制作有关动作捕捉的内容，而后用在Cine Tracer，并尽我所能努力提高质量。
NVIDIA图形处理及AI负责人 Simon Yuen:
大家好，我是西蒙·尤尼恩，我是英伟达人工智能和图形处理总监。大约4年前，我加入了视频行业，在此之前，我花了20多年时间制作视觉特效，创造数字人类、生物等等。我们看到游戏娱乐、电影等领域，对数字人需求与日俱增。想问一个问题，大家在生产数字人时是否需要耗费大量时间？对一些领域专家来说，这是非常耗时的。因此，我们想使用人工智能来加速这一进程，希望最终能够普及且质量不错。
Reallusion产品市场副总经理John Matin II:
大家好，我叫约翰·马丁，来自3D/2D 即时动画公司Reallusion。公司为动画系统、角色、创造提供工具。对公司来说，优先级最高的事情是把工具融入到行业发展大势中，让动画角色流动起来。举例来说，我们已经Omniverse平台成功打通，在此基础之上大家可以联合任意一家社区来创建和协作。
我们的使命是把我们的角色打造成一个可扩展的版本，无论你需要一群人还是单个高逼真度、实时的角色。大家可以轻松地接入。这些先进的数字人，对于行业发展非常重要。
Microsoft首席科学家Erroll Wood:
我是Erroll，我担任微软混合现实和人工智能实验室的首席科学家。基本上，我们的工作室围绕混合现实、全息眼镜及增强现实等硬件。你可以将设备戴在头上，或者连接到具有景深功能的相机上。我们致力于研究人们使用混合现实备时，如何互动和交流才能变得更愉快。
我们有很多计算机视觉问题需要去解决。但我一直在研究，我们如何使用由数字人类驱动的合成数据来解决这些计算机视觉问题。然而，目前有很多传统的机器学习问题，很难收集正确的数据。
迪士尼动画工作室研发副总经理Markus Gross:
我现在在迪士尼工作室担任首席科学家，早前曾在瑞士联邦理工学院（ETH）计算机符号学院工作了近30年。大约在25年前，我开始研究数字人，主要是为了基于物理模拟的医学应用。进入迪士尼后，我们开始涉足娱乐和特效等领域。过去10年里，我们所做的美杜莎动物动作捕捉系统，对行业意义重大。目前，它已被集成至工业光魔特效管道中。
我们小组致力于把数字人带到日常生活中，这在电影特效领域应用尤为广泛。十三年前，我加入迪士尼后，花了很长时间才把数字人面部动画效果提升至真人水平。通常情况下，动画效果由故事驱动。我们想要塑造能够向观众投射真实情感深度的数字角色，他们会跟观众建立联系。在这一点上，我相信我们已经在某种程度上实现了这一目标。电影中基于动捕的数字角色是绝对可信和真实的。
看来，随着元宇宙兴起，以及NLP、AI等技术推动下，实时数字人有望迎来新一轮爆发。他们在行业中的重要性将变得愈发重要。
Reallusion产品市场副总经理John Matin II:
现在，制作电影的门槛已经相对较低，尤其是拍摄前期，无需庞大的制作团队及设备，大家都站在同一起跑线上。如果大家目标是打造像素动画，用现有工具非常容易实现这一目标。我认为，独立电影人潜力巨大，他们能打破传统制作流程，引入新制作思路，会对行业产生巨大影响。
在实际拍摄中，数字人可以帮助导演、编剧更好地诠释画面。像Cine Tracer工具就非常好用。
Cine Tracer 开发者Matt Workman:
我认为，如果我们把个体创造者看作是创造者经济，那么他们会对数字人做什么？这是我们将要考虑到的现实问题。听起来，使用已有创作者工具，会有多种方式让木偶变成数字人，轻轻地点击一下就行。在制作过程中，它实际上需要调校好的算法进行分发。
现在看来，远程协作将变成日常工作模式。那么，你是否能让开发者协作变得快捷，让电影学院学生在宿舍就能完成拍摄？我个人还蛮期待这种协作方式的。
Epic Games数字人科技部门副总经理Vladimir Mastilovic:
20年前，当我进入数字人领域时，感觉互动媒体是一种真正的艺术形式，它还没有被超越。现在，它们在商业上成果丰硕。还想提一句，最近Epic公布的虚幻5引擎开发的演示DEMO:《黑客帝国:觉醒》让人虚实难辨，真的很有趣。
我们将不再把电影看作是线性内容。它将被转化为同时具有交互性和线性两种特质的产物。你将有机会选择，甚至直接参与。事实上，从后期制作中的特效演变为前期视觉化、虚拟制作，这似乎是娱乐业的自然演变。
Microsoft首席科学家Erroll Wood:
Microsoft在数字人方面取得的进展，将帮助我们以新的方式解决传统的计算机视觉和机器学习问题。特别是计算机视觉领域。我们正呼吁越来越多的人重视合成数据的重要性。原因在于，当你可以制作出更多样化的数据，训练模型有望更加具有实用性。
公司不少已发布产品，都采用合成数据进行训练。我们意识到，就像其它计算机视觉问题一样，数字人可以解决这些问题。
NVIDIA图形处理及AI负责人Simon Yuen:
我将在大家谈论的内容和视频基础上展开讨论。我们拥有相当多样化的客户，都是关于虚拟世界的。由于内容创造速度和雇佣员工数量有限，利用人工智能加速成为一个大趋势。
更重要的是，我认为Sarah、Erroll和其他人提到的其它领域也在增长。像医院中的残疾患者，他们或许更喜欢与数字人交谈，而不是真人。原因在于，与数字人交谈让他们感到更舒服。我将以这个例子做结束，我的一个朋友，他们的孩子大约10岁，他们使用iPhone Siri交谈的方式与我们大多数人不同。他们像跟朋友一样和他们交谈。
所以，我认为无论是我们这一代还是下一代，都会跟虚拟角色建立关系。这将成为我们生活的一部分。同时，这也造成一个明显的问题，当我们开始研究用数字人技术时，耗费时间长达数十年之巨才能拥有阿拉丁精灵、霍克教授。
特效的数字人体技术时，它需要花費整整十年的持续研究和技术改进，才能在某种程度上超越了年轻的肯尼谷。幻想的数字人类类型从阿拉丁精灵类型到霍克教授皆有。
所以这真的需要一段很长的时间。在不同的场景中，我们不一定非得需要一个真人，可以是拟真人类或者是抽象人物。
Cedrus Digital 研发负责人 Sarah Bacha:
在我看来，发展何种数字人类型完全取决于用途。比如你想做什么？如果你想让他们与真人联系起来，或许知名历史人物会更具亲和力。如果是一款教育作品，头像越逼真越能与学生产生联系。如果你不想让它联想到真人，我会说数字人越抽象越好。
再次強调，这一切取决于我们为什么需要这个数字人。
Reallusion产品市场副总经理John Matin II:
我认为美妙之处在于实时数字人一直在進步。眼下数字人现在正变得更加真实，像头发等，这主要是由于引擎不断在进化。考虑数字人整体性，如果衣服、眼镜等配饰有更多选择的话，它会显得更加真实。当然，这与不同的角色特性有关。
加载中,请稍侯......