NVIDIA ACE:用生成式AI打造栩栩如生的数字人类

技术文章超擎数智

NVIDIA ACE是一套由RTX加速的生成式AI数字人技术套件,整合Riva语音交互、Audio2Face面部动画、Nemotron大语言模型等能力,可在云端或终端设备上运行。它能让数字人实现自然流畅的实时语音交互、逼真的面部表情驱动,广泛应用于游戏AI-NPC、智能客服、虚拟助手等场景,大幅降低高写实度数字人的开发门槛。

在数字化浪潮的推动下,虚拟生命的概念逐渐从科幻走向现实。NVIDIA ACE 是包含在NVIDIA AI Enterprise支持中的一套技术,可帮助开发人员利用生成式 AI 将数字人类变为现实。通过使用NVIDIA ACE,开发人员可以创建高度互动且逼真的数字人类体验。这套技术包括了自然语言处理、语音合成和计算机视觉等高级功能,这些都是创建沉浸式和引人入胜的数字化身所必需的。在NVIDIA AI Enterprise的支持下,ACE确保开发人员具备将这些高级AI功能集成到其应用程序中的工具和资源,无论这些应用程序是在云端还是本地系统上运行。

一、ACE的关键优势

  • 最先进的模型和微服务

NVIDIA 预训练模型提供业界领先的质量和实时性能。

  • 安全且一致的结果

AI 模型使用商业安全、负责任的许可数据进行训练。无论用户输入如何,微调和护栏都能实现准确、适当且切题的结果。

  • 灵活的部署选项

通过任何公共或私有云、Windows PC 或两者的混合处理推理。

  • 搭建数字人工作流

开发人员可以利用 ACE 从头开始构建自己的数字人类解决方案,或者使用 NVIDIA 的领域特定 AI 工作流程套件来构建下一代非玩家游戏角色 (NPC)、用于客户服务的交互式数字助理和用于实时通信的数字化身。

  • 游戏角色

NVIDIA Kairos 示例展示了一个使用 Audio2Face 微服务的易于使用的 Unreal Engine 项目。此示例展示了如何将 Audio2Face 连接到 Metahuman 并配置 Audio2Face 微服务。

  • 定制化服务

NVIDIA Tokkio 是一个使用 ACE 构建的数字助理工作流程,为医疗保健、金融服务和零售业带来 AI 驱动的客户服务功能。它使用最先进的实时语言、语音和动画生成 AI 模型以及检索增强生成 (RAG) 来实现,以向客户传达具体和最新的信息。

二、ACE目前支持的技术

使用NVIDIA ACE搭建动画工作流的示例

在此工作流中,使用 docker 容器本地运行微服务,以创建单个头像动画流实例。

工作流配置由以下组件组成:

Audio2Face (A2F) 微服务:将语音音频转换为面部动画,包括口型同步

Animation Graph 微服务:管理和混合动画状态

Omniverse渲染器微服务:根据加载的头像场景可视化动画数据的渲染器

Gstreamer:捕获并显示图像和音频流数据作为用户前端

数字场景:保存在本地文件夹中的 3D 场景和头像模型数据的集合

  • 需求

软件:

已安装 Docker

有权访问NVAIE,这是下载动画图形和 Omniverse Renderer 微服务所必需的

有权访问公共 NGC 目录,这是下载 Avatar Configurator 所必需的

硬件:

最少一块显存大小不低于20GB的NVIDIA GPU

  • 部署操作

本次测试的平台为:超擎数智擎天系列L20 GPU服务器集群

拉取指定的Docker容器

docker pull nvcr.io/eevaigoeixww/animation/ia-animation-graph-microservice:1.0.1docker pull nvcr.io/eevaigoeixww/animation/ia-omniverse-renderer-microservice:1.0.1docker pull nvcr.io/eevaigoeixww/animation/audio2face:1.0.11

从NGC下载数字场景

ngc registry resource download-version "nvidia/ucs-ms/default-avatar-scene:1.0.0"

运行动画图像微服务

docker run -it --rm --gpus all --network=host --name anim-graph-ms -v :/home/ace/asset nvcr.io/eevaigoeixww/animation/ia-animation-graph-microservice:1.0.1

运行Omniverse 渲染器微服务

docker run --env IAORMS_RTP_NEGOTIATION_HOST_MOCKING_ENABLED=true --rm --gpus all

--network=host --name renderer-ms -v :/home/ace/asset

nvcr.io/eevaigoeixww/animation/ia-omniverse-renderer-microservice:1.0.1

运行Audio2Face微服务

docker run --rm --network=host -it --gpus all nvcr.io/eevaigoeixww/animation/audio2face:1.0.11

生成TRT模型

./service/generate_trt_model.py built-in claire_v1.3

./service/generate_a2e_trt_model.py

启动服务

./service/launch_service.py service/a2f_config.yaml

配置并启动Gstreamer

安装Gstreamer插件

sudo apt-get install gstreamer1.0-plugins-bad gstreamer1.0-libav

在终端运行视频接收器

gst-launch-1.0 -v udpsrc port=9020 caps="application/x-rtp" ! rtpjitterbuffer drop-on-latency=true

latency=20 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! queue ! autovideosink sync=false

在Linux中运行语音接收器

gst-launch-1.0 -v udpsrc port=9021 caps="application/x-rtp,clock-rate=16000" ! rtpjitterbuffer !

rtpL16depay ! audioconvert ! autoaudiosink sync=false

在Windows中运行语音接收器

gst-launch-1.0 -v udpsrc port=9021 caps="application/x-rtp,clock-rate=16000" ! rtpjitterbuffer !

rtpL16depay ! audioconvert ! directsoundsink sync=false

通过Stream ID连接视频及语音微服务**

​​​​stream_id=$(uuidgen)

curl -X POST -s http://localhost:8020/streams/$stream_id

curl -X POST -s http://localhost:8021/streams/$stream_id

成功启动后动画图像微服务以及Omniverse 渲染器微服务运行终端将出现以下返回结果,同时可以看到动画场景弹出

测试动画图形界面

三、总结

可以看到通过使用ACE仅需简单几步即可快速部署一个数字人动画工作流。使用NVIDIA AI Enterprise中所支持的其他微服务你还可以给你的数字人集成更多功能,这些服务利用生成式AI的强大功能,增强数字人类的真实感和互动性,使其更加栩栩如生和具备响应能力。

NVIDIA ACE通过强大的生成式AI技术,为虚拟生命注入了无限可能。随着技术的不断发展和应用场景的扩展,ACE有望在未来进一步推动数字人类的创新和应用,使虚拟角色不仅仅是一个工具,而是一个能够与用户深度互动的“生命体”。用AI点亮虚拟生命,NVIDIA ACE正引领着这一领域迈向新的高度。