400-0698-860

新闻中心

洞悉超擎数智品牌力与产业变革

NVIDIA ACE：用生成式AI打造栩栩如生的数字人类

时间：2024-06-21
来源：超擎数智
阅读量：315
分享：

 

在数字化浪潮的推动下，虚拟生命的概念逐渐从科幻走向现实。NVIDIA ACE 是包含在NVIDIA AI Enterprise支持中的一套技术，可帮助开发人员利用生成式 AI 将数字人类变为现实。通过使用NVIDIA ACE，开发人员可以创建高度互动且逼真的数字人类体验。这套技术包括了自然语言处理、语音合成和计算机视觉等高级功能，这些都是创建沉浸式和引人入胜的数字化身所必需的。在NVIDIA AI Enterprise的支持下，ACE确保开发人员具备将这些高级AI功能集成到其应用程序中的工具和资源，无论这些应用程序是在云端还是本地系统上运行。

ACE的关键优势

 

  • 最先进的模型和微服务

NVIDIA 预训练模型提供业界领先的质量和实时性能。

 

  • 安全且一致的结果

AI 模型使用商业安全、负责任的许可数据进行训练。无论用户输入如何，微调和护栏都能实现准确、适当且切题的结果。

 

  • 灵活的部署选项

通过任何公共或私有云、Windows PC 或两者的混合处理推理。
 
 

搭建数字人工作流

 
 
开发人员可以利用 ACE 从头开始构建自己的数字人类解决方案，或者使用 NVIDIA 的领域特定 AI 工作流程套件来构建下一代非玩家游戏角色 (NPC)、用于客户服务的交互式数字助理和用于实时通信的数字化身。

  • 游戏角色

NVIDIA Kairos 示例展示了一个使用 Audio2Face 微服务的易于使用的 Unreal Engine 项目。此示例展示了如何将 Audio2Face 连接到 Metahuman 并配置 Audio2Face 微服务。
  • 定制化服务
NVIDIA Tokkio 是一个使用 ACE 构建的数字助理工作流程，为医疗保健、金融服务和零售业带来 AI 驱动的客户服务功能。它使用最先进的实时语言、语音和动画生成 AI 模型以及检索增强生成 (RAG) 来实现，以向客户传达具体和最新的信息。
 

ACE目前支持的技术

 

 

使用NVIDIA ACE搭建动画工作流的示例

 

 

在此工作流中，使用 docker 容器本地运行微服务，以创建单个头像动画流实例。

 

工作流配置由以下组件组成：

Audio2Face (A2F) 微服务：将语音音频转换为面部动画，包括口型同步

Animation Graph 微服务：管理和混合动画状态

Omniverse渲染器微服务：根据加载的头像场景可视化动画数据的渲染器

Gstreamer：捕获并显示图像和音频流数据作为用户前端

数字场景：保存在本地文件夹中的 3D 场景和头像模型数据的集合

 

  • 需求

软件：

已安装 Docker

有权访问NVAIE，这是下载动画图形和 Omniverse Renderer 微服务所必需的

有权访问公共 NGC 目录，这是下载 Avatar Configurator 所必需的

 

硬件：

最少一块显存大小不低于20GB的NVIDIA GPU

 

  • 部署操作

本次测试的平台为：超擎数智擎天系列L20 GPU服务器集群 

拉取指定的Docker容器

docker pull nvcr.io/eevaigoeixww/animation/ia-animation-graph-microservice:1.0.1docker pull nvcr.io/eevaigoeixww/animation/ia-omniverse-renderer-microservice:1.0.1docker pull nvcr.io/eevaigoeixww/animation/audio2face:1.0.11

从NGC下载数字场景

ngc registry resource download-version "nvidia/ucs-ms/default-avatar-scene:1.0.0"

运行动画图像微服务

docker run -it --rm --gpus all --network=host --name anim-graph-ms -v :/home/ace/asset nvcr.io/eevaigoeixww/animation/ia-animation-graph-microservice:1.0.1

运行Omniverse 渲染器微服务

docker run --env IAORMS_RTP_NEGOTIATION_HOST_MOCKING_ENABLED=true --rm --gpus all

--network=host --name renderer-ms -v :/home/ace/asset

nvcr.io/eevaigoeixww/animation/ia-omniverse-renderer-microservice:1.0.1

运行Audio2Face微服务

 

docker run --rm --network=host -it --gpus all nvcr.io/eevaigoeixww/animation/audio2face:1.0.11

 

生成TRT模型

./service/generate_trt_model.py built-in claire_v1.3

./service/generate_a2e_trt_model.py

 

启动服务

./service/launch_service.py service/a2f_config.yaml

 

 

配置并启动Gstreamer

 

安装Gstreamer插件

sudo apt-get install gstreamer1.0-plugins-bad gstreamer1.0-libav

 

在终端运行视频接收器

gst-launch-1.0 -v udpsrc port=9020 caps="application/x-rtp" ! rtpjitterbuffer drop-on-latency=true

latency=20 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! queue ! autovideosink sync=false

 

在Linux中运行语音接收器 

gst-launch-1.0 -v udpsrc port=9021 caps="application/x-rtp,clock-rate=16000" ! rtpjitterbuffer !

rtpL16depay ! audioconvert ! autoaudiosink sync=false

 

在Windows中运行语音接收器

gst-launch-1.0 -v udpsrc port=9021 caps="application/x-rtp,clock-rate=16000" ! rtpjitterbuffer !

rtpL16depay ! audioconvert ! directsoundsink sync=false

 

 

通过Stream ID连接视频及语音微服务

​​​​stream_id=$(uuidgen)

curl -X POST -s http://localhost:8020/streams/$stream_id

curl -X POST -s http://localhost:8021/streams/$stream_id

 

成功启动后动画图像微服务以及Omniverse 渲染器微服务运行终端将出现以下返回结果，同时可以看到动画场景弹出

测试动画图形界面

 

总结

 

可以看到通过使用ACE仅需简单几步即可快速部署一个数字人动画工作流。使用NVIDIA AI Enterprise中所支持的其他微服务你还可以给你的数字人集成更多功能，这些服务利用生成式AI的强大功能，增强数字人类的真实感和互动性，使其更加栩栩如生和具备响应能力。

 

NVIDIA ACE通过强大的生成式AI技术，为虚拟生命注入了无限可能。随着技术的不断发展和应用场景的扩展，ACE有望在未来进一步推动数字人类的创新和应用，使虚拟角色不仅仅是一个工具，而是一个能够与用户深度互动的“生命体”。用AI点亮虚拟生命，NVIDIA ACE正引领着这一领域迈向新的高度。