新闻资讯

News

国内首场数字人XR实时直播带货背后的“灵魂捕手”

2022-06-24
哇,沐岚好美
虚实结合的直播太精彩了~
6月21号晚上,中国首位实时科技虚拟up主沐岚
与知名自媒体人大能同台
进行了长达近2小时的
国内首场数字人XR实时直播带货

随着虚拟技术的发展和对内容制作高质量的追求,数字人频频出圈,XR(扩展现实)被频繁的应用在各种大型节目或电影广告等视频制作上,但由于实时直播对稳定性要求极高,而XR虚拟制作涉及众多复杂的软硬件,再加上数字人的参与增加了复杂度与风险,因此XR+数字人+实时+直播带货,一直很难相遇。本次数字人XR实时直播带货成功的背后都有哪些技术支撑呢?

首先要讲的是虚拟制作,它是将计算机中虚拟场景与摄像机实景视频进行实时合成,使人物与虚拟场景能够同步变化,从而输出高真实感合成画面的视频制作方式,XR虚拟制作必须以LED大屏为背景且有屏外扩展画面。2021年春晚节目《牛起来》便是虚拟制作的典型案例。

本次直播,将摄像机跟踪、数字人、动作捕捉、LED大屏、UE5实时渲染等前沿技术或工具,有机结合到了一起。其中欧洲杯买球APP自主研发的FZMotion光学运动捕捉系统部署在场地中,保障了现场“中之人”的动作捕捉与真实摄像机的跟踪,是连接虚拟与现实世界的桥梁。

为了让真实摄像机在运动的时候,LED大屏上的画面以及屏外拓展画面能够发生相应的准确变化,FZMotion快速精准的跟踪真实摄像机6自由度(6DoF, 6 degree of freedom)变化,结合镜头信息,传输至UE5虚拟摄像机实时渲染引擎不同于机械跟踪或机身上安装相机(InSide-Out)的跟踪方式,当舞台周围多台真实摄像机同时需要被跟踪时,一套FZMotion系统便能搞定,无需根据被跟踪摄像机数量来增加跟踪系统数量。

为了让沐岚动起来,FZMotion实时捕捉 “中之人”的动作,并融合面部捕捉与手指捕捉设备,将“中之人”的表情、手指动作、身体动作传递给沐岚并对其进行驱动。

一套动捕,多种跟踪

观众看到的包含沐岚的图像,其实由多个画面组合而成。一是真实摄像机拍摄到的,包含LED屏上的表演者、基于真实摄像机视角渲染而成的LED屏上画面。二是数字人沐岚,她被以AR前景的方式叠加到了画面一上。当摄像机拍摄到LED屏外的时候,还需要渲染屏外拓展画面,同画面一和二拼接。多个画面虚实融合,呈现给观众。而这一切,都离不开FZMotion的摄像机跟踪与真人动作捕捉。

      由于系统复杂、存在不稳定风险,XR制作与数字人未能在实时直播中普及应用,本次FZMotion持续100多分钟的稳定表现,为数字人XR直播及时注入了一针“强心剂”。同时,FZMotion “一套动捕,多种跟踪”的优势,能够实现多人、多摄像机以及道具的跟踪,更是XR虚拟制作的神兵利器与高性价比选择

【彩蛋】

沐岚与FZMotion同框解密直播黑科技,下期再会~