0 秒出手,终场哨音破空而响,望着篮球滑向弧线的终点,突然他的身体在空中悬停,一个决定性的瞬间被无限拉长,分镜切过一张张面孔,所有人的情绪都在空气中凝固,渴望、焦灼都被定格……
「子弹时间」技术最初被人知晓,要归功于电影《黑客帝国》:当子弹雨点般射向主人公尼奥时,他以不可思议的速度后仰,时间好像瞬间凝固,镜头围绕子弹旋转,观众甚至可以清晰地看到子弹划过的空气尾流。
此后,在大投资电影、3A 游戏、顶级体育赛事中,我们都能见到类似的应用。北京冬奥会在冰壶和速滑赛事中也应用了这一特效,通过云上转播可自动合成多角度的回放视频,并向全球转播方分发。
由于子弹时间生产流程的复杂性和所需计算数据量的庞大,之前行业的普遍生产时效性都在分钟级,且都不是基于 3D 重建来生产的。
而本次快手在村 BA 所使用的「子弹时间」技术,较此前顶级赛事中的更为先进:平均一场村 BA 比赛直播,就有接近 30 条子弹时间特效,包含 125 个 3D 虚拟运镜视点,基本覆盖了所有的精彩进球。
其次是可变焦点 3D 虚拟运镜。高精度三维重建,提供了多视角下的空间信息,可支持后期灵活组织镜头、自定义拍摄轨迹。通过 3D 曲线变速运镜,视觉冲击力得以进一步增强,实现了丝滑流畅的「子弹时间」效果。
最后是先进的渲染技术。快手自研的六自由度压缩算法与三维渲染引擎,通过三维重建与视点渲染,可还原 4K 及以上的高清渲染画质。
摆在他们面前的,首先是网络和电力紧缺的问题。现场的 5G 和 Wifi 信号时断时续,影响各类数据的实时通信,而体育赛事的转播又有很强的时效性要求。初期进场调试,由于供电功率不足,现场服务器的运行也不稳定。
「无论如何,先跑起来再说。」快手技术人员先是协调了发电车,解决了基础的供电稳定性问题。同时,通过技术上的极致优化,将一条村 BA「子弹时间」回放视频的生产时间压缩到了 10 秒,有效保障了时效性和观赏性。
面对客观环境的严峻挑战,快手有备而来。技术人员通过自研可变焦点 3D 虚拟运镜技术,避免了直线型搭建在呈现效果上的单调性,成功打造了多焦点 3D 虚拟运镜「子弹时间」,比固定焦点的普通子弹时间有了重大升级。
最后是户外直播的不可控性。除了室外的高温、突如其来的降雨,还有长时间比赛带来的光线变化:6 点 30 分,太阳还很亮;8 点左右天就全黑了。这些都对技术本身的稳定性和适应性提出了很高要求。
快手的技术方案经受住了考验,阳光直晒和高温下都能稳定运行。即使因下雨中断,方案也可以敏捷地重新部署,无需再经过长时间的精细化调试,就能再度投入使用。在太阳光和场地灯光的差异化照明情况下,算法模型都能够完成高精度的建模和渲染,连续不断地支持比赛的正常转播。
体育赛场之外,六自由度技术也在更多场景中给用户带来新奇体验。比如,在快手电商场景,目前该技术在服装的短视频拍摄和制作中已得到应用,实现了基于全视角虚拟运镜的服装带货短视频体验,用户们在手机上可以全方位交互式的观看服装多角度的细节。仿佛在 xy 轴之外,从屏幕里又延伸出一条打破空间的 z 轴。
技术创新源于持续探索,快手音视频技术团队数年来积累了丰富的工程、算法技术。在直播活动上,团队成功支持了 2021 年春晚、东京奥运等大型活动。面对来自不同业务场景的诉求,音视频技术团队充分发挥算法的灵活性和延展性,根据项目「定制化」方案,融入最新前沿科技,致力于以用户需求为导向,提升用户体验。