冰雪造梦，历程回看｜声音学院实时交互特效团队幕后工作揭秘

2月4日，北京冬奥会开幕式上，铺满全场的LED地面屏幕显示交互技术震撼全场。

这是由童雷老师负责、声音学院师生组成的冬奥会开闭幕式实时交互特效团队，根据总导演的虚拟冰面反射设想，在短短半年的时间里不断交流修正，最终向全世界观众展示了《致敬人民》与《雪花》两个风格独特的节目。

在面积超过一万平米的巨幅舞台上展现出了交互特效的艺术魅力。团队成员虽然人数不多，但却在极短时间内完成了节目的美术效果设计、并完成了从坐标采集直到渲染画面播出的全链路系统集成设计及其工程部署。在此期间，自主完成了渲染坐标系的标定与转换、信号链路延时与同步性测试、超高分辨率信号拼接传输等关键环节的方案设计与实施工作。

01

团队人员

团队由来自声音学院的7名师生组成：

童雷，实时交互特效项目负责人；

韩柯，交互视效导演；

臧可，项目实施统筹；

马少典，系统架构工程师；

江祥盈，影像处理工程师；

徐子凡，特效算法工程师；

崔高歌，系统优化与测试工程师。

声音学院16届校友向玉剑 ，为视频文件转码批处理开发了脚本。此外，声音学院的 张朝馨 和 动画学院的 孙舟 同学，在项目推进过程中，致力于场景仿真建模以及数据格式转换机制等课题，也贡献了他们的智慧。

02

历程回看

7.19

北京电影学院

距离2022北京冬奥会倒计时200天，当晚北京冬奥会开闭幕式总导演、我校著名校友张艺谋导演和冬奥组委开闭幕式部常宇部长，到北京电影学院就冬奥会开闭幕式科技创新项目进行实地考察及方案论证，重点观看了团队的技术方案演示。

左右滑动查看更多

9.11

声音学院未来视听联合实验室

室内搭建动作捕捉环境，由冀子蒙、付小童、孙睿佳、王羲瑞 、孟宪泽等同学协力搭建实验环境，并充当志愿者，录制早期的动作捕捉素材，提供给人工智能算法进行训练与验证。

左右滑动查看更多

10.27

北京电影学院怀柔新校区

模拟鸟巢看台机位，采集志愿者队列模拟数据。借助新校区场地优势，在宿舍楼平台架设图像捕捉设备，录制操场上志愿者队列的图像，带回实验室用于项目初期的算法与工程方案研究。

志愿者配合测试素材录制。视频为人群视角跟拍。项目成员马少典引导学生志愿者，仿照开幕式进场运动员的多种不同队列疏密和行进速度，录制了大量仿真数据以供AI系统学习训练。

左右滑动查看更多

11.10

Intel实验室：图像捕捉相机实验室测试

进行相机的标定原理测试。准确的标定是动作捕捉系统精密工作的重要基础。照片展示了设备投入使用初期，在室内地面上使用投影机打出小型“棋盘格”的小规模相机标定验证工作。

12.3

鸟巢实地系统测试

在场地极其受限的情况下，项目组成员携带了最简化的采集与服务器系统，进入鸟巢实地环境，临时搭建测试系统。完成了近两周的实地系统测试。系统测试包括人工智能识别系统的优化，以及节目美术方案优化调整两方面。

左右滑动查看更多

12.9

北京电影学院蓟门校区A619：

采集服务器与矩阵设备集成测试

以A619作为实验基地，项目组成员开展了大量的系统集成性能测试工作。包括系统集成后的整体延时和稳定性指标。这些指标的严苛把控，直接决定了最终节目效果的成败。照片中，徐子凡和崔高歌正在分析各设备间的连接方案，并讨论系统集成后可能存在的各项风险。

12.12

北京电影学院蓟门校区A619：

采集服务器系统稳定性测试

图中为童雷老师，正在调整渲染服务器与采集服务器配置，以便验证服务器稳定性。

12.15

鸟巢建筑物制高点

项目组成员攀爬到鸟巢顶层，实地踏勘机位选择。

12.22

北京电影学院蓟门校区A619：

采集服务器系统抠像性能测试

图中为韩柯老师，正在调整服务器抠像属性，以确保特效画面与鸟巢主系统的匹配情况。

12.25

北京电影学院蓟门校区A619：

节目素材叠合关系讨论

项目组成员围绕特效素材不同层次之间的遮挡叠加关系，充分沟通，消除对素材结构的理解偏差。

北京电影学院蓟门校区A236：

节目素材转码工艺讨论与实验

面对相对紧张的输出档期安排，项目组成员集体讨论可行的素材物料输出格式以及相应工艺。由于鸟巢地屏对播放素材的分辨率、码率、压缩率等要求非常严苛，项目组集中精力研究了用于转码导出的工艺优化。

左右滑动查看更多

1.8

鸟巢机房：

“轮滑”确定表演轨迹节目特效算法优化

1.12

鸟巢导演休息室：

“和平鸽”交互粒子效果设计讨论

正式联排演练开始前，开幕式视觉艺术总设计师蔡国强老师与童雷老师讨论新确定的粒子效果方案。

1.13

鸟巢四层控制席与导演指挥席

团队共同探讨和平鸽节目效果。

左右滑动查看更多

1.18

鸟巢演出控制指挥中心：

“和平鸽”节目效果带演员彩排测试

和平鸽节目的创意设计基本确定，配合导演设计，项目组不断修改粒子生成参数，微调优化最终的美术效果。在该过程中，针对舞台的灯光环境、演员的调度设计等综合因素，对采集与渲染各系统进行微调优化，争取最好的视觉效果。

1.20

鸟巢机房

崔高歌和徐子凡正在操作素材转码，并进行物料IO管理。

左右滑动查看更多

2.4

鸟巢：开幕式前最后一次系统标定

系统标定是整个交互特效系统精准工作的重要基础，照片记录了正式演出前的最后一次标定过程。由系统输出的棋盘格校准程序，显示在鸟巢近万平米的巨幅显示屏上。打出该棋盘格，标志着实时捕捉与特效渲染系统正式进入工作状态。

在上述工作推进的过程中，声音学院实时交互特效团队历时半年时间，在鸟巢中连续工作近3个多月，攻克了多个技术难点：例如捕捉对象坐标数据格式的定义与优化、特效序列的底层算法优化、巨幅特种LED屏的色彩管理与校准，并实现了大批量高分辨率视频素材的批量转码等工艺优化。此外还借助了场景仿真与镜头视角重建技术，辅助进场设备的安装规划，并对潜在问题作出预警。团队首次将交互实时特效应用于大型综合舞台表演，扩展了传统舞台美术的表达方式，赋予了AI技术新的美学内涵。

声音学院师生积极投身冬奥相关工作，用艺术与技术服务国家重大战略，在冬奥开幕式现场留下了电影人坚守的身影。

（工作台工作图片由北京电影学院师生组成的冬奥会纪录片团队提供，特此感谢）

编辑：SJR

图文说明：MSD

审稿：ZJQ