冬奥幕后 | 声音学院实时交互特效团队的冰雪之歌

小小和平鸽 翩翩雪花随

在北京冬奥会开幕式上，铺满全场的LED地面屏幕显示交互技术震撼全场。《Imagine》的音乐响起，四组滑雪运动员在场地上滑出浪波，“更快、更高、更强、更团结”这一奥林匹克格言在长长的滑冰轨迹上逐渐呈现。《雪花》里的近700个孩子，拿着一只只可爱的和平鸽，自由欢愉地奔跑，脚下实时绽放开一朵朵晶莹洁白的雪花，如影随形，活泼浪漫。

这是由我校教务处处长、声音学院院长童雷教授领衔的声音学院师生团队协作完成的视频交互特效，是声音学院艺术与科技专业建设成果的一次很好展现。这些浪漫场景中艺术创意的实现靠的是“基于人工智能技术的影像识别跟踪”和“基于交互引擎技术的实时渲染呈现”两个核心技术环节。在大规模文艺演出开闭幕式的场合下，在超过一万平米的场地上，对这么多演员同时进行实时捕捉和实时效果的跟踪和呈现，这在世界上还是首创。

掉队小鸽子成就冬奥会开幕式温馨瞬间

创意来源于冰面倒影

根据总导演设想的虚拟冰面反射概念，团队做了很多论证研究，进行了大量的互动视效设计与系统开发工作，尝试从冰面倒影的物理原理出发初步实现这一效果，并在7月底进行了实时互动效果的演示，获得导演组认可，被建议发展成一种展现开幕式科技创新理念的方式。就这样，由童雷老师负责、声音学院师生组成的冬奥会开闭幕式实时交互特效团队赶上了开幕式主创的末班车。

和平鸽环节历经了七八次大改，始终没能确定最终方案。刚开始是孩子们手中拿着发光和平鸽道具，排列成两颗“心”的队形向中心靠近，然后拼成和平鸽图案。当时孩子们已经练得差不多了，但大家都觉得不够惊艳。一次次不断修改，我们的团队提出，是否可以设计充满童趣的冰雪元素，与孩子们一起互动。“有一次，地屏什么也没显示，孩子走到黑地屏上，忽然发现自己脚下的雪花会跟着他们跑，跑得快雪花会拉出很长的轨迹。”童雷说，孩子们在现场开始疯玩，张艺谋则被这个场景感动，这正是他想追求的淳朴、浪漫、自然的呈现效果。这个过程中有非常多的磨合，不仅有科技可行性方面的考量，还将把科技作为手段去展现艺术这一需求考虑在内。这样的效果不是靠先期制作或精准排练就能实现的，完全依赖技术手段配合。演员可以任意自由发挥，发挥过程会影响显示效果，显示效果也会助推演员表演。这种互动恰恰体现了自然浪漫的情调，也非常符合导演的创意初衷。

表演规模带来巨大挑战

这次表演地面屏幕面积大、承载演员数量多，同时要无延时的实时捕捉交互，这些技术背后需要非常强大的算力和引擎支撑。虽然这些技术在各自领域已经运用的非常成熟，例如捕捉技术常用在运动员动作捕捉分析上，实时渲染常用在大型游戏场景中，但这次的创意恰恰是把两个技术完美结合在一起，形成从捕捉到识别到呈现渲染的“一条龙”链路，实现不同于传统的美术创意呈现，体现交互特性以保证效果完美呈现。

为了技术攻关，北京电影学院摄影棚搭建了一套演示系统，最初是想实现逼真倒影效果，但因计算量要求很大，实时追踪只能追踪不到20个人，无法满足开幕式如此大规模的团体舞蹈表演。为了破局，团队从主题歌演唱，到VIP入场，再到火炬传递等节目精心设计了流光溢彩、极光、推散雪花、推散云雾等十几种互动效果，但这种人员数量少、表演范围小的互动效果仅能在特写镜头下呈现。在鸟巢超过1万平米的LED上，无论是现场观看还是电视转播，如果效果不能兼顾全景视角，就无法满足节目视觉需求。后续不断磨合的过程中，团队的思路开始从视觉设计方向与动捕技术路线上进行了调整，从仿真倒影转换为实时交互特效，计算量降低，效果也更出色。

12月份，我们主动展示的互动风雪粒子特效得到了总导演的注意。当时，导演希望在《致敬人民》节目的其中一个部分改变视觉风格，传达“风雪中砥砺前行”的理念。这涉及到48名轮滑运动员在全场范围内的表演，而那时我们使用的动捕系统还没有完成对全场48个对象同步追踪的技术开发。在无法为导演组演示互动效果的被动情况下，团队的两位美术扛起了重任，在不到一周的时间内，为导演提供了五版不同风格的风雪效果，让导演组看到了我们的视觉设计能力，并最终确定在《致敬人民》加入我们设计的视觉效果。

历时半年时间，在鸟巢中连续工作近3个多月，经历了数次完善修正，无数次调整细节参数，最终实现了完美的效果。

“如影随形”的技术秘诀

地面LED特效“如影随形”的秘诀包含两部分技术。首先，基于人工智能的运动分析实时捕捉技术，通过视频摄像机识别出演员，通过计算机视觉和人工智能算法，把每个孩子在场内的位置提取出来，将信息传递给下一系统。第二个系统则由电影学院的师生来负责，通过实时交互引擎获取信息，按照导演的美术创意需求，生成需要的效果，无延时地呈现在演员脚下，在观众看来就实现了脚下特效“如影随形”的效果。

在《致敬人民》表演中也使用了该特效，24位轮滑运动员滑到哪里，就会把哪里的雪推开，流畅交织的线条像跑道，又像中国结，推开的雪路上继而映现出“更高、更快、更强——更团结”的奥林匹克格言。以前是人追着线走，现在是线追着人走，这是轮滑表演与地面影像互动的创新之处。

发挥电影人的团队合作精神

这个团队由来自声音学院的7名师生组成。

童雷，实时交互特效项目负责人；

韩柯，交互视效导演；

臧可，项目实施统筹；

马少典，系统架构工程师；

江祥盈，影像处理工程师；

徐子凡，特效算法工程师，声音学院在读研究生；

崔高歌，系统优化与测试工程师，声音学院在读本科生，已保研。

大家在半年多的时间里团结合作，并肩作战，攻克了一个又一个难关。视效方案被选定之后，团队必须在一周时间内完成互动内容的设计、制作到实时图形系统的构建与部署等全流程工作，并且要和轮滑演员的分场导演，灯光、舞美、以及LED播放控制等团队协调，才能完成导演组要求的全要素彩排。时间紧、任务重，来自声音学院的师生，以专业的水准，忘我的精神在规定时间内完成了与所有相关部门的联调与测试。这个世界范围内首次实现的大规模实时互动精彩表演，从互动视效方案的确定到彩排现场展示仅用了3天时间，过程非常艰难，但团队成员的分工协作让他们能够从容应对，最终为全世界人民献上了一场视觉盛宴。

童雷老师表示，电影人追求完美，在艺术创作领域的主观性很强，所以在团队磨合的过程中，尽可能地发挥想象，把更多更好的创意交给导演，接受修改意见，不断交流修正，最终才能达到臻于完美的效果，尽可能地打动观众。

来听一听

这个团队里大家的心声：

童雷

2022年冬奥会开幕式结束了，我们圆满完成了项目工作。短暂的欣喜过后，心里变得异常平静，这一切似乎都在自然而然的发生、又悄无声息的过去。

十四年前，有幸参加了2008年北京奥运会四场开闭幕式的焰火控制工作，还是三十几岁年轻人的我，带着一股万事难不倒的冲劲，临危受命，用三天时间完成了控制系统设计、设备选型与系统搭建，并成功完成了每一次彩排和正式演出，被蔡国强老师形容为“精彩的临门一脚”。现在回想，当时工作中有过很多艰辛、很多抱怨、很多波折、很多遗憾，可如今记忆中剩下的，只有那些美好的点点滴滴和让自己欣慰的成就感。

这次再走进鸟巢，走进久违了的控制室，心情挺复杂。岁数大了，不再年富力强；活干多了，会觉得力不从心。但有一点令我欣慰的是，2008年我自己赤膊上阵，但这次伴随我的有一批年轻人，有系里的年轻骨干教师、研究生和即将毕业的本科生，他们专业强、精力旺，从他们身上我看到了当年的我。鸟巢中共同奋战的三个月，走了很多路，熬了很多夜，吃了太多方便面和自热米饭，寒冷中流了太多的汗水，但当我们的成果完美呈现在地屏上时，我知道大家开心的面孔上都闪着泪光。如果说这次我的成就感是什么，完成冬奥任务是一方面，但更重要的是我尽了自己的力量为年轻人创造条件、筑牢平台、做好保障、打好下手，同时做好了承担各种风险的心理准备。现在冬奥开幕式项目结束了，达成了自己成为“双奥人”的愿望，也看到了新人全面成长与领衔，这将成为我永远值得骄傲的事情。

收收心，回归学校岗位，开始新年招生。

韩柯

我是一个习惯独立解决问题的人, 对于自己擅长的领域，我从不畏惧挑战，也有信心把一件事按自己的方式做好。然而，在北京冬奥会开幕式演出中运用实时系统呈现互动视觉效果，坦率的说，起初的自己感到力不从心，甚至想过退缩，认为这是一个自己无法完成的任务。

2022年2月4日，我们获得了成功，面对当初自己没有信心完成的任务，我坚持到了最后，这是因为我属于一个由北京电影学院师生组成的强大集体—— AI实时视效团队。

作为最后一支进入开幕式主创的队伍，AI实时视效团队的工作过程并不顺利。在各个节目定型前的几个月里，从主题歌演唱，到VIP入场，再到火炬传递，我们为这些人员数量少、表演范围也较小的节目精心设计了各种互动效果，但这些创意均没能通过，尽管这其中有多方面因素，但核心一点在于：针对几个演员的小范围互动效果仅能在特写镜头下呈现，而在鸟巢超过1万平米的LED上，无论是现场观看还是电视转播，如果效果不能兼顾全景视角，就无法满足节目视觉需求。理解到这一点后，团队开始从视觉设计方向与动捕技术路线上做出调整，而这意味着，如果想在正式彩排中展现AI实时视效团队的能力，我们必须在一周时间内完成从互动内容的设计、制作到实时图形系统的构建与部署等全流程工作，并且要和分场导演、灯光、舞美、以及LED播放控制等团队协调，才能完成导演组要求的全要素彩排。

我们团队做到了，来自声音学院的师生们分工协作、相互信赖，以专业的水准、忘我的精神在极有限的时间内完成了大规模互动特效的内容制作与系统部署，包括与所有相关部门的合作排练与技术联调。在彩排总结会上，总导演对实时互动效果给出了”有前景“的评价，并确定”雪花“节目使用互动视效方案。团队的持续付出得到了回报。

在年终总结里，自己写下这样一段话：以前的自己总希望执着于自己可以独立完成的事，但面对冬奥会开幕式这样的大型国家级项目，自己必须改变心态，以集体中的一员，合理而主动的选择自己的位置，发挥特长，为团队贡献自己的力量。

臧可

感谢童老师的信任让我能有机会与冬奥结缘。这段时间里我每天都会看到自己的差距和不足，就更加荣幸能成为团队一员。在这里感谢导演的信任和鼓励，感谢团队的付出、分场导演们的支援、以及所有贵人的帮助和捧场，有了你们才让全世界看到艺术与科技的最好结合，看到烟花和雪花亮彻鸟巢的夜空！

身为项目实施统筹，有一个艰巨的任务，就是要把我们的创意和效果在地面LED上显示，让导演看到，心里有我们这个东西。然而我们比别的组进来都晚，还得要在人家稳定运行了几个月的系统中，加上我们的实时特效，也就意味着在别人的地盘上扩张自己的领土，某种意义上打破原有的平衡。视频播控、地屏显示装置、分场导演麾下的演员都是别人的地盘，所以先是“开荒”。大到一个房间的占用、原有的播放系统和电力工程改造的谈判；小到一根网线的接入，协调央视播控对我们特效的投屏、借用演员辅助测试、调度Intel捕捉团队和分场导演指挥演员记录AI训练素材等等，都需要我们团队通力配合，收集相关人员的综合信息，分析和判断他们的职责，以及职责外能帮到我们的范围，突破口是哪些人、按什么方式、顺序、时机开展切入工作，在他们心里逐一建立信任，并寻求一些有限范围内的帮助。另外在紧急的情况下，我们还需要承担“救场”的工作，比如在谈判的阵痛期，给我们系统带来很大不稳定性，随时可能遭受到各方的压力和诸如连接失常或其他不可预知的风险。这就需要团队在高度凝聚力下，发现问题的第一时间排查问题、疏通关系、见招拆招，像是一把搭在弦上的弓箭，随时“嗖”的一声发射出去。还有一次次的关键救场，包括闭环区域不明的情况下紧急需要开启相机给导演呈现特效、在大彩排前半小时接到任务协调舞台监督和分场导演挤出时间测试新效果的可行性，在开幕式前3天上备份系统等等，各项复杂的工程。这些任务真的好难好庞杂，所以再次感谢团队成员的临危受命，陪我一起攻坚克难，为项目由被动推进扭转到主动开展的态势起到功不可没的作用。值得一提的还有一个关键因素，就是我们没有内患，团队内部每个人都抢着干活，躲着名利，恰如其分的和谐，这为我们节省了很大内部协调的精力。

最后还想借这个机会表达一点个人的情感。当导演对我们说出“现在看来这个节目整场互动就得靠你们”，“你们露大脸了”的那个瞬间，不论民族使命感、还是团队荣誉感，都是豪情万丈的。而就我个人而言，家国情怀以下的小的感情：是希望，是让“那个人”看到我的改变。如同万千雪花承载的希望，支撑我永不放弃、挺过难关、努力让自己变得更好的希望。谢谢你。

马少典

经过近八个月的坚忍不拔的努力，我们团队的艰辛付出终于结出硕果，在冬奥会的《致敬人民》与《闪亮的雪花》两个节目中，我们团队为人工智能技术赋予了新的美学内涵，也通过这样别具一格的节目形式，向世界展示出了“科技冬奥”的独特魅力。这两个节目的创作过程，其实并非一帆风顺。一波三折的创作过程，恰恰是尝试将新技术手段，应用于艺术作品创作，进而不断碰撞出火花的历程。

将人工智能技术提供的数据，应用于游戏引擎的交互渲染，最终接入到舞台大屏幕的播控系统中，背后有着一套复杂的系统。在这样超高规格、超大规模的演出中做特效，对于系统稳定性提出了很高的要求。同时，实时特效渲染效果的精准呈现，对于系统延时的依赖也很高。我充分发挥了本科阶段所积累的工程设计能力，在图像捕捉系统的坐标标定技术方案、视频信号拼接方案以及渲染系统在演出中的运行调度方案等关键环节，倾注了大量了思考。回望近半年的工作，我发现我最大的体验在于，很多过去不经意间积累的知识技能，竟然能够在意想不到的关键时刻，迸发出巨大的潜力与价值。

这半年的经历，尤其是项目最终进驻鸟巢搭建系统、打磨效果的阶段，几乎每天我们都是在经历大起大落之中度过。前一秒是绝望，下一秒又能重新找到切近的希望。而整个团队，各位老师同学也都身怀绝技，每当遇到挑战，大家凝聚在一起时，总能寻找到攻坚克难的方法，总能发现成员身上新的隐藏技能。精美绝伦的效果背后，暗藏了每位团队成员的智慧，充满了团队协作的光芒。我们勇敢应对了每一次的挑战，不断调整技术路线，最终用独具特色的艺术效果，打动了导演，也触动了观众，充分展示出了电影学院师生的专业素养与团队创作能力。这一点，作为团队成员，我感到由衷自豪。

我从最初期的可行性研究阶段开始，一直到最终呈现在全世界观众面前，有幸陪伴和见证了项目的成长。交互实时特效的加入，最开始也曾遭遇过旁人的疑虑与不解。这就好像电影声音引入电影的早期，声音这种新媒材的使用，也曾遭遇过太多的误解与质疑。而这次冬奥会，我们团队这次将实时交互技术大规模、全方位地应用在冬奥会的舞台上，向全世界充分展示出了这种全新的演艺形式的独特魅力。我们再次证明了媒体形式的升级，技术手段的更新，能够为作品的创作提供别具一格的表达方式。作为电影学院人，我感到由衷自豪。

江祥盈

感谢这座“双奥之城”，让我拥有了铭记一生的“双奥”记忆。08年的我，是奥运赛场中的中学生乐手，在诺大的国家体育场中用音乐迎接八方来客；22年的我，回到国家体育场鸟巢，用崭新的技术手段向遍布世界的奥运观众展现“科技冬奥”的中国力量。08年的我，与父母坐在电视机前，被奥运会开幕式的气度折服，在家人们的交谈中，记住了一个名字：张艺谋；22年的我，在冬奥会的开幕式工作中，有幸从张艺谋导演的校友变成同事，一同展现“雪花”的飘逸和自由。

随着绚丽的烟火和动人的旋律在鸟巢上空渐渐散去，我们在24届北京冬奥会开幕式的工作圆满结束了。脑海中那漫长的排练工作和无数个颠倒的昼夜，慢慢甜了起来。前所未有的视觉效果背后，是前所未有的技术挑战：硬件筹备和视频生成是我在团队中的主要工作，超大型的文件规格和高频次的渲染需求是每一次排练顺利进行的基础保障，所以按时制作出演出视频是一件不容商榷的事情。很荣幸，高效准确的演出视频为导演组做出现场决策提供了有效支持。

以前常在课堂上跟同学们笑谈：“电影学院的同学要多学本专业以外的知识，录音师不能只举过话筒，摄影师不能只摸过镜头”。在这次任务中，计算机硬件配置、软件脚本编写、视频转码优化、网络系统搭建都是项目建立运行的必要环节。实时特效团队中，正是电影学院师生们广泛的知识覆盖度，帮助节目组化解了一个个技术难题，实现了一次次创意处理。实时特效团队出色的演出效果也在向所有人广而告之：北京电影学院立足电影，从未止步于电影！

徐子凡

最初老师们找到我，让我加入到开幕式实时特效团队中时，我的心情是既激动，又有一丝对自己能力的不确定，因为摆在面前的是几乎未知的知识领域，而北京冬奥会开幕式这样级别的活动更是对我们的工作提出了极高的要求。在那之后的工作中遇到的一个个难关，更是超出了我的预期，使得我与其他的成员几乎每天都在学习新的知识，以克服摆在面前的各式难题。作为团队中具有跨学科背景的一员，落在我身上的任务自然涉及到更多的技术细节，需要我更加仔细地进行研究，并关注每一个微小的细节。现在回想起来，几乎所有的技术困难都集中在致敬人民的轮滑部分上，直到最后一次彩排我们依旧在尝试优化这个节目的性能。在节目还在初期调整过程中，为了使互动引擎能够精确地与三维模拟的预演数据吻合，老师提出要使用程序算法来生成用于驱动互动效果的三维模型。为了实现这个我以前闻所未闻的需求而进行了多次算法改进后，终于做到可以在短短几分钟就导出新要求下的模型。每当一版新模型被计算出来时，我就不由得感到满满的成就感，即便这是节目效果之下不被观众看到的内容。

类似的情况还有许多，团队中的许多幕后工作虽然不被人所知，但是都对整个节目播出的万无一失起到了至关重要的作用。正是在解决这一个又一个难点的过程中，我们的知识水平与视野广度都得到了极大的提升，同时对于我来说，对这些实际问题的攻关也使我真正学习到了重大活动中的工程实践方式，极大地弥补了我偏重理论而实践略有欠缺的不足。在北京冬奥会工作的经历使我成长了太多，对未来的道路更是有着不可磨灭的影响。因此在这里我想感谢老师们让我加入到这个优秀的团队中来，能够信任我的能力，让我在承担各项任务的过程中磨炼自己，向着更高的标准前行。

崔高歌

这次的项目的两个技术核心：基于神经网络的实时识别和定位跟踪、基于交互引擎的实时渲染，其实对我来说都是一个全新的、并不熟悉的领域，是一次在实践中快速学习的过程，并且通过这次经历，积累到很多关于工程、创意、行政方面的经验。通过我参与较多的部分：软硬件系统搭建和部署、美术动画物料的处理和转制，最大的感触就是，为呈现效果每前进一小步的背后都是团队的巨大努力付出，因为在大型活动中即使一处极其细微的调整都有可能带来潜在的蝴蝶效应，在庞大的组织体系下有可能会牵扯到各团队、部门和单位，所以从最开始一点点摸索可能性，到之后不断完善升级规划方案、迭代优化工艺流程，都是团队日夜奋战、集体讨论的结果。当然在这个过程中也会遇到各种“离谱”问题，最后团队也通过各种测试实验和科研攻关一步步归零，我们的系统也在最后两天通过链路各节点上的各种冷热备方案较为彻底地消灭了单点。也要感谢同学们对我这个小白的帮助，无论遇到的问题有多么小众、现状有多么困难，总能在学校里找到强大的后援力量，支撑我们攻克一个个障碍！非常感谢当我遇到壁垒时被我紧急“滴滴”请教的同学们：影视技术系的陈俊良、王子涵、肖翱、尤子元；摄影学院的吴尚霖，有你们真好！同时，最后的成功也离不开学校和系里学工、服务保障等队伍在后方的支持。在这次国家的大型活动中也切身体验到了各个岗位上中国人的家国情怀和奉献精神，即使在凌晨三点的除夕夜，鸟巢的操作席和机房仍然是灯火通明。进场工作期间也感叹鸟巢的“含电量”好高，总会在各业务领域遇到北影师生和毕业校友的身影，在此也祝BFA在冬奥的其他团队平安开心、工作顺利、一起向未来！

从北京2022年冬奥会开闭幕式总导演张艺谋，到开幕式《倒计时：立春》短片的总制片人李志伟；从担任开幕式引导员的北影学子，到由声音学院院长童雷教授率领，声音学院师生组成的实时交互视频特效团队；从前期奔赴北京冬奥组委各场馆运行团队参与筹办工作的北影赛时实习生，到纪录片的拍摄团队……北京电影学院师生、校友投身冬奥相关工作，用艺术与技术服务国家重大战略，坚守现场，从未缺席。

GIF设计：文骏

审核：LH