论文部分内容阅读
【摘 要】 阐述江苏大剧院原创歌剧《拉贝日记》的以disguise媒体服务器为核心的视频系统架构，实现对舞台视、声、光的集控，以及在线渲染和实时控制。
【关键词】 舞台演出；媒体服务器；系统集控；三维建模；时间线编程；在线渲染
文章编号： 10.3969/j.issn.1674-8239.2018.07.011
江苏大剧院首部原创歌剧《拉贝日记》获得2018国际歌剧大奖（International Opera Awards）原创歌剧入围，这是该奖自诞生以来首部入围的中国歌剧作品。该剧视频系统由江苏大剧院舞台技术部设计，将舞台投影技术从传统的二维投影提升到三维投影，并实现对舞台视、声、光的集控。该系统采用了以disguise媒体服务器为核心的系统架构，并由2台disguise 2x4pro媒体服务器互为主备，同时使用了1套Lightware视频切换矩阵，5台HDF-W30 FLEX投影机等设备共同完成。特别是disguise媒体服务器的投影贴图矫正功能，使设计制作的视频影像能准确、便捷、直观的投射到三维介质上；disguise媒体服务器开放的控制协议完美地完成了视频、灯光、音响的系统集控，为舞台艺术创作提供了强有力的支撑。
1 《拉贝日记》视频系统架构
1.1 disguise 基本功能与工作流程
disguise作为一个综合性演出创作平台，具有演出设计、控制、管理等完整的功能，因此，在世界级音乐会、剧场演出、灯光艺术节等大型活动中都有广泛应用。disguise包括Designer视效创作软件以及 disguise媒体服务器硬件，可提供演出项目一体化的系统解决方案，包括提案、摄影机运动轨迹建立、技术参数设定等从演出概念设计到最终演出呈现的不同阶段的创作。基于性能稳定且拥有特殊的实时备份系统以及视频格式转换（VFC）技术，disguise提供了从创意设计到演出输出的功能完整、性能高效、使用便捷的系统解决方案。
（1）舞台的三维模拟建模与预演
disguise拥有“所见即所得”的即时反馈式的软件编辑视窗，根据大剧院真实舞台比例以及舞美设计，在软件中搭建并配置虚拟舞台，计算投影机数量和位置角度，并检验项目媒体内容分辨率、解码格式、帧率等是否符合要求，为制定视觉呈现解决方案提供依据。通过实时视窗还可以让参与项目的不同人员以全视点、角度预演舞台效果，也大幅度提升了导演对项目设计效果的预判和执行效率。
（2）演出时间线编程设计
disguise有完整功能的时间轴系统可导入媒体进行编排设计，在搭建完舞台并且校准好投影机后，舞台效果的呈现与控制将集中体现在时间轴上。通常是在演出前进行离线编程，同时disguise支持在线编程，即在彩排或演出现场进行实时协作编程，演出中的时间线编程可与MIDI、MSC、Artnet以及OSC进行同步且实时更新，能高效地管理演出屏幕与布景内容。
（3）演出在线的调整
当项目在Designer软件中设计完毕，只需将项目文件拷贝至用于演出的 disguise媒体服务器中即可实现现场视频回放以及实时舞台调整。
1.2 演出视频系统的主备架构
演出的视频系统与舞台全局系统的配合尤为重要，基于disguise特有的主、备系统方案设计，“热备”功能可实现备用服务器对主服务器的实时同步与主备输出热切换，为项目视频系统提供稳定的输出保障，避免使用一臺媒体服务器遇到故障时影响演出的现象发生。
为了确保《拉贝日记》演出过程中视频播放的顺利进行，该视频系统解决方案的设计采用了主、备媒体服务器加视频矩阵的主体架构，如图1所示。在系统运行过程中，备份服务器与主服务器运行同样的项目工程文件，且其时间码也与主服务器同步；备份服务器的视频输出与主服务器的视频输出一同进入视频矩阵，再由视频矩阵输出到投影机。
当主服务器在正常工作时，备份服务器处于准备状态，也在实时监测主机的运行。当主机出现异常状态或死机情况，备份服务器只需5 s便可自动接替主机工作，将控制权转移至备份服务器，同时将视频矩阵的输入切换为由备份服务器输入，正常运行主机所呈现的舞台视觉效果，达到主、备无缝切换，从而保证演出能够顺利进行。
具体主、备服务器的主备设置如图2所示。主、备disguise媒体服务器的设置需要在相同局域网段中，且运行完全相同的项目工程文件。首先，在任意一台disguise中运行工程文件，在服务器软件disguise Designer中的Option[D3State]菜单选择d3net Manager，设置该机为Master（服务器名称及产品序列号），并在Understudies栏设置用于备份服务器的自动备份时间和矩阵预设序号，即完成两台2x4pro的主、备设置。
2 视频、音频和灯光的集中控制
disguise不仅作为视频播放，还拥有前期预演、集成设备等完善的功能，对于设备的集成控制，容许多种收发通信协议，如：UDP、TCP、DMX 512、LTC、MTC、MIDI等，以及多种串口协议。在该视频系统中，disguise媒体服务器通过MIDI协议与音频系统连接，通过DMX 512协议与灯光系统连接，最终由ETC灯光控制台完成媒体和灯光的总控。
搭建该系统的控制链路，要在设备管理器中设置好所运用的Lightware DVI视频切换矩阵，确保矩阵设备的IP地址与主备服务器在同一个网络中。其次，在时间线上创建一个新的DVI Matrix控制层，选择DVI Matrix Command Preset对DVI矩阵预设，并输入预设编号。
《拉贝日记》的控制系统方案有两个思路，第一种方案是将灯光、音频集成到disguise，统一由disguise一键式播控，通过disguise发送MTC协议与MIDI时间码触发舞台音效，同时发送DMX协议给灯光控制台，触发灯光CUE，以实现影像、灯光、音效的同步控制；第二种方案是将视频和音频连接到灯光控制台，由灯光控制台统一触发。 考虑到《拉贝日记》的演员调度和换景各方面的综合因素，最终选用第二种方案，由灯光控制台做主控。
目前，很多演出的灯光、音频以及视频的播放都是由三组人分别进行手动控制。而在该歌剧演出中，根据剧本分别编制了相应的灯光、音频、视频的CUE，并尝试将三种CUE进行统一播控。由于灯光在舞台演出中属于CUE最多的部分，因此，将视频、音频的控制交给灯光控制台进行总控。disguise接收并监测灯光控制台发出的DMX 512通信协议，对应时间线编排好素材后，将视频CUE插入到灯光CUE中，并只有当灯光和视频的CUE相同时，如灯光CUE P1：5：1与视频 CUE P1：5：1一致，灯光的变化触发视频同步变化，实现灯光、音频、视频与演员表演的时刻高度匹配。
由于CUE有不同的类型，因此，对于CUE的设计需要注意信息的一致性。CUE是由三级数字组成，第一级数字对应演出不同的幕，第二级数字用来标识CUE的种类（灯光、音频、视频），第三级则是具体的CUE，这样仅从CUE的数字上就能得到一些大概信息。
3 在线渲染及实时控制
用于《拉贝日记》演出的舞台为镜框式，使用了2台投影机从舞台前方投射，2台从舞台后方进行背投，1台在舞台顶部用于投射舞台道具布景，如图3所示。
歌剧的排练过程同时也是创作过程，每次排练有可能产生新的素材或改变。在排练过程中，视频创作人员与视频导演一同进行创作，对于视频呈现的效果，视频导演会提出一些修改意见，如颜色和效果等，视频创作人员可以立即在disguis服务器中进行修改而无需重新渲染视频；不仅如此，还可以根据导演的需求做动画帧，做到对导演的创作想法进行快速验证。
3.1 在线编辑及素材管理
在排练中，视频创作人员需要根据排演情况创作新内容，并对原有的内容进行修改替换，disguise提供了灵活的素材管理系统来应对。在演出排练过程中，视频创作人员的计算机接入视频系统的局域网中，并将disguise服务器中的素材文件夹共享，视频创作人员在渲染视频时即可直接渲染到此文件夹中。同时，disguise服务器还有文件的版本控制系统，当需要替换新的素材时，只需要把文件名命名为原文件加_vxxx，x为版本号，系统会自动将视频序列器上相应的视频文件替换为最新的版本，而且当需要回滚到原来版本时，只需要在此视频所在的视频层中选择之前的版本即可，这种素材管理功能极大提高了工作效率。
3.2 三维投影校准
多维立体投影比二维平面投影相对复杂，原因在于需要考量视频内容的呈现视角，以及投影机在立体空间中的投影校准。在投影校准前，需要对镜框式舞台进行虚拟建模，并将正确处理过的UV（U-VEEZ，二维纹理坐标）的obj格式舞台模型导入disguise Designer，模型与实际舞台的匹配度越高，对投影进行校准越有帮助。同时，校准的准确度与观众实际观测距离关系密切，需要在剧场进行实地观测，如图4所示。
Quick Calibrating Projectors是disguise快速校准投影机的方式之一，通过点对点的方式。进行校准时，首先在disguise Designer中的舞台模型内按照真实舞台的位置布局还原，在投影属性设置中添加需要校准的模型（相框、纱幕）和具体的投影机；然后为Manage Points与Line UP Points两个选项添加校准点，并进行点对点校准。
3.3 对投影机时间线编程与实时控制
在创作过程中，如何设置两台正面投影是难点之一。由于正面投影在没有台口纱幕的情况下投影会出现重影，视频导演想要在某些片段中关闭其中一个投影的光闸。Disguise的在线编辑的分层结构解决了这问题，由于disguise除了视频播放层，还有控制层，并支持目前主流的通信协议，同时投影机也支持远程控制，因此，在视频播放中加入了投影的控制层，根据视频导演的创作需要在演出中做到对投影光闸的自动控制，改善了传统手动控制光闸的低效度，为歌剧呈现提供了更灵活的创作空间，如图5所示。
4 结语
《拉贝日记》将去拉贝的故乡德国巡演，考虑到系统的流动性及安装的便捷性，同时还要保障所需功能的实现，基于现有视频系统的方案，提出了光纤传输的方案，并增加了播控辅助系统部分，如图6所示，为演出提供稳定的播控方案。
《拉贝日记》视频系统的成功应用，验证了以disguise媒体服务器为核心，集合分隔预监信号、网络通信、投影机外部软件控制系统的视频系统集成方案的可实施性、高效性与稳定性。
作者简介：
李立，江苏大剧院舞台技术部多媒体专业。曾在江苏卫视工作10年，有多年电视包装与演艺现场视觉设计和技术统筹经验，熟悉主流多媒体虚拟渲染引擎在演艺领域的应用。曾参与《非诚勿扰》《全能星战》《江苏卫视2012-2013年跨年演唱会》《拉貝日记》等大型项目的多媒体技术保障与统筹，任第四季《最强大脑》视觉导演。
嵇崟，本科，现任职于江苏大剧院舞台技术部多媒体专业，能熟练运用whatchout、Resolume Arena、d3等多媒体伺服器及软件，曾担任歌剧《木兰》多媒体统筹，江苏发展大会及其晚会的多媒体保障。
【关键词】 舞台演出；媒体服务器；系统集控；三维建模；时间线编程；在线渲染
文章编号： 10.3969/j.issn.1674-8239.2018.07.011
江苏大剧院首部原创歌剧《拉贝日记》获得2018国际歌剧大奖（International Opera Awards）原创歌剧入围，这是该奖自诞生以来首部入围的中国歌剧作品。该剧视频系统由江苏大剧院舞台技术部设计，将舞台投影技术从传统的二维投影提升到三维投影，并实现对舞台视、声、光的集控。该系统采用了以disguise媒体服务器为核心的系统架构，并由2台disguise 2x4pro媒体服务器互为主备，同时使用了1套Lightware视频切换矩阵，5台HDF-W30 FLEX投影机等设备共同完成。特别是disguise媒体服务器的投影贴图矫正功能，使设计制作的视频影像能准确、便捷、直观的投射到三维介质上；disguise媒体服务器开放的控制协议完美地完成了视频、灯光、音响的系统集控，为舞台艺术创作提供了强有力的支撑。
1 《拉贝日记》视频系统架构
1.1 disguise 基本功能与工作流程
disguise作为一个综合性演出创作平台，具有演出设计、控制、管理等完整的功能，因此，在世界级音乐会、剧场演出、灯光艺术节等大型活动中都有广泛应用。disguise包括Designer视效创作软件以及 disguise媒体服务器硬件，可提供演出项目一体化的系统解决方案，包括提案、摄影机运动轨迹建立、技术参数设定等从演出概念设计到最终演出呈现的不同阶段的创作。基于性能稳定且拥有特殊的实时备份系统以及视频格式转换（VFC）技术，disguise提供了从创意设计到演出输出的功能完整、性能高效、使用便捷的系统解决方案。
（1）舞台的三维模拟建模与预演
disguise拥有“所见即所得”的即时反馈式的软件编辑视窗，根据大剧院真实舞台比例以及舞美设计，在软件中搭建并配置虚拟舞台，计算投影机数量和位置角度，并检验项目媒体内容分辨率、解码格式、帧率等是否符合要求，为制定视觉呈现解决方案提供依据。通过实时视窗还可以让参与项目的不同人员以全视点、角度预演舞台效果，也大幅度提升了导演对项目设计效果的预判和执行效率。
（2）演出时间线编程设计
disguise有完整功能的时间轴系统可导入媒体进行编排设计，在搭建完舞台并且校准好投影机后，舞台效果的呈现与控制将集中体现在时间轴上。通常是在演出前进行离线编程，同时disguise支持在线编程，即在彩排或演出现场进行实时协作编程，演出中的时间线编程可与MIDI、MSC、Artnet以及OSC进行同步且实时更新，能高效地管理演出屏幕与布景内容。
（3）演出在线的调整
当项目在Designer软件中设计完毕，只需将项目文件拷贝至用于演出的 disguise媒体服务器中即可实现现场视频回放以及实时舞台调整。
1.2 演出视频系统的主备架构
演出的视频系统与舞台全局系统的配合尤为重要，基于disguise特有的主、备系统方案设计，“热备”功能可实现备用服务器对主服务器的实时同步与主备输出热切换，为项目视频系统提供稳定的输出保障，避免使用一臺媒体服务器遇到故障时影响演出的现象发生。
为了确保《拉贝日记》演出过程中视频播放的顺利进行，该视频系统解决方案的设计采用了主、备媒体服务器加视频矩阵的主体架构，如图1所示。在系统运行过程中，备份服务器与主服务器运行同样的项目工程文件，且其时间码也与主服务器同步；备份服务器的视频输出与主服务器的视频输出一同进入视频矩阵，再由视频矩阵输出到投影机。
当主服务器在正常工作时，备份服务器处于准备状态，也在实时监测主机的运行。当主机出现异常状态或死机情况，备份服务器只需5 s便可自动接替主机工作，将控制权转移至备份服务器，同时将视频矩阵的输入切换为由备份服务器输入，正常运行主机所呈现的舞台视觉效果，达到主、备无缝切换，从而保证演出能够顺利进行。
具体主、备服务器的主备设置如图2所示。主、备disguise媒体服务器的设置需要在相同局域网段中，且运行完全相同的项目工程文件。首先，在任意一台disguise中运行工程文件，在服务器软件disguise Designer中的Option[D3State]菜单选择d3net Manager，设置该机为Master（服务器名称及产品序列号），并在Understudies栏设置用于备份服务器的自动备份时间和矩阵预设序号，即完成两台2x4pro的主、备设置。
2 视频、音频和灯光的集中控制
disguise不仅作为视频播放，还拥有前期预演、集成设备等完善的功能，对于设备的集成控制，容许多种收发通信协议，如：UDP、TCP、DMX 512、LTC、MTC、MIDI等，以及多种串口协议。在该视频系统中，disguise媒体服务器通过MIDI协议与音频系统连接，通过DMX 512协议与灯光系统连接，最终由ETC灯光控制台完成媒体和灯光的总控。
搭建该系统的控制链路，要在设备管理器中设置好所运用的Lightware DVI视频切换矩阵，确保矩阵设备的IP地址与主备服务器在同一个网络中。其次，在时间线上创建一个新的DVI Matrix控制层，选择DVI Matrix Command Preset对DVI矩阵预设，并输入预设编号。
《拉贝日记》的控制系统方案有两个思路，第一种方案是将灯光、音频集成到disguise，统一由disguise一键式播控，通过disguise发送MTC协议与MIDI时间码触发舞台音效，同时发送DMX协议给灯光控制台，触发灯光CUE，以实现影像、灯光、音效的同步控制；第二种方案是将视频和音频连接到灯光控制台，由灯光控制台统一触发。 考虑到《拉贝日记》的演员调度和换景各方面的综合因素，最终选用第二种方案，由灯光控制台做主控。
目前，很多演出的灯光、音频以及视频的播放都是由三组人分别进行手动控制。而在该歌剧演出中，根据剧本分别编制了相应的灯光、音频、视频的CUE，并尝试将三种CUE进行统一播控。由于灯光在舞台演出中属于CUE最多的部分，因此，将视频、音频的控制交给灯光控制台进行总控。disguise接收并监测灯光控制台发出的DMX 512通信协议，对应时间线编排好素材后，将视频CUE插入到灯光CUE中，并只有当灯光和视频的CUE相同时，如灯光CUE P1：5：1与视频 CUE P1：5：1一致，灯光的变化触发视频同步变化，实现灯光、音频、视频与演员表演的时刻高度匹配。
由于CUE有不同的类型，因此，对于CUE的设计需要注意信息的一致性。CUE是由三级数字组成，第一级数字对应演出不同的幕，第二级数字用来标识CUE的种类（灯光、音频、视频），第三级则是具体的CUE，这样仅从CUE的数字上就能得到一些大概信息。
3 在线渲染及实时控制
用于《拉贝日记》演出的舞台为镜框式，使用了2台投影机从舞台前方投射，2台从舞台后方进行背投，1台在舞台顶部用于投射舞台道具布景，如图3所示。
歌剧的排练过程同时也是创作过程，每次排练有可能产生新的素材或改变。在排练过程中，视频创作人员与视频导演一同进行创作，对于视频呈现的效果，视频导演会提出一些修改意见，如颜色和效果等，视频创作人员可以立即在disguis服务器中进行修改而无需重新渲染视频；不仅如此，还可以根据导演的需求做动画帧，做到对导演的创作想法进行快速验证。
3.1 在线编辑及素材管理
在排练中，视频创作人员需要根据排演情况创作新内容，并对原有的内容进行修改替换，disguise提供了灵活的素材管理系统来应对。在演出排练过程中，视频创作人员的计算机接入视频系统的局域网中，并将disguise服务器中的素材文件夹共享，视频创作人员在渲染视频时即可直接渲染到此文件夹中。同时，disguise服务器还有文件的版本控制系统，当需要替换新的素材时，只需要把文件名命名为原文件加_vxxx，x为版本号，系统会自动将视频序列器上相应的视频文件替换为最新的版本，而且当需要回滚到原来版本时，只需要在此视频所在的视频层中选择之前的版本即可，这种素材管理功能极大提高了工作效率。
3.2 三维投影校准
多维立体投影比二维平面投影相对复杂，原因在于需要考量视频内容的呈现视角，以及投影机在立体空间中的投影校准。在投影校准前，需要对镜框式舞台进行虚拟建模，并将正确处理过的UV（U-VEEZ，二维纹理坐标）的obj格式舞台模型导入disguise Designer，模型与实际舞台的匹配度越高，对投影进行校准越有帮助。同时，校准的准确度与观众实际观测距离关系密切，需要在剧场进行实地观测，如图4所示。
Quick Calibrating Projectors是disguise快速校准投影机的方式之一，通过点对点的方式。进行校准时，首先在disguise Designer中的舞台模型内按照真实舞台的位置布局还原，在投影属性设置中添加需要校准的模型（相框、纱幕）和具体的投影机；然后为Manage Points与Line UP Points两个选项添加校准点，并进行点对点校准。
3.3 对投影机时间线编程与实时控制
在创作过程中，如何设置两台正面投影是难点之一。由于正面投影在没有台口纱幕的情况下投影会出现重影，视频导演想要在某些片段中关闭其中一个投影的光闸。Disguise的在线编辑的分层结构解决了这问题，由于disguise除了视频播放层，还有控制层，并支持目前主流的通信协议，同时投影机也支持远程控制，因此，在视频播放中加入了投影的控制层，根据视频导演的创作需要在演出中做到对投影光闸的自动控制，改善了传统手动控制光闸的低效度，为歌剧呈现提供了更灵活的创作空间，如图5所示。
4 结语
《拉贝日记》将去拉贝的故乡德国巡演，考虑到系统的流动性及安装的便捷性，同时还要保障所需功能的实现，基于现有视频系统的方案，提出了光纤传输的方案，并增加了播控辅助系统部分，如图6所示，为演出提供稳定的播控方案。
《拉贝日记》视频系统的成功应用，验证了以disguise媒体服务器为核心，集合分隔预监信号、网络通信、投影机外部软件控制系统的视频系统集成方案的可实施性、高效性与稳定性。
作者简介：
李立，江苏大剧院舞台技术部多媒体专业。曾在江苏卫视工作10年，有多年电视包装与演艺现场视觉设计和技术统筹经验，熟悉主流多媒体虚拟渲染引擎在演艺领域的应用。曾参与《非诚勿扰》《全能星战》《江苏卫视2012-2013年跨年演唱会》《拉貝日记》等大型项目的多媒体技术保障与统筹，任第四季《最强大脑》视觉导演。
嵇崟，本科，现任职于江苏大剧院舞台技术部多媒体专业，能熟练运用whatchout、Resolume Arena、d3等多媒体伺服器及软件，曾担任歌剧《木兰》多媒体统筹，江苏发展大会及其晚会的多媒体保障。