9月28日,2021台湖舞美国际论坛在国家大剧院台湖舞美艺术中心开幕。本届论坛为期2天,以“数字化与舞台艺术”为主题,由北京国际设计周组委会、国家大剧院、中国舞台美术学会共同主办。 当天下午,北京理工大学教授,博士生导师丁刚毅发表了题为“数字表演与创意仿真介绍与应用”的主题演讲,并结合数字仿真技术在百年党庆活动与科技冬奥中的实践,以大量生动详实的为案例,为在场听众带来了一场精彩讲座。
丁刚毅教授首先对北京理工大学智能仿真表演学科和创意仿真技术进行了全面详实的介绍。丁教授和他的团队共60余人,从2008年北京奥运会开始即从事数字表演活动工作。由于鸟巢场体巨大,按照传统工程设计方式,从点位到整个空间的布置,到时空转换,人员队形和进出方式,这些工作超出了人工进行手工计算和制作的能力。于是,智能仿真技术即被引入奥运会开幕式的创作工作中。从2008年至今,这一套环境、装备、人群建模算法技术,加上二维三维仿真技术不断推陈出新,团队也从2008年4月数字表演与仿真技术交叉学科的建立,到2010年建设了重点实验室,2013年开始招收数字表演交叉学科硕士,去年年底变为智能数字表演硕士和博士培育点,同时可以授工学和设计学学位。在不断发展的过程中,作为导演的得力助手,团队参与了众多大型文艺演出活动的创作,从创意、编排,到汇报、转播,已经投身两个国庆庆典、两场奥运会开闭幕式、一次建党100周年党庆,以及十余年的春节联欢晚会的创作。
智能仿真表演学科的核心是智能数字表演,在计算机、光学、设计等学科相互交织之下,构建了一套交叉学科的知识体系,同时培养硕士和博士人才体系。人工智能网络很多技术,包括大脑智能,网络智能,一直到现在的所谓智能泛化,叫智能数字表演。严格意义上讲,这种形式在游戏影视视频里面大量体现,但是在舞台上如何围绕编排需求去设计,这是我们的核心问题。从实践角度来讲,每年参与一些标志性智能表演工程的工作,从学术型交叉学科来讲,我们定义了这个科学问题——人机协同智能涌现。它既是某些复杂系统的负面特征,也是艺术创作的正面特征,什么时候应该涌现,台上台下还是网络里,或者屏幕上如何展示出来,这非常具有挑战性,因此我们需要培养这方面的人才。
创意仿真技术目前主要聚焦在三个方向:智能媒体与创意,智能表演与仿真,虚拟表演工程。在全媒体领域之前,智能媒体一直是一个基础平台,从创意、思路,到形成文本,再从文本延伸到形象、形象发展为要素,音乐、舞美、动作、网络传播,这都是跟创意紧密相关的。智能表演与仿真则利用仿真技术的相似性、重复性和交互性,来帮助人的创意表演,目前的应用主要针对大规模人群表演。虚拟表演工程在前两个基础上,针对不同的表演空间、不同表演行为、不同表演传播途径,把表演虚拟性一面放大,从而使很多内容涌现。当前,行业的发展正在论证第四个方向,即虚拟孪生系统与技术。“元宇宙也好,虚拟数字孪生也好,横向扩张到工业界、到社会方方面面,虚拟孪生技术作为表演学之外的学科,从以往的简单表演数字化的形式化要求,上升为智能表演,其最大特征就是利用人工智能,借助算法协助我们做创意设计与交互使用。”丁教授表示。
智能媒体与创意,依托人工智能、大数据、云计算、智能仿真等新技术手段,算法不用研制,数据集很丰富。比如影视中大量场景,无论是拍摄手法、光照模型,还是机位和演出的视频里面出现的矛盾,都可以用算法很简单提炼出来,为团队提供创意。利用智能手段来增强实现艺术创意,也能使传统表演艺术演变出新的形式,靠人的大脑去想是一个途径,算法协助计算出十个选项,选两个去试,这种方式使创作如虎添翼。更大的需求在于研究智能媒体、全媒体情况下,媒体与意识之间的演化规律,包括数字化理论、创意方法,以及创意的生成和评估——如何生成,生成之后如何分类,分类出来以后怎么评估,评估以后怎么实现……这一系列的相关工作,研究的整个内涵在于从艺术性、技术性,直到社会价值生成一个闭环。
接下来,丁刚毅教授与来宾分享了人群仿真技术的最新成果。智能表演与仿真,有大量实践,每年有将近40场左右大型活动全流程仿真工作,针对各类表演生产流程的创意、编排、演出、推广等环节来构建松散的孪生体,用于实现智能化创意、编排、演出一直到推广,其基础就是用计算机模型描述表演的空间、实体、行为。其次是解决大规模人群的问题。每年国内发生的5万人以上的群体型活动有800场以上。无论最初的创意,中间过程控制,一直到整个活动结束,所有的环节都需要对人群进行控制。引擎和渲染技术发展得非常快,基本上实现实时渲染,甚至实时播控。如2018年冬奥会北京八分钟,采用24个快速运动轮滑运动员,加24个可自由移动的冰屏交互表演,把虚拟现实技术和机器人技术,以及人机协同表演技术淋漓尽致地展示出来。
十余年来,丁教授和他的团队一直在研究VR表现、舞台的动作+音乐+情节的表现,如何计算其复杂性、创新性、可行性、可呈现性、表现力,并形成评估方法。通过该方法,相当人把人的思维逻辑交给算法,发现问题再解决,这也侧面回答了一个问题,人脑的创意到底能不能通过算法实现。
针对万人以上,甚至十万人级别的大型活动,人群动线规划,入场散场,群体行为具有复杂性和不确定性,十万人群到底怎么在数字平台上模拟出来,建模方法是有难度的。通过构建强约束行为规划模型,他们发明动态网格的算法,提出了单多人群多样性建模方法。大规模活动认知仿真技术,使得几万人的活动通过一套系统,把容易出问题的环节及其解决方法,用可视化与交互方式交代给大家,包括孪生平行仿真,电视直播仿真,包括情感反馈人机交互等。
之后,丁教授结合建党一百周年庆典和北京冬奥会的实践,与大家讨论了数字表演与仿真学科的建设成效。
党庆活动主要在天安门广场上用仿真技术支撑和服务大会的政治、艺术、工程设计。通过这套系统,计算座椅怎么分配,会标和党徽放在哪里,主席台如何布置,都在虚拟环境里经过了论证。确定好7万多人以后,这7万多人怎么进怎么出,中间过程怎么服务,管理人员座椅安排,特勤安保、央视转播的保证,都一一得到落实。
针对鸟巢的庆典活动,首先是整个现场舞台大舞美的论证,包括屏幕的宽度、高度,C位之间的观影关系。因为有一万多位专业演员参与演出,这些演员之间、道具上下场关键点位和其他要素匹配,都是经过仿真系统进行论证设计。其次是集群渲染。屏幕长171米,高29.5米,分辨率是两个8K,中间插播历史画面,领袖画面。丁教授团队配合央视做了集群渲染,包括舞台设计的高度,舞台运动,屏幕的分区,各区域之间的关系,以及道具仿真、调度仿真,从点位到场位,每一个编导,每一场视频和舞美做的设计工作,最后还要集成。这样协助编导们作了大量工作。最终广场大会和鸟巢演出都达到了盛大庄严、气势恢宏,礼序乾坤、乐和天地的效果作用。
最后,丁刚毅为来宾介绍了目前正在做的冬奥会准备工作。联手东方演艺集团、锋尚文化、传媒大学、京东方等单位,共同打造冬奥会开闭幕式大型表演智能化创编排演一体化服务平台。平台包含四大块内容,包括表演创意,一体化控制,大型屏幕表演,集成服务,目前已经开始了冬奥会开闭幕式创编排演一体化服务工作,并将于10月底开始排练。
丁刚毅表示,习总书记几年前提出了网络强国、数字中国、智慧社会的论断,而其团队所研发的这一交叉学科,就是在艺术中发挥技术作用,同时又能领略到现代艺术对于技术的需求。虚拟化其实代表着创意的本质,展现的东西可能有多个空间,可以只展现一个,也可以变化,还可以升华。通过虚拟化手段,无论是二维、三维,都可以把人大脑里认知的东西,和实体中生产和消耗性的东西,乃至内容生成后形成的反馈,都可以用目前的流行技术做一些探索和实践。
文字/图片来源:丁刚毅
摄影:王宇景 秦孟婷 牛小北
责编:成海