户外水场景的声音生成方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:szcentsweb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机图形学技术的不断发展,人们对视频及动画的声音质量提出了更高的要求。除了为人物配音工作外,其他声效的生成我们称之为拟音。而这一工作目前大多是由经验丰富的拟音师手工完成。为了能够自动地完成拟音工作,以水场景为例,现有工作大多采用基于物理的方法对小规模水场景进行声音生成。这类方法的算法复杂度高,不适用于较大规模户外水场景的声音生成。为此,本文分别利用非物理的声音生成技术以及深度学习的技术提出了两种能够适用于户外水场景声音生成的方法。现有基于物理的声音合成方法需要对水中气泡(水场景主要声源)进行模拟和提取处理,算法复杂度高,为了提高算法效率使其能够应用于户外水场景的声音生成,本文提出一种基于样本的声音生成方法。该方法面向海浪对象进行声音生成,通过基于粒子深度的分类机制取代现有算法中复杂度较高的气泡模拟方法,对海浪中气泡粒子进行高效的生成。之后,本文将大量提取所得的气泡粒子划分到少数网格中以此减少海浪聚类过程中的计算量。通过对经由贪心算法聚类之后的海浪的属性以及声音片段属性的映射,本文最终利用用户给定的声音样本实现了海浪场景声音的高效高质量生成。本文方法基于海浪场景的特性而设计,当流体模拟方法或者模拟的对象改变之后,此方法将无法直接应用。另外,对于无法获取流体状态的水场景视频,也无法用上述方法生成对应的声音。为了避免上述方法的局限性,本文设计了一种基于深度学习的水场景声音生成方法。此方法可以自动的学习视频中水场景的不同状态与声音之间的关系,从而实现端到端的由水场景视频到其对应音频的生成。由于此跨模态任务具有较高的难度,本文选用学习能力较强的GAN模型作为整体网络的原型。通过对视频的预处理、生成器和辨别器的设计与训练,本文的方法能够合成与输入水场景视频相对应的声音。为了进一步提升音频质量,我们设计了一个音色增强网络来优化最终的声音结果。此外,我们还提出了两个评价指标用于定量的评估生成结果的质量。实验结果证明,该算法可以生成包括瀑布、海浪、雨等在内的多类户外水场景的声音,结果真实感强。
其他文献
近年来,伴随互联网技术的不断发展和无线网络逐渐完善,导致移动设备的数目在不断增加,而用户规模的增大和需求的多样化对目前已有的网络提出了更高的性能需求。因此,设计出一种适应当前蜂窝移动网络的TCP拥塞控制算法,并在蜂窝移动网络中能够取得很好的效果就显得尤为重要。本文首先介绍了目前蜂窝移动网络中拥塞控制算法的研究现状。之后,对现有的拥塞控制算法根据其本身的特点进行了分类。本文选取了不同类别中的典型方案
天然岩体经过漫长的地质作用和工程扰动,内部普遍发育大量裂隙。完整的岩块透水性能相较于裂隙可忽略不计,因此岩体的渗透特性主要受裂隙的影响,而裂隙网络渗透特性则取决于
在我国社会终端能耗的构成中,建筑能耗占地区城镇总能耗的33%以上,因此为了实现节约型社会的目标,降低建筑物能耗是十分重要的。能耗历史数据的分析是实现建筑物节能的一个重
由于信息技术的飞速发展和社交网络的普及,图像数据库的规模与日俱增,这也为图像检索技术带来了新的挑战。如何对这些大规模的图像数据库进行高效的检索,是信息检索领域中一
纵观高速铁路相关技术的国内外发展,各国依据不同的国情需要、地缘经济、技术储备等因素突显各自不同的高速铁路特点,以日本为代表的国家更加追求铁路的经济性,以法国、德国
自国际海事组织(IMO)强制实施《国际海运固体散装货物规则》以后,因对于货物分组缺乏科学性,对于货物液化机理不够明确,无法真正避免因流态化货物发生液化而导致的海难事故。
将量子力学和经典信息学相结合形成一个新的研究领域一量子信息学,其是利用量子力学原理研究信息处理的一门新兴前沿交叉学科。量子纠缠不仅是量子力学中最重要的物理概念之
开放式生物质燃烧(Open Biomass Burning)释放大量痕量气体和气溶胶,这对全球大气化学、气候变化和潜在的人类健康具有严重的负面影响。借助卫星观测数据集燃烧面积产品(MCD64A1
随着5G时代一起到来的第七次信息革命,对信息传输和存储领域的材料磁性性能提出更高的要求。与传统磁性材料器件相比,自旋电子学器件以其高速、低功耗、非易失的特点为信息革
虚拟现实(VR)在现实中具有重要的应用价值。在研究与商业的许多领域,虚拟现实都是一个受到追捧的热点。虚拟世界与现实世界的交界处就是交互。VR环境下的交互可以使得虚拟世