基于机器学习的吹气交互方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:wangbp20021225
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从键盘、鼠标等传统交互方式到多点触控、语音、手势、姿势、眼球跟踪以及脑-机交互等自然交互方式,人机交互技术领域取得了巨大的进展。然而,这些交互方式不一定适用于所有情况。例如,当双手被占用时无法进行鼠标或触摸交互,在嘈杂或不方便使用语音的环境中无法进行语音交互,或肢体障碍的人无法进行语音或眼球跟踪交互等。由于呼吸可以被有意识地控制,呼吸互动的便捷性和可控性使得呼吸是一种可控的简单操作,可用于一些特定的交互情境,在一定程度上可以弥补上述常见交互模式的缺点。因此,呼吸可以被看作是一种辅助于触摸和语音等交互的直接可控的自然交互方式。迄今为止,有些研究将呼吸或者吹气作为一种直接输入的交互控制方式。但是这些研究工作或是需要依赖于特殊的定制设备,或是只能在少数特定的场景中使用,且很少考虑噪音干扰以及个体、设备差异性等问题,因此基于呼吸或者吹气的这种交互方式目前还缺少通用性。为此,本文研究基于吹气的简单、便捷、且直接可控的自然交互方法。该方法仅使用普通的耳机麦克风获得吹气动作的声音波形,不需要昂贵的呼吸信号获取设备,可以便捷地携带、随时随地方便地使用。本文的主要贡献在于将复杂准确的识别算法和简单耳机设备结合,实现方便且精确的吹气交互方法。首先,本文提出一种基于粒子群优化支持向量机(PSO-SVM)模型的吹气识别方法,可对吹气数据进行预处理、特征提取以及识别分类。实验表明其不仅具有简单、便捷、可控的特点,且比已有方法可以更有效地处理用户说话的干扰,提升了识别的准确率。更进一步,本文还研究提出了一种基于暹罗网络(Siamese Network)的自适应吹气交互方法。该吹气交互方法使用暹罗网络模型实现了“自适应”:一是适应噪音干扰,包括环境噪音、使用者自身说话声音等干扰;二是适应不同的用户和设备,即不同的人使用或者是在不同设备上使用。与已有方法相比,该交互方式可以更加准确地识别出吹气类型,可更好地适应环境噪音和不同的用户、设备。本文还研发了吹气交互方法的几个应用程序,进行算法测试等。归纳的,本文贡献概括如下:1.提出了一种基于PSO-SVM模型的吹气交互方法。该方法使用普通的耳机麦克风将吹气动作转化为声音波形,对波形数据进行预处理和特征提取,进而使用PSO-SVM模型对吹气的声波进行识别,获得不同的吹气类型,为相关应用提供简单的交互操作。该方法仅使用生活中常见的普通耳机,不需要昂贵的呼吸信号获取设备,可以便捷地携带、随时随地方便地使用。实验测试表明,本方法不仅简单易用、有效、可控,且比已有方法可以更有效地处理用户说话的干扰,提升了识别的准确率。但当该方法在不同设备上使用时,会出现因为差异性导致识别准确率下降的问题。2.针对上述问题,本文还提出了一种基于暹罗网络的自适应吹气交互方法。为了使吹气交互方法具有适应噪音环境、个体和设备差异的能力,本文采用改进的暹罗网络,在定义语义对齐损失函数时增加了一个分离损失函数,由二者构成暹罗网络的特征度量对比损失函数,来更好地处理不同领域但属于同一类别的相近问题、以及不同领域且不同类别的相离问题,并在源域处理流的全连接层设置分类损失函数,提高分类精度。实验表明,与本文提出的基于PSO-SVM的方法和文献[2]的方法相比,本方法可以更好地适应环境噪音和不同的用户、设备,且交互方法的种类也有所增加。3.为了验证本文提出的吹气交互方法,开发了基于HTC VIVE实现的虚拟游戏“海底探宝”、PC端视频播放、手机移动端高德地图等系统用于测试实验,并从算法性能和用户可用性等方面进行测试。
其他文献
随着我国电力行业的飞速发展,汽轮发电机组的结构愈加复杂,在运行中面临的故障也愈来愈多。为确保机组设备长期安全、稳定、高效的运行,需对其进行准确、可靠地故障诊断。针
膜分离技术作为碳捕集新兴技术,因高效、节能、便捷等优势而成为目前的研究热点。作为膜分离技术的核心,膜材料在近年来得到了长足的进步,其种类愈加多样化。而事实上,膜材料
物联网、云计算和大数据等新一代信息技术和新一轮工业革命,促使设备整个寿命周期管理发生了质的改变,包括分布式传感网络获取的性能和环境数据在内的工业大数据的采集,为设
有机太阳能电池(OPV)由于其优点众多而被广泛研究。作为OPV的重要组成部分,由电子给体和受体组成的活性层对于器件的性能至关重要。大量实验证明,给体/受体的界面构型,材料的分子工程和电场等活性层修饰的方式可以有效地调节器件的性能,包括开路电压(VOC)和短路电流(JSC)等。为了研究给体/受体界面构型、给体卤化、电场和受体主干熔入噻吩对OPV光电性能影响的内在机理。本文选择由给体、受体分子组成的复
能源发展一直是困扰我国经济提升和社会进步的主要问题,由于我国资源分布不均衡决定了以煤炭为主的能源消耗结构,而火力发电厂则顺应时代发展,顺理成章的成为我国能源供给的
改革开放以来我国的交通事业迎来快速发展,桥梁在我国交通运输事业中占有重要地位。由于我国幅员辽阔,地形复杂,桥梁常常需要跨过河流和深谷,而高墩连续桥梁是目前最为常用的
公众参与法律草案征求意见是公众参与立法生活的一种表现,而互联网技术的发展给公众参与法律草案征求意见提供了新的渠道。在我国,公众网络参与法律草案征求意见制度尚不完善,在具体理论以及实际实践中还存在不少问题。本文以中国人大网以及地方人大网的法律草案征求意见系统的运行作为主要研究对象,采用实证研究方法,对公众网络参与的实践进行分析和评估。通过客观展现我国法律草案征求意见系统的实际运行图景,系统剖析出现问
[背景]慢性肾脏病(Chronic Kidney Disease,CKD)是全球各个国家不可忽视的健康问题。CKD进展的最终结局是慢性肾脏损伤所引发的肾脏纤维化。其中肾小球是每个肾单位的主体,肾小球纤维化的硬化程度直接决定了肾功能的情况。目前临床有多重手段可以评估肾脏纤维化程度,其中泌尿系彩超及经皮肾穿刺活检术发挥了重要作用。彩超可以判断肾脏影像学形态的改变,肾脏缩小是诊断CKD的宏观证据[1]。
微电网是指由分布式电源、能量转换装置、负荷、监控和保护装置等汇集而成的小型发/配/用电系统,是一个能够实现自我控制和管理的自治系统,成为了目前对可再生能源开发和利用
《环球时报》10月9日刊登郑风田的文章说,未来我国城镇化的发展要从数量的扩张进入质量的提升,需着重关注以下三个差距:第一个是新老城镇户口的差距。从各地实践看,实行城乡