论文部分内容阅读
摘要：针对新工科教育背景下对于拆装课程需求，通过手势识别与VR技术相结合，设计了一种高效真实的人机交互虚拟拆装训练系统。详细介绍了系统的功能结构，设计了诸如拆装、测量等训练功能分模块，使用Unity3D开发3D虚拟训练场景，并引入VR技术增加沉浸体验，并使用Leap Motion设备捕获手部数据，对数据进行分析并将手部动作转化为指示命令。为新技术助力新工科建设和工程教育领域的发展潜力提供了有力的实例。
关键词：新工科;虚拟现实;人机交互;LeapMotion;虚拟拆装
Abstract：Aiming at the demand of disassembly course under the background of new engineering education， an efficient and real human-computer interaction virtual disassembly training system is designed by combining gesture recognition and VR technology[4] The functional structure of the system is introduced in detail， and the training function modules such as disassembly and measurement are designed. Unity3D is used to develop 3D virtual training scene， and VR technology is introduced to increase immersion experience. Leap Motion equipment is used to capture the hand data， analyze the data and convert the hand action into the instruction command. It provides a powerful example for the development potential of new technologies to help new engineering construction and engineering education.
Key words：Emerging Engineering Education; VR; man-machine interaction; Leap Motion; gesture recognition
在新工科課程中，诸多专业诸如机械、汽车、航空等对学生动手能力有着严格的要求，在高等院校中普遍开设了拆装训练的课程，这旨在帮助学生有效巩固和拓宽理论知识，培养动手实践能力。[1]当前高校拆装教学多采用传统教学模式。学习受到等多方面的限制，实际学习过程中可能无法保证教学工作的正常进行。基于Leap Motion体感操作系统与Unity游戏开发平台共同打造基于体感交互技术的拆装训练系统。将增强现实与机械零件拆装技术相结合，解决了传统教学的场地有限性和教学内容单一性，学生体验枯燥性的问题，对于课程建设过程与进度控制起到了改革性的促进作用。
1 系统功能与模块定义
系统使用Leap Motion手势识别设备作为交互技术的底层支持，通过捕捉用户的手势动作进行识别处理，完成对任务场景的系统规定进行互动与交流，通过教学、考察的方式提高对拆装装配过程的熟练度和肌肉记忆。同时通过不同的功能模块以满足不同用户的个性化需求。项目系统使用的3D的虚拟场景与Unity 3D进行结合，提高了用户虚拟沉浸度，使更好地融入使用过程中。
1.1 系统功能需求分析
在各种机械零件的拆装方法、步骤及技巧研究过程中，教师可以向学生展示机械零件的使用以及拆装方法等相关教学材料或视频，同时教师也可直接通过使用该系统，现场向学生演示对机械零件的操作步骤，提高学生对复杂的零件组合体内部结构及组成结构的理解。[3]关于系统在基础功能的实现上，通过设计控制人物视角在建立的虚拟场景中行走，实现空间位置的变化，切换不同的观看视角操作工具实现功能;设置抓取扳手，尺子等工具及材料，对建立好的实体等比例模型进行拆装及测量训练任务;并以Leap Motion开发手势抓取功能，使用不同的工具对操作进行模拟，如使用扳手紧螺丝、测量口径等;开发UI交互功能，在训练任务模块记录训练过程中产生的错误，以供后期改正，并加入了错误提示功能，提高了训练效率。[8]
1.2基于手势识别的3D交互拆装训练任务
此系统模块不以传统的虚拟装配系统依靠鼠标和键盘作为人机交互设备，虽然能够保证准确的定位，但交互和沉浸性较差。虚拟现实技术的高速发展，也进一步推动了人机交互技术在智能化、人性化方面的发展。系统以Leap Motion设备的手势识别作为输入设备，实现人机交互的升级体验，同时基于3D虚拟设备的3D场景，提高了现实使用过程中的便捷性与沉浸感。
将基于拆装训练的目的将拆装训练及考核作为两个基本主模块。在训练模块设计不同章节适应训练需要;在考核模块根据不同的进度和难度设计不同的考核内容，并记录错误并显示生成系统的报告帮助自我纠错，通过评分奖励机制，同时教师会收到考核过程汇总的成绩单，并进行相应的讲解教学与针对性训练。
2 系统开发与实现
2.1软件技术架构
系统采用分层式架构构造子任务组的分解程序，每个子任务都处于一个特定的抽象级别。子任务为下一层级提供服务如表1所示。
分层架构模式里的部分被分成几个平行的层次，每一层都代表了软件的一个功能。大多数架构被分为四个层次：展示层，业务层，持久层，和数据库层。 每一层架构都具有不同的功能。例如，展示层包含界面内所展示的内容和UI交互的逻辑框架;业务层包含对应的功能完成。另外架构中的层次表示是具体工作的总括，它们共同作用完成系统中的所有功能。业务层无须负责分析数据的来源，只需要从上一层获得数据，执行与此数据相对应的逻辑，然后把这些信息传递给展示层，完成系统的整个处理过程。
2.2手势识别功能
2.2.1 虚拟环境下实现各种零部件的拆装方法、步骤及技巧的软件脚本设计
在虚拟场景内，使用者运用VR眼镜与手柄，并结合Leap Motion来控制工具以及虚拟的抓取完成机械拆卸、零件更换及虚拟维修。将仪器构件即测量工具摆放在工作台上，将已搭建好的模型置于中央，所有模型已在预知需测量位置编制好脚本，当手柄将测量工具拿起并靠近模型上预知位置时，此时程序将自动识别并选中测量工具，即开始测量;测量过程及读数均已在脚本中编写完成。其中，运用双手也可控制物体的放大缩小、旋转及移动，通过VR虚拟现实这一技术完成现实中难以操作的过程。
2.2.2 LeapMotion的手势识别与拆装技术的仿真模拟
基于双目视觉的手势识别。顾名思义，双目视觉就是有两个摄像头及红外定位，利用双目立体视觉成像原理，通过两个摄像机来抓取手部的三维立体模型数据，建立手部的三维立体模型。
这种方法对于用户手势的输入阈值较小，便于在有限的空间内即可完成操作，较便捷地进行人机交互，但由于对手模型不断地建模，且由于三维立体模型的复杂性以及不定性，识别时需要处理较繁杂的数据。要实现双目手势识别首先需要对双目摄像头设置基准点坐标，即分析出空间中的两台摄像机相对位置的几何关系。首先是对单摄像机的坐标确定，原因是计算摄像机的内部参数（包含摄像机的投影变换矩阵和透镜畸变参数等）和外部参数（包含相对于某个世界坐标系的旋转矩阵和平移向量等），然后通过数据计算两台摄像机在空间中的相对的幾何位置关系（包含旋转矩阵和平移向量），通俗地讲就是使得两台摄像机所成的影像显示在同一空间的水平面上。[7]
运用LeapMotion进行拆装时，系统中包括教学模块与考核模块。教学模块中，学生根据系统提示完成整个拆装过程，对操作错误的地方，系统会自动演示正确的步骤以供学生改正;考核模块中，学生操作错误三次以内，系统只进行报错并进行扣分，三次以上时，系统会进行提示以帮助学生继续完成后续拆装步骤;具体拆装过程会根据零件的不同，随之更改完成的难度，以适应所有的学习内容。
2.2.3 虚拟环境不同模型的轻量化与碰撞导入测试
对于某一种模型，根据使用者看到模型的体积与面积的大小，对模型优化处理，尽可能使得在软件运行速度有限的情况下，实现对模型的细节部分最优处理;并且，实现系统功能的前提，是对导入模型的精准控制，通过在一个物体上使用两到三个逻辑脚本，系统的容错率大大提高;模型刚体的导入有三个层次，一是对刚体整体有良好的把控，使得在放大或缩小、移动时不会解体;二是对拆分后的模型有集中控制的能力，保证零件分开后共用一套逻辑，作用物体上有良好的把控;三是对拆分后的每一个小零件实现精准控制，按照教学时的操作步骤即可控制完成小零件的拆卸与组装。
2.3 Unity3D虚拟现实设计
2.3.1 在LeapMotion的Unity3D环境搭建过程中的关键设置
在开发软件时，对LeapMotion识别的手的结果进行编译，触发网格，由于设计捏取这个动作的时候，触发网格的误差较大，所以，设计捏取动作时，不能牵扯捏取的手指对物体做误差触发;改进做法是，每当捏取的两个手指，发生捏取手势的时候，在捏取点生成一个半径固定（不能太大）球体触发网格，每当物体与球体发生触发，求出触发列表，把列表中每一个物体的触发点到球心的距离，求出最后把最距离最小的那个物体设为捏取物体。
在系统优化中反复对手模型与物体模型进行触感优化，在系统中可以实现精准抓取，操作时更容易接近真实环境，体验效果更符合VR虚拟现实技术的科技感和便捷感。[2，5]
系统优化方案新加入对手指关节处的优化，目的是更精准地抓取控制较小的零件，使用者体验时会更符合真实的物理效果与感受。
整体上单纯地通过手即可完成系统中大部分功能，即对手模型编写完整的触发程序，使得虚拟环境中效果依然较好;同时，还对模型与手模型之间的刚体碰撞做出进一步优化，使其抓取得更为自然。
2.4服务端与数据访问
基于Unity Network开发网络：
网络游戏因其冲破地域限制的特点和高互动性，颇受游戏玩家的青睐，网络游戏的网络数据搭建也是软件最值得参考的特点之一。使用Unity3D软件内的服务器开发软件系统时，目前拥有两种构建方案，分别是授权服务器和非授权服务器。这两种方案皆是基于Unity Network开发的服务器。
授权服务器和非授权服务器都依赖于服务器与客户端的数据传递。这两种构建方案都保证了客户端数据的隐私。非授权服务器并不影响每个客户端数据的输入与输出。客户端用来处理用户数据与服务器数据的交换逻辑，服务器将这些动态数据同步到系统中。
授权服务器可以接收到每个客户端的数据变化，然后根据情况执行系统的逻辑，最后反馈到各个客户端。通过云端服务器上传每个使用者的操作记录，对于学生的操作时长与操作步骤的正确率集中汇总并发送至服务器，目前联网系统正在开发与优化，未来将会实现更多功能。
3 系统运行场景与实例
3.1系统的训练场景设计
系统制作的意义在于可以让教师与学生更好地直观地了解物体的大体结构和内部细节以及拆分组合效果，使立体感较弱的学生也可以迅速对工程、机械类课程奠定深厚的基础，通过基础LM技术可以衍生出更多功能的应用并根据用户的反馈进行功能与技术的更新。通过LM完整的研究理念，实现增强现实（AR）技术，运用Unity3D软件，将手势识别后通过程序脚本在Unity 3D界面完成控制，实现人手对屏幕里的模型精准地控制，使用者也可佩戴VR眼镜，更身临其境的观察模型结构，大大提高对模型结构的了解程度以及学习认识的速度。 3.2实例
在虚拟装配环境中，操作者在抓取不同类型的机械零件时，系统通过对Leap Motion获取操作者手的空间位置以及实际各关节的弯曲角度，并映射到虚拟手模型的相应关节，从而达到实时判断手势动作的目的。[6]当虚拟手的拇指包围盒与某一零件发生碰撞时，程序根据装配序列规划来判断该零件是否为当前待装配零件。当碰撞发生时，机械类零件由原来的金属灰色变成高亮的颜色，系统同时给出文字进行提示。如被碰撞零件确为需要装配的零件，则进一步判断零件的类型和虚拟手势是否符合该类零件的抓取手势定义。符合则进一步判断是否为稳定抓取。判定为稳定抓取后，由虚拟手操作虚拟零件，实现一系列的装配工作，如图所示。
整个装配过程均在沉浸式虚拟环境中进行的，系统根据当前运行的状态相应的信息提示。用户在视觉导引和系统信息提示下，应用虚拟手完成减速器各零件的装配过程。
4 结束语
文中以基于Leap Motion手势识别的拆装训练系统为例，介绍了手势识别与虚拟现实技术在新工科教学过程中的应用。以Leap Motion设备作为数据捕捉处理器，加入虚拟现实的3D场景，形成3D游戏的临场体验。计算机技术与新工科的结合，提供了一个新的，高效的拆装训练方式，给予在新工科课程建设中提供了新的思路与方向，作为一种全新的训练方法，将在新工科的课程建设，提高学生的学习积极性，学习的高效率方面发挥重要的作用。
参考文献：
[1] 谢亨渊.以“形态教学”为基础——工业设计学科基础教学改革探索[J].科学大众（科学教育），2020（4）：130.
[2] 毛洋.VR技术在工业设计中的应用发展[J].设计.2018（23）：90-91.
[3] 刘友江.计算机辅助工业设计发展的状况和趋势研究[J].无线互联科技，2019，16（12）：114-115.
[4] 梁快，胡顺仁，郑大青，等.“新工科”背景下《电磁场与电磁波》教学新思考[J].电脑知识与技术：学术版， 2018， 14（36）：128-129.
[5] 熊巍，王清辉，李静蓉.面向虚拟装配的层次化交互手势技术[J].华南理工大学学报（自然科学版），2016，44（1）：78-84.
[6] 许晨旸，张瑞秋，刘林，等.集成几何约束与物性仿真技术的虚拟装配[J].图学学报，2015，36（3）：392-396.
[7] 邓逸辰，范秀敏，邱世广.基于装配约束动态创建的虚拟装配技术研究[J].组合机床与自动化加工技术，2014（7）：124-128.
[8] 绪玉花，李静蓉.面向虚拟装配的虚拟手交互技術研究[J].机械设计与制造，2014（5）：262-266.
【通联编辑：王力】
关键词：新工科;虚拟现实;人机交互;LeapMotion;虚拟拆装
Abstract：Aiming at the demand of disassembly course under the background of new engineering education， an efficient and real human-computer interaction virtual disassembly training system is designed by combining gesture recognition and VR technology[4] The functional structure of the system is introduced in detail， and the training function modules such as disassembly and measurement are designed. Unity3D is used to develop 3D virtual training scene， and VR technology is introduced to increase immersion experience. Leap Motion equipment is used to capture the hand data， analyze the data and convert the hand action into the instruction command. It provides a powerful example for the development potential of new technologies to help new engineering construction and engineering education.
Key words：Emerging Engineering Education; VR; man-machine interaction; Leap Motion; gesture recognition
在新工科課程中，诸多专业诸如机械、汽车、航空等对学生动手能力有着严格的要求，在高等院校中普遍开设了拆装训练的课程，这旨在帮助学生有效巩固和拓宽理论知识，培养动手实践能力。[1]当前高校拆装教学多采用传统教学模式。学习受到等多方面的限制，实际学习过程中可能无法保证教学工作的正常进行。基于Leap Motion体感操作系统与Unity游戏开发平台共同打造基于体感交互技术的拆装训练系统。将增强现实与机械零件拆装技术相结合，解决了传统教学的场地有限性和教学内容单一性，学生体验枯燥性的问题，对于课程建设过程与进度控制起到了改革性的促进作用。
1 系统功能与模块定义
系统使用Leap Motion手势识别设备作为交互技术的底层支持，通过捕捉用户的手势动作进行识别处理，完成对任务场景的系统规定进行互动与交流，通过教学、考察的方式提高对拆装装配过程的熟练度和肌肉记忆。同时通过不同的功能模块以满足不同用户的个性化需求。项目系统使用的3D的虚拟场景与Unity 3D进行结合，提高了用户虚拟沉浸度，使更好地融入使用过程中。
1.1 系统功能需求分析
在各种机械零件的拆装方法、步骤及技巧研究过程中，教师可以向学生展示机械零件的使用以及拆装方法等相关教学材料或视频，同时教师也可直接通过使用该系统，现场向学生演示对机械零件的操作步骤，提高学生对复杂的零件组合体内部结构及组成结构的理解。[3]关于系统在基础功能的实现上，通过设计控制人物视角在建立的虚拟场景中行走，实现空间位置的变化，切换不同的观看视角操作工具实现功能;设置抓取扳手，尺子等工具及材料，对建立好的实体等比例模型进行拆装及测量训练任务;并以Leap Motion开发手势抓取功能，使用不同的工具对操作进行模拟，如使用扳手紧螺丝、测量口径等;开发UI交互功能，在训练任务模块记录训练过程中产生的错误，以供后期改正，并加入了错误提示功能，提高了训练效率。[8]
1.2基于手势识别的3D交互拆装训练任务
此系统模块不以传统的虚拟装配系统依靠鼠标和键盘作为人机交互设备，虽然能够保证准确的定位，但交互和沉浸性较差。虚拟现实技术的高速发展，也进一步推动了人机交互技术在智能化、人性化方面的发展。系统以Leap Motion设备的手势识别作为输入设备，实现人机交互的升级体验，同时基于3D虚拟设备的3D场景，提高了现实使用过程中的便捷性与沉浸感。
将基于拆装训练的目的将拆装训练及考核作为两个基本主模块。在训练模块设计不同章节适应训练需要;在考核模块根据不同的进度和难度设计不同的考核内容，并记录错误并显示生成系统的报告帮助自我纠错，通过评分奖励机制，同时教师会收到考核过程汇总的成绩单，并进行相应的讲解教学与针对性训练。
2 系统开发与实现
2.1软件技术架构
系统采用分层式架构构造子任务组的分解程序，每个子任务都处于一个特定的抽象级别。子任务为下一层级提供服务如表1所示。
分层架构模式里的部分被分成几个平行的层次，每一层都代表了软件的一个功能。大多数架构被分为四个层次：展示层，业务层，持久层，和数据库层。 每一层架构都具有不同的功能。例如，展示层包含界面内所展示的内容和UI交互的逻辑框架;业务层包含对应的功能完成。另外架构中的层次表示是具体工作的总括，它们共同作用完成系统中的所有功能。业务层无须负责分析数据的来源，只需要从上一层获得数据，执行与此数据相对应的逻辑，然后把这些信息传递给展示层，完成系统的整个处理过程。
2.2手势识别功能
2.2.1 虚拟环境下实现各种零部件的拆装方法、步骤及技巧的软件脚本设计
在虚拟场景内，使用者运用VR眼镜与手柄，并结合Leap Motion来控制工具以及虚拟的抓取完成机械拆卸、零件更换及虚拟维修。将仪器构件即测量工具摆放在工作台上，将已搭建好的模型置于中央，所有模型已在预知需测量位置编制好脚本，当手柄将测量工具拿起并靠近模型上预知位置时，此时程序将自动识别并选中测量工具，即开始测量;测量过程及读数均已在脚本中编写完成。其中，运用双手也可控制物体的放大缩小、旋转及移动，通过VR虚拟现实这一技术完成现实中难以操作的过程。
2.2.2 LeapMotion的手势识别与拆装技术的仿真模拟
基于双目视觉的手势识别。顾名思义，双目视觉就是有两个摄像头及红外定位，利用双目立体视觉成像原理，通过两个摄像机来抓取手部的三维立体模型数据，建立手部的三维立体模型。
这种方法对于用户手势的输入阈值较小，便于在有限的空间内即可完成操作，较便捷地进行人机交互，但由于对手模型不断地建模，且由于三维立体模型的复杂性以及不定性，识别时需要处理较繁杂的数据。要实现双目手势识别首先需要对双目摄像头设置基准点坐标，即分析出空间中的两台摄像机相对位置的几何关系。首先是对单摄像机的坐标确定，原因是计算摄像机的内部参数（包含摄像机的投影变换矩阵和透镜畸变参数等）和外部参数（包含相对于某个世界坐标系的旋转矩阵和平移向量等），然后通过数据计算两台摄像机在空间中的相对的幾何位置关系（包含旋转矩阵和平移向量），通俗地讲就是使得两台摄像机所成的影像显示在同一空间的水平面上。[7]
运用LeapMotion进行拆装时，系统中包括教学模块与考核模块。教学模块中，学生根据系统提示完成整个拆装过程，对操作错误的地方，系统会自动演示正确的步骤以供学生改正;考核模块中，学生操作错误三次以内，系统只进行报错并进行扣分，三次以上时，系统会进行提示以帮助学生继续完成后续拆装步骤;具体拆装过程会根据零件的不同，随之更改完成的难度，以适应所有的学习内容。
2.2.3 虚拟环境不同模型的轻量化与碰撞导入测试
对于某一种模型，根据使用者看到模型的体积与面积的大小，对模型优化处理，尽可能使得在软件运行速度有限的情况下，实现对模型的细节部分最优处理;并且，实现系统功能的前提，是对导入模型的精准控制，通过在一个物体上使用两到三个逻辑脚本，系统的容错率大大提高;模型刚体的导入有三个层次，一是对刚体整体有良好的把控，使得在放大或缩小、移动时不会解体;二是对拆分后的模型有集中控制的能力，保证零件分开后共用一套逻辑，作用物体上有良好的把控;三是对拆分后的每一个小零件实现精准控制，按照教学时的操作步骤即可控制完成小零件的拆卸与组装。
2.3 Unity3D虚拟现实设计
2.3.1 在LeapMotion的Unity3D环境搭建过程中的关键设置
在开发软件时，对LeapMotion识别的手的结果进行编译，触发网格，由于设计捏取这个动作的时候，触发网格的误差较大，所以，设计捏取动作时，不能牵扯捏取的手指对物体做误差触发;改进做法是，每当捏取的两个手指，发生捏取手势的时候，在捏取点生成一个半径固定（不能太大）球体触发网格，每当物体与球体发生触发，求出触发列表，把列表中每一个物体的触发点到球心的距离，求出最后把最距离最小的那个物体设为捏取物体。
在系统优化中反复对手模型与物体模型进行触感优化，在系统中可以实现精准抓取，操作时更容易接近真实环境，体验效果更符合VR虚拟现实技术的科技感和便捷感。[2，5]
系统优化方案新加入对手指关节处的优化，目的是更精准地抓取控制较小的零件，使用者体验时会更符合真实的物理效果与感受。
整体上单纯地通过手即可完成系统中大部分功能，即对手模型编写完整的触发程序，使得虚拟环境中效果依然较好;同时，还对模型与手模型之间的刚体碰撞做出进一步优化，使其抓取得更为自然。
2.4服务端与数据访问
基于Unity Network开发网络：
网络游戏因其冲破地域限制的特点和高互动性，颇受游戏玩家的青睐，网络游戏的网络数据搭建也是软件最值得参考的特点之一。使用Unity3D软件内的服务器开发软件系统时，目前拥有两种构建方案，分别是授权服务器和非授权服务器。这两种方案皆是基于Unity Network开发的服务器。
授权服务器和非授权服务器都依赖于服务器与客户端的数据传递。这两种构建方案都保证了客户端数据的隐私。非授权服务器并不影响每个客户端数据的输入与输出。客户端用来处理用户数据与服务器数据的交换逻辑，服务器将这些动态数据同步到系统中。
授权服务器可以接收到每个客户端的数据变化，然后根据情况执行系统的逻辑，最后反馈到各个客户端。通过云端服务器上传每个使用者的操作记录，对于学生的操作时长与操作步骤的正确率集中汇总并发送至服务器，目前联网系统正在开发与优化，未来将会实现更多功能。
3 系统运行场景与实例
3.1系统的训练场景设计
系统制作的意义在于可以让教师与学生更好地直观地了解物体的大体结构和内部细节以及拆分组合效果，使立体感较弱的学生也可以迅速对工程、机械类课程奠定深厚的基础，通过基础LM技术可以衍生出更多功能的应用并根据用户的反馈进行功能与技术的更新。通过LM完整的研究理念，实现增强现实（AR）技术，运用Unity3D软件，将手势识别后通过程序脚本在Unity 3D界面完成控制，实现人手对屏幕里的模型精准地控制，使用者也可佩戴VR眼镜，更身临其境的观察模型结构，大大提高对模型结构的了解程度以及学习认识的速度。 3.2实例
在虚拟装配环境中，操作者在抓取不同类型的机械零件时，系统通过对Leap Motion获取操作者手的空间位置以及实际各关节的弯曲角度，并映射到虚拟手模型的相应关节，从而达到实时判断手势动作的目的。[6]当虚拟手的拇指包围盒与某一零件发生碰撞时，程序根据装配序列规划来判断该零件是否为当前待装配零件。当碰撞发生时，机械类零件由原来的金属灰色变成高亮的颜色，系统同时给出文字进行提示。如被碰撞零件确为需要装配的零件，则进一步判断零件的类型和虚拟手势是否符合该类零件的抓取手势定义。符合则进一步判断是否为稳定抓取。判定为稳定抓取后，由虚拟手操作虚拟零件，实现一系列的装配工作，如图所示。
整个装配过程均在沉浸式虚拟环境中进行的，系统根据当前运行的状态相应的信息提示。用户在视觉导引和系统信息提示下，应用虚拟手完成减速器各零件的装配过程。
4 结束语
文中以基于Leap Motion手势识别的拆装训练系统为例，介绍了手势识别与虚拟现实技术在新工科教学过程中的应用。以Leap Motion设备作为数据捕捉处理器，加入虚拟现实的3D场景，形成3D游戏的临场体验。计算机技术与新工科的结合，提供了一个新的，高效的拆装训练方式，给予在新工科课程建设中提供了新的思路与方向，作为一种全新的训练方法，将在新工科的课程建设，提高学生的学习积极性，学习的高效率方面发挥重要的作用。
参考文献：
[1] 谢亨渊.以“形态教学”为基础——工业设计学科基础教学改革探索[J].科学大众（科学教育），2020（4）：130.
[2] 毛洋.VR技术在工业设计中的应用发展[J].设计.2018（23）：90-91.
[3] 刘友江.计算机辅助工业设计发展的状况和趋势研究[J].无线互联科技，2019，16（12）：114-115.
[4] 梁快，胡顺仁，郑大青，等.“新工科”背景下《电磁场与电磁波》教学新思考[J].电脑知识与技术：学术版， 2018， 14（36）：128-129.
[5] 熊巍，王清辉，李静蓉.面向虚拟装配的层次化交互手势技术[J].华南理工大学学报（自然科学版），2016，44（1）：78-84.
[6] 许晨旸，张瑞秋，刘林，等.集成几何约束与物性仿真技术的虚拟装配[J].图学学报，2015，36（3）：392-396.
[7] 邓逸辰，范秀敏，邱世广.基于装配约束动态创建的虚拟装配技术研究[J].组合机床与自动化加工技术，2014（7）：124-128.
[8] 绪玉花，李静蓉.面向虚拟装配的虚拟手交互技術研究[J].机械设计与制造，2014（5）：262-266.
【通联编辑：王力】