论文部分内容阅读
【摘要】 虚拟现实（Virtual Reality）是一种利用计算机硬件和软件集成的技术，对计算机图形学、人机交互、多媒体、网络通信等多种技术进行综合应用，从而为用户提供虚拟三维世界体验的一种技术。传统机械臂远程控制普遍采用的是手柄和键盘控制方式，而且今后方式普遍是摄像头图像显示在监控器上，和现场操作差别很大。协同控制机械臂将人的主观能动性与机械臂精确作业结合起来，可以实现在人类不能到达的特定环境下，利用远端机器人进行作业，同时通过VR系统模拟真实环境为用户提供身临其境的体验。
本文主要以Unity3d引擎为支撑，头戴式显示设备HTC VIVE作为虚拟现实硬件设备，通过Steam VR设计与实现一个具备通用交互行为功能的VR交互场景，利用Socket通信将VR系统与机械臂进行连接，从而实现与机械臂的交互协同控制。
【关键词】 虚拟现实 人机交互 机械臂 协同控制
Abstract：Virtual Reality is a technology that uses computer hardware and software integration to comprehensively apply multiple technologies such as computer graphics， human-computer interaction， multimedia， and network communications， so as to provide users with a virtual three-dimensional world experience. The traditional remote control of the mechanical arm generally uses the handle and keyboard control method， and in the future， the camera image is generally displayed on the monitor， which is very different from the on-site operation. The cooperative control mechanical arm combines the subjective activity of human beings with the precise operation of the mechanical arm， which can realize the use of remote robots to perform operations in a specific environment where human beings cannot reach. At the same time， the VR system simulates the real environment to provide users with immersive experience.
引言：
虛拟现实技术的发展，为人机交互和远程控制技术注入了新的技术元素，提供了一种面向虚拟环境的三维交互方式。基于传统技术的人机交互和远程控制已经不能满足当下人们的需求。人们需要构建一个具有逼真可视化效果，能够与虚拟场景进行自然交互，在虚拟现实环境中对设备进行远程操控的系统。基于虚拟现实交互的机械臂协同控制将虚拟现实技术与机器人系统有机结合起来，利用虚拟现实技术的良好交互性与沉浸感，协同机械臂高精度、高速点、操作灵活等特性，从而建立一种更符合人类日常习惯的远程控制方式，更能充分发挥人类固有的技能。
一、系统控制平台架构设计
本文采用ZED深度相机，用于捕获实时画面，并通过Unity3d引擎将其加载到虚拟环境中。将PC端与VR设备进行连接，从而将捕获的实时画面显示到VR头盔显示器中。
为了使深度相机与头盔显示器姿态一致，本文在ZED深度相机上搭载了一个二自由度舵机云台。以蓝牙串口的方式，将头盔显示器中陀螺仪的位置姿态传输到舵机云台控制板中，从而控制舵机与头盔显示器的运动姿态一致。
通过VR设备的定位技术，捕获出手部（手柄）的运动轨迹，并将其映射为虚拟空间中虚拟目标点的运动。然后利用机械臂逆向运动学使虚拟机械臂跟随虚拟目标点运动，将各关节转动角度封装为控制命令，通过Socket通信将其传输给现实机械臂控制柜。机械臂端解析出控制指令，用其控制机械臂运动，从而达到精准控制的目的。
二、基于HTC VIVE的显示系统搭建
本文采用HTC VIVE作为虚拟现实体验平台，如图2所示，其硬件设备包括一个头盔显示器、两个操纵手柄、两个激光传感定位器。
定位器定义一个虚拟空间，通过发射红外激光束，照射到头盔显示器和操纵手柄上的传感器，根据光束的角度计算出自身在空间中的位置，并通过头盔显示器反馈给操作者。手柄上的扳机、按键则提供了与虚拟场景进行人机交互的接口。
本文使用Unity3d引擎作为HTC VIVE的开发平台，Unity3d中的Steam VR库是连接HTC VIVE与Unity3d的桥梁。通过Steam VR设计与实现一个具备通用交互行为功能的 VR交互场景，从而实现Unity3d与HTC VIVE硬件的连接。
Steam VR安装设置完成后，需要为Unity3d导入Steam VR Plugin插件。
Steam VR Plugin是一个虚拟现实开发工具包，所有的开发都是面向这个接口进行的，以此作为控制脚本通过手柄和头盔显示器控制场景物体。 三、机械臂运动学分析
机械臂逆运动学求解相对困难，其原理为根据给定的机械臂末端位置和姿态，求出与该位姿对应的六个关节轴转过的角度，但有时候无法求得解析解。
为了使算法程序能够具有健壮性和解的高精度，本文采用迭代数值求解法来进行求解。逆运动学求解大部分都是对非线性方程求解，非线性工程求解有多种迭代方法，本文在综合考虑后决定采用牛顿-拉普森算法和奇异值分解算法进行求解。
四、机械臂与PC间Socket通信
套接字（Socket）是支持TCP/IP协议的网络通信的基本操作单元，通过3个参数（目的IP地址、使用的传输层协议（TCP或UDP）及使用的端口号）区分来自不同应用程序进程或网络连接的通信，实现数据传输的并发服务。
本文设定机械臂连接服务端，PC连接客户端，采用Socket 套接字通信，将虚拟机械臂各个关节的角度信息封装到数据包中传送到服务端，服务端根据约定协议解析客户端的数据，控制机械臂运动，从而保证现实机械臂与虚拟场景中的机械臂位姿一致，实现对机械臂的控制。
五、结束语
本文的创新点在于提出了一种新型的机械臂远程操作控制方式，在传统机械臂控制方式的基础上建立虚拟现实交互式仿真平台，以其操作简便、沉浸感强、更符合人类习惯的优越性，实现了在虚拟现实环境中可交互的机械臂协同控制，从而给操作者带来更直观、身临其境的体验效果。
然而，本文只是初步建立了虚拟现实环境下的人机交互和设备远程控制系统，所搭建的协同控制只有基于操作者的视觉反馈，机械臂运动过程中的力觉、触觉等信息无法反馈给操作者，这也是该领域目前存在的局限性。
在后续开发中，我们将系统投入到具体的应用环境中进行实际测试，根据实际需求建立更加精密的参照坐标系和模型，设立更准确的运动链，从而提高虚拟现实中人机交互的机械臂协同控制精度。
参 考 文 献
[1]徐雅微，韩畅，赵子航，姚圣.基于VIVE的虚拟现实交互式机械臂仿真运动平台搭建[J].现代计算机，2019（14）：68-72.
[2]蔡路政，李庆党，徐龙坤，张东阳.基于虚拟现实技术的机械臂人机交互系统[J].机械制造，2019，57（03）：1-3+15.
[3]刘根.虚拟现实环境下人机交互与设备远程操控关键技术研究与应用[D].郑州轻工业大学，2020.
[4]Investigations on collaborative remote control of virtual robotic manipulators by using a Kinect v2 sensor. Banda M，Ciupe V，Moldovan C，et al. ITM Web of Conferences . 2019
[5]曹丙花，劉梦溪，陈月荣，赵亚威，李冰清.基于陀螺仪控制的无线智能小车设计[J].电气电子教学学报，2018，40（03）：72-76.
[6]罗迎，曹金玲.基于虚拟现实的遥机器人控制系统仿真研究[J].新技术新工艺，2010（07）：44-46.
[7]贺文人，刘霞，任磊.工业机器人遥操作系统的空间映射与控制策略[J].计算机应用研究. 2020（11）
[8]朱齐丹，王欣璐.六自由度机械臂逆运动学算法[J].机器人技术与应用，2014（02）：12-18.
[9]刘正雄，司继康，陈刚，黄攀峰.面向遥操作手眼协调的虚拟仿真交互控制方法[J].系统工程与电子技术，2020，42（05）：1146-1151.
[10]刘谋玉，汪地，姜海龙.基于Unity3D的机器人仿真和遥操作系统研究[J].工业控制计算机. 2016（09）
[11]林木，张永春，单丽君.基于强化学习和虚拟现实技术的机械仿真教学系统研究[J].中国设备工程，2020（22）：228-229.
[12]陈琳，戴骏，冯俊杰，黄炳琼，付兵，潘海鸿.基于Open GL的多机器人仿真环境[J].组合机床与自动化加工技术，2014（09）：10-13.
[13]赵海英，陈洪，穆晓峰.基于定位与姿态感知的虚实漫游方法应用研究[J].图学学报，2016，37（01）：110-114.
本文主要以Unity3d引擎为支撑，头戴式显示设备HTC VIVE作为虚拟现实硬件设备，通过Steam VR设计与实现一个具备通用交互行为功能的VR交互场景，利用Socket通信将VR系统与机械臂进行连接，从而实现与机械臂的交互协同控制。
【关键词】 虚拟现实 人机交互 机械臂 协同控制
Abstract：Virtual Reality is a technology that uses computer hardware and software integration to comprehensively apply multiple technologies such as computer graphics， human-computer interaction， multimedia， and network communications， so as to provide users with a virtual three-dimensional world experience. The traditional remote control of the mechanical arm generally uses the handle and keyboard control method， and in the future， the camera image is generally displayed on the monitor， which is very different from the on-site operation. The cooperative control mechanical arm combines the subjective activity of human beings with the precise operation of the mechanical arm， which can realize the use of remote robots to perform operations in a specific environment where human beings cannot reach. At the same time， the VR system simulates the real environment to provide users with immersive experience.
引言：
虛拟现实技术的发展，为人机交互和远程控制技术注入了新的技术元素，提供了一种面向虚拟环境的三维交互方式。基于传统技术的人机交互和远程控制已经不能满足当下人们的需求。人们需要构建一个具有逼真可视化效果，能够与虚拟场景进行自然交互，在虚拟现实环境中对设备进行远程操控的系统。基于虚拟现实交互的机械臂协同控制将虚拟现实技术与机器人系统有机结合起来，利用虚拟现实技术的良好交互性与沉浸感，协同机械臂高精度、高速点、操作灵活等特性，从而建立一种更符合人类日常习惯的远程控制方式，更能充分发挥人类固有的技能。
一、系统控制平台架构设计
本文采用ZED深度相机，用于捕获实时画面，并通过Unity3d引擎将其加载到虚拟环境中。将PC端与VR设备进行连接，从而将捕获的实时画面显示到VR头盔显示器中。
为了使深度相机与头盔显示器姿态一致，本文在ZED深度相机上搭载了一个二自由度舵机云台。以蓝牙串口的方式，将头盔显示器中陀螺仪的位置姿态传输到舵机云台控制板中，从而控制舵机与头盔显示器的运动姿态一致。
通过VR设备的定位技术，捕获出手部（手柄）的运动轨迹，并将其映射为虚拟空间中虚拟目标点的运动。然后利用机械臂逆向运动学使虚拟机械臂跟随虚拟目标点运动，将各关节转动角度封装为控制命令，通过Socket通信将其传输给现实机械臂控制柜。机械臂端解析出控制指令，用其控制机械臂运动，从而达到精准控制的目的。
二、基于HTC VIVE的显示系统搭建
本文采用HTC VIVE作为虚拟现实体验平台，如图2所示，其硬件设备包括一个头盔显示器、两个操纵手柄、两个激光传感定位器。
定位器定义一个虚拟空间，通过发射红外激光束，照射到头盔显示器和操纵手柄上的传感器，根据光束的角度计算出自身在空间中的位置，并通过头盔显示器反馈给操作者。手柄上的扳机、按键则提供了与虚拟场景进行人机交互的接口。
本文使用Unity3d引擎作为HTC VIVE的开发平台，Unity3d中的Steam VR库是连接HTC VIVE与Unity3d的桥梁。通过Steam VR设计与实现一个具备通用交互行为功能的 VR交互场景，从而实现Unity3d与HTC VIVE硬件的连接。
Steam VR安装设置完成后，需要为Unity3d导入Steam VR Plugin插件。
Steam VR Plugin是一个虚拟现实开发工具包，所有的开发都是面向这个接口进行的，以此作为控制脚本通过手柄和头盔显示器控制场景物体。 三、机械臂运动学分析
机械臂逆运动学求解相对困难，其原理为根据给定的机械臂末端位置和姿态，求出与该位姿对应的六个关节轴转过的角度，但有时候无法求得解析解。
为了使算法程序能够具有健壮性和解的高精度，本文采用迭代数值求解法来进行求解。逆运动学求解大部分都是对非线性方程求解，非线性工程求解有多种迭代方法，本文在综合考虑后决定采用牛顿-拉普森算法和奇异值分解算法进行求解。
四、机械臂与PC间Socket通信
套接字（Socket）是支持TCP/IP协议的网络通信的基本操作单元，通过3个参数（目的IP地址、使用的传输层协议（TCP或UDP）及使用的端口号）区分来自不同应用程序进程或网络连接的通信，实现数据传输的并发服务。
本文设定机械臂连接服务端，PC连接客户端，采用Socket 套接字通信，将虚拟机械臂各个关节的角度信息封装到数据包中传送到服务端，服务端根据约定协议解析客户端的数据，控制机械臂运动，从而保证现实机械臂与虚拟场景中的机械臂位姿一致，实现对机械臂的控制。
五、结束语
本文的创新点在于提出了一种新型的机械臂远程操作控制方式，在传统机械臂控制方式的基础上建立虚拟现实交互式仿真平台，以其操作简便、沉浸感强、更符合人类习惯的优越性，实现了在虚拟现实环境中可交互的机械臂协同控制，从而给操作者带来更直观、身临其境的体验效果。
然而，本文只是初步建立了虚拟现实环境下的人机交互和设备远程控制系统，所搭建的协同控制只有基于操作者的视觉反馈，机械臂运动过程中的力觉、触觉等信息无法反馈给操作者，这也是该领域目前存在的局限性。
在后续开发中，我们将系统投入到具体的应用环境中进行实际测试，根据实际需求建立更加精密的参照坐标系和模型，设立更准确的运动链，从而提高虚拟现实中人机交互的机械臂协同控制精度。
参 考 文 献
[1]徐雅微，韩畅，赵子航，姚圣.基于VIVE的虚拟现实交互式机械臂仿真运动平台搭建[J].现代计算机，2019（14）：68-72.
[2]蔡路政，李庆党，徐龙坤，张东阳.基于虚拟现实技术的机械臂人机交互系统[J].机械制造，2019，57（03）：1-3+15.
[3]刘根.虚拟现实环境下人机交互与设备远程操控关键技术研究与应用[D].郑州轻工业大学，2020.
[4]Investigations on collaborative remote control of virtual robotic manipulators by using a Kinect v2 sensor. Banda M，Ciupe V，Moldovan C，et al. ITM Web of Conferences . 2019
[5]曹丙花，劉梦溪，陈月荣，赵亚威，李冰清.基于陀螺仪控制的无线智能小车设计[J].电气电子教学学报，2018，40（03）：72-76.
[6]罗迎，曹金玲.基于虚拟现实的遥机器人控制系统仿真研究[J].新技术新工艺，2010（07）：44-46.
[7]贺文人，刘霞，任磊.工业机器人遥操作系统的空间映射与控制策略[J].计算机应用研究. 2020（11）
[8]朱齐丹，王欣璐.六自由度机械臂逆运动学算法[J].机器人技术与应用，2014（02）：12-18.
[9]刘正雄，司继康，陈刚，黄攀峰.面向遥操作手眼协调的虚拟仿真交互控制方法[J].系统工程与电子技术，2020，42（05）：1146-1151.
[10]刘谋玉，汪地，姜海龙.基于Unity3D的机器人仿真和遥操作系统研究[J].工业控制计算机. 2016（09）
[11]林木，张永春，单丽君.基于强化学习和虚拟现实技术的机械仿真教学系统研究[J].中国设备工程，2020（22）：228-229.
[12]陈琳，戴骏，冯俊杰，黄炳琼，付兵，潘海鸿.基于Open GL的多机器人仿真环境[J].组合机床与自动化加工技术，2014（09）：10-13.
[13]赵海英，陈洪，穆晓峰.基于定位与姿态感知的虚实漫游方法应用研究[J].图学学报，2016，37（01）：110-114.