论文部分内容阅读
随着机器人技术在工业生产、生活服务及医疗健康等行业中的普及应用,机器人正逐步替代人类完成更为复杂的工作,并向以人为中心的环境扩展应用。可以预见在新一代智能制造(Smart Manufacturing,SM)变革中,更多的机器人将以模仿人类的行为、动作的形式来执行任务,从而适应新的应用环境。在此背景下,双臂机器人领域的研究热度逐渐提升。近年来,以深度学习为代表的人工智能算法在双臂协作任务中得到部署,进一步推动双臂协作走向智能化。鉴于深度学习在目标检测上的突出表现,本文以工业场景中工件检测分拣作为研究对象,在双机械臂协作实验平台上实现工件的实时检测与双机械臂对工件的协作搬运分拣,具体的研究内容如下:(1)为了实现在工业场景下对多目标、无规律工件的柔性抓取,提出了一种基于深度学习与图像处理融合的工件轮廓与夹取点检测方法,该方法首先通过深度学习定位工件图像中的工件位置边框,然后将原始图像基于所定位的工件边框增加偏置后进行裁剪,最终对裁剪图像进行图像处理得到工件边缘与夹取点;设计了分阶段深度可分离卷积(Depthwise Separable Convolutions,DSC)替换策略,采用差别学习率的方式再训练网络,从而达到简化YOLOv3网络结构并压缩参数规模的目的,最终构建为YOLO-DSC网络;创建了包含10类工件、10488张图像的工件数据集用于卷积神经网络(Convolutional Neural Network,CNN)的训练、验证与测试。实验数据表明,在交并比(Intersection over Union,Io U)设置为0.5时,YOLOv3、YOLO-DSC对工件测试集的平均精度均值(mean Average Precision,m AP)分别为98.60%与91.43%;在图像处理之后,基于2个模型检测的工件轮廓m AP分别为98.79%与93.95%,并使m AP随着Io U阈值的增大衰减更慢;相较于YOLOv3,YOLO-DSC仅以4.84%的m AP损失,就获得了53.47%的参数规模压缩、30.03%的网络推理时间缩短以及15.27%的工件检测方法检测时间缩短;对于成功检测召回的工件,基于2个模型检测的夹取点对10类工件的定位准确率分别为98.23%与97.85%。(2)为了避免网络过参数化而产生性能溢出,针对CNN中所使用的2种残差结构提出改进的卷积核裁剪策略。该策略通过增加权重超参数综合各残差模块最后一层卷积层的权重以评估卷积核裁剪顺序以及将CNN纵向分解为多个子结构的方式,分别对2种残差结构进行裁剪。在CIFAR数据集上使用Darknet-53(tiny)与Res Net-56网络对该策略进行了实验测试,结果表明网络参数规模得到压缩的同时,该策略能够有效地保留网络性能,并拓展CNN剪枝算法的应用范围。进一步将该裁剪算法推广至YOLOv3对工件数据集测试,对YOLOv3各层等比例裁剪30%、40%、50%卷积核形成3个模型,再训练后获得它们的m AP分别为99.38%、97.49%、90.92%,而参数量分别减少50.89%、63.83%、74.93%,推理时间分别缩短31.13%、41.22%、54.62%。(3)采用D-H参数法对实验所用5轴机械臂推导了单机械臂的运动学、逆运动学解析解,以及末端执行器处于直线与曲线运动时各关节角速度、角加速度约束方程;设定了双机械臂协作搬运工件的轨迹规划规则与基于方向包围盒(Oriented Bounding Box,OBB)算法的防撞规则,最后在基于MATLAB Robotics Toolbox建立的双臂协作仿真系统上验证了规则的可行性。(4)搭建了双机械臂协作实验平台,对其云服务层、传输层与设备层的构建流程进行了阐述;分析了视觉系统成像几何模型,并实现工业相机的参数标定;将基于深度学习与图像处理融合的工件轮廓与夹取点检测方法、双机械臂协作仿真系统部署于云服务器,通过传输层实现云服务层与设备层之间的数据交流,而设备层实现双机械臂对工件的协作搬运分拣,以及双机械臂协作码垛与装配模拟。