随着智能化车间和生产线的发展,冗余双臂机器人广泛应用于自动化装配、军事及医疗领域,其仿人性和高协调性都是单臂机器人无法比拟的优点。双臂机器人依据手眼视觉和软件控制系统之间的协调,可以完成工业生产中工艺步骤重复性高、需求较大的工件抓取和装配任务作业,但目前视觉伺服控制尚未发展成熟,在装配过程中仍借助外部设备辅助完成作业,在准确性和信息融合中存在一定误差。为了实现工件在复杂背景中的装配作业,本课题利用视觉传感器获取工件的特征,使用图像处理算法辅助完成整个装配过程,避免不同设备间信息融合时产生的误差。从本课题需要实现的功能来设计总体方案,分别分析硬件、软件系统及装配对象,使用ROS控制系统完成非螺纹孔轴零件的装配。使用D-H方法构建机械臂模型,通过计算各关节在当前时刻的空间位置与角度,得到在正运动学分析下机械臂末端相对于基坐标系的位姿。反之在对机械臂的逆运动学问题进行求解时,通过构建机械臂的雅克比矩阵和机械臂末端的微分运动,反向求解各关节的角度值,为了使结果更加精确,使用牛顿迭代方法进行反复实验,利用末端位姿来反推关节角度。以手眼相机为测量设备获取工件样本图像,使用单目视觉定位方法获取工件位置。通过图像处理算法对图像样本进行背景去除、轮廓提取、特征点检测等运算,结合最小外接矩形方法获取工件端面质心坐标,控制左右臂各抓取轴孔工件完成抓取实验。本文基于手眼视觉的目标抓取定位方法考虑相机光轴与工件轴线偏移较小和偏移较大两种情况,偏移较小时可直接使用最小外接矩形获取;偏移较大时考虑工件高度对成像模型的影响,再结合几何关系获取最终结果;该方法适用多种位置下的工件质心定位。视觉伺服装配方法研究。本文使用机械臂水平装配形式,将工件看作整体,以机械臂末端位姿近似模拟工件的初始姿态。使用椭圆拟合方法,对工件端面轮廓点集进行提取,获取最大封闭区域作为研究对象,并采集特征点信息,获得椭圆轮廓上点构成的长短轴参数,通过与轮廓最小外接圆的对比结果来控制腕关节角度调整偏差,实现两工件轴线平行。采用PNP位姿算法求解采样点在末端坐标系的位姿,在两个工件达到同轴状态后完成目标姿态的校正,并实现了0.15mm精度的装配实验。在优化机械臂路径时将抓取状态作为初始状态,同轴作为终止状态,利用直线插补实现路径最短规划。将最短路径插值划分为三段,对三段分别进行多项式插值求解,对各关节进行10组试验后,选择用时最长组构成优化对象,并使用粒子群算法优化三短路径的使用时间,取三段中用时最久的三短时间求和,实验得出最终装配时间较之前减少了50%。