基于三维视觉的机器人规划技术

  三维视觉能够提供更立体、更精准、更丰富的感知信息,是机器感知世界的重要途径。将三维视觉技术与机器人技术相结合,形成手眼协调系统,能够有效提升机器人的智能化水平,促进机器人在智能制造等领域的推广应该用。

  研究所开发了基于三维视觉的机器人智能控制器,能够实现对象的智能识别、实时测量、抓取策略生成、机器人智能运动规划等功能,兼容主流三维相机与机器人控制器,能够实现机器人三维视觉控制系统的快速部署。

  1)端到端的机器人抓取系统

  面向物流分拣等领域对机器人抓取异形对象的中大需求,开提出了基于生成式卷积神经网络的机器人端到端抓取方法,通过训练,该方法能够仅利用三维相机拍摄的深度图像作为输入,即可以直接得到最佳的机器人抓取点、抓取位姿和手夹宽度,实现对不同种类、形状各异、未知物体的抓取,已在物流仓储等领域进行应用验证。

图1 复杂多样物体的机器人自主抓取系统

  2)机器人三维视觉引导混合码垛系统

  采用3D视觉+机器人,结合智能装箱算法,实现动态随机纸箱的尺寸测量、放置位姿识别、高容积率装箱策略生成、机器人无碰运动路径规划,实现动态随机纸箱、包裹的自动装笼,在保证装箱率的前提下,提高分拣中心的无人化、自动化水平,节省大量人力成本。

  技术指标:

  视觉识别处理时间:0.5s;

  机器人路径规划时间:0.2s;

  单件节拍:7秒;

  装笼容积率:55-72%。

  

图2 面向物流行业的机器人三维视觉引导智能混码系统

  3)复杂混叠物体的机器人无序抓取系统

  针对复杂混叠物体检测存在着精度低、效率低等问题,提出了基于物体三维特征点云的模板匹配方法,将空间位姿相似的模板进行聚类,并设计一个评估模板聚类与场景相似程度的评价函数,实现快速、稳定的复杂混叠物体识别与定位。

  技术指标:

  视觉识别时间:≤1s;

  机器人路径规划时间: ≤0.5s;

  抓放节拍:≤5s。

图 3 复杂混叠物体的识别与定位

  4)基于三维视觉的物体三维测量与重建

  提出一种复杂物体的在线三维测量、重建及模型配准的方法。该方法基于区域生长聚类的正态分布算法,实现测量视点初始位姿的准确估计,并通过将点云形状一致性信息转化为预先计算的协方差矩阵,提出基于位姿图优化框架的多视角点云全局配准方法。

图4 复杂物体的在线三维测量、重建及模型配准方法

附件下载: