当前位置:首页 > 新闻 > 正文

YYD 功夫手:下一代机器人的开放式智能感知操控设备

发布时间: 2018-06-25 17:29   作者: 朱 韬   来源: 人工智能杂志

  机器人很长时间以来在众人心目中是一个力大灵活的多关节机械手臂。而机械手臂在汽车工业的发展中表现出来的高效生产力,给广大消费者起了极大的科普教育作用,长久以来也激发了人们对先进机械手在未来生活中科幻般的想象和创造空间。从市场培育的角度看,极高精度多关节机械手的高成本导致其难以从工业应用直接转移到家庭服务上,而是要先进入传统日常社会服务领域(比如服务业前台、展厅产品介绍、康复养老机构等),并希望成功地帮助提高这些服务业上的效率。待其所发挥的作用得到认可且成本得到控制后,机器人进入家庭的第二大障碍,即消费者的教育成本和机器人的制造成本就有望大幅降低。

  多关节机械手是一种自动执行任务的机器装置。一个简单的机械手常常由多个马达牵引着一个(起抓取物品作用的)夹子或类似手指的机电一体化结构组成。在工业界,它常常用来按部就班地执行重复性高的任务以提高生产效率。机械手的操作对象多是些已知的物品,因而较适合预先的编程处理。然而,在日常社会服务领域,机器人的工作环境也是人的活动场所,其手部所要操作的物品的物理特征不能全部依靠预先设定。可以理解的是,人们指望机器人能像人的手那样可以解决实际问题并且性价比高。

  勇艺达定义并开发了一款能对日常生活里的物品材质进行分类识别的增强型多关节机械手,它能够在机器人单目摄像头的配合下模拟人手抓取物品的过程。这款产品简称为YYD功夫手。希望在服务类机器人上配备YYD功夫手后,机器人将至少获得下列两个好处:

  (1)机器人将更加清晰明确地与其周围的人进行交流。比如,当有人对机器人说 “帮我把杯里的牛奶微波热一下”的时候,机器人一定要检查是玻璃杯还是铁的,然后决定下一步的动作。也就是说,材质的识别过程不受物品的外部几何特征的影响,且不限于单一材质。比如,罐子里是否装有固体或液体,钱包里有没有硬币……这些情况也必须考虑进去。

  (2)机器人通过模仿人尝试抓物体的过程,将更加自然地对周边环境中的物品进行操作。比如,当碰到复杂情况时,YYD功夫手在机器人摄像头的辅助下实现连续伺服,就像人的手那样不断调整抓物品的样子,然后确认物品的材质并帮助决定手部的下一个动作。

  下面我们将先介绍YYD功夫手对日常生活环境里物品的材质进行分类识别的原理,功夫手抓取物品的方法,以及如何利用功夫手实现分类识别的自动化,包括如何自动收集材质分类器所需的训练数据集。

  一、物品材质的触觉识别法

  物品材质的实时识别采取基于深度学习技术的多模态触觉传感器信息融合,目前含三种模态——压力传感、主动温度和震动传感。其所用的融合算法是基于触觉信号特征的对抗网络(GANs),一种比经典决策向量机(SVM)的精度高得多的神经网络分类器。GANs的计算量相对大得多,但实验结果证明,对抗网络的性能随着训练数据集的增加而几乎呈线性增加,而SVM随着训练数据集的增加而趋于饱和。当数据量达到一定程度后,SVM将不会继续提高精度,但GANs 的精度可能会继续上升。在行业内,勇艺达在收集大量数据训练神经网络等AI工程方面具有优势。另外,考虑到高性价比,采用基于触觉特征的对抗网络GANs是一个合理的选择。

  YYD功夫手的手指上布置有两个压力传感器,一个主动热温传感器和一个接触震动传感器。当然,也可以根据实际使用需求定制化安排传感器的个数或种类。这三种模态时间序列的测量值作为GANs网络的输入,如图1(a)所示。目前我们选择了六种常见的物品材质用于训练神经网络,分别是:金属、塑料、木质、玻璃、瓷质和混纺。相应地,训练和实验用的物品包括杯子、碗、筷子、擦布、金属锅、可乐罐等。在功夫手抓取实物的基本实验配置下,我们收集了三万次抓取任务的时间序列测量值,每种材质有五千个接触过程的时间序列值。在不依赖于视觉辅助的情况下,识别材质的精度可达95%。在此基础上,我们还采用基于深度学习技术的视觉辅助物品抓取系统来进一步提高精度,并利用这一系统实现触觉识别过程的全自动化。

  二、基于学习的物品抓取过程

  我们采用了目前领先的深度增强学习法,通过对多关节功夫手抓取过程的控制(调整马达命令字或位移命令)来实现对物品的成功抓取。该方法由两部分构成。第一部分,用单目摄像机先大量地观测功夫手(夹子的手指)与物品之间的相对空间位置关系,在此基础上训练出一个卷积神经网络(CNN)以预测功夫手成功抓取物品的概率,如图1(b)所示。这部分可看成是一个预测网络,其输入是视觉图像和位移命令,输出则是一个预测的概率值,也就是计算出当功夫手在执行马达命令后能够成功抓取物品的概率。而第二部分是一种针对抓取效能进行优化的伺服机制,也就是利用上述网络对功夫手实时地实施高效连续伺服。即使在此连续过程中出现了外部干扰或者物品出现滑动,比如,当某人有意或无意地碰了一下物品并移动了它的位置时,深度神经网络仍能自适应地选择优化的马达命令,从而让功夫手摆脱干扰并朝向适当的位置挪动。也就是说,它能通过推理自我纠正上一步的错误直到完成本次抓取任务。这两部分合起来可看做是一种深度增强学习的具体形式。

  另外,通过利用第二部分所述的伺服机制,还可以辅助收集前述触觉识别网络GANs所需的大量训练数据。目前,多台YYD功夫手(安装在普通的带单目摄像机的机器人主机上)在数月内不停地试图抓取日常生活里所用的七种物品,并自动记录抓取过程的视频和对应的三种传感器时间序列数据。这些数据收集起来作为触觉识别对抗网络的输入,可不断地提高产品可靠性和通用性。随着时间的推移,这些巨量数据也将成为勇艺达在技术上的优势之一。

以上内容精选于《人工智能》杂志第四期

  本文作者

  朱 韬

  深圳勇艺达机器人公司VP、博士,现负责该公司研究院的工作。在2018年初加入勇艺达之前,任共进股份的人工智能首席科学家和彩色黑光摄像机总师;也曾任Ximmerse 的CTO和深卷科技的CEO,从事人工智能和光机电一体化应用产品的研发生产及相关管理工作。在2014年之前,曾在海外公司从事计算机视觉和医学图像分析技术工作十余年,发表学术论文二十余篇,为IEEE PAMI、CMIG、MICCAI、BMVC、EMBC等学术期刊和国际会议做过评审。在1993年和1994年分别荣获中船重工科技进步二等奖和中国舰船研究院科技进步一等奖。

  欲阅读完整文章,可通过以下方式购买《人工智能》杂志!

  订阅2018年《人工智能》杂志6期共计360元

  银行转账:北京赛迪出版传媒有限公司

  开户行及账号:北京银行北洼路支行20000030565000007701154

  银行转账,请备注:人工智能

  接收详细信息请发到:aiview@ccidmedia.com;或是添加客服微信:13601092749

收藏