编者案：对于锻炼机器人抓手的研讨并很多，大多皆是从计算机视觉的角度动身，锻炼机器人“看得清”、“抓得准”。本文一样如斯，不外与以往窥察彩色图片分歧，伯克利的研究者们借助“深度图象”这个“利器”，提出了一种加倍高效的方式，能让机器人胜利抓起此前并未睹过的物体。

左：3D立方体。左：对应深度图象，距相机越近颜色越深。

早正在AlexNet出生的两年前，微软便为X-Box推出了Kinect。跟着深度学习加速了超参数函数的机能，这类低成本的深度感知器层见叠出，也使得深度学习正在图象分类、语音辨认跟语言翻译中取得了惊人的后果。现在，深度学习正在端到真个电子游戏、机器人操控等问题中也显示出大有前景的势头。

正在机器人感知方面，近似于VGG或ResNet的卷积神经网络成为了主流取舍。正在一些机器人或计算机视觉的使命中，常会用到这些框架，附带有颠末与锻炼的权重，停止迁徙学习或对详细数据停止微调。可是正在某些使命中，只相识图象的颜色是很有限的。当您念锻炼机器人捉住一个目生物体时，更紧张的是让机器人相识周围环境的多少布局，而不单单是颜色跟材质。对方针物体停止节制时的物理进程，即经由过程力气节制一个或多个物体，在于方针的外形、摆放地位跟其他跟颜色有关的因素。例如，当您手中拿笔时，不消看便能转变手中笔的地位。因而，这里有一个问题：那正在彩色图像上也能建立吗？

与彩色图像绝对应的是深度图象，它是只有单个通道的灰度图象，可以丈量到相机的深度值，让咱们相识一幅图象中方针物体的除颜色之外的特点。咱们借可以用深度去“过滤”必然规模以外的面，那可以用来去除背景噪声。

深度感知简介

深度图象将物体概况到相机的距离停止编码，显现出了特别的视角。正在文章开首的案例图片里，左边的立方体3D结构图中有良多面皆处于离相机分歧的地位上。右侧的深度图象中，颜色越深的处所默示距离相机越近。

深度感知比来的结果

正在计算机视觉跟深度学习不断进步的同时，深度感知范畴也呈现了许多结果。

平常，深度感知会将两个分歧相机天生的RGB图象联合正在一路，然后应用天生的视差图获得物体正在情况中的深度值。

现阶段常用的深度传感器是布局光传感器，它可以用一种看不见的波长将始终物体的外形投射到某场景中，好比咱们熟知的Kinect。另一种深度感知的方式就是LIDAR，这类技巧此前常用于地形测绘，比来正在一些自动驾驶汽车上也呈现了它的身影。LIDAR比Kinect天生的深度映射质量更高，可是速率较慢、本钱昂扬，由于它须要扫描激光器。

总的来说，Kinect属于花费级RGB-D体系，可以经由过程硬件间接捕捉到RGB图象，和每一个像素的深度值，比此前的良多方式更快更自制。此刻，良多用于研讨或工业的机器人，例如AGV或人形帮助机器人，皆含有近似的内置深度感知相机。将来用于机器人的深度感知设备很能够会进一步进级。

相关研讨

针对机器人的深度感知，研讨职员将那一技巧用于及时导航、及时映射跟追踪和对室内环境的建模。因为深度感知能让机器人晓得它们距离障碍物有多远，便能使其停止定位，正在导航时制止碰撞。除此之外，深度图象借用于及时检测、鉴识、定位人的身体部位等研讨中。

那皆解释正在某些使命中，深度图象可以蕴涵良多除颜色以外的有用信息。接下来，咱们研讨了三种分歧使命

案例一：机器人抓取

让机器人抓取从未见过的物体是现阶段一个紧张的难题。虽然良多研究者利用RGB图象，但他们的体系须要让机器人锻炼好几个月的抓取举措。应用3D方针网格的要害有点就是，研讨职员可以经由过程衬着技巧正确天分解深度图象。

咱们的Dex-Net是AUTOLab正在停止的研讨名目，它包罗锻炼机器人抓取战略的算法、代码。和用于锻炼抓取的数据散。Dex-Net提出正在抓取形态下的域随机算法，目标是用简略的抓手抓取庞大方针物体。正在BAIR此前的博文中，咱们先容了含有670万个样本的数据散，咱们用它去锻炼抓取模子。

数据散跟深度图象

上图展现了Dex-Net的数据散天生进程。起首，咱们从多个起源中失掉大批方针物的网格模子，并停止强化。每一个模子皆会被机械手抓起来停止采样。有了网格模子跟被抓起后的图象，咱们计较出它的鲁棒性，并天生模拟深度图象。经由过程计较摆放地位、摩擦力、质量、外力跟蒙特卡罗积分法，计较出抓取胜利天概率，从而对鲁棒性停止估量。上图右侧，咱们展现了正采样的例子。

锻炼GQ-CNN

有了模拟数据集后，它们将用来锻炼一个抓取质量卷积神经网络，去猜测机器人抓取胜利的概率。布局如图所示，一张图象颠末处置惩罚后，调剂了角度跟抓取中间，同时对应的96×96的深度图象被当作输入，高度为z，用于猜测抓取的胜利概率。

下图咱们展现了Dex-Net用于正在某个容器内，对多个方针物体停止抓取的模拟深度图象：

下行：Dex-Net的模拟深度图象，白色默示抓取的地位

案例两：正在箱子中宰割物体

实例宰割就是断定图象中的像素属于哪个物体，同时也要将统一种别中的每一个物体离开。实例宰割正在机器人感知中很常用。例如，念让机器人从装满物体的纸箱中取舍方针物体，起首就要对图片停止宰割，定位到方针物体，再停止抓取。

先前的研讨评释，MaskR-CNN可以用于锻炼对RGB图象的方针宰割，可是这一锻炼须要大批颠末手动标识表记标帜的RGB图象数据散。除此之外，用于锻炼的图象必需是天然场景下包括有限的方针物体品种。以是，预锻炼MaskR-CNN收集能够不适用于堆栈这类混乱的场景。

数据散跟深度图象

上图是数据散的天生进程。跟Dex-Net近似，咱们对3D方针物体停止采样，然后经由过程模拟，将这些物体堆放正在一个盒子中。天生对应的深度图象，和用于锻炼的方针物体掩码跟尺度评价图象。

关于基于多少外形的宰割，咱们可以用模拟跟衬着技巧，自动网络大批用于锻炼的数据散跟颠末标识表记标帜的深度图象。咱们假定，这些深度图象能够含有充足的用于宰割的信息，由于各物体之间的像素鸿沟不连贯。终极咱们网络了5万张深度图象构成了数据散，并经由过程PyBullet模拟器将它们会聚到盒子里。应用这一数据散，咱们锻炼了另一个版本的MaskR-CNN，咱们称之为SDMaskR-CNN。

实际宰割成果

虽然不正在真实图象上锻炼，咱们提出的SDMaskR-CNN的显示跨越了点云宰割跟颠末改善的MaskR-CNN。如上图所示，咱们的模子可以精确停止宰割。更紧张的是，用于缔造手动标签数据散的方针物体并不是从SDMaskR-CNN的锻炼漫衍中取舍的，而是罕见的家用物品，咱们并不它们的3D模子。以是，SDMaskR-CNN可以猜测此前从未见过的物体掩码。

总的来说，咱们的宰割方式有三大优点：

深度信息正在离散方针或许靠山时，此中编码了良多有用信息；

分解深度图象可以快捷天生，用它们锻炼可以高效天转移到理想图象中；

用深度图象锻炼过的收集对此前未见过的物体泛化成果更好

数据散跟深度图象

为了手机锻炼数据，咱们利用的是红色的毯子，将四个角用白色标识表记标帜，如上图所示。反复几回将毯子随便仍正在床上，然后从机器人内置的RGB-D传感器中收罗RGB图象跟深度图象。

接下来，咱们锻炼一个深度卷积神经网络，只从深度图象中检测它的四个角。咱们愿望收集可以泛化到能检测出分歧毯子的四角。咱们的深度收集利用了YOLO中的与锻炼权重，之后增添了几个图层。结果表明，应用预锻炼权重是十分有后果的。

毯子检测成果

咱们将锻炼战略实行之后，模子显示出了优异的成果，逾越了无学习的基准战略，简直跟人类实现的后果相称。虽然咱们这里检测的尺度是毯子是不是最大水平天笼罩了床，不外那也解释，只有实现了精准的检测，才气实现高度笼罩。

结语

经由过程那三个名目的理论，咱们的结果表明深度图象正在停止物体抓取、图象宰割跟不规则物体极点检测三方面，包括了许多有用的线索。咱们认为，跟着深度相机质量的进步，深度图象对机器人的使用愈来愈紧张。有了深度图象，训练样本的分解加倍简略，靠山乐音也能更简单天过滤失落。