正在工业4.0期间，国度智能制造高速开展，传统的编程去履行某一举措的机器人曾经难以知足当今的自动化需要。正在良多使用场景下，须要为工业机器人装置一双眼睛，即机器人视觉成像感知体系，使机器人具有辨认、剖析、处置惩罚等更高等的功用，可以精确对方针场景的形态停止断定与剖析，做到灵巧天自行解决产生的问题。

机械视觉体系构成

从视觉软件进入机械视觉行业，有需要全局认识一下机械视觉体系构成。

典范的机械视觉体系可以分为：图象收罗部门、图像处理部门跟运动节制部门。基于PC的视觉体系详细由如图1所示的多少部门构成：

①工业相机与工业镜头——这部分属于成像器件，平常的视觉体系皆是由一套或许多套如许的成像体系构成，若是有多路相机，能够由图象卡切换去获得图象数据，也能够由同步控制同时获得多相机通道的数据。依据使用的须要相机能够是输出尺度的单色视频、复合旌旗灯号、RGB旌旗灯号，也能够黑白尺度的逐行扫描旌旗灯号、线扫描旌旗灯号、高分辨率旌旗灯号等。

②光源——作为帮助成像器件，对成像质量的优劣常常能起到至关重要的作用，各类外形的LED灯、高频荧光灯、光纤卤素灯等皆简单失掉。

③传感器——平常以光纤开关、濒临开关等的情势呈现，用以断定被测工具的地位跟形态，见告图象传感器停止精确的收罗。

④图象采集卡——平常以拔出卡的情势装置正在PC中，图象采集卡的次要事情是把相机输出的图象运送给电脑主机。它将来自相机的模拟或数字信号转换成必然格局的图象数据流，同时它可以节制相机的一些参数，好比触发旌旗灯号，暴光/积分工夫，快门速度等。图象采集卡平常有分歧的硬件布局以针对分歧类型的相机，同时也有分歧的总线情势，好比PCI、PCI64、CompactPCI，PC104，ISA等。

⑤PC平台——电脑是一个PC式视觉体系的焦点，正在这里实现图象数据的处置惩罚跟绝大部分的节制逻辑，关于检测类型的使用，平常皆须要较高频率的CPU，如许可以削减处置惩罚的工夫。同时，为了削减工业现场电磁、振动、尘埃、温度等的滋扰，必需取舍工业级的电脑。

⑥视觉处理软件——机械视觉软件用来实现输入的图象数据的处置惩罚，然后经由过程必然的运算得出成果，这个输出的成果能够是PASS/FAIL旌旗灯号、坐标地位、字符串等。罕见的机械视觉软件以C/C++图象库，ActiveX控件，图情势编程情况等情势呈现，可以是公用功用的（好比仅仅用于LCD检测，BGA检测，模版瞄准等），也可以是通用目标的（包罗定位、丈量、条码/字符识别、黑点检测等）。

一个完全的机械视觉体系的次要事情进程以下：

1、工件定位检测器探测到物体曾经运动至濒临摄像体系的视线中间，向图象收罗部门发送触发脉冲。

2、图象收罗部门依照事先设定的顺序跟延时，离别向摄像机跟照明体系收回启动脉冲。

3、摄像机终止现阶段的扫描，从头起头新的一帧扫描，或许摄像机正在启动脉冲来到之前处于守候形态，启动脉冲到来后启动一帧扫描。

5、另一个启动脉冲翻开灯光照明，灯光的开启工夫该当与摄像机的暴光工夫婚配。

7、图象收罗部门吸收模拟视频信号经由过程A/D将其数字化，或许是间接吸收摄像机数字化后的数字视频数据。

8、图象收罗部门将数字图像寄存正在处理器或计算机的内存中。

9、处理器对图象停止处置惩罚、剖析、辨认，取得丈量成果或逻辑节制值。

10、处理结果节制流水线的举措、停止定位、改正运动的偏差等。

机器人视觉成像的布局情势

机器人视觉体系的次要功用是模拟人眼视觉成像与人脑智能断定跟决议计划功用，采取图象传感技巧获得方针工具的信息，经由过程对图象信息提取、处置惩罚并明白，终极用于机器人系统对方针实行丈量、检测、辨认与定位等使命，或用于机器人自身的伺服节制。

正在工业应用领域，最存在代表性的机器人视觉体系就是机器人手眼体系。依据成像单位装置方法分歧，机器人手眼体系分为两大类：流动成像眼看脚体系与随动成像眼在手体系（Eye-in-Hand，orHand-eye），以下图2所示。

图2两种机器人手眼体系的布局情势

眼看脚机器人体系

有些使用场所，为了更好天施展机器人手眼体系的机能，充分利用流动成像眼看脚体系全局视场跟随动成像眼在手体系部分视场高分辨率跟高精度的机能，可采取二者混淆协同形式，如用流动成像眼看脚体系担任机器人的定位，利用随动成像眼在手体系担任机器人的定向；或许应用流动成像眼看脚体系估量机器人绝对方针的方位，应用随动成像眼在手体系担任方针姿态的高精度估量等，如图3所示。

图3机器人协同视觉体系原理图

机器人视觉三维成像方式

3D视觉成像可分为光学跟非光学成像方式。现阶段使用最多的仍是光学方式，其包罗：航行工夫法、激光扫描法、激光投影成像、平面视觉成像等。

航行工夫3D成像

航行工夫相机每一个像素利用光航行的时间差去获得物体的深度。现阶段曾经有航行工夫面阵相机商业化产物，如MesaImagingAGSR-4000，PMDTechnologiesCamCube3.0，微软KinectV2等。

TOF成像可用于大视野、远距离、低精度、低成本的3D图象收罗，其特色是：检测速率快、视线规模较大、事情距离远、价格便宜，但精度低，易受环境光的滋扰。例如存在靠得住的深度精度，每一个像素对应一个3D数据。

扫描3D成像

扫描3D成像方式可分为扫描测距、自动三角法、色散共焦法。扫描测距是应用一条准直光束经由过程1D测距扫描全部方针概况实现3D丈量的。自动三角法是基于三角测量原理，应用准直光束、一条或多条立体光束扫描方针概况实现3D成像，如图4所示。色散共焦经由过程剖析反射光束的光谱，取得对应光谱光的群集地位，如图5所示。

线布局光扫描三维点云天生示意图

色散共焦扫描三维成像表示

扫描3D成像的最大优点是丈量精度高。此中色散共焦法另有别的方式难以相比的优点，如非常适合丈量通明物体、高反与润滑概况的物体。但缺陷是速度慢、服从低；用于机器手臂末尾时，可实现高精度3D丈量，但没有得当机器手臂及时3D引诱与定位，是以使用场所有限。此外自动三角扫描正在丈量庞大布局面形时简单发生遮挡，须要经由过程公道计划末尾门路与姿态去办理。

布局光投影3D成像

布局光投影三维成像现阶段是机器人3D视觉感知的次要方法。布局光成像体系是由若干个投影仪跟相机构成，常用的布局情势有：单投影仪-单相机、单投影仪-单相机、单投影仪-多相机、单相机-单投影仪跟单相机-多投影仪等。布局光投影三维成像的根本事情原理是：投影仪向方针物体投射特定的布局光照明图案，由相机摄取被方针调制后的图象，再经由过程图像处理跟视觉模子供出方针物体的三维信息。

依据布局光投影次数分别，布局光投影三维成像可以分红单次投影3D跟屡次投影3D方式。单次投影3D次要采取空间复用编码跟频次复用编码情势实现。因为单次投影暴光跟成像工夫短，抗振动机能好，得当运动物体的3D成像，如机器人及时运动引诱，手眼机器人对生产线上接连运动产物停止抓取等操纵。可是深度垂直标的目的上的空间分辨率遭到方针视场、镜头倍率跟相机像素等因素的影响，年夜视场环境下没有简单晋升。

屡次投影3D存在较下空间分辨率，能无效天办理概况斜率阶跃变更跟浮泛等问题。不足之处在于：

1）关于接连相移投影方式，3D重构的精度简单遭到投影仪、相机的非线性跟情况变更的影响；

2）抗振动机能好，没有适合丈量接连运动的物体；

3）正在Eye-in-Hand视觉扶引体系中，机器臂不容易正在接连运动时停止3D成像跟引诱；

4）实时性好，不外跟着投影仪投射频次跟CCD/CMOS图象传感器收罗速率的进步，屡次投影方式及时3D成像的机能也正在慢慢改善。

关于粗拙概况，布局光可以间接投射到物体概况停止视觉成像；但关于年夜反射率润滑概况跟镜面物体3D成像，布局光投影不克不及间接投射到被成像概况，须要借助镜面偏折法。

偏折法关于庞大面型的丈量，平常须要借助屡次投影方式，是以存在屡次投影方式不异的缺陷。此外偏折法对曲率变更年夜的概况丈量有必然的难度，由于条纹偏折后反射角的变化率是被测概况曲率变化率的2倍，是以对被测物体概况的曲率变更比力敏感，很简单发生遮挡难题。

平面视觉3D成像

平面视觉字面意义是用一只眼睛或两只眼睛感知三维布局，普通环境下是指从分歧的视点获得两幅或多幅图象重构方针物体3D布局或深度信息，如图6所示。

平面视觉三维成像示意图

平面视觉可分为主动跟自动两种情势。主动视觉成像只依附相机吸收到的由方针场景发生的光辐射信息，该辐射信息经由过程2D图象像素灰度值停止器度。主动视觉常用于特定条件下的3D成像场所，如室内、方针场景光辐射静态规模不大跟无遮挡；场景概况非润滑，且纹理明晰，简单经由过程立体匹配探求婚配面；或许像大多数工业零部件，多少划定规矩较着，控制点比力简单肯定等。

自动平面视觉是利用光调制映照方针场景，对方针场景概况的面停止编码标识表记标帜，然后对获得的场景图象停止解码，以便靠得住天求得图象之间的婚配面，再经由过程三角法求解场景的3D布局。自动平面视觉的优点是抗干扰性能强、对情况要求不高，3D丈量精度、重复性跟可靠性下；缺陷是关于结构复杂的场景简单发生遮挡问题。

基于布局光丈量技巧跟3D物体辨认技术开发的机器人3D视觉引诱体系，可对较大测量深度规模内狼藉堆放的整机停止齐自由的定位跟拾取。比拟传统的2D视觉定位方法只能对流动深度整机停止辨认且只能获得整机的部门自由度的地位信息，存在更下的使用柔性跟更年夜的检测规模。可为机床高低料、整机分拣、码垛重叠等工业问题供给无效的自动化解决方案。

机械视觉3D引诱体系框架

3D重修跟辨认技巧

经由过程自立开辟的3D扫描仪可获精确而且快捷天获得场景的点云图象，经由过程3D辨认算法，可实现正在对点云图中的多种方针物体停止辨认跟位姿估量。

3D重修跟辨认服从

多种材质辨认后果测试

得益于硬朗的重修算法跟辨认算法，可对分歧材质的整机停止不变的重修跟辨认，即使是反光比较严重的铝资料及玄色整机皆能取得较好的重修跟辨认后果，可合用于普遍的工业场景。

机器人门路计划

并不是取得整机的位姿信息后便能立时停止整机的拾取，那仅仅只是第一步，要胜利拾取整机借须要实现以下几件事：

自立开辟的机器人轨迹计划算法，可轻松实现上述事情，保障机器人拾取整机进程不变靠得住。

快捷切换拾取工具

只须要四个简略的操纵便可实现拾取工具的快捷切换，无需停止庞大的工装、产线的调剂。

机能比力

1.近似于航行工夫相机、光场相机这类的相机，可以归类为单相机3D成像规模，它们体积小，实时性好，得当随动成像眼在手体系履行3D丈量、定位跟及时引诱。可是，航行工夫相机、光场相机短期内借难以用来构建平凡的随动成像眼在手体系，次要缘故原由以下：

1）航行工夫相机空间分辨率跟3D精度低，没有得当高精度丈量、定位与引诱。

2）关于光场相机，现阶段商业化的工业级产物只有为数不多的几家，如德国Raytrix，虽然机能较好，空间分率跟精度适中，但价钱贵，利用本钱太高。

随动成像眼在手体系机器人3D视觉成像优选计划

2.布局光投影3D体系，精度跟本钱适中，有相称好的使用市场前景。它由若干个相机-投影仪构成的，若是把投影仪看成一个逆向的相机，可以认为该体系是一个双目或多目3D三角测量体系。

3.主动平面视觉3D成像，现阶段正在工业范畴也失掉较好使用，但使用场所有限。由于单目平面视觉实现有难度，双目跟多目平面视觉要求方针物体纹理或多少特点明晰。

4.布局光投影3D、双目平面视觉3D皆存在下列缺陷：体积较大，简单发生遮挡。针对这个问题虽然可以增长投影仪或相机笼罩被遮挡的区域，但会增长成像体系的体积，削减正在Eye-in-Hand体系中使用的灵活性。

总结

虽然光学3D视觉成像测量方法品种单一，但可能装置正在工业机器人上，构成一种适合的随动成像眼在手体系，对地位更改的方针履行3D成像丈量、引诱机器人手臂精确定位跟实行精准操纵的方式有限。由于从工业使用的角度来讲，咱们更体贴的是3D视觉传感器的精度、速率、体积与重量。

鉴于机器人末尾可能蒙受的端载荷有限，容许传感器占用的空间有限，传感器正在知足成像精度的前提下，重量越轻体积越小也便越实用。以是，关于随动成像眼在手体系，最好3D成像方式是采取主动单目3D成像方式，如许不只体积小、重量轻，也办理了双目跟多目多视图遮挡难题。