机器视觉三维成像技术简介（一）

三维成像技术概述

三维成像，是在传统二维成像基础上增加了深度信息，进而可以胜任更高精度的定位、识别和检测任务，现如今已广泛应用在消费电子、医药及工业领域。

根据数据获取方式可以分为接触式和非接触式两种。接触式根据有无损伤被测对象可以分为无损和有损两种类型。非接触式根据信号的使用方式可以分为传输式和反射式。反射式又可以进一步分为光学和非光学两类。光学式根据是否需要外加人造光源可以分为主动式和被动式两大类型。被动视觉成像只依赖相机接收到的由目标场景产生的光辐射信息，该辐射信息通过二维图像像素灰度值进行度量。

被动视觉常用于特定条件下的三维成像场合，如室内、目标场景辐射动态范围不大和无遮挡，场景表面非光滑，且纹理或几何特征清晰，容易通过立体匹配寻找匹配点。主动立体视觉是利用光调制（如编码结构光、激光调制等）照射目标场景，对目标场景表面的点进行编码标记，然后对获取的场景图像进行解码，以便可靠地求得图像之间的匹配点，再通过三角法求解场景的三维信息。主动立体视觉的优点是抗干扰性强、对环境要求不高（如通过带通滤波消除环境光干扰），三维测量精度、重复性和可靠性高，缺点是对于结构复杂的场景容易产生遮挡问题。根据成像原理又可以进一步细分，具体如下图所示：

接触式由于需要用探头或探针随被测物表面移动，大小受到限制，也容易划伤被测物，精度也比较差。像三坐标测量机（Coordinate Measuring Machine，CMM）就是通过探针与物体表面上的离散点测量出被测对象的三维信息。目前三维成像多以利用光学原理的非接触式为主，更安全，更高效，更精准。一个直观的例子是以往道路施工人员在对坑洼道路维修时使用类似直尺的金属棒来测量深度，一直没有一种经济高效的解决方案，但随着三维光学成像技术的应用已经改变了这个流程。

本文主要讨论机器视觉领域主流的三维成像技术，包括飞行时间、结构光、激光三角、双目立体视觉及以光场成像技术，最后会补充介绍毫米波雷达和激光雷达及各三维成像方案应用场景和精度水平对比。

飞行时间法

飞行时间（Time of Flight，ToF），利用发光二极管（Light Emitting Diode，LED）或镭射二极管（Laser Diode，LD）发射出红外光信号，根据信号发射与返回的时间差来测量传感器与被测物之间的距离。ToF摄像头通过使用调制光源（如激光）主动照亮被测物，然后用对激光波长敏感的传感器捕捉反射光，以此测量距离。传感器测量从摄像头发射光，到摄像头接收到发射光之间的时间延迟∆t。时间延迟与摄像头和物体之间的两倍距离（往返）成正比；因此，距离可以估算为深度 = cΔt/2，其中c表示光速。这个过程与超声波类似，后者通过声音，而非光线来测量距离，雷达则通过无线电波来测量距离。与超声相比，飞行时间（ToF）摄像机能够更快生成具有高（深度）精度的高分辨率深度图（空间分辨率与RGB摄像机相当），且能覆盖更大范围——毕竟，光速远远大于声速。虽然雷达的探测距离更远，但飞行时间（ToF）的准确性与分辨率均更胜yi筹。

目前存在多种不同的测量∆T的方法，其中两种最为常用：连续波(CW)方法和脉冲方法。连续波(CW)方法，有时也被称为间接飞行时间（iToF），该方法测量发送和接收的光脉冲之间的相移。脉冲方法，有时也被称为直接飞行时间（dToF），该方法测量发射的脉冲和接收的光脉冲之间的经过时间。这种方法跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，ToF相机则是同时得到整幅图像的深度信息。值得注意的是，目前已经实施且在市面上使用的绝大多数连续波ToF系统都使用CMOS传感器，脉冲ToF系统则使用非CMOS传感器（特别是CCD）。使用CW iToF图像传感器的优势之一：它们基于传统的半导体基础设施进行大规模量产，能够以经济的成本实现高像素密度的短程成像。选择iToF，还是dToF深度成像系统，最终要看应用需求和使用环境。iToF适用于需要高空间分辨率的短程成像（0.5米、5米和10米）。dToF更适合对空间分辨率要求不高的远距离成像。人工智能(AI)和光学系统设计使得选择iToF技术和dToF技术的分界线不再那么清晰明确。在能感知环境的智能边缘系统中，iToF和dToF传感器都与RGB图像和惯性传感器集成，并在AI的助力之下提升性能，消除伪影。

就像鼠标改变了计算机交互，触摸屏技术推动了智能手机和平板电脑的普及一样，飞行时间（ToF）技术正在助力实现非接触式3D交互。在推动工业4.0发展方面，飞行时间（ToF）技术具有类似效用。从用于质量检测的工业机器视觉，到用于资产管理的体积检测，再到推动自主（设备）生产的导航技术，制造行业开始采用这些传感技术，并逐步转向适合恶劣工业环境的高分辨率系统。目前，我们周围采用飞行时间（ToF）技术的应用层出不穷，从汽车座舱安全，到家庭运动设备，再到游戏和画面逼真的3D远程协作。甚至对于仓库、桶、大型储物罐的储量检测也有广泛的应用。飞行时间（ToF）技术的未来应用之一是自动驾驶汽车中，作为雷达、LIDAR和其他深度传感器的补充。

目前的消费级ToF深度相机主要有：微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的ToF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。

ToF成像可用于大视野、远距离、低精度、低成本的3D图像采集，其特点是：检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。对于光滑物体（反射光朝向不同方向）或者有夹角的物体（发生多次反射），飞行时间成像精度均会受到影响。

与普通相机类似，ToF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照射光源波长相同的光才能进入。

ToF的优势：飞行时间由于采用主动光源照射被测物，在没有环境光照的ji端情况下仍然可以正常工作。与立体相机或三角测量系统比，ToF相机体积小巧，重量轻，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。飞行时间算法原理相对简单，所以ToF相机能够实时快速的计算深度信息，达到几十到100fps。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。ToF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。由于光的速度非常快，ToF相机需要复杂的设计才能实现往返信号时间差的检测，制造相对困难，ToF相机的深度计算精度不随距离改变而变化，在整个测量范围内基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。相对于结构光相机，在10米范围内，ToF相机精度更低，10米外则精度更高。ToF相机的一个显著优势是工作距离比较宽，可以覆盖0.5米到10米的范围，精度要求不高的场景有的甚至达到几百米，该场景下一般照射单元采用红外LED而非激光，不伤害眼睛。而结构光相机成像范围只有2到3米，但是精度会更高。因此虽然ToF相机可以工作在较短距离范围，当需要一定精度要求时，并不是好的选择。

TOF深度相机对时间测量的精度要求较高，发射脉冲必须在非常短的时间(皮秒级），即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。ToF相机在远距离测距上由一定优势，但是价格相对昂贵，并且没有颜色信息。

ToF相机精度很大程度上与距离相关，一般认为可以通过1%的成像距离进行估算，因此如果被测物是5米远，ToF相机可以达到5cm的精度。而双目立体相机精度大概是5-10%的成像距离，结构光相机是精度最高的，可以达到1mm。

延伸：光学雷达属于飞行时间类型吗

光学雷达（Light Detection and Ranging，LiDAR），又名飞行时间激光扫描仪（ToF Laser Scanner），有时也称激光雷达（Laser Radars），通过向周围环境多角度发射激光脉冲根据飞行时间来测量被测物距离。此外，光学雷达为了在深度图上反映被测物更多的细节还会测量反射光强度。另外，3D ToF也可以看作是一种无扫描仪LiDAR技术。

SICK Visionary-T Mini 3D相机

SICK Visionary-T Mini 3D相机凭借 3D 飞行时间 (TOF) 技术，实现紧凑型外壳和出色的数据质量机器人技术、运输车和物流的自动化应用离不开准确可靠的 2D 和 3D 测距数据。此外，即使安装空间狭小，视觉系统也应该可以轻松集成到相应的机器设计中。SICK Visionary-T Mini 3D相机 产品系列将高性能与紧凑型结构设计和较高的成本效益相结合。另外，3D 视觉传感器可为数据分析提供具有高像素密度的详细二维和三维散点图。自动运行模式可简化其机器集成，并确保操作更加简便。

关于昊艾智能

昊艾智能是德国 SICK 在中国 3D 视觉领域的专业代理商。

昊艾智能专注于提供3D机器视觉整体解决方案，助力中国智能制造水平的提升与产业升级！

目前，我们拥有一批高素质的3D机器视觉应用工程师与算法研发工程师，具有完备的机器视觉项目评估能力与底层核心算法开发能力。我们的3D机器视觉整体解决方案在动力电池、汽车行业、消费电子、白色家电、轨交检测等多个领域成功落地实施，积累了丰富的3D机器视觉项目应用与软件开发经验！

昊艾智能主营产品：3D机器视觉整体解决方案，包括结构光3D相机、激光线扫相机、SICK 3D线激光轮廓传感器、TOF相机，高精度3D测量系统、视觉引导定位系统、无序抓取系统等，可实现平面度、高度差、位置度测量、凹凸缺陷检测、胶路检测、视觉引导机器人打磨、视觉引导机器人工件定位装配、工件无序抓取等功能。