机器视觉中的彩色成像：如何为您的应用选择合适的相机？

介绍

多年来，大多数机器视觉系统仅以黑白操作。即使在今天，大多数机器视觉应用仍然是单色的。然而，越来越多的应用需要彩色成像并且可以提供显着的优势。

在过去的十年中，机器视觉应用中的颜色使用显着增加。伴随着相机技术和支持彩色机器视觉应用的算法的稳步改进。因此，许多机器视觉系统设计人员在开始构建色彩是关键因素的系统时，发现自己面临着新的挑战。

机器视觉相机中的彩色成像

近年来，彩色机器视觉系统的质量显着提高。这种改进的一部分是相机成像芯片分辨率提高的结果。由于图像传感器实际上不能“看到”颜色，因此彩色摄像机需要使用滤光器阵列和其他技术以允许衍生彩色成像信息的方式捕获光。

然而，该过程通常会降低图像的有效分辨率。当大多数相机分辨率低于两百万像素时，标准单传感器彩色相机的分辨率损失使它们不适合许多任务。现在，分辨率为500万像素或更高的相机已经司空见惯，分辨率不再是一个因素，机器视觉设计师可以使用彩色相机更轻松地满足他们的要求。

随着传感器技术的改进，软件库和相机固件更好地适应了彩色成像要求。曾经设计过彩色机器视觉系统需要具备丰富的色彩科学知识以及如何使用彩色图像数据的地方，先进的软件库和内置的相机功能简化了色彩处理，过程比以前更加简单。

彩色成像在机器视觉中的应用

在机器视觉中使用彩色成像可以从广泛的应用中受益。这些彩色成像应用中的大多数分为三大类：

颜色检查

彩色成像可为您提供可优化检测过程的其他数据。特别是当您的目标是对缺陷进行分类或检查有色产品的形状时，使用彩色成像至关重要。例如，检查颜色编码的电线。如果要检查每根电线是否连接到电路板上的右侧连接器，您的机器视觉系统需要能够读取电线的颜色并查看是否匹配。

▲使用颜色可以进行无法以黑白方式进行的检查，例如检查印刷电路板上的彩色编码组件。

颜色分类

机器视觉中的彩色成像也可用于根据颜色分离物品。这意味着彩色成像可用于按颜色对对象进行分类或分类。随后，它还可以用作对某些对象进行分级的方法。例如，樱桃，苹果和其他水果可以按其颜色分类，以表示成熟。

▲按颜色分类是食品中的常见应用，但也用于许多工业应用。

颜色检测和匹配

颜色检测旨在向相机传授它所看到的颜色。对于使用来自彩色机器视觉相机的数据的应用，主计算机首先需要将颜色值连接到每个像素或表示像素的区域或斑点的直方图。一旦应用程序指定了颜色值，它就可以将其与目标颜色或目标颜色值范围进行比较。此匹配过程可用于确保打印材料与预定义的公司颜色匹配，或确保汽车的侧视镜与门面板或许多其他应用程序匹配。

▲准确的色彩匹配确保了汽车，包装，木地板等的一致性。

彩色成像的主要挑战

彩色机器视觉系统在上面列出的任何广泛应用类别中的表现程度取决于它能够衡量多个关键挑战：

色彩还原性

机器视觉彩色摄像机为主计算机提供由来自场景的反射光或入射光产生的像素级数据。虽然两个相机都可以产生“令人愉悦的”图像，但是特定像素值可以根据相机的类型，质量和/或年龄而不同。目标是产生与“真实”颜色值最接近匹配的值，这些值可以使用准确的实验室设备在相同的照明条件下计算。

▲观察相同目标的两个相机可以呈现不同的颜色值，即使两者都是相似的白色平衡。

色差

根据应用，机器视觉相机可以区分相同颜色的细微差异可能是至关重要的。例如，当使用多块皮革制作钱包或夹克时，重要的是单个物品的所有部件具有相同的颜色。具有略微不同色调的碎片可以在其他夹克或钱包上一起使用，但是在单个物品上混合不同的色调是不可接受的。

实现高水平的差异化需要可以高精度和可重复性计算的颜色精度。当光水平较低时，这尤其具有挑战性，因为颜色值被压缩成较小范围的可能值。彩色相机越敏感，提供色彩差异的能力越强，但其他限制因素可能会起作用。

▲检测细微阴影差异的能力要求在各种照明条件下具有高色彩准确度和出色的灵敏度/对比度。

彩色相机的空间分辨率

就像在单色应用程序中一样，许多颜色应用程序需要区分小图像细节才能执行其任务。他们可能需要读取条形码或QR码，或者可能需要准确识别物体的边缘以执行测量或确定形状和位置。

依赖于滤色器阵列和拜耳插值来获取颜色信息的相机，创建由用于估计每个像素的颜色值的过程产生的柔和或模糊边缘。虽然对于某些应用而言，这种细节损失可能是可接受的，或者可以通过使用更高分辨率的相机来克服，但是其他应用可能需要使用棱镜相机技术以实现颜色精度和空间精度的必要组合。

▲放大图像中的小细节可以显示模糊的边缘，错误的颜色以及可能影响应用程序性能的其他因素。

面阵扫描相机与线扫描彩色相机

在开始评估相机选项之前，需要首先确定应用程序是否更适合面阵扫描或线扫描类型的彩色相机。

面阵扫描彩色摄像机

当正在检查，分类或分析的物品具有确定的形状或边界时，通常使用面阵扫描相机。例如，当您需要检查单个三维项目（如水果，盒子或印刷电路板）时，面阵扫描相机（使用像素矩阵创建每个对象的2D图像）很可能是您的选择。

▲面阵扫描摄像机输出一系列称为“帧”的离散2D图像。

1、面阵扫描摄像机可以非常快速地创建定义区域的图像。

2、面阵扫描摄像机比线扫描摄像机更易于设置和安装，并且具有更广泛的用途。

3、在某些情况下，面阵扫描摄像机可用于连续移动物体的成像，但仅限于捕获离散的重叠图像。这可能需要相当多的处理工作来将这些部件“缝合在一起”以进行适当的分析

线扫描彩色摄像机

当您需要检查长而连续的物品或具有许多不同长度或尺寸的各种物品时，线扫描相机有效。当对象没有明确定义的开始，结束或甚至大小时，线扫描相机适合您的应用。

例如，对于所谓的“网络”检查 – 您需要检查纸卷，纺织品或钢材 – 线扫描相机是显而易见的选择。同样，输送系统充满随机排列的水果或农产品，或飞越森林或农田的成像是线扫描相机的良好候选者。

▲当目标移过摄像机或摄像机在目标上移动时，线扫描摄像机输出一系列单独的线。

1、线扫描相机通过以高频率重复捕获单行像素来扫描移动物体。

2、摄像机捕获的连续“线性图像”可以在捕获时即时分析，或者可以通过软件逐行重建为更大的图像以供分析。

3、由于它们连续工作，线扫描相机具有有效“无限”的垂直分辨率，并且可以容易地构建具有比面阵扫描相机更高的总分辨率的二维图像。

面阵扫描彩色摄像机

如果面阵扫描摄像机是您的应用的正确选择，并且您需要在机器视觉系统中加入颜色，则有两种不同的面阵扫描选项可用于彩色成像：拜耳马赛克和基于棱镜的多传感器技术。

拜耳马赛克技术

拜耳相机依赖于预定义的滤色器图案，这些滤色器覆盖相机成像芯片上的像素。计算任何特定像素的红色，绿色和蓝色（RGB）颜色值需要插值过程，该过程查看周围像素以估计该像素滤波器未捕获的两种颜色的值。

▲拜耳滤波器使每个像素仅捕获单个色带（R，G或B）。通过使用在相邻像素中捕获的数据来“插值”像素的RGB值中的其他两种颜色。

何时选择拜耳彩色相机？

当相机的价格是一个重要的决定因素时，拜耳彩色相机远比棱镜相机便宜。用户可以获得一个良好的，基本的500万像素拜耳面阵扫描相机，价格不到320万像素棱镜相机的一半。

当您的机器视觉系统不需要的色彩准确度。因为拜耳相机需要“插值”（即估计）每个像素的三个颜色值中的两个，所以通过拜耳算法计算的RGB值之间可能存在明显的差异以及目标场景中的“真实”颜色值。如果需要准确捕获应用程序中的颜色并将其与预定义的参考颜色进行比较，则拜耳数据的较低精度可能会产生问题。但是如果颜色的使用仅需要相对准确度，即图像中的一种颜色与另一种颜色的比较，那么拜耳相机就足够了。

当您的应用程序不需要细微的颜色区分。除了较低的绝对颜色精度外，拜耳滤镜还可以阻挡落在每个像素上的部分光线，从而降低整体有效灵敏度。这些因素通常会降低拜耳相机区分非常微妙的色调的能力。然而，对于需要相对粗略的色差的应用，拜耳相机可能绰绰有余，同时允许用户利用较低的价格点。

当您的机器视觉系统不需要高水平的空间精度时。如前所述，拜耳相机使用的插值过程会导致整体细节丢失，因为它适用于图像中的边缘，线条和小打印。如果您正在设计的系统不需要特殊的空间精度，或者您可以使用更高分辨率的摄像机来承担更高的成本和处理开销，那么拜耳面阵扫描摄像机仍然是您应用的正确选择。

基于棱镜的多传感器技术

多传感器棱镜相机采用具有二向色滤光涂层的高质量棱镜，可根据光谱波长将入射光分成三个独立的成像芯片。三个准确对齐的传感器为图像中的每个像素提供独立的红色，绿色和蓝色强度值，无需插值。

▲虽然拜耳技术使用插值来估计RGB值，但棱镜技术将入射光分离为三个准确对准的传感器，以便可以为每个像素捕获真实的RGB值。

何时选择多传感器棱镜彩色摄像机？

当您需要较高的色彩准确度时。使用三个独立的成像芯片，棱镜相机可为每个像素提供准确的R，G和B值。无插值意味着交付给您的应用程序的值比来自拜耳相机的值更准确，这对于颜色匹配或区分细微阴影变化至关重要。

当您的应用需要具有高灵敏度水平的相机时，二向色棱镜滤光片具有比拜耳滤光片更高的透光率，以允许更多的入射光通过。此外，使用三个传感器，棱镜相机几乎可以捕获所有进入相机的光线，而拜耳相机会阻挡三分之二的波长照射每个像素。由于大多数像素由红色，绿色和蓝色信息的某种组合表示，因此大量的入射光从未到达拜耳相机中的传感器。这使得棱镜相机在需要更好的对比度和差异时具有优势，特别是在图像的较暗区域。

当您想要检测和测量小细节时，与在拜耳插值图像中模糊边缘，打印和细节的“柔和度”不同，棱镜技术不需要进行插值，从而为需要读取，测量的应用程序提供更好的空间精度。或以其他方式分析文本或小图像功能。

当您在整个光谱范围内需要准确，鲜艳的色彩时，与人眼一样，相机依赖于将可见光分成三个独立的光谱带，分别代表较长（红色），中等（绿色）和较短（蓝色）波长。棱镜相机能够以非常小的重叠（称为颜色串扰）分离这三个频带。与过滤器具有更大重叠的拜耳相机相比，这使得颜色在整个光谱范围内保持清晰和明亮，导致颜色更暗淡或浑浊，特别是对于介于三原色之间的颜色。

当您对某些摄像机参数需要更大的灵活性时。许多多传感器棱镜摄像机允许用户控制每个传感器上的设置，就像它们是三个独立的摄像机一样。与拜耳相机相比，这为白平衡，色彩增强和其他功能提供了更大的灵活性。

线扫描彩色摄像机

如果您正在构建需要彩色线扫描技术的性能和灵活性的机器视觉系统，您还可以考虑两种不同的相机类型：三线性或棱镜相机。

三线扫描摄像机

三线技术使用三条独立的成像线来捕获RGB图像。在过去，三个不同的线性传感器尽可能紧密地安装在一起，但是现在大多数新型摄像机都配备了一个带有三个紧密间隔的像素线的传感器。

▲三线摄像机将光线聚焦在三个相邻的传感器线上，并配有红色，绿色和蓝色滤光片。曝光时间与目标的移动同步，以确保所有三条线捕获目标上的相同点。

每条线在其像素上配备聚合物滤色器，以捕获三种基色（R，G或B）中的一种。通过使相机与目标的移动同步，可以组合当每条线经过目标上的相同点时捕获的图像，以为目标线中的每个像素提供RGB值。

何时选择三线性相机？

当相机的价格是一个重要的决定因素。特别是现在大多数三线相机是围绕一个单线多传感器构建的，三线相机提供了比棱镜相机更便宜的选择。除了较低的相机成本之外，三线相机还可以比棱镜相机所需的推荐镜头节省成本。与可比的棱镜相机相比，这可以节省50％的成本。然而，请注意，诸如需要使用更高强度照明的几个因素以及聚合物滤光片与棱镜滤光片的更快速降级可能会在系统的整个使用寿命期间抵消许多这些成本节省。

当您的应用需要高速成像时，Trilinear相机因能够以快速线速提供准确（非插值）RGB图像数据而闻名。较新的4K型号（每行4096像素）可以在50 kHz至70 kHz（每秒50至7万行）的速度下运行。可比较的棱镜相机传统上无法匹配这些线速，尽管新的棱镜相机现在可以与较快的三线相机几乎相同的速度。

当你可以保证大致垂直对齐。当三线性相机相对于目标倾斜时，从目标到三条传感器线中的每一条的距离变得不同，稍微改变目标上每条线所覆盖的长度。如果倾斜度较小，相机中的补偿算法可以进行调整。但是对于较大的角度，偏移可以在图像中产生彩色条纹（“晕圈”）或其他伪影。当与目标的角度接近垂直并且不需要频繁更改时，三线性相机将表现较好。

使用具有最小波动的平坦表面时。由于收集完整RGB信息所需的三条线需要在稍微不同的时间点捕获，因此当捕获每条线时，波纹或其他表面振动可能导致目标更近或更远。这可以产生如上所述的像素偏移和“晕圈”。类似地，在传送带上移动时可能摇摆或滚动的离散对象可能导致捕获的三条线之间不一致。为获得较好效果，当目标平坦且波动较小时，应使用三线相机。

当您的系统要求分辨率高于4k时，今天棱镜线扫描相机的较高分辨率为4K。如果您的行扫描系统需要8K或16K行分辨率，则三线性将是的选择。

当您的系统需要尺寸小且重量轻的低功耗相机时，三线相机通常比棱镜相机小，后者需要容纳棱镜和多个成像芯片。较为重要的是，因为棱镜相机更大并且可以单独控制3个成像芯片，所以它自然更重并且需要更多的功率来操作。

基于棱镜的多传感器技术

与三线相机一样，棱镜线扫描相机使用三条独立的线来捕获RGB信息。但棱镜线扫描相机使用三个独立的线传感器。它们安装在棱镜上并与单个光学平面对齐，以便所有三个传感器可以同时捕获目标上的相同线 – 而不是像三线相机那样顺序捕获。棱镜上的二向色涂层将图像分成三个独立的传感器，以便为线中的每个像素捕获高精度的RGB值。

▲在棱镜线扫描相机中，红色，绿色和蓝色线性传感器都通过棱镜聚焦在同一目标线上，因此可以在没有任何复杂同步的情况下执行捕获。

何时选择多传感器棱镜相机？

当您需要较高的色彩精度时。用于分离R，G和B波长的二向色棱镜涂层比三线相机上的聚合物滤光片提供更准确的区分。这导致颜色通道之间的串扰较小，从而产生更好的颜色准确度，特别是在光谱带重叠的情况下。

如果您的系统需要带角度的摄像机或传送带的速度变化。使用三角形摄像机处于倾斜位置或以不同的速度捕获传送带上的物体可能会导致与线路间距和曝光同步相关的问题。然而，棱镜相机一次只取一行并在内部分割。当棱镜相机相对于目标倾斜时，所有三条线在目标上仍然具有相同的长度，而不是三线相机，其中角度为每条线创建不同的长度（梯形效果）。同样，棱镜相机可以同时捕获每条线的R，G和B信息，因此与三线相机不同，速度的微小变化对捕获的颜色数据的质量没有影响。

如果“WEB”中有涟漪或者对象方向发生变化，连续纸张中的小波浪可能会给三线性相机带来很大的问题，因为它可以改变三条线条中每条线条看到目标的方式，从而导致像素偏移和颜色条纹。如果三维物体滚动或轻微移动，则对于三线性相机上的三条线中的每条线具有略微不同的取向，情况也是如此。基于棱镜的线扫描相机由于其单个光学平面而避免了这样的问题，这确保了每个传感器上的每个像素始终聚焦在完全相同的点上，因此无论波动或移动/滚动物体如何都能够创建干净的图像。

如果您想要更多地控制白平衡和色彩校正，Prism相机可以独立控制三个线扫描传感器中的每一个的曝光设置。这意味着白平衡可以通过曝光而不是三线相机所需的增益来完成。如果在应用中需要绝对较小的噪声，则更好的灵敏度和基于曝光的白平衡的组合可能指向棱镜相机作为您的较好选择。

如果您希望机器视觉系统随着时间的推移具有更高的稳定性。二向色棱镜涂层不仅具有比三线聚合物滤光片更好的透光率，而且随着时间的推移它们也更稳定。更好的透光率意味着基于棱镜的系统可以使用更低强度（和更低成本）的光源并且仍然实现良好的曝光。基于三线性的系统通常需要更高强度的光来实现相同的曝光，这不仅成本更高，而且可能导致相机中滤色器的更快速降级。