2.2 镜头
如果将机器视觉系统与人类视觉系统进行类比,那么相机的传感器芯片就如同人的视网膜,而镜头则相当于眼睛内的晶状体。各种现实世界中的图像都通过这个“晶状体”对光线进行变换(汇聚)后,投射在“视网膜”上。在机器视觉系统中,镜头常和相机作为一个整体出现,它的质量和技术指标直接影响成像子系统的性能,合理地选择和安装镜头是决定机器视觉成像子系统成败的关键。
机器视觉成像系统使用的镜头通常由凸透镜和凹透镜结合设计而成。单个凸透镜或凹透镜是进行光束变换的基本单元。凸透镜可对光线进行汇聚,也称为会聚透镜或正透镜。凹透镜对光线具有发散作用,也称为发散透镜或负透镜。两种透镜成像均遵循高斯成像公式,通过把它们结合使用,在校正各种像差和失真后,设计出具有不同结构和技术指标的复合镜头系统。与镜头相关的主要技术参数有镜头分辨率、焦距、最小工作距离、最大像面、视场/视场角、景深、光圈和相对孔径及其安装接口类型等。
镜头分辨率表示它的空间极限分辨能力,常用拍摄正弦光栅的方法来测试。如果从信号处理的角度来看,任何非周期图像信号都可以被看作周期图像(或子图像)的叠加,而任何周期图像又都可以被分解为亮度按正弦变化的图形的叠加。因此,通过研究镜头对亮度按正弦变化图形的反应,就可以研究镜头的性能和分辨率。正弦光栅就是亮度按照正弦变化的图像,如图2-10所示。其中栅格黑白相间,可把黑色看作正弦波谷,把白色看作正弦波峰。正弦光栅中一对相邻黑线和白线称为一个线对(line pair,lp),它所占据的长度被定义为正弦光栅的空间周期,单位是毫米。正弦光栅空间周期的倒数就是空间频率(spatial frequency),它表示每毫米内的线对数,单位是线对/毫米(lp/mm)。通过拍摄正弦光栅,研究镜头每毫米内能分辨的线对数,就可以获知镜头的分辨率。镜头分辨率越高,则说明其每毫米内能分辨的线对数越多。对于机器视觉系统设计来说,只需要查询镜头参数表即可获知其分辨率。
图2-10 正弦光栅
镜头的空间分辨率、相机像素分辨率和相机的空间分辨率、系统空间分辨率和系统分辨率是几个极容易混淆的概念。相机像素分辨率是指相机传感器上纵横方向上的像素数,而相机的空间分辨率却表示它的空间极限分辨能力。根据前述相机奈奎斯特定律,相机要能恢复空间图像,必须至少使用2个像素来表示图像的最小单元。如果用研究镜头的空间分辨率类似的方法来研究相机空间分辨率,则正弦光栅中的每对线需要至少2个像素来表示。由此,可以通过像素的物理大小来计算相机的空间分辨率。例如,某相机的像素物理大小为8.4μm×9.8μm,则相机在横纵方向上的空间分辨率为
对于镜头和相机构成的成像系统来说,整个系统的空间分辨率取镜头和相机空间分辨率的最小值。例如,在上述例子中,最好选择分辨率大于59.53lp/mm的镜头。如果镜头的空间分辨率比相机的空间分辨率小,则说镜头可以分辨单个线对的能力要比相机识别的单个线对的能力弱。也就是说极限情况下,镜头传给相机的图像不清晰,因此只有镜头的空间分辨率大于相机的空间分辨率时,才能确保成像系统的空间分辨率最佳。在机器视觉系统设计时,我们经常所说的系统分辨率并不是指系统对线对的空间极限分辨力,而是指系统可以识别检测目标中最小特征的能力。根据2.1节所述,系统分辨率为
例如,如果成像系统的水平方向上视场为0.9m,相机在水平方向上的像素数为720,则代表最小特征的像素数为2时,系统分辨率为2.5mm,每像素代表长度1.25mm。
焦距是指无限远处目标在镜头的像方所成像位置到像方主面的距离。焦距体现了镜头的基本特性:即在不同物距上,目标的成像位置和成像大小由焦距决定。市面上常见的镜头焦距大小包括6mm、8mm、12.5mm、25mm以及50mm等。对机器视觉成像系统来说,工作距离就是成像系统中所说的物距。由于视觉成像系统模型的假定条件是工作距离相对于镜头焦距为无限远,因此一般在镜头的产品参数中都会说明其最小工作距离。当相机在小于该最小工作距离的环境下工作时,就会出现图像失真,影响机器视觉系统的可靠性。
最大像面、视场/视场角都是用来衡量镜头成像范围的关键参数。最大像面是指镜头能支持的最大清晰成像范围(常用可观测范围的直径表示),超出这个范围所成的像对比度会降低而且会变得模糊不清。最大像面是由镜头本身的特性决定的,它的大小也限定了镜头可支持的视场的大小。镜头的视场就是镜头最大像面所对应的观测区域。视场角是视场的另一种表述方法,类似人眼“视角”的意义。视场角等于最大像面对应的目标张角。通常,在远距离成像系统中,例如望远镜、航拍镜头等场合,镜头的成像范围均用视场角来衡量。而近距离成像中,常用实际物面的直径(即幅面)来表示。
由于机器视觉成像系统中的传感器多制作成长方形或正方形,因此镜头的最大像面常用它可以支持的最大传感器尺寸(单位为英寸,1英寸约为2.54cm)来表示。相应地,镜头的视场也可以用最大像面所对应的横向和纵向观测距离或视场角来表示,如图2-11所示。
图2-11 机器视觉系统中镜头的视场和最大像面
对于同一相机来说,有
其中,S为相机传感器在二维平面某个维度上的大小,f为焦距,2ω为视场角。由于相机传感器尺寸固定,因此视场角也可以被看作焦距的另一种表达。因此在生活中,人们常按照镜头的视场角对其进行分类,如望远镜(6°~12°)、远距摄像镜头(12°~46°)、标准镜头(46°~65°)、广角镜头(65°~100°)及超广角镜头(>100°)等。一般来说,镜头的失真会随着焦距的减小(或视场角的增大)而增大,因而在构建机器视觉系统(特别是精确测量系统)时,一般都不会选择焦距小于8mm或视场角很大的镜头。
鉴于镜头能清楚成像的范围受到最大像面的限制,因此在为相机选配镜头时,要特别注意相机传感器与镜头可支持最大传感器之间的关系。一般来说,必须确保所选镜头可支持的最大传感器尺寸大于或等于相机的传感器尺寸。这样做的另一个主要原因是为了避免渐晕(Vignetting)现象的发生。如图2-12(c)所示,如果相机传感器的尺寸大于镜头可支持的最大传感器尺寸时,所生成的图像就会形成类似隧道的效果,该现象称为渐晕现象。渐晕现象会增加机器视觉系统的开发难度,因此应尽量避免。图2-12中的(a)、(b)分别显示了在镜头可支持的最大传感器尺寸等于或大于相机的传感器尺寸时视觉系统的成像情况,这两种情况下机器视觉系统均能正常工作。
图2-12 镜头大小与相机传感器尺寸不同时的成像情况
表2-1显示了某厂家提供的镜头技术参数。可以看出,这是一款焦距为8mm、可在10cm以上距离正常工作的镜头。它可支持的最大相机传感器尺寸为1英寸(1英寸为芯片直径,长宽为12.8mm×9.6mm,后续章节会介绍各种常用相机传感器芯片尺寸),在配备该最大传感器时,其视场角为79.7°。按照前述原则,这首先说明只要其他条件许可,任何1英寸以下传感器尺寸的相机都可以搭配该镜头。其次,若所搭配的相机传感器尺寸为1英寸,则当相机工作距离为WD时,则该镜头可支持的最大视场直径为
表2-1 某镜头的技术参数
然而,由于机器视觉系统中相机的芯片多为长方形或矩形,因此不能认为成像系统在任何方向的视场大小均为该值。机器视觉成像系统的视场应结合焦距、传感器芯片尺寸和工作距离,基于成像系统简化模型的参数约束关系,从纵横两个方向进行计算。具体来说,在横纵两个方向上的最大视场FOVhmax和FOVvmax为
其中,Sh和Sv为传感器芯片在横纵方向上的尺寸。例如,在为1英寸传感器的相机配备该镜头时,若工作距离为1.5m,则横纵方向上的视场FOVh和FOVv满足以下关系:
若将其配备给1/2英寸传感器(尺寸为6.4mm×4.8mm)的相机,工作距离为1.5m时,其最大视场为1英寸相机最大视场的一半:
由成像系统简化模型的参数约束关系可知,在镜头焦距一定时,视场大小与工作距离、相机传感器尺寸成正比。在镜头可支持的芯片尺寸范围内,芯片尺寸越大的相机其视场也越大,如图2-13(a)所示;相应的,对于同一相机,距离目标越远,其视场也越大,如图2-13(b)所示。
图2-13 视场与芯片尺寸及工作距离的关系
计算得到纵横两个方向上的视场大小后,就可以进一步将镜头参数与项目对最小特征的需求结合,确定使用何种尺寸传感器芯片的相机,并计算其最小像素分辨率。例如,若项目要求在纵横方向上可以识别大小为4mm×3mm的最小特征,并且要求纵横方向上都至少有2像素来代表最小特征的大小,则首先可根据镜头参数确认它能与传感器芯片尺寸小于或等于1英寸的相机协调工作(消除渐晕现象),其次,可得知纵横方向上的最小分辨率Rhmin和Rvmin(单位为像素)为
例如,在为1英寸传感器芯片的相机配备前述镜头,且工作距离为1.5m时,相机的最小像素分辨率为
同样,当将该镜头配给1/2英寸传感器芯片的相机,且工作距离为不变时,相机的最小分辨率为1英寸相机的一半:
具体来说,若项目要求检测的最小特征大小和代表最小特征的像素数不变,则镜头焦距固定时,所选择相机的最小分辨率应与视场大小成正比。由于镜头焦距固定时视场大小又与相机传感器尺寸成正比,与工作距离成反比,因此,相机最小像素分辨率此时也与相机传感器尺寸成正比,与工作距离成反比。反过来,一旦选定了相机(分辨率和传感器尺寸确定)和镜头焦距,项目的需求也就限定了成像系统的最大视场及相机与观测目标的最大安装距离。在这种情况下,离目标越近,可以用来代表最小特征的像素数就越多。
在机器视觉成像系统设备选型过程中,也常要反过来使用最小特征大小和相机参数(像素分辨率和传感器芯片尺寸)来确定应为其配备何种焦距的镜头。例如,在要求纵横方向上可以至少用两个像素代表所能检测的4mm×3mm最小特征时,若选择传感器尺寸为1英寸、像素分辨率为720×576的相机,则视觉系统的最大视场为
在确认为该相机所配备的镜头可以支持1英寸及以上的相机传感器芯片后(消除渐晕现象),可以根据下面的关系来确定应选择何种焦距的镜头:
也就是说在项目需求及相机确定时,所选择镜头焦距的最小值与工作距离成正比。相机安装位置离目标越远,所选镜头的最小焦距也应越大。如果工作距离固定,则镜头的最小焦距也就选定了。例如,当工作距离为3m时,可以得知横纵两个方向上要求镜头的最小焦距fhmin和fvmin为
由此,如果有焦距为6mm和8mm的镜头可选,则应选择与两个方向上最小焦距最接近的8mm镜头。由于相机和工作距离确定时,增大镜头焦距会缩小在该工作距离处的视场,因此,还要再次反过来验证使用该8mm镜头时其视场是否能覆盖要检测的目标。可以计算得出使用该8mm镜头时横纵两个方向上的视场为
只要该视场能较好地覆盖测试目标,就可以使用该镜头。在镜头和相机选型完成后,应尽量在项目需求限定的最大视场和最大安装距离范围内调整工作距离,使相机工作时的视场为
其中,Lobject是检测目标的最大长度,ldynamic是目标可能移动的最大距离,lbuffer是预留的安全距离,这样就可以在保证检测目标被相机捕获的前提下,有更多像素来代表目标的最小特征。
如果事先既未确定相机又未确定镜头,则需要先了解项目工作环境对相机安装(工作距离)、要检测的最大范围(视场)、最小特征的尺寸和代表它的像素数的要求,然后根据这些条件来计算应使用何种镜头或相机。图2-14显示了为机器视觉项目选择镜头和相机的简化流程。无论何种情况,都是基于成像系统简化模型的参数约束关系和项目需求获取最优搭配的过程。
图2-14 选择相机和镜头的简化流程
景深也是一个与镜头和成像系统关系十分密切的参数,它是指在镜头前沿着光轴所测定的能够清晰成像的范围(见图2-15)。在成像系统的焦点前后,物点光线呈锥状开始聚集和扩散,点的影像沿光轴在焦点前后逐渐变得模糊,形成一个扩大的圆,这个圆称为弥散圆(circle of confusion)。若这个圆形影像的直径足够小(离焦点较近),成像会足够清晰,如果圆形再大些(远离焦点),成像就会显得模糊。当在某个临界位置所成的像不能被辨认时,则该圆就被称为容许弥散圆(permissible circle of confusion)。焦点前后两个容许弥散圆之间的距离称为焦深。在目标物一侧,焦深对应的范围就是景深。
如果把观测物平面和光轴看作是三维坐标系(x,y,z),则视场在(x,y)平面上限定了观测范围,而景深则从z方向上确定了可清晰观测的范围。与景深相关的计算公式如下:
图2-15 景深示意图
其中,δ为容许弥散圆的直径,f为镜头焦距,D为对焦距离,F为镜头的拍摄光圈(aperture)值。光圈值F常用镜头焦距和镜头入瞳的有效直径Din的比值来表示,它是镜头相对孔径Dr的倒数,即
常见的镜头光圈值有F1.0,F1.4,F1.8,F2.0,F2.8,F4.0,F5.6,F8.0,F11,F16,F22,F32,F45,F64等。由于光圈值的大小与镜头入瞳孔径成反比,因此光圈值越大,进入镜头的光量就越大,所生成图像的亮度就越强。
对比度用于表示图像在亮度层级上的差异(图像分辨率表示图像在空间上的差异)。它是一幅图像中明暗区域最亮IBrightest和最暗IDarkest两个不同亮度层级之间的差异,常用下面公式计算:
根据该公式,当明暗度之间的差异越大时(对比度的值趋于1),对比度越大,图像越清晰醒目,色彩也越鲜明艳丽;当明暗度之间的差异越小时(对比度的值趋于0),对比度越小,整个图像的清晰度、细节、灰度层次表现就会越差。通常如果要处理的目标涉及较多细节,就需要尽可能调整光圈获取较高对比度的图像,减少后期机器视觉软件开发的难度。当然,如果光圈调整还不能达到目的,就需要通过调整光源或相机增益来提高对比度。
从景深公式可以看出,后景深要大于前景深,而且景深一般随着镜头的焦距、光圈值、对焦距离(可近似于拍摄距离)的变化而变化。在其他条件不变时:
(1)光圈越大(光圈值F越小),景深越小;光圈越小(光圈值F越大),景深越大。
(2)镜头焦距越长,景深越小;焦距越短,景深越大。
(3)距离越远,景深越大;距离越近,景深越小。
在检测目标的高度在一定范围内可能变化的情况下,选择合适的景深,对于机器视觉系统的稳定性尤为重要。例如,在对生产线上的电路板进行检测时,传送带振动引起电路板位置在垂直方向上的变化会使图像离焦而变得模糊(图2-16(a)),从而丢失关键特征信息,引起检测的漏判误判。而如果适当增大景深,就可以将振动带来的距离变化控制在景深范围内,使目标仍能清晰成像(图2-16),这就极大地增强了系统的适应性。
图2-16 不同景深情况下传送带上的目标图像
普通镜头与人眼一样,观测物体时都存在“近大远小”的现象,如图2-17(a)所示。也就是说,虽然物体在景深范围内可以清晰成像,但是其成像却随着物距增大而缩小。如果被测目标不在同一物面上(如有厚度的物体),则会导致图像中的物体变形。另一方面,相机传感器的感光面通常并不容易被精确调整到与镜头的像平面重合(调焦不准),由此也会产生误差。为此,人们设计了远心镜头。
图2-17 普通镜头与远心镜头
相对于普通镜头,远心镜头(telecentric lens)有较大的景深,且可以保证景深范围内任何物距都有一致的图像放大率,如图2-17(b)所示。多数机器视觉在测量、缺陷检测或者定位等应用上,对物体成像的放大倍率没有严格要求,一般只要选用畸变较小的镜头,就可以满足要求。但是,当机器视觉系统需要检测三维目标(或检测目标不完全在同一物面上)时,就需要使用远心镜头。例如要检测厚度大于视场直径的1/10的物体,或需要检测带孔径、三维的物体等。一般来说,如果被测目标物面变化范围大于视场直径的1/10时,就需要考虑使用远心镜头。它可以确保测试过程中物距在一定范围内改变时,系统放大倍数保持不变,从而保证系统的测量精度。
远心镜头可以分为像方远心镜头(image side telecentric lens)和物方远心镜头(object side telecentric lens),常通过在物方或像方焦面上放置孔径光阑(aperture diaphragm)来实现。远心镜头的原理如图2-18所示,其中孔径光阑用于滤除有害的光束,仅使有益光束进入镜头成像。物方远心镜头的孔径光阑位于像方焦面上,此时物方主光线平行于光轴,其会聚中心位于物方无限远(图2-18(a))。物方远心镜头所成图像的大小对物距不敏感,但是对像距十分敏感。像方远心镜头的孔径光阑位于物方焦面上,此时像方主光线平行于光轴,其会聚中心位于像方无限远(图2-18(b))。经像方远心镜头所成图像的大小对物距很敏感,但是对像距不敏感。因此可以使用物方远心镜头消除物距变化带来的误差,而使用像方远心镜头消除诸如CCD感光面与镜头像面不重合等像距变化带来的误差。
图2-18 远心镜头
进行实际机器视觉系统设计时,也会见到物方远心镜头和像方远心镜头结合在一起的远心镜头,这种镜头可以综合两种远心镜头的优点,常用于开发对精度要求较高的测量系统。除了以上所述优点外,远心镜头还可以避免普通镜头常出现的投影失真。然而远心镜头一般体积较大、价格高,而且工作时要确保被测目标小于镜头直径。
现实中,镜头自身特性与理想成像系统模型总是有差距的,镜头特性的不完美性对成像系统有较大影响。例如,在使用广角镜头或变焦镜头的广角端时,成像画面常呈桶形膨胀状态,称这种情况为桶形畸变(barrel distortion)。而在使用长焦镜头或变焦镜头的长焦端时,成像画面常会向中间收缩,称这种情况为枕形畸变(pincushion distortion)。还有些镜头产生的畸变是图像中心处接近桶形失真,但由中心向边缘逐渐过渡到枕形失真,这时图像上半部分极其向八撇胡须,故而称为须形畸变(mustache distortion)。这些由于镜头自身特性引起的畸变统称为镜头畸变(lens distortion),如图2-19所示。
图2-19 镜头畸变
镜头相对于被测目标的安装位置和角度也影响成像系统的质量。例如在相机未能垂直于被测目标安装时,就会产生透视畸变(perspective distortion)。在这种情况下,所成图像遵循透视规律,即离镜头越近,所成图像越大,反之越小,如图2-20所示。
图2-20 投影失真
若要使用搭建好的机器视觉系统进行准确测量控制,必须综合考虑机器视觉成像系统的多种畸变因素,实时地把图像中像素包含的信息映射到真实世界中去。这就需要事先获知成像系统的图像像素与真实世界坐标系之间的映射关系。通过各种流程和方法,寻找这个对应关系的过程称为系统空间校准。第6章将专门介绍与此相关的技术。
镜头与相机之间的物理接口必须匹配才能安装在一起搭配使用。常见的接口标准有C接口(C-mount)、CS接口(CS-mount)和F接口(F-mount)。在机器视觉领域,目前C和CS接口的镜头及相机占主导地位,它们的唯一区别是背焦距不同,如图2-21所示。F接口常用于高像素数的线扫描相机(2048像素以上),获取比C和CS接口镜头更大的图像。
C接口镜头的背焦距是17.526mm,CS接口镜头背焦距则为12.5mm,因此,只要为C接口镜头配备一个5mm的扩展管(转换器),就可以得到CS接口的镜头,但CS镜头却不能与C接口的相机搭配使用。C接口是镜头的国际标准,因此有很多C接口的镜头可供选择。关于C接口镜头和相机,有一个重要例外,就是C接口的3CCD相机不能和C接口镜头协同工作,因此需要查阅相机供应商提供的镜头兼容性列表。
镜头与相机连接之初,观测目标的成像面不一定恰巧与相机传感器的感光面重合。为了得到清晰的影像,就需要调整镜头成像面的位置,使之恰巧落在相机传感器的感光面上,这个过程称为调焦。调焦过程并不改变镜头或镜头组自身的焦距(或改变很小),而只是通过延着光轴前后移动整个镜头或只微小调节镜头组中某一个透镜的位置,使镜头像面和相机传感器感光面重合。几乎所有镜头筒上都有一个调焦环,日常生活中,转动调焦环以获取清晰图像的过程实际上就是通过机械装置调焦的过程。
与调焦不同,变焦是指在保证像面不动的前提下,通过移动镜头组内透镜的相对位置使整个镜头系统的焦距发生较大变化。变焦通常用焦距变化的倍数来衡量,例如“4倍变焦”就是指最大焦距是最小焦距的4倍。变焦镜头与调焦镜头的最大不同在于,调焦镜头是通过移动整组镜头(或镜头组内某一镜头)的位置使成像面与传感器感光面重合;而变焦镜头则是在确保像面不动的前提下,通过改变镜头系统的焦距获得清晰成像。虽然某些调焦方式也会引起镜头焦距的微小改变,但其目的却是为了移动像面来完成对焦。
图2-21 C与CS接口
除了光学元件,镜头设备一般还包括固定光学元件的零件(如镜筒、透镜座、压圈、连接环等)、镜头调节机构(如光圈调节环、调焦环等)和镜头连接机构等。高级点的镜头上有时还有自动调整光圈、自动调焦或光强度感测等电子机构。这些设备与光学系统协同工作,可以确保镜头和相机构成的成像系统为视觉系统工作提供良好的图像信号基础。