数字图像关键质量指标与测试方法——锐度

数字图像质量的测试可以从视觉质量和信息质量两个角度进行，这两个维度各有其关键指标。

视觉质量指标主要用于量化图像在视觉感知中的表现，即图像在显示时人眼感受到的视觉效果。信息质量指标则侧重于衡量图像在机器视觉及其他自动化处理应用中的信息含量与有效性。这类指标通常涉及图像的细节保留、纹理信息等方面的表现。

通过多维评估，我们能够更全面地理解和改进图像在不同应用场景中的质量表现。不过在本文中，主要围绕影视相关，即视觉质量指标做介绍，暂不涉及信息质量方面。

定义

锐度决定了成像系统能够再现的细节数量。它是由不同亮度或颜色区域之间的边界来决定的。

锐度指标评估的就是上图中空间频率逐渐增加的黑白锐利边界经过摄影系统记录后所发生模糊的多少。图中上半部分为原始测试图像，下半部分为经过摄影系统记录后所呈现的图像（模拟）。

在数字图像中，用于测量锐度的方法有10%-90%“上升距离”法、调制传递函数（MTF）、频率域以及斜边（Slanted-Edge）算法。

测量方法

10%-90%“上升距离”法

10%-90%“上升距离”法测量的是图像上的一个锐利边缘，像素值从10%到90%之间横跨的像素数（红色花括号部分）。如下图所示：

这种简单的测量方式确实能直观地反映出锐度的高低。例如在上图中，我们可以很快地得出左边的边缘比右边的更锐利。但其存在一些局限性，即不容易从成像系统的各个组成部分（如镜头、数字传感器和软件锐化）的“上升距离”测量结果，快速计算得出整个系统的“上升距离”。

这意味着在实际测试生产中，如果想要快速评估某种系统组合的锐度指标，需要组合整个系统再次测试。在有大量镜头、传感器等可选的情况下，难以快速比较不同组合的系统锐度。

频率域

为了克服上述问题，人们在频率域中进行测量，其中频率以每单位距离（例如毫米、像素数或图像高度等）的线对数或周期来衡量。

在频率域中，一个复杂的信号（例如图像）可以表示为多个正弦波的叠加。通过傅里叶变换，我们可以将二维图像从空域信号转换为频域信号，从而在频域中对其进行分析。傅里叶变换及其逆变换的数学表达如下：

$F(\omega )={\int }_{-\infty }^{\infty }f(t)e^{-i\omega t}dt$

$f(t)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }F(\omega )e^{i\omega t}d\omega$

在此处：

• $f(t)$ 表示空间域中的信号；

• $F(\omega )$ 表示频域中的信号；

• $\omega =2\pi f$ 是角频率，$f$ 为普通频率，即周期的倒数（周期越短，频率越高）；

• $t$ 是空间变量。

通过傅里叶变换，我们将图像的频率域与空间域关联起来。这些转换后的正弦波信号具有周期与频率特性。

在图像中，高频信号对应于快速变化的细节（如边缘、纹理等），而低频信号则对应于缓慢变化的整体结构（如平滑区域）。由于我们比较锐度时主要关注图像中的边缘与纹理，因此我们可以通过单独分析高频信号的衰减程度，直观地反映系统在传递细节信息方面的质量。

现在我们分别测量镜头、传感器等组件的频域锐度表现，即可得到整个系统的频域锐度表现。这为组件选择与参数调整提供了极大的便利。

MTF (Modulation Transfer Function)

在介绍具体测量方法之前，让我们先了解一下最终结果的呈现方式。

数字图像的锐度测量结果采用与胶片时期相似的呈现方式，即绘制调制传递函数（MTF）曲线。没有阅读过这部分的读者可以参考我之前写的 胶片图像质量测试标准简述 MTF部分学习理解。下图的下半部分，就是一个使用MTF曲线呈现的测量结果。

然而，它们在细节上存在一些差异。在数字图像的锐度测试中，使用当前广泛应用（被ISO 12233作为标准测量方法）的斜边法测量时，得到的频率响应是连续的，理论上可以获得任意频率下的精确响应值。这不同于胶片测量中通过离散点连接得到的MTF曲线，使得分析锐度性能更为精确。

斜边法

为何斜边法可以获得连续的频率响应呢？让我们具体来了解一下斜边法是如何测量锐度的。

斜边法采用的测试图表主要是依据ISO 12233:2017标准制作的eSFR测试卡。在MTF测试中，主要利用的是15个带有一定角度，以4:1对比度精确印制的方块。这15个方块分布在图像从中心到边缘的各个位置，便于一次测得整个像场的锐度表现。

ISO 12233:2017测试卡

斜边法将成像系统捕获的二维边缘的原始数据投影到垂直于边缘的一维线上，产生其强度分布（边缘扩展函数，Edge Spread Function，ESF）。

斜边法取样得到边缘扩展函数

之后对ESF进行求导，得到线扩展函数（Line Spread Function, LSF）。再对线扩展函数进行傅立叶变换，从空域变换到频域，即得随频率变化的MTF曲线图。

ESF→LSF→MTF流程图

整个过程的流程图（LSF未展示）

通过这样的方式，我们可以精准地从一条斜边上得到任意频率下的响应值。

特殊的斜边

不过这里再次产生了一个问题，为何要用斜边而非水平或垂直的边缘？最终我们要获得的测量结果是系统或单一组件在水平或垂直方向上的MTF，理论上使用水平或垂直的边缘可以直观方便地得到结果。

原因是完全垂直或水平边缘的MTF结果高度依赖于采样相位（测试图像边缘与感光元件像素位置之间的关系），根据精确（子像素）边缘位置的不同，每次运行的结果可能有所不同。此外，边缘是倾斜的，因此 MTF 可以根据许多采样相位的平均值进行计算，使得结果更加稳定和可靠。

那么斜边角度应当如何选择呢？根据过去相关实验人员的大量测试，如果可能，边缘角度应大于与最近的垂直(V)、水平(H)或45度方向的±2度。原因是垂直、水平和45°边缘的结果对边缘与像素之间的关系非常敏感（即它们对相位敏感）。

在ISO 12233标准中，推荐的边缘倾斜角度为5度。不过在实际应用中，当边缘倾斜超过3度、小于7度时，即可避免相位敏感问题。

对相对最近的垂直或水平方向的非零边缘角度$\theta$，应使用余弦校正，如下图所示。

当$\theta$大于约8度时（cos(8º) = 0.99），校正非常重要。

期望得到的MTF与对应的频率$f$是基于ROI区域的垂直或水平线（以蓝色显示）计算得出的，而测量得到的MTF是基于边缘法线（以红色显示）计算得出的。由于沿边缘法线（红色线）的实际黑白过渡长度短于沿垂直或水平线（蓝色线）测量的过渡长度，并且用于测量MTF的频率$f$与实际黑白过渡长度成反比，因此可以得到以下公式：

$f=\frac{f_{\text{initial}}}{\cos \theta }$

相应的总结性指标MTFnn（MTF50、MTF50P等），其单位是频率。因此实际的MTFnn指标也可通过类似公式换算得到：

$\text{MTFnn}=\frac{{\text{MTFnn}}_{\text{initial}}}{\cos \theta }$

结果解读

经过这样一系列的测量与计算后，我们就可以获得如下图的结果：

其中左上方的横条图像是以斜边法线方向裁切的横截图，从暗到亮显示。它与紧邻下方的平均边缘像素值图表对齐。

横截图下方图表的主要内容是10-90%“上升距离”，该距离以像素或每图像高度的上升距离来表示。图中的其他参数包括过冲和下冲的量，也就是图中的尖峰峰值与平稳值的差值，过冲与下冲往往是由ISP或后期软件的锐化导致的。

最下方的图表显示的是锐度测试最重要的结果——MTF曲线及其对应总结指标。

• 黑色曲线：代表了Y（亮度）通道的MTF曲线。
• 红绿蓝三色曲线：分别代表对应通道的MTF曲线。
• MTF50：对比度下降到低频（0Hz）MTF 50%的频率。MTF50与感知锐度相关性较好，因此也作为最常见的总结性指标。
• MTF50P：对比度下降到峰值MTF 50%的频率。
  • 该指标主要是由于软件锐化的存在而设立的，因为MTF50会“奖励”过度锐化（即一味地锐化可以获得更高的MTF50分数，而导致在边缘处出现可见的“伪影”）。这个值与 MTF50 在图像受到低到中等软件锐化程度下相同，但当锐化严重，MTF峰值大于1时低于 MTF50。相比 MTF50，其对软件锐化的敏感度要低得多。总的来说，这是一个更好的指标。
  • MTF50P还可以降低软件锐化对MTF值的影响，这在测试阶段无法规避软件锐化影响，但又需要比较不同设备的成像锐度时非常有效。
• 单位：MTF总结指标的单位常用每像素周期（Cy/Pxl）或每画面高度线宽（LW/PH）来表示。具体常用各种指标的含义及适用条件会在下文提供。

归一化与边缘对比度

在实际计算中，把图像亮度转为线性的处理非常关键，否则不同的Gamma值会显著影响测量结果。因此，在计算之前，须将图表的对比度作为变量输入软件，或者通过图表中已知反射率的灰阶块计算Gamma值。在求出图像Gamma后，对数据进行线性化处理，从而归一化其他变量。

此外，斜边的明暗对比度也是有特别规定的。通常情况下，斜边的对比度会被限制在10:1以下，建议为4:1。原因是高对比度边缘可能导致部分待测设备拍摄的图像产生高光裁切或暗部裁切，这会使ESF出现尖锐的拐角，从而严重影响测量结果的准确性。例如下图所示的情况：

发生高光裁切的高对比度边缘

优势与劣势

测试锐度这一指标还有许多的方法，例如西门子星、枯叶图等等。它们都有其各自优劣与适用的测试场景。本文中暂且不提其他方法，但对斜边法这一应用最广泛的测量方法做一个简单的优劣分析。

• 优势
  • 可以最有效地利用图表空间，方便地从一次测试中获得整个像场各个位置的锐度表现。
  • 通常斜边法的测试图表都有标记点，可以进行自动化的测试。
  • 结果对图像噪声相对不敏感。
  • 是最适用于制造业的测试方法。
• 劣势
  • 在应用强图像依赖性锐化算法（锐化程度随着边缘对比度增加而增强，例如双边滤波算法）的系统中，可能会给出相对乐观的结果。而这种锐化在现代消费级影像设备中几乎无处不在。
  • 在具有极端混叠现象（即图像在高于奈奎斯特频率的部分具有强能量）的系统中，测量结果可能不一致。尤其是在ROI区域过小的情况下。
  • 不适合用于评估精细纹理（例如树叶、织物等）的还原能力。在这种需求下建议使用枯叶图（Dead Leaves）或对数频率-对比度（Log F-Contrast）测试卡。
  • 枯叶图（Dead Leaves）
  • 对数频率-对比度（Log F-Contrast）测试卡

空间频率单位

为测得值选择合适的单位来呈现非常重要，不同的单位分别有不同的用途，例如衡量相机对场景细节的再现能力或是不同影像系统对传感器单个像素的利用能力。

在早期，针对胶片相机镜头的测试往往使用线对每毫米（LP/mm）作为单位。这种方法适用于比较镜头，因为大多数35mm的胶片相机都具有相同的幅面尺寸。但是，现在手机、监控、相机等等设备的传感器大小差异很大——从对角线长度不到5mm的手机到43mm的全画幅相机。因此，推荐使用每画面高度线条宽度（LW/PH）来衡量影像系统能再现的细节总量。

另一个常用的空间频率单位是像素周期数（C/P），它能表明影像系统对单个像素的利用情况。

选择单位时还会考虑到是评估图像整体锐度还是评估对被摄对象细节的还原能力。我将在下表中系统化地对常用单位进行总结。

Info

在影像系统中，一个周期（Cycle）等同于一个线对（Line Pair）。它们可以互换使用。

MTF单位	应用场景	公式
周期/像素（Cycles/Pixel (C/P)）	主要为了比较像素利用情况，不是比较图像整体锐度的指标。 考虑到线对与像素的特性，要准确分辨线对至少需要一列或一行像素对应完整的一条黑色或白色线，因此奈奎斯特频率始终为0.5C/P。
周期/距离（Cycles/Distance）	在早期标准胶片（例如，35mm胶片对应尺寸24x36mm）比较分辨率时常用。 当下常用于与镜头光学设计程序生成的预计指标做比较，一般选用周期/毫米单位。 该单位的计算需要额外输入像素间距的值。	$\frac{MTF(C/P)}{\text{pixel pitch}}$
线宽/像高（Line Widths/Picture Height (LW/PH)）	LW/PH 和 LP/PH 是比较不同传感器尺寸和像素数量的相机所摄图像整体锐度的最佳单位。 适用于以图像为中心的应用。	$2\times MTF(\frac{LP}{PH})$ $2\times MTF(\frac{C}{P})\times PH$
线对/像高（Line Pairs/Picture Height (LP/PH)）	与LW/PH基本相同，仅仅将线宽替换为了线对。	$MTF(\frac{LW}{PH})/2$ $MTF(\frac{C}{P})\times PH$
周期/角度（Cycles/Angle）	这是一个角频率单位。需要额外输入镜头焦距Focal length (FL)。 这一单位对于比较影像系统捕捉远距离物体的能力非常有用。例如在打鸟中用于衡量影像系统在远距离清晰捕捉鸟的能力。这与传感器和像素大小等因素无关。 这个单位得到的值高度依赖于镜头质量和焦距。是一种以拍摄对象为中心的应用。 此外它也可以用于将影像系统与眼睛进行比较，人类眼睛的MTF50大约为每度20个周期（视个体视力和光照条件而定）。	$0.001\times MTF(\frac{\mathrm{cycles}}{\mathrm{mm}})\times FL(\mathrm{mm})$ $\frac{\pi }{180}\times MTF(\frac{\mathrm{cycles}}{\mathrm{mm}})\times FL(\mathrm{mm})$
周期/对象尺寸（Cycles/Object distance）	该单位的计算必须输入传感器像素间距和放大倍率。 它对于机器视觉任务尤为有用。例如，在检测工件表面细微裂纹时，需要识别一定宽度以上的裂纹。 这也是一种以对象为中心的应用。	$MTF(\frac{\mathrm{Cycles}}{\mathrm{Distance}})\times |\text{Magnification}|$

Tip

• PH：图像高度，以像素为单位。
• 像素间距：每个像素在传感器上的物理尺寸或$\frac{1}{单位距离内的像素数量}$。
• 奈奎斯特频率$f_{\text{Nyq}}$
  • 奈奎斯特频率是指以一定采样频率可以准确采样到信号，不发生频谱混叠的最小值的二分之一。
  • 这意味着一旦信号的频率成分超过奈奎斯特频率，采样到的信号就会存在混叠。
  • 在上面的测试结果图中，空间频率超过紫色竖线之后的测得值就是不准确的，因为传感器对这部分频率的信号已经无法有效采样。
  • 测量奈奎斯特频率的MTF响应可以用来比较不同成像系统或单一组件的极限分辨率。