谷歌发布基于神经网络的图像质量评分系统NIMA

图像质量和美感的定量化一直是图像处理和机器视觉领域的难题。尽管基于像素级处理的噪声、模糊和压缩效应定性评价已经有一些成果，但是美感评价却涉及到情感等人类主观因素，因此长期以来面临巨大阻碍。研究人员曾尝试用人工分类标注数据训练的深度卷积神经网络来判定如陆地等特定类型图像的主观质量。然而，这种方法受限很大，因为大多数情况下，人工对图像质量的分类标注只有“高”和“低”2 类。

近日，谷歌研究人员提出了一种算法，可以对图像进行评分。该程序对图像的评分更接近于人类主观评分，且应用范围更广。

在论文《NIMA: Neural Image Assessment》中，研究人员提出了一种深度卷积神经网络，它将图像分为“良好”和“优美”2 类，且分类结果跟人类的主观分类结果有很高的相关性。NIMA 基于最新的深度物体识别神经网络，可识别物体及其多种变种。文章中提出的神经网络具有打分跟人类主观打分很相近的优点，因此可以用于之前非常耗费人力的图像质量评估工作，而图像质量评估工作是智能图像编辑、用户显示优化和视觉误差优化等应用的必要步骤。

论文地址：https://arxiv.org/abs/1709.05424

背景

一般地，图像质量评分技术分为“有参照”和“无参照”2 种方法。现有的 PSNR、SSIM 等有参照图像质量评分系统需要有一张完美图像作为参照。然而，如果没有完美参考图像，则必须依靠统计模型来估计图像质量。有参照和无参照方法的终极目的，都是要让程序的评分尽可能接近人类评分。传统的基于深度卷积神经网络的图像质量评分技术，首先用一套经典图像数据库（如 ImageNet 等）来训练系统，然后再利用人工分类后的不同质量图像来进一步训练系统。

NIMA

直方图是用户对图像质量的大略评估。尽管人工分类的训练图像，都有类似于购物网站商品评价系统的评分直方图，但是传统的美感评分系统还是只能将图像品质分为“高”和“低”2 档。NIMA 算法克服了这一缺点，也能生成评分直方图——也就是图像得 1-10 分的概率密度函数。这种设计跟人类评分系统产生的直方图在形式上吻合，且评估结果更接近于人类评估的结果。

当然，实际使用中，也可以根据直方图生成更简单的评价指标，比如均值，来给图像评分。NIMA 对美学视觉分析数据库（AVA）中的图像进行评分的结果如下。每张 AVA 图像由 200 人给出评价。在训练后，NIMA 系统的评分均值，跟人类给出的评分均值非常接近。此外，NIMA 对不同数据库图像上的运行均结果良好。

图丨括号外数字是用 NIMA 对 AVA 数据库中的「陆地场景」样例图片进行的评分，括号中数字是人类的主观评分。

NIMA 评分也可以评估同一图像在不同质量下的得分。下图是基于 TID2013 数据库的 NIMA 评分，各个图像的质量均有不同。

图丨 NIMA 对 TID2013 数据库中的不同质量的同一图像进行评分。

感知图像增强

在之前发表的另一篇文章中，研究人员也提出了基于图像质量和美感评分来提高图像增强系统效能的方法。NIMA 的评分为图像增强系统提供了一个客观的标准，基于 NIMA 评分，图像增强系统有更大概率产生更令人满意的图像。以下的例子中，图像增强算法基于 NIMA 的评分进行训练，然后处理真实数据。事实证明，统计意义上，图像增强算法的输出图像质量在引入 NIMA 系统之后得到了提高。事实上，借助 NIMA 算法，图像增强系统可以找到近乎理想的亮度、对比和阴影组合。

图丨 NIMA 可以用来提高图像增强处理的效果。在上例中，深度神经网络基于 NIMA 对原始图像的评分，调整了输出图像的色调和对比（MIT-Adobe FiveK 数据库供图）

展望

NIMA 系统的成功，标志着基于机器学习的图像质量评估工具有望大规模进入实用领域。例如，在用户手中，NIMA 可以帮助用户在大量图像中快速找到质量最高的图像，也可以在用户的反馈下，实时提高图像质量。在处理系统中，NIMA 可以用来提高图像批量处理输出结果的质量。研究人员认为，NIMA 是一个不错的，尽管离完美还有不小差距的质量评分系统。未来，他们打算进一步提高 NIMA 系统的效能，以期能更加精确地评估图像的质量。