图像阴影去除的研究现状与进展

中的关键一步，因为图像中的阴影阻碍了许多视觉处理任务的进行。如阴影区域会对图像中的文字识别造成干扰，阴影“假边”会降低图 像分割的精度，同时也会降低运动物体的追踪的效果。因此，去除图像中的阴影对后续的图像处理进程有着至关重要的作用。关键词：阴影去除；阴影检测；现状；进展1引言随着计算机技术，尤其是人工智能的崛起，图像分割、运动物

体追踪等视觉领域得到了十足的发展。然而，光照及遮挡物的遮挡

使得阴影在自然图像中几乎是无处不在的，图像中的阴影对后续的 图像处理造成了极大的干扰。由于光源的种类、强度、遮挡物体的

大小、形状、透明度以及背景材质、反射率参数等多种因素的影响，

阴影图像 阴觀mask 阴Uanatte图像中的阴影也随之变得更加复杂。如何有效地将图像中的阴影去

除、为后续的图像处理提供便利，成为图像预处理的重中之重。图1:阴影图像及其对应的mask与matte示例用白色表示，这种阴影图像通常被称为阴影“mask”；还有一种阴

影表示形式中包含很多层次的透明度，这种阴影图像通常被称为阴

图像阴影去除大都可以分为阴影检测和阴影去除两个步骤。阴 影检测是应用相应的算法对图像进行处理，确定图像中的阴影区域，

影\"matte\"。若检测出的是阴影表示为后者，那我们可以根据公式

对阴影区域与非阴影区域进行标注；阴影去除大多是利用检测到的

阴影，运用相应的算法、模型或计算将阴影去除，并尽可能完整地

保留阴影区域原有的信息，使其无限接近于在相同照明条件、相同

Is=Sm - Ins181来计算出对应的无阴影图像，来达到阴影去除的目的。

其中Is表示含阴影的图像，h表示阴影图像h所对应的不含阴影 的图像，Sm表示阴影“matte\"。也就是说，阴影图像可以表示为

无阴影图像与阴影“matte”的像素级乘积。3. 2基于边缘的阴影去除场景下的无遮挡物的无阴影图像。2阴影检测方法归纳2. 1基于区域的阴影检测对于相同反射率的区域，在相同的照明条件下，它们具有相似

首先，根据图片序列分离出前景图像和背景图像，其中，图像

阴影属于前景图像。之后，检测出前景图像和背景图像的边缘，将

的纹理和颜色分布，而不同的光照条件，其纹理仍然相似，颜色强

度却会存在很大的差异。这种方法的思路是用区域的颜色和纹理特

二者进行差分计算得到物体边缘。同时，通过光照检测计算出阴影

征来预测该区域是否处于阴影区域。无论是相邻还是不相邻的区域

属性。最后，利用物体的边缘及阴影属性，根据像素的明暗对比规

对，若它们具有相同的纹理和相同的颜色强度，则它们极有可能处

于相同的照明条件下，即它们应共享相同的阴影/非阴影标签；若

则恢复图像来达到阴影去除的效果。这种方法多用于连续图像中物

体阴影的去除，如去除交通监控图像中道路汽车产生的阴影⑸。与 其他方法不同的是，这种基于边缘的阴影去除方法无需预先检测出

具有相同的纹理和不同的颜色强度，则颜色强度相对较弱的极有可 能处于阴影区域，而颜色强度较强的则处于非阴影区域。阴影区域。3. 3基于光照模型的阴影去除2.2基于深度学习的阴影检测近年来，深度学习得到了巨大发展，它凭借自身强大、稳定的 性能而延伸到计算机视觉、自然语言处理等众多领域，其中，它在 计算机视觉领域的突破尤为引人注目。阴影检测作为计算机视觉领

当不发光的物体被某一光源照射后，物体对光会出现吸收、反

射、折射等一系列现象。我们之所以能看见世间万物，就是因为我

们看到了反射光、折射光等。为了便于理解这些复杂的物理模型，

很多人提出用数学模型进行模拟，我们将这些数学模型称之为光照

域存在已久的难题，越来越多的人开始尝试用卷积神经网络等深度 学习的方法来解决这个问题。而随着生成对抗网络的提出与发展，

模型（或明暗模型）。定义不同的光照模型何，通过计算直射光、

环境光、遮挡率、阴影系数等参数，使无阴影图像得以恢复。我们发现它在处理计算机视觉领域的诸多问题上有着其他深度模型

无法超越的优势。scGAN⑴、ST-CGAN⑺等生成对抗网络模型的提

3.4基于深度学习模型的阴影去除与阴影检测一样，深度学习模型也被更多地应用到图像阴影去 除的工作中。卷积神经网络是深度学习的代表算法之一，这种算法 的思路是利用卷积层对图像进行卷积提取特征，并结合池化层、合

适的激活函数及其他模块进一步提升图像处理效果。由于卷积核的

出，使得阴影检测的精度有了很大程度的提高。3阴影去除方法归纳3. 1利用阴影mask通过公式计算直接去除阴影不同的阴影检测算法检测出的图像“阴影”有不同的表示形式，

参数共享性，使得卷积神经网络能够快速、有效地对图像中的像素

如图1所示（其中阴影图像来自SRD数据集，“mask”为作者本

人标注，“matte”图像为作者本人采用国中方法生成）。有的方 法得到的阴影图像是二值图，即非阴影区域用黑色表示，阴影区域进行学习，进而提取不同层次的特征，实现阴影去除。近年来，生成对抗网络（Generative Adversarial Nets, GAN） 191

的发展尤其迅速，它由生成器和判别器两部分组成，GAN的基本157计算机与多媒体技术

Computer And Multimedia Technology电子技术与软件工程Electronic Technology & Software Engineeringdetection and remova1 [J]. IEEE transactions on pattern

analysis and machine intel 1igence, 2012, 35 (12): 2956-

2967.

[5] Wang J M, Chung Y C, Chang C L, et al. Shadow detect ion

WltbPH像

9W；mask 生成的and remova1 for traffic images [C]//IEEE International

Conference on Networking, Sensing and Control, 2004. IEEE, 2004, 1: 649-654.图2：阴影去除的边界效应目标函数如下：minc max。U(D,G) = ^x~Pdata(x)[log^W] + 爲予⑵卩°g(l 一 D(G(z)))][6] Hu X, Zhu L, Fu C W, et al. Direction-aware spatial

context features for shadow detection[C]//Proceedings

(1)如公式(1)所示，生成器需尽可能地生成真实的图像，来混

of the IEEE Conference on Computer Vision and Pattern

Recognit ion. 2018: 7454-7462.[7] Wang J, Li X, Yang J. Stacked condi t iona1 generat ive

淆判别器的判断，而判别器则需尽可能准确地识别出真实图像和生 成器生成的“假”图像。GAN就在二者的动态对抗中优化其参数，

adversar ia 1 networks f or jointly learning shadow detect ion and shadow removal [C]//Proceedings of

the IEEE Conference on Computer Vision and Pattern

使得生成器能生成满足目标函数并且使判别器难以区分的真实图

像。因此，我们将阴影图像1,输入到GAN模型中，经过生成器的

编码器、解码器，能够生成相应的无阴影图像G,判别器对G以及

Recognit ion. 2018: 1788-1797.[8] Qu L, Tian J, He S, et a 1. Deshadownet: A multi­

Is进行判别，并通过最小化相应的损失函数來优化模型参数。从简单的深度卷积神经网络模型[2,[7,(91到生成对抗网络闾，阴

影去除的性能逐步得到提升。context embedding deep network for shadow remova1[C]//

Proceedings of the IEEE Conference on Computer Vision

4小结虽然图像阴影去除是一个被长久关注的问题，但去除的效果

and Pattern Recognition. 2017: 4067-4075.[9] Goodf e11ow I, Pouge t-Abad i e J, Mirza M, e t a 1.

Generat ive adversarial nets[C]//Advances in neura 1

仍存在一些不足。首先目前大多数的阴影去除会采用特定场景下的

自然图像来训练模型，尤其是生成对抗网络模型，这使得训练好的

information processing systems. 2014: 2672-2680.模型在其他场景图像的测试下的效果与训练效果相差悬殊；其次， 对于在采用有监督下方式的生成对抗网络模型来说，用来进行训练

的数据集在数量和内容上远远不能满足一个深度学习模型训练的需

[10] Whi t ted T. An improved illumination model for shaded

display[C]//ACM SIGGRAPH Computer Graphics. ACM, 1979,

13(2): 14.要，这使得深度学习模型的训练和优化受到了很大的限制。最后，

由于半影的存在，使得生成的去除阴影后的图像存在很明显的边界

[11] Khan S H, Bennamoun M, Sohe 1 F, et al. Automat ic

shadow detect ion and remova1 from a single image[J].

效应，如图2所示(生成的无阴影图像为作者本人使用ISTD⑺数

据集并釆用3中方法生成)，这在很大程度上阻碍了阴影去除效 果的提升。IEEE transact ions on pattern ana lysis and machine intelligence, 2015, 38(3): 431-446.[12] Khan S H, Bennamoun M, Sohel F, et al. Automat ic

feature learning for robust shadow detection[C]//2014

多年来，图像阴影去除是困扰计算机视觉领域的一个大难题， 有众多的研究学者关注了很长时间，积极寻找解决办法，但是目前

IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 1939-1946.大多数仍处于科学研究的阶段，还没有与具体的应用相结合。目前， 交通、医学等领域越来越需要阴影去除的帮助来更好地完成交通监

控车辆识别、病历拍照识别等任务。因此，图像的阴影去除不应该 仅仅停留在研究阶段，而应该尽快将其落地应用到更多的领域中。[13] Vicente T F Y, Hou L, Yu C P, et al. Large-scale

training of shadow detectors wi th noisily-annotated shadow examples [C]//European Conference on Computer

Vision. Springer, Cham, 2016: 816-832.[14] Hosse inzadeh S, Shaker i M, Zhang H. Fast shadow

参考文献[1] Nguyen V, Vicente Y, Tomas F, et al. Shadow detection

detection from a single image using a patched

with conditional generative adversarial networks [C]//

convo1ut i ona 1 neura 1 network [C]//2 018 IEEE/RSJ Internationa1 Conference on Intel 1igent Robots and

Systems (IROS). IEEE, 2018: 3124-3129.Proceedings of the IEEE International Conference on

Computer Vision. 2017: 4510-4518.[2] Fan H, Han M, Li J. Image Shadow Removal Using End-

[15] Gong H, Cosker D. Interact ive Shadow Remova1 and

Ground Truth for Variable Scene Categories [C]//BMVC.

To-End Deep Convolut ional Neural Networks[J]. Applied

Sciences, 2019, 9 (5): 1009.[3] Madsen C B, Moeslund T B, Pal A, et al. Shadow detection

2014.

in dynamic scenes using dense stereo information and an

作者简介钱真真( 1994-),女，山东省人.北京交通大学硕士.计算机与

outdoor i1lumination model[C]//Workshop on Dynamic 3D

Imaging. Springer, Berlin, Heidelberg, 2009: 110-125.信息技术学院计算机科学与技术专业.主要研究方向为机器学习与

认知计算.[4] Guo R, Dai Q, HoiemD. Pa i red regions for shadow

158