基于USM去雨算法改进

简介

图像去雨一直是图像恢复和计算机视觉领域的重要研究内容，。雨滴落在相机镜头或挡风玻璃上进一步降低图像质量，从图像中去除雨滴对于视频监控和自动驾驶等户外视觉应用至关重要。最近，已经提出了许多雨滴的去除算法，尽管这些算法能有效地去除雨滴，但它们去除之后的无雨图像背景较为模糊。为了解决这个问题，我们提出了一种基于unsharp masking的后处理算法。并将这个后处理算法应用到现有的雨滴去除网络中，通过在雨滴数据集上的实验结果表明，我们提出的后处理方法能够使无雨图像背景结构更加清晰。

实现过程

算法复现

我们复现了论文“Attentive Generative Adversarial Network for Raindrop Removal from A Single Image”中的生成式对抗网络并使用Raindrop数据集中的测试集对作者的预训练模型进行了测试。

存在问题

通过测试之后，我们发现了一个问题，真实场景中雨落在镜片上会产生反射，导致去除雨线雨滴后的图片较为模糊，图片背景结构也不够清晰。

改进方法

针对以上的问题，我们使用优化的Unsharp Masking算法对图片进行后处理。USM是一种主要通过增强图像中边缘部分的明暗变化幅度来提高视觉效果的锐化算法。

如下图（a）所示，首先对输入图像I进行高斯模糊后得到图片L，接着将原图I和模糊图像L相减，得到包含高频部分的图片H，最后将原图I与高频部分H叠加，就可以得到USM后的结果图片O。

我们在此基础上进行改进，抛弃传统方法，引入了原图I的高对比图像C。如下图(b)所示，首先对输入图像I进行高斯模糊后得到图片L；接着将原图I和模糊图像L相减，得到包含高频部分的图片H；然后将图像I由BGR色彩空间转到LAB色彩空间，对亮度通道L进行直方图均衡化；并将均衡化后的L通道与原AB通道合并，并转回BGR色彩空间，得到高对比图片C；最后将高对比图片C与高频部分H叠加，我们就可以得到USM后的结果图片O。