基于深度学习的传统图像增强算法

引言

由于受到环境，光线等的影响，拍摄的照片清晰度和对比度比较低，不能够突出图像中的重点。图像增强就是通过一定手段来增强图像的对比度，使得其中的人物或者事物更加明显，有利于后边的识别等处理。本章介绍几个传统的图像增强算法，并给出matlab实现代码，看一看不同算法的实现效果，最后再介绍一下深度学习在图像增强上的应用。

1. 直方图均衡
在直方图中，如果灰度级集中于高灰度区域，图像低灰度就不容易分辨，如果灰度级集中于低灰度区域，那么高灰度就不容易分辨。为了能够让高低灰度都容易分辨，最好的办法是将图像进行转换，使得灰度级分布概率相同。这就是直方图均衡的目的。假设图像经过如下变换：

Matlab代码如下：
function histogramEqual

imgData=imread('../data/img0.jpg');
gray=rgb2gray(imgData);
imshow(gray);
imwrite(gray, '../data/gray0.jpg');
%calculate histogram
histgramData=linspace(0, 0, 256);
[grayRow, grayColumn]=size(gray);
grayPixelNumber=grayRow*grayColumn;
for i=1:grayRow
for j=1:grayColumn
histgramData(gray(i, j)+1)=histgramData(gray(i, j)+1)+1;
end
end

%histogram equalization
histogramIntegral=linspace(0, 0, 256);
for i=1:256
for j=1:i
histogramIntegral(i)=histogramIntegral(i)+histgramData(j);
end
end

for i=1:grayRow
for j=1:grayColumn
gray(i, j)=round(255*histogramIntegral(gray(i, j)+1)/grayPixelNumber);
end
end

imshow(gray);
imwrite(gray, '../output/histogramEqual.jpg');
end

处理结果：

图1.1 直方图均衡化结果（左）原图像（右）结果

2. Gamma变换

Gamma变换主要用于图像修正，将灰度过高或者过低的图片进行修正，增强对比度。变换公式是对每个像素进行乘积运算：

从下图的gamma曲线中可以看出其变换原理：

图2.1 图像gamma变换

从图中可以看出当r值大于1，会拉伸图像中灰度级较高的区域，压缩灰度级较低部分；当r值小于1时，会拉伸灰度级较低部分，而压缩灰度级较高部分。这样来调整图像对比度。

Matlab代码：
function imageGamma(r)

imgData=imread('../data/img0.jpg');
gray=rgb2gray(imgData);
[grayRow, grayColumn]=size(gray);

gray=double(gray);

for i=1:grayRow
for j=1:grayColumn
gray(i, j)=255*((gray(i, j)/255)^r);
gray(i, j)=round(gray(i, j));
end
end
gray=uint8(gray);

fileName='../output/gamma';
fileSuf='.jpg';
gammaStr=num2str(r);
file=[fileName, gammaStr, fileSuf];
imshow(gray);
imwrite(gray, file);

end

结果如下：

图2.2 gamma变换（左）r=0.5（右）r=1.5

3. Laplace变换

对图像进行二阶微分操作可以突出图像边缘，增强细节。通常希望构造一个同性滤波器，其对图像方向的变化不敏感。一个最简单的同性滤波器就是laplace算子，定义为：

Matlab代码为：

% g(x, y)=f(x, y)+c*delta2 f(x, y)

function laplace(c)

imgData=imread('../data/img0.jpg');
gray=rgb2gray(imgData);
[grayRow, grayColumn]=size(gray);

gray=double(gray);

%laplace
laplacePlate=[0, 1, 0; 1, -4, 1; 0, 1, 0];
laplaceResult=zeros(grayRow, grayColumn);
laplaceGray=zeros(grayRow, grayColumn);
laplaceGray=double(laplaceGray);
for i=1:grayRow
for j=1:grayColumn
for k=-1:1
for n=-1:1
if (i+k>=1) && (i+k=1) && (j+n grayValue=gray(i+k, j+n);
else
grayValue=0;
end
laplaceResult(i, j)=laplaceResult(i, j)+laplacePlate(k+2, n+2)*grayValue;
end
end
laplaceGray(i, j)=round(gray(i, j)+c*laplaceResult(i, j));
end
end

maxLaplaceGray=max(max(laplaceGray));
minLaplaceGray=min(min(laplaceGray));
laplaceGray=((laplaceGray-minLaplaceGray) .* 255) ./(maxLaplaceGray-minLaplaceGray);
laplaceGray=uint8(laplaceGray);
fileName='../output/laplace';
fileSuf='.jpg';
gammaStr=num2str(c);
file=[fileName, gammaStr, fileSuf];
figure('name', 'gray');
imshow(laplaceGray);
figure('name', 'laplace');
imshow(laplaceResult);
imwrite(laplaceGray, file);
imwrite(laplaceResult, '../output/laplaceResult.jpg');
end

结果为：

图3.1 laplace算子增强（上左）laplace变换结果（上右）C=0.5（下）C=0.8

4. Retix算法

Retix是一种建立在光学物理特性基础上的算法，假设入射光L(x, y)入射到物体上，经过反射R(x, y)，进入到人眼的光变为：

为了降低卷积运算的的运算量，我们取了7x7的高斯卷积模板。

Matlab代码为：

function singleRetix(c)

imgData=imread('../data/img0.jpg');
gray=rgb2gray(imgData);
[grayRow, grayColumn]=size(gray);
gray=double(gray);

gaussConv=zeros(grayRow, grayColumn);
for i=1:grayRow
for j=1:grayColumn
for k=-3:3
for n=-3:3
gaussValue=two_d_gauss(k, n, c);
if (i+k>=1) && (i+k=1) && (j+n grayValue=gray(i+k, j+n);
else
grayValue=0;
end
gaussConv(i, j)=gaussConv(i, j)+grayValue*gaussValue;
end
end
end
end
gray=log(gray);
gaussConv=log(gaussConv);
reflectGray=exp(gray-gaussConv);
maxReflectGray=max(max(reflectGray));
minReflectGray=min(min(reflectGray));
reflectGray=((reflectGray-minReflectGray) .* 255) ./ (maxReflectGray-minReflectGray);
reflectGray=uint8(reflectGray);

fileName='../output/retix';
fileSuf='.jpg';
gammaStr=num2str(c);
file=[fileName, gammaStr, fileSuf];
figure('name', 'processed');
imshow(reflectGray);
imwrite(reflectGray, file);

end

function res=two_d_gauss(x, y, c)
res=(1/sqrt(2*pi*c))*(-(x^2+y^2)/c^2);
end

结果：

图4.1 Retix结果（左）sigma=90（右）sigma=150

5. 基于深度学习的图像增强

LL-NET是第一个用深度学习来增强图像的方法。在其论文中使用自动编码器从表示学习的角度来解决低光图像增强的问题，这些自动编码器经过训练以学习低光图像中的基础信号特征并自适应地增亮和去噪。LL-NET借鉴了SSDA网络的稀疏特性，可以用来去除图像中噪声。运用网络的泛华能力来提供低照度下的测试图片，让网络来学习到图片的特征，从而降低噪声，提高图像对比度。

网络结构如下：

图5.1 LL-NET网络结构

结果为：

图5.2 结果

结论

本文介绍了四种传统的图像增强算法，以及一种基于深度学习的方法。

编辑：hfy