图像退化与重建

• 1. 图像退化模型
• 2. 图像的逆滤波复原
• 3. 图像的几何校正
• 图书文献

1. 图像退化模型

• 图像的退化

  • 定义:图像在形成、传输和记录过程，由于成像系统、传输介质和设备的不完善，使图像的质量变坏.
  • 典型表现:模糊、失真、有噪声.

• 产生原因:成像系统、传感器、相对运动、大气运动等

• 图像复原

  • 定义:尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理.
  • 图像复原过程:
  • 典型的图像复原是根据图像退化的先验知识,建立退化现象的数学模型，再根据模型进行分反向的推演运算，以恢复原来的景物图像。
  • 图像复原的关键是知道图像退化的过程，即图像退化模型，并根据图像退化模型采用相反的过程求得原始图像.

图像复原与图像增强的区别

• 图像增强不考虑图像是如何退化的，而是主观上试图采用各种技术来增强图像的视觉效果
  • 图像增强可以不顾增强后的图像是否失真，只要达到想要的目视效果即可
• 图像复原需知道图像退化的机制和过程等先验知识，客观上找出一种相应的逆处理方法，从而得到复原的图像.

• 如果图像已退化，应先做复原处理，再做增强处理；
• 二者的目的都是为了改善图像的质量.

图像退化的数学模型

• 输入图像$f(x,y)$经过某个退化系统后输出的一幅退化的图像.
• 为了讨论方便，把噪声引起的退化即噪声对图像的影响一般作为加性噪声考虑。
• 原图像$f(x,y)$经过一个退化算子或退化系统$h(x,y)$的作用再和噪声$n(x,y)$进行叠加，形成了退化后的图像$g(x,y)$.

• 假定图像经过的退化系统是线性移不变系统.

• 空间域数学模型

$g(x,y) = f(x,y)\otimes h(x,y) + n(x,y)$

在空间域上分析时,原始图像经过退化系统后得到的退化图像$g(x,y)$等于原始输入图像$f(x,y)$与系统冲击响应$h(x,y)$的卷积再加上噪声信号.

• 频率域数学模型

$G(u,v)=H(u,v)F(u,v) + N(u,v)$

在频率域上分恩熙是，退化图像的傅里叶变换$G(u,v)$等于原始图像的傅里叶变换$F(u,v)$与退化系统的频率响应$H(u,v)$相乘，再加上噪声信号的傅里叶变换$N(u,v)$.

2. 图像的逆滤波复原

• 逆滤波恢复原理:

\begin{eqnarray} G(u,v)&=&F(u,v)H(u,v)+N(u,v)\\ \end{eqnarray}

在无噪声的情况下:

\begin{eqnarray} F(u,v)&=&\frac{G(u,v)}{H(u,v)} \end{eqnarray}

进行反傅里叶变换即可得到$f(x,y)$,我们把$\frac{1}{H(u,v)}$称为逆滤波器.

令$F'(u,v)$为$F(u,v)$的估计,则$F'(u,v)=\frac{G(u,v)}{H(u,v)}$,当有噪声存在时,

$F'(u,v) = F(u,v) + \frac{N(u,v)}{H(u,v)}$

此时$N(u,v)$未知,且当退化函数是零或非常小的值时,$\frac{N(u,v)}{H(u,v)}$比较大，很容易支配$F(u,v)$的估计值，会对逆滤波复原的图像产生较大的影响，有可能使恢复得到的图像与原始$f(x,y)$相差很大，甚至面目全非. 解决方法:限制滤波的频率,高频分量(通常对应噪声信号)的值接近于0，而$H(0,0)$在频率域中通常是$H(u,v)$的最高值,因此__可缩短滤波半径__，使通过的频率接近原点，减少遇到零值的概率.

• 逆滤波复原步骤

  • 对退化图像$g(x,y)$作二维离散傅里叶变换，得到$G(u,v)$;

  • 计算系统点扩散函数(即退化函数)$h(x,y)$的二维离散傅里叶变换，得到$H(u,v)$.

• 逆滤波计算$F(u,v)=G(u,v)/H(u,v)$

  • 计算$F(u,v)$的逆傅里叶变换，求得$f(x,y)$.

    若噪声存在，为减少噪声对复原信号的影响，需要对$\frac{1}{H(u,v)}$进行调整:

  • 在$H(u,v)=0$附近，人为的设置$\frac{1}{H(u,v)}$使得复原信号受噪声影响变小.

  • 先使得$H(u,v)$具有低通滤波性质，则

$H^{-1}(u,v)= \begin{cases} \frac{1}{H(u,v)},D\le D_0 \\ 0,D\gt D_0 \end{cases}$

3. 图像的几何校正

• 基于日常编写图像采集设备的图像应用中，通常获取到的图像都有运动模糊、畸变失真退化等问题.

• 问题：

  • 广角镜头拍出的照片中远处的建筑物通常是歪斜的
  • 在翻拍旧照片的时候常常拍出畸变的结果
  • 卫星拍摄摄像头自身的姿态稳定以及地面起伏等原因造成的影像畸变等.

• 几何畸变的概念:

  • 在实际的成像系统中，图像不中介质平面和物体屏幕之间不可避免地存在一定的转角和倾斜角.
  • 转角:对图像的影响产生图像旋转.
  • 倾斜角:图像发生投影变形.
  • 另外一种情况是由于摄像机系统本身的原因导致的镜头畸变.
    • 

• 还有__物体本身平面不平整__导致的曲面畸变(柱形畸变).

• 几何畸变分类:

  • 线性几何畸变

    • 缩放、平移、旋转...

  • 非线性几何畸变

    • 成像面与物表面的倾斜、物屏平面本身的弯曲、光学系统的像差噪声的畸变，表现为物体与实际的成像各部分比例失衡.

• 几何畸变退化问题的复原：

  • 大多基于成像系统
    • 模拟鱼眼和针孔系统进行摄像机标定，通过确定摄像机畸变参数对所获得的图像进行后续校正和复原处理.
    • 优点：一旦确立成像模型，便可以快速有效地根据模型参数对图像进行几何变换，从而实现复原.
    • 缺点：面临的图像其成像系统未知且多样化，此方法不适合解决一般性无法预知模型的畸变退化。

• 复原方法：

  • 多项式变换技术：利用数值分析的方法求解几何变换方程(拟合).

  • 以标准未畸变图像为参考，用户在标准图像和畸变图像行选择控制点(同名点)，来求解多项式系数.

  • 一.图像空间坐标变换：1.建立图像像点坐标(行号、列号)和物方对应点坐标间的映射关系，2.求解映射关系中的位置参数，3.然后根据映射关系对图像各像素坐标进行校正.

    • 实际中，常以一幅图像为基准，去校正另一几何失真图像。

    • 基准图像$f(x,y)$是利用没畸变或畸变较小的摄像系统获得的，而较大畸变的图像用$g(x',y')$表示.

    • 若两幅图像几何畸变的关系能用解析式描述为：

      $x'=h_1(x,y)\\ y'=h_2(x,y)$

    • 通常$h_1(x,y)$和$h_2(x,y)$可以用多项式来近似

      $x'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x^{i}y^{j}\\ y'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x^{i}y^{j}$

    • 当取$n=1$ 时，畸变关系为线性变换

      $x'=a_{00} + a_{10}x + a_{01}y\\ y'=b_{00} + b_{10}x + b_{01}y$

      式中有6个未知数，至少需要3个已知点来建立方程，求解未知数.

    • 当$n=2$时，畸变关系如下

      $x'=a_{00}+a_{10}x+a_{01}y+a_{20}x^{2}+a_{11}xy+a_{02}y^{2}\\ y'=b_{00}+b_{10}x+b_{01}y+b_{20}x^{2}+b_{11}xy+b_{02}y^{2}$

      式中有12个未知数，至少需要6个已知点来建立方程，求解未知数.

  • 二、灰度内插：确定校正影像中每个像素的灰度值.

• 几何校正__直接法__

  • 利用若干已知道点（通常所说的控制点）坐标，根据参考图像中像素与校正后影像的像素坐标的对应关系，如下式所示，$(x,y)$为参考图像坐标，$(x',y')$为$(x,y)$对应的校正后影像坐标：

    $x'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x^{i}y^{j}\\ y'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x^{i}y^{j}$

  • 求解$a_{i,j},b_{i,j}$后，然后从畸变图像出发，根据上述关系依次计算每个像素的校正坐标，同时把像素灰度值赋予对应像素，来生成一幅校正图像.

  • 缺点：若图像像素分布是不规则的，会出现像素挤压、疏密不均都得详细，因此还需要对不规则图像通过灰度内插生成规则的栅格图像.

• 几何校正__间接法__

• 通过

  $x=h'_1(x',y')=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}^{'}(x')^{i}(y')^{j}\\ y=h'_2(x',y')=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}^{'}(x')^{i}(y')^{j}$

  对畸变图像的四个角点$a,b,c,d$进行坐标变换得到，$a',b',c',d'$,由此确定校正图像的范围.？？？？？？？ 说了什么？？

• 再根据

  $x'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x^{i}y^{j}\\ y'=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x^{i}y^{j}$

  反求像点$(x',y')$在已知起边图像上坐标$(x',y')$,$(x',y')$一般不为整数，不会位于畸变图像像素中兴，因而不能直接确定改点的灰度值，而只能在畸变图像上，由该像点周围的像素灰度值通过内插，求出改像素的灰度值，作为$(x,y)$的灰度值.

• 由于间接法内插灰度容易(何以见得)，所以一般采用间接法进行几何校正.

• 内插方法

  • 最近邻元法
  • 双线性内插法
  • 三次内插法(没看懂)

图书文献

MOOC《数字图像处理》——武汉大学——5. 图像复原与重建