图像工程

• 图像工程的三个层次
• 学科与周边相关学科
  • 主要学科

图像工程的三个层次

图像工程的三个层次	图像处理过程三个不同层次的特点
抽象程度不同分为三个层次 图像处理：是比较低层的操作，它主要在图像的像素层次上进行处理，处理的数据量非常大 图像分析：属于中层，分割和特征提取把原来以像素描述的图像转变成比较简洁的对目标的描述。 图像理解：主要是高层操作，操作的对象基本上是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有许多类似之处。

图像处理	图像分析	图像理解
💠图像采集和获取 💠图像变换、滤波、增强、恢复和复原 💠图像压缩编码 💠图像重建	💠边缘检测、图像分割 💠目标表达，描述，测量 💠目标形状，纹理，空间，运动等的分析 💠（2-D）目标识别，分类和提取	💠（序列、立体）图像匹配、融合、镶嵌 💠3-D建模，重构，场景恢复 💠图像感知，解释和推理 💠

学科与周边相关学科

主要学科

• 计算机视觉，机器视觉，计算机图形学和数字图像处理，另外还有模式识别

从学科分类：

• Computer Science/ Artificial Intelligence/ Computer Vision
• Computer Science/ Computer Graphics and Visualization
• Electrical Engineering/ Signal Processing/ Digital Signal Processing/ Digital Image Processing

• 区别

  • Computer Graphics，简称 CG 。输入的是对虚拟场景的描述，通常为多边形数组，而每个多边形由三个顶点组成，每个顶点包括三维坐标、贴图坐标、rgb 颜色等。输出的是图像，即二维像素数组。

    • 使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学

    • 从三维描述到二维图像显示

    • [xyz xyz xyz ... xyz] -> 图片
      

    • Graph

    • Computer Graphics

    • 虚拟模型，计算机绘画

  • Computer Vision，简称 CV。输入的是图像或图像序列，通常来自相机、摄像头或视频文件。输出的是对于图像序列对应的真实世界的理解，比如检测人脸、识别车牌。

    • 计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。

    • 从二维图像数据到三维描述

    • 图片 -> [xyz xyz xyz ... xyz]
      图片 -> dog or cat?
      

  • Digital Image Processing，简称 DIP。输入的是图像，输出的也是图像。Photoshop 中对一副图像应用滤镜就是典型的一种图像处理。常见操作有模糊、灰度化、增强对比度等。

    • 图片 -> ps后的图片
      

  • 模式识别（Pattern Recognition）

    • 模式识别则是从特征空间到类别空间的变换。研究内容包括特征提取（PCA，LDA，LFA，Kernel，Mean Shift，SIFT，ISOMAP，LLE）；特征选择；分类器设计（SVM，AdaBoost）等。
    • PR（模式识别）本质就是分类，根据常识或样本或二者结合进行分类，可以对图像进行分类，从图像得到数据。

• 再说联系：

  • CG 中也会用到 DIP，现今的三维游戏为了增加表现力都会叠加全屏的后期特效，原理就是 DIP，只是将计算量放在了显卡端。
  • CV 更是大量依赖 DIP 来打杂活，比如对需要识别的照片进行预处理。

• 最后还要提到近年来的热点——增强现实（AR），它既需要 CG，又需要 CV，当然也不会漏掉 DIP。它用 DIP 进行预处理，用 CV 进行跟踪物体的识别与姿态获取，用 CG 进行虚拟三维物体的叠加。

举例来说：iPhone5S的指纹识别

1. 图像处理：首先采集图像，对图像进行预处理（如灰度化、平滑、增强等）
2. 图像分割：将指纹线从图像中分割出来（注意这时还是数字图像）
3. 计算机视觉CV≈看图，从图中提取信息：将分割出来的指纹转换为语义信息（如几何信息【角点、曲线等】，统计信息）（生活举例：照相机笑脸识别）
4. 计算机图形学CG≈画图，把信息用图的方式呈现：将几何信息通过计算机绘图绘制出来，即我们看到的显示在手机中的指纹线。（生活举例：3D游戏电影制作）

通常1和2都被称为数字图像处理≈看图前沐浴更衣焚香做好各种仪式，然后再看图，IP可以看成CV的底层或基础。（生活举例：PhotoShop 以及App中的各种照片滤镜特效）