基于活动形状模型的红眼自动检测与去除

VIP免费

3.0 陈辉 2024-11-19 4 4 972.69KB 73 页 15积分

侵权投诉

第一章绪论

§1.1 红眼现象的产生

红眼是拍摄对象的眼睛瞳孔及其周围产生红色的现象。拍摄时，如果环境亮

度较暗，开启闪光灯，拍摄对象的瞳孔随之扩大。闪光灯光线经视网膜中的血管

反射，反射的光线呈现红色。如果拍摄系统的镜头和闪光灯的距离较近，反射的

红色光线达到镜头，将产生红眼现象。

§1.2 去除红眼的软件解决方案

在数字图像拍摄系统中，使用软件处理数字图像，可以有效的去除红眼，提

高拍摄图像的质量。目前主要的软件解决方案由三个步骤组成：

1) 在一幅数字图像中检测脸部区域；

2) 在上一步检测出脸部区域中，检测眼睛区域；

3) 在上一步检测出的眼睛区域中，精确定位红色的瞳孔区域并修正。

上述 1)步骤，在一幅数字图像中检测脸部区域[1～10]，学术界已经做了大量的

研究，设计了有效的脸部检测/分类器，并达到了很好的效果，如 adaboost 算法

[11～13]。在一幅数字图像中直接检测眼睛区域[14～16]，学术界也做了大量的研究，设

计了有效的眼睛检测/分类器，因此可以将 1)和 2)步骤合并为一个步骤。但在 3)

步骤中，鉴于红眼的多样性，很难精确定位红色的瞳孔区域以修正。

Lei Zhang 在论文 “AUTOMATED RED-EYE DETECTION AND

CORRECTION IN DIGITAL PHOTOGRAPHS” [17]中提出了一种红眼检测与去除解

决方案：首先在数字图像中搜索可能含有眼睛的候选区域，然后由眼睛检测/分类

器判断出含有眼睛的候选区域。检测出眼睛区域后，根据红眼的RGB特征，定位

红色的瞳孔区域以修正。该方案在检测到眼睛区域后，仅使用红眼的RGB特征，

未使用红眼的形状特征和纹理特征，检测效果一般。

Xiao-Ping Miao 在论文 “Automatic Red-eye Detection and Removal” [18]中提出

了一种快速而简单的红眼检测与去除解决方案，但要求数字拍摄系统具有快速连

续拍摄的功能。数字拍摄系统对同一拍摄对象连续拍摄两幅图像，拍摄第一幅图

像时不使用闪光灯，拍摄第二幅图像时使用闪光灯。获得同一拍摄对象的两幅数

字图像后，比较两幅数字图像，检测出红色瞳孔区域并修正。这一方案简单，而

且效果好，但对数字拍摄系统的要求较高。

基于活动形状模型的红眼自动检测与去除

§1.3 基于活动形状模型的红眼去除算法

活动形状模型[19,20,21] (Active Appearance Model，AAM )，是根据检测对象的

先验知识（先验知识包括形状和纹理）检测其轮廓的一般数学模型。

本文针对§1.2 节 3)步骤，运用并改进 AAM 模型，首次提出了基于活动形

状模型的红眼去除算法(Red Eye Remove Algorithm Based on AAM, RERAAM)。

本文实现了 RERAAM 算法，并建立了 AAM 模型，主要工作如下：

1) 通过仔细研究 AAM 模型，将其与红眼现象相结合，并综合运用主成分分析

(Principal Component Analysis) 、线性回归 (Linear Regression) 、奇异值分解

(Singular Value Decomposition)和Delaunay 三角网(Delaunay Triangular Meshes)等

知识，提出了 RERAAM 算法。在 Visual C++ 6.0 Professional 的环境下，实现了

RERAAM 算法，并完成了红眼去除软件系统(Red Eye Remove Software System

Based on Active Appearance Model, RERSS)的开发。

2) 收集红眼样本。

3) 基于 RERSS 软件系统训练红眼样本，获得了 AAM 模型。

基于活动形状模型的红眼去除算法，通过训练，从训练集中获取关于眼睛形

状及眼睛纹理的特征知识，并用于红色瞳孔区域的搜索过程。它优于仅仅使用统

计的方法定位红色瞳孔区域的算法，因此更加精确的定位了红色瞳孔区域。经验

证，该算法能有效地去除数字图像中的红眼，准确率达96％。

下面介绍基于活动形状模型的红眼去除算法：

§1.3.1 建立训练集

1) 建立训练集，训练集是一组含有红眼的数字图像。训练集中包含 300 张数字

图像。

2) 对训练集中每个眼睛对象，用 16 个标记点标定其形状，并在相应的一个文

件中记录 16 个标记点的坐标。

3) 对训练集中每一张数字图像，读取其象素 RGB 信息，包括数字图像的宽度

(单位：象素)和高度(单位：象素)，在相应的一个文件中记录。

§1.3.2 建立活动形状模型

1) 读取记录眼睛对象标记点坐标的文件，由每个眼睛对象 16 个标记点的坐标

生成一个原始的眼睛形状向量。标准化原始的眼睛形状向量。

采用奇异值分解及线性几何变换等方法，调整标准化后的眼睛形状向量所代

第一章绪论

表的眼睛形状，使眼睛形状都具有相同的大小、重心位置和朝向。

采用主成分分析，分析由调整后的眼睛形状 16 个标记点的坐标生成眼睛形

状向量，获得眼睛形状的特征信息。

计算出调整后的眼睛形状的平均形状，并计算出调整前的眼睛形状的平均大

小。

2) 根据调整后的眼睛形状的平均形状和调整前的眼睛形状的平均大小，计算出

参考形状(Reference Shape)。

由 Delaunay 三角网等知识，获得参考框架(Reference Frame)。

3) 对训练集中每个眼睛对象，根据 2)步骤获得的参考形状和参考框架，由其

16 个标记点，获取眼睛对象的纹理信息，即生成眼睛对象的纹理向量。

调整每个眼睛对象的纹理向量，以避免光照对眼睛对象纹理特征的影响。

采用主成分分析，分析调整后的眼睛对象的纹理向量，获得眼睛纹理的特征

信息。

4) 再次采用主成分分析，联合分析由 1)步骤获得的眼睛形状的特征信息和由 3)

步骤获得的眼睛纹理的特征信息，获得眼睛外观的特征信息。外观包括形状和纹

理。

5) 采用线性回归，在训练集中做实验，计算活动形状模型的姿势预测矩阵。姿

势包括大小，重心位置，朝向。姿势预测矩阵，在搜索红色瞳孔区域过程中，预

测活动形状模型姿势参数的修正值，从而使活动形状模型生成的眼睛的姿势与待

检测的数字图像中的眼睛对象的姿势更加接近。

6) 采用线性回归，在训练集中做实验，计算活动形状模型的外观预测矩阵。外

观预测矩阵，在搜索红色瞳孔区域过程中，预测活动形状模型外观参数的修正

值，从而使活动形状模型生成的眼睛的外观与待检测的数字图像中的眼睛对象的

外观更加接近。

本节六个步骤，建立活动形状模型。活动形状模型包含眼睛形状的特征信

息、参考形状、参考框架、眼睛纹理的特征信息、眼睛外观的特征信息、姿势预

测矩阵和外观预测矩阵等知识。活动形状模型含有关于眼睛的先验知识。

§1.3.3 搜索红色瞳孔区域(优化过程)

1) 在待检测的数字图像中，用矩形框选定眼睛区域，获得眼睛对象。

2) 初始化眼睛对象的眼睛形状标记点，获得眼睛形状向量

。初始化眼睛对象

的眼睛形状标记点，也就是初始化姿势参数。

3) 初始化眼睛对象的外观参数向量

。

基于活动形状模型的红眼自动检测与去除

4) 根据活动形状模型，由外观参数向量

产生纹理向量

mg _

。

5) 根据参考形状和参考框架，由眼睛形状向量

，在待检测的数字图像中获得

纹理向量

sg _

。

6) 计算纹理向量的偏差，即纹理向量

sg _

和纹理向量

mg _

的差值。如果偏差

很小，结束搜索过程；否则，继续。

7) 根据姿势预测矩阵，由纹理向量的偏差，计算姿势参数修正值。

8) 根据外观预测矩阵，由纹理向量的偏差，计算外观参数向量的修正值。

9) 由姿势参数修正值，调整眼睛形状向量

所代表的眼睛形状，并由

记录调

整后的眼睛形状。

10) 由外观参数向量的修正值，调整外观参数向量

。

11) 返回到 4)步骤。

经过迭代，不断优化活动形状模型的姿势参数和外观参数，使活动形状模型

生成的眼睛对象和待检测的数字图像中的眼睛对象接近。迭代结束后，眼睛形状

向量

含有红色瞳孔区域的信息。

基于活动形状模型的红眼去除算法主要包括建立活动形状模型、搜索红色瞳

孔区域和修复红眼三个部分。

第二章建立训练集

基于活动形状模型的红眼去除算法，从训练集中的眼睛对象获取知识，因

此，首先需要建立训练集。

§2.1 建立训练集

训练集是一组含有红眼的数字图像。训练集中包含 300 张数字图像。

图2-1～图 2-26 为训练集中的数字图像：

图2-1 图2-2 图2-3 图2-4 图2-5 图2-6

图2-7 图2-8 图2-9 图2-10 图2-11 图2-12

图2-13 图2-14 图2-15 图2-16 图2-17 图2-18 图2-19

基于活动形状模型的红眼自动检测与去除

图2-20 图2-21 图2-22 图2-23 图2-24 图2-25 图2-26

§2.2 标定训练集中眼睛对象的形状

图2-27 眼睛对象的形状

对训练集中每个眼睛对象，用 16 个标记点标定其形状，如图 2-27 所示。眼

珠轮廓用 0～7标记点标定，眼睛外轮廓用 8～15 标记点标定。坐标轴选取如下：

数字图像的左上角为原点，从左至右方向为 X轴方向，从上至下方向为 Y轴方

向。在目录 training\Eye shape data\下的一个文件中，记录 16 个标记点的坐标。

图2-1～图2-26 经过标记后，得到图 2-28～图2-53：

图2-28 图2-29 图2-30 图2-31 图2-32 图2-33

第二章建立训练集

图2-34 图2-35 图2-36 图2-37 图2-38 图2-39

图2-40 图2-41 图2-42 图2-43 图2-44 图2-45 图2-46

图2-47 图2-48 图2-49 图2-50 图2-51 图2-52 图2-53

§2.3 读取训练集中数字图像象素 RGB 信息

对训练集中每个眼睛对象，读取其象素 RGB 信息，按行保存到目录

training\Eye pixel data\下的一个的文件中，同时保存眼睛对象所在数字图像的宽度

(单位：象素)和高度(单位：象素)。

基于活动形状模型的红眼自动检测与去除

第三章获取眼睛形状特征信息

读取记录眼睛对象形状标记点坐标的文件，由每个眼睛对象 16 个标记点的

坐标，生成一个原始的眼睛形状向量。根据§3.1 节四个步骤，标准化原始的眼

睛形状向量。采用§3.2 奇异值分解的理论知识及线性几何变换等方法，根据

§3.4 节三个步骤，调整标准化后的眼睛形状向量所代表的眼睛形状，使眼睛形

状具有相同的大小、重心位置和朝向。然后，在§3.6 节，采用主成分分析，分

析由调整后的眼睛形状的坐标生成眼睛形状向量，获取眼睛形状的特征信息。

§3.1 标准化形状

标准化形状就是平移形状，使其重心在原点，然后缩放，使形状大小为 1。

形状

由

个标记点标定，其对应的形状向量为

2121s ),,,,,,,( mm yyyxxxV 

(3.1)

1) 计算形状

的重心

),( YX





m

imxX

(3.2)

(3.2)式中

为

的

分量。





m

imyY

(3.3)

(3.3)式中

为

的

分量。

2) 将形状

平移到原点，即将

的各个

分量减去

,各个

分量减去

，得到

形状

trans

。

3) 计算形状

trans

的大小

size





 m

ii yxsize

22 )(

(3.4)

(3.4)式中

为

trans

的

分量，

为

trans

的

分量。

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

第一章绪论1第一章绪论§1.1红眼现象的产生红眼是拍摄对象的眼睛瞳孔及其周围产生红色的现象。拍摄时，如果环境亮度较暗，开启闪光灯，拍摄对象的瞳孔随之扩大。闪光灯光线经视网膜中的血管反射，反射的光线呈现红色。如果拍摄系统的镜头和闪光灯的距离较近，反射的红色光线达到镜头，将产生红眼现象。§1.2去除红眼的软件解决方案在数字图像拍摄系统中，使用软件处理数字图像，可以有效的去除红眼，提高拍摄图像的质量。目前主要的软件解决方案由三个步骤组成：1)在一幅数字图像中检测脸部区域；2)在上一步检测出脸部区域中，检测眼睛区域；3)在上一步检测出的眼睛区域中，精确定位红色的瞳孔区域并修正。上述1)步骤，在一幅数字...

展开>> 收起<<

基于活动形状模型的红眼自动检测与去除.pdf

共73页,预览8页

还剩页未读，继续阅读

基于活动形状模型的红眼自动检测与去除

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: