图像融合与视频融合的算法研究及实现

VIP免费

3.0 赵德峰 2024-11-19 4 4 2.12MB 57 页 15积分

侵权投诉

摘要

图像融合是数据融合的一个非常重要的分支，它是采用一定的算法把具有不

同成像机理的图像传感器对同一个场景的多个成像信息合成一幅满足特定需要的

新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的

视觉及计算机检测、分类、识别和理解等处理。图像融合的优势使其在医学、遥

感、计算机视觉、军事应用等领域得到了广泛的应用，因此对图像融合技术的研

究具有重要的现实意义。

本文在像素级图像融合的基础上重点研究了红外图像和可见光图像的融合。

论文从图像融合技术的研究背景与意义出发，着重介绍了图像融合的原理、融合

层次分类、图像融合的分析方法以及定性和定量的融合评价体系。其次，重点研

究了小波变换的理论和图像的区域特征，并在此基础上提出了一种基于HIS空间和

区域方差匹配度的图像融合算法；接着在VC++平台上采用该算法进行了图像融合

和视频融合软件的实现。最后，总结了本文的研究成果和不足之处，并对未来的

研究方向作了展望。

基于HIS空间的方法和基于图像区域特征方法的结合，使融合结果有了较大的

改善，明显改进了传统的基于HIS空间的方法容易发生颜色失真和传统的基于图像

区域特征易出现分块现象的缺点。论文将本文方法与传统的基于HIS空间的方法和

基于区域特征的方法进行了对比，针对红外图像和可见光图像进行了相关仿真实

验。实验结果表明，本文提出的算法获得的融合结果颜色失真度较小，从源图像

中获得的信息量更加丰富，融合图像的清晰度更高。

关键词：图像融合；感知颜色空间；区域方差匹配度；融合规则

ABSTRACT

Image fusion, a very important branch of data fusion, is to synthesis a new image

based on multiple images coming from those image sensors with different imaging

mechanism about the same scene. It can make the fusion image credibility higher, fuzzy

less, comprehensible better, more suitable for human vision and computer detecting,

classification and recognition and understanding processing, etc. Advantage of image

fusion in the medical, remote sensing, computer vision, military application fields have

been extensively applied, so the research on it has very important realistic significance.

The thesis maked a key research on image fusion about infrared image and visible

image on basis of pixel-level fusion. In the beginning, the thesis introduced the

background and significance of image fusion. Then it introduced emphatically the

principle and hierarchy classification of the fusion, the methods of analysis, the

qualitative evaluation system, etc. In the following, the thesis focused on the wavelet

transformation theory and image regional characteristics, and we proposed a fusion

algorithm based on HIS space and regional variance matching degree. Then we proceed

the video fusion software realization in vc++ platform by using this algorithm. Finally,

this thesis summarized the research achievements and deficiency, and the future

research direction was prospected.

Based on combination of HIS space method and method based on image regional

characteristics, it can make the fusion results greatly improved, improved obviously by

the traditional method based on HIS space prone to the color distortion and traditional

based on image regional characteristics easy appear block phenomenon faults. The

thesis compared the method in this thesis with traditional method based on HIS space

and method based on region characteristic, also described related simulational

experiments for infrared image and visible image. Experimental results showed that the

proposed algorithm could achieve the fusion results color distortion degree from the

source image lesser, could gain information richer, fusion image more clear.

Key Words:image fusion; perceptual color space; the regional variance

matching degree; fusion rules

摘要

ABSTRACT

第一章绪论 ............................................................................................................1

§1.1 课题研究的背景与意义 ............................................................................1

§1.2 国内外发展及研究现状 ............................................................................2

§1.3 本文的主要研究工作及结构安排 ............................................................3

第二章图像融合与视频融合的基本理论 ................................................................5

§2.1 图像融合的基本概念 ................................................................................5

§2.1.1 图像融合的原理与过程 .....................................................................5

§2.1.2 图像融合的定义与目的 .....................................................................5

§2.2 图像融合的层次分类 ................................................................................6

§2.3 融合分析方法分类 ....................................................................................8

§2.3.1 空间域的融合方法 .............................................................................8

§2.3.2 频率域的融合方法 ...........................................................................10

§2.4 图像融合结果的评价体系 ......................................................................11

§2.4.1 主观评价 ...........................................................................................11

§2.4.2 客观评价 ...........................................................................................12

§2.5 视频融合的概念 ......................................................................................17

§2.6 本章小结 ..................................................................................................17

第三章 HIS空间和图像区域特征的理论基础 ....................................................... 18

§3.1.1 RGB颜色空间 .................................................................................. 18

§3.1.2 HIS颜色空间 .................................................................................... 18

§3.2 小波变换 ..................................................................................................19

§3.2.1 小波的分解与重构 ...........................................................................20

§3.2.2 基于小波变换的图像融合 ...............................................................22

§3.3 图像的区域特征 ......................................................................................23

§3.3.1 常见的图像区域特征定义 ...............................................................24

§3.3.2 基于区域特征的图像融合规则的优缺点 .......................................24

§3.3.3 区域方差匹配度 ...............................................................................25

§3.4 本章小结 ..................................................................................................26

第四章基于HIS空间和区域方差匹配度的融合算法 ............................................. 27

§4.1 图像融合算法概述 ..................................................................................27

§4.2 图像融合规则选取 ..................................................................................29

§4.2.1 低频部分融合规则 ...........................................................................29

§4.2.2 高频部分融合规则 ...........................................................................30

§4.3 视频融合算法 ..........................................................................................31

§4.4 图像仿真结果与分析 ..............................................................................31

§4.5 本章小结 ..................................................................................................35

第五章图像融合及视频融合的实现 ........................................................................36

§5.1 MFC与OpenCV简介 ...............................................................................36

§5.1.1 MFC ..................................................................................................... 36

§5.1.2 OpenCV ............................................................................................... 37

§5.2 图像融合及视频融合在VC++平台上的实现 ........................................38

§5.2.1 进程与多线程 ...................................................................................39

§5.2.2 视频融合系统设计实现 ...................................................................39

§5.2.3 视频融合软件功能介绍 ...................................................................42

§5.3 融合结果及性能分析 ..............................................................................42

§5.4 本章小结 ..................................................................................................48

第六章总结与展望 ..................................................................................................49

§6.1 论文总结 ..................................................................................................49

§6.2 研究工作展望 ..........................................................................................50

参考文献 ......................................................................................................................51

在读期间公开发表的论文和承担科研项目及取得成果 ..........................................54

一、发表论文 .....................................................................................................54

二、科研项目 .....................................................................................................54

致谢 ..........................................................................................................................55

第一章绪论

§1.1 课题研究的背景与意义

近几十年来，电子技术的发展尤其是传感器性能的不断改进，使得多传感器

系统的应用越来越广泛[1]。但是，各传感器的性能各异。以常见的军用图像传感器

系统来说，它主要包括雷达成像系统(合成孔径、相控阵、毫米波)、红外成像系

统和可见光成像系统。以上三种成像系统不仅工作波段不同，各自还分别具有其

他不同的特点。相比雷达成像系统，红外成像系统和可见光成像系统均具有体积

小、重量轻、分辨率高、结构简单和抗干扰能力强等优点，但是不具备它能全天

候工作、而且有测距功能的特点。而与可见光成像系统相比，红外成像系统则具

有昼夜工作、有较强的穿透烟尘的能力等优点[2]。在现实应用中，因为上述传感器

的特点和环境等因素的影响，单一传感器获得的图像信息不能完整地对场景和目

标进行描述。其次，由于成像系统中传感器数目的不断增多，使得系统获取的信

息量急剧膨胀并呈现出多样性。我们知道，在很多特定的情景下需要专门的工作

人员才能同时监测多源传感器的图像，从而我们才能从中获取信息并做出判断，

但是这种情况就使得工作人员的劳动量增大很多，而且仅仅依靠一名工作人员往

往很难从多幅连续变化的独立图像中得到可靠的合成图像信息，但是我们通过多

名工作人员进行协同工作来获取合成图像信息的代价又太大。从以上种种情况我

们可以看出，仅仅依靠单一的传感器来获得所需要的信息，或者使用单个工作人

员来同时监测多传感器多信息源的方式往往不能满足特定场合的需要。因此，发

展针对该问题的新技术是当今人们迫切需要解决的问题。

多传感器信息融合( Multisensor Information Fusion)就是为了满足以上需求而

应运而生的一种新信息处理方法。所谓多传感器信息融合就是对来自于多个传感

器的多源信息进行多方面、多层次、多级别的处理与综合，从而获得更可靠、更

丰富、更精确的有用信息。James Llinas和Edward从军事应用的角度给信息融合作

出了如下定义：信息融合是一种多方面、多层次的处理过程，该过程对多源信息

进行检测、相关、结合、组合和估计以达到精确的身份估计和状态估计，以及及

时、完整的威胁估计和态势评估[3]。

多传感器图像融合是二十世纪70年代中后期提出的概念，它是多传感器信息

融合技术的一个非常重要的分支。图像融合技术是综合了图像处理、传感器、计

算机、信号处理和人工智能等多学科的新兴技术。它的主要思想是将多传感器获

得的针对于同一景物的图像或者是同一传感器在不同的时刻获得的关于同一景物

的图像，经过诸如去噪声、时间配准、空间配准以及重采样等步骤后，最后运用

图像融合与视频融合的算法研究及实现

具体的融合算法合成一幅图像。多传感器图像融合把来自于多传感器在时间或者

是空间上的冗余（或是互补）信息根据特定的准则来进行融合，因而获得的对场

景或目标比使用单一的传感器更为完整和准确，是任意单一传感器所无法达到的。

在民用方面，图像融合技术也有广阔的应用空间。我们知道，图像融合技术

能运用于制造业的化学材料的裂痕检测、检测产品质量、监督产品的整个制造过

程、诊断大型设备的故障、安装某些复杂设备和零件等；在信息加密和信息隐藏

方面，我们知道图像融合技术能够用于数字水印的嵌入和提取以及图像信息的隐

藏；除此以外，图像融合还可以应用于航空领域的航线调度和交通方面的车辆管

制等[4]。

由上可知，由于信息技术的爆炸式发展，使得未来各个领域的竞争主要是信

息技术的竞争。而图像融合技术作为信息技术的重要分支，对未来的竞争起着直

观重要的作用。所以进行图像融合技术的研究对我国的现代化建设起着非常重要

的作用。

§1.2 国内外发展及研究现状

由以上可知，融合的概念最早出现于20世纪70年代，当时称为多源相关、多

传感器混合和数据融合。美国在信息融合技术领域的研究起步最早，发展最快。

美国国防部于1973年就对声纳信号理解系统的研究进行了资助，而信息融合技术

则在该系统中得到了最初的体现。在这之后，不管是民用，还是军用系统都倾向

于利用信息融合技术进行信息综合的处理。1986年，美国国防部和该国海军专门

联合成立了数据融合小组( DFS)；

1987年，美国国家军事委员会把数据融合技术列

为国防建设至关重要的2l项高新技术之一。1988年，C3I的多传感器融合技术被美

国国防部列为20世纪90年代重点攻关研发的20大关键技术之一。从此以后，尤其

从1992年开始，美国每年都至少投资1亿美元经费用于对多传感器信息融合技术的

研究。近年来，该技术更是引起了全世界范围内的高度关注，多个发达国家已经

在许多重大科研项目中列入了信息融合计划，并相继开发出一些实用性的信息融

合系统。例如各发达国家一直致力于设计出为数据融合系统服务的混合传感器和

处理器等等(该融合系统普遍称之为第二代融合系统)。国内对多传感器数据融合

技术的研究相对较晚，基本上是在1991年海湾战争之后才引起解放军高层领导的

重视。1995年5月，在国防科工委的组织下，于长沙召开了我国关于数据融合技术

的第一次专门的研讨会。为了跟踪国际前沿技术，我国政府以及军方也不失时机

地将该技术列为“863”计划等重点科研项目，并把它作为发展计算机技术和空间技

术等高新技术领域的关键技术之一[5]。

早期的图像融合技术主要采用如下方法：基于HIS空间的方法、平均法、加权

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要图像融合是数据融合的一个非常重要的分支，它是采用一定的算法把具有不同成像机理的图像传感器对同一个场景的多个成像信息合成一幅满足特定需要的新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分类、识别和理解等处理。图像融合的优势使其在医学、遥感、计算机视觉、军事应用等领域得到了广泛的应用，因此对图像融合技术的研究具有重要的现实意义。本文在像素级图像融合的基础上重点研究了红外图像和可见光图像的融合。论文从图像融合技术的研究背景与意义出发，着重介绍了图像融合的原理、融合层次分类、图像融合的分析方法以及定性和定量的融合评价体系。其次，重点研究了小波变换的理论和图...

展开>> 收起<<

图像融合与视频融合的算法研究及实现.pdf

共57页,预览6页

还剩页未读，继续阅读

图像融合与视频融合的算法研究及实现

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: