网络视频传输的错误复原研究

VIP免费

3.0 高德中 2024-11-19 10 4 3.66MB 64 页 15积分

侵权投诉

摘要

视频编码技术作为多媒体通信的基础，其高效的压缩性能有效地降低了传输

码率。由于使用了预测编码和可变长熵编码，压缩视频码流对网络丢包和延迟极

为敏感。因此，需要采取一些错误复原技术来恢复受损图像质量和提高码流的抗

误码能力，以保证图像的视觉质量，同时，这成为了多媒体实时传输的一项极具

挑战性的任务。

本文详细描述了 H.264 视频压缩编码标准中的基本编解码和错误复原的算法

原理，如预测编码、变换编码、熵编码、解码端的错误隐藏和编码端的差错控制

技术。并针对现有的时域和空域的错误隐藏算法中存在的不足进行改进。

（1）模板匹配的错误隐藏算法在创建模板时，没有考虑到模板中多个纹理

的情况，造成在修复复杂纹理图像时隐藏效率较低。本文结合模板中的纹理空间

位置与匹配度的关系，提出一种改进的匹配算法，仿真结果表明，与现有的模板

匹配算法相比，本文算法获得了较好的图像隐藏效果。

（2）信息隐藏的错误隐藏算法存在隐藏数据量大、对抗连续片的受损时隐

藏效果较差等不足之处。本文采取多种匹配块尺寸以及针对 I帧的信息隐藏方法

来进行改进。并以此为基础，提出一种新的基于信息隐藏的错误复原策略，同时

兼顾由反馈信道获得的网络丢包率和码率要求，动态调整信息隐藏策略。仿真结

果表明，与现有的信息隐藏算法相比，本文算法拥有更好的隐藏性能，错误复原

策略能够有效减轻错误扩散的影响。

关键词：网络传输视频编码错误复原时空域的错误隐藏差错控制

ABSTRACT

Video coding technology which is foundation of multimedia communication over

network, and its high performance of compression reduces bit rate efficiently.

Compressed video bit stream is sensitive to packet loss and delay, due to the use of

predictive coding and variable length entropy coding. Therefore, taking some error

resilience measure which recovers corrupted images and enhances error resiliency

ability to maintain acceptable perceptual quality is one of the most challenging tasks in

multimedia real-time transmission.

In this dissertation, it is elaborated that basic encoding and error resilience

algorithm which are based on H.264 video compression coding standard including

predictive coding, transform coding, entropy coding, error concealment on decoder and

error control on encoder. The two optimized methods are proposed for efficiency of the

existing spatial and temporal error concealment.

(1) Due to ignoring the exemplar with several kinds of texture while creating mask,

the exemplar-based spatial error concealment algorithm suffers from lower concealed

efficiency problem when recovering complex texture. The optimized matching method

is proposed with the relationship between the position of texture in image and the

exemplar matching degree. Experiment results demonstrate that the quality of concealed

intra-frame by our approach is superior to that of exemplar-based spatial error

concealment algorithm.

(2) Because the data hiding-based error concealment algorithm needs huge

amounts of hided data quantity and gains unexpected concealed image in sequential

erroneous slice situation, an optimized data hiding method is proposed and it adopts

more matching block type and embeds hided data into intra-frame. On the basis of this

data hiding method, a novel error resilience scheme is proposed. Data hiding method is

adjusted with loss packet rate and bit rate in dynamic network. Simulation results show

that the concealed performance of the proposed algorithm outperforms that of temporal

error concealment algorithm in general and error resilience scheme can alleviate the

impact of error propagation.

Key Words: Network Transmission, Video Coding, Error Resilience,

Spatial and Temporal Error Concealment, Error Control

第一章绪论 ...................................................................................................................1

§1.1 研究背景与选题意义 ........................................................................................1

§1.2 国内外研究现状 ................................................................................................2

§1.3 论文的工作与内容安排 ....................................................................................5

第二章视频编码和错误复原的关键技术分析 .......................................................... 7

§2.1 H.264 关键编码技术 ......................................................................................... 7

§2.1.1 帧内预测 ......................................................................................................... 8

§2.1.2 帧间预测 ......................................................................................................... 9

§2.1.3 变换编码 ....................................................................................................... 10

§2.1.4 熵编码 ........................................................................................................... 10

§2.2 H.264 的视频码流结构 ................................................................................... 11

§2.2.1 宏块的预测信息 ........................................................................................... 11

§2.2.2 宏块类型 ....................................................................................................... 12

§2.2.3 解码参数 ....................................................................................................... 13

§2.3 错误复原算法原理 ..........................................................................................13

§2.3.1 差错控制 ....................................................................................................... 13

§2.3.2 错误隐藏 ....................................................................................................... 15

§2.4 本章小结 ..........................................................................................................16

第三章空域错误隐藏算法 .................................................................................... 17

§3.1 空域错误隐藏算法的应用 ..............................................................................17

§3.2 插值的空域错误隐藏算法 ..............................................................................17

§3.3 模板匹配的空间域错误隐藏算法 ..................................................................20

§3.3.1 图像裁剪 ....................................................................................................... 21

§3.3.2 图像分割 ....................................................................................................... 22

§3.3.3 错误块纹理边界 ........................................................................................... 23

§3.3.4 错误块的恢复 ............................................................................................... 24

§3.4 改进的错误隐藏算法 ......................................................................................26

§3.4.1 单个纹理块的快速搜索 ............................................................................... 26

§3.4.2 多纹理模板的错误隐藏 ............................................................................... 27

§3.5 仿真与结果分析 ..............................................................................................28

§3.5.1 本文算法的仿真 ........................................................................................... 28

§3.5.2 主观评价 ....................................................................................................... 29

§3.5.3 客观评价 ....................................................................................................... 32

§3.6 本章小结 ..........................................................................................................33

第四章时域错误隐藏算法 .................................................................................... 35

§4.1 边界匹配的时域错误隐藏算法 ......................................................................35

§4.2 信息隐藏的时域错误隐藏算法 ......................................................................37

§4.2.1 错误隐藏策略 ............................................................................................... 38

§4.2.2 信息隐藏和提取 ........................................................................................... 38

§4.3 改进的错误隐藏算法 ......................................................................................40

§4.3.1 匹配块的搜索 ............................................................................................... 40

§4.3.2 信息隐藏 ....................................................................................................... 41

§4.4 错误复原策略 ..................................................................................................42

§4.4.1 信息隐藏方法 ............................................................................................... 43

§4.4.2 信息隐藏和嵌入流程 ................................................................................... 44

§4.5 算法仿真 ..........................................................................................................45

§4.5.1 仿真平台 ....................................................................................................... 45

§4.5.2 错误复原策略的仿真 ................................................................................... 45

§4.5.3 仿真结果与分析 ........................................................................................... 47

§4.6 本章小结 ..........................................................................................................51

第五章总结与展望 ................................................................................................ 53

§5.1 论文工作的总结 ..............................................................................................53

§5.2 展望 ..................................................................................................................54

参考文献 .........................................................................................................................55

在读期间公开发表的论文和承担科研项目及取得成果 ............................................ 61

一、发表论文 .............................................................................................................61

二、科研项目 .............................................................................................................61

致谢 .................................................................................................................................63

III

表目录

表2.1 帧内预测模式的滤波方向（亮度分量）........................................................ 8

表2.2 帧内预测模式的滤波方向（色度分量）........................................................ 9

表3.1 本文算法的性能评估 ..................................................................................... 33

表3.2 几种算法的隐藏性能对比.............................................................................. 33

表4.1 匹配块类型与对应的数值.............................................................................. 42

表4.2 隐藏信息的二进制表达式.............................................................................. 42

表4.3 码率和解码图像质量变化（不同匹配块类型）.......................................... 49

表4.4 本文算法对码流的影响（不同信息嵌入量）.............................................. 50

表4.5 几种算法的错误隐藏性能对比 ..................................................................... 50

图目录

图1-1 错误复原与视频编解码的关系........................................................................ 2

图2-1 H.264 编码器框图............................................................................................. 7

图2-2 片的封装结构.................................................................................................. 11

图2-3 宏块与周围邻块的关系.................................................................................. 12

图2-4 片在帧内的位置.............................................................................................. 14

图2-5 FMO 的宏块映射.............................................................................................14

图3-1 错误宏块及其邻块的示意图.......................................................................... 18

图3-2 错误宏块的边界像素点.................................................................................. 20

图3-3 一个片丢失后的效果图.................................................................................. 21

图3-4 图像分割效果图.............................................................................................. 22

图3-5 错误块的纹理划分示意图.............................................................................. 24

图3-6 参考模块结构 ................................................................................................. 25

图3-7 边界像素位置 ................................................................................................. 26

图3-8 本文算法的参考模板示意图 ......................................................................... 27

图3-9 仿真系统流程框图.......................................................................................... 28

图3-10 本文算法的流程图 ....................................................................................... 29

图3-11 几种算法的隐藏效果对比（Foreman，误码率 5%）................................30

图3-12 几种算法的隐藏效果对比（Akiyo，误码率 5%）....................................30

图3-13 几种算法的隐藏效果对比（Hall，误码率 10%）.....................................31

图3-14 几种算法的隐藏效果对比（Container，误码率 10%）............................ 31

图3-15 几种算法的隐藏效果对比（Walk，误码率 10%）................................... 32

图4-1 内边界匹配...................................................................................................... 36

图4-2 文献[48]的错误隐藏策略 .............................................................................. 38

图4-3 文献[48]的信息隐藏方法 .............................................................................. 38

图4-4 块的空间位置示意图 ..................................................................................... 42

图4-5 视频序列的示意图 ......................................................................................... 43

图4-6 本文算法的信息隐藏与提取.......................................................................... 44

图4-7 本文算法的编解码器系统流程框图.............................................................. 46

图4-8 本文的匹配块搜索算法流程框图.................................................................. 46

图4-9 几种算法的隐藏效果对比（Foreman，误码率 20%）................................48

图4-10 几种算法的隐藏效果对比（Hall，误码率 20%）.....................................48

第一章绪论

§1.1 研究背景与选题意义

现如今，企业或个人用户对通信业务的需求正在不断增长。其中，多媒体通

信业务尤其是视频通信业务，能够给予用户更多的信息和互动体验，从而受到了

人们的更广泛关注。视频通信的主要业务有视频会议与会话、视频点播与直播、

远程控制与监视、数字电视、视频数据的存储与格式转换等。针对视频通信业务

的不同要求，如：信道类型、实时性、图像质量等，网络通信和视频压缩制定了

相应的技术标准。

3G 移动网络、高速以太网与 IP 网络等通信技术的快速发展，使得网络带宽

和稳定性得到了很大的提升，传输成本大幅度下降，满足多种网络传输形式、视

频码率、延迟特性、不同终端的需求，为不同的网络视频业务创造了条件。

最新的 H.264 视频压缩编码标准具有数据高压缩比、编码图像质量较好、适

用范围广以及网络适应性强等特点，由 ITU-T（国际电信联盟-电信标准部门）和

ISO/IEC（国际标准化组织/国际电工委员会）合作统一制定，可以满足视频会话

与会议型业务、视频广播与点播以及存储等应用。另外，在一些应用领域中，与

纠错编码技术、网络协议相结合，能够达到检错纠正、实现网络机制的目的。

与传统编码技术相比，H.264 采用了许多先进的预测编码技术，例如：变换

编码、预测编码、基于上下文的可变长编码或算术编码等，这些编码技术使得编

码效率更高、数据之间的相关性更为紧密。但同时，一旦信道传输出现错误而导

致丢包、误码等情况会造成编解码器的不同步。而且，由于采用了预测编码和可

变长编码，差错会影响到相关数据的解码，造成错误扩散，无法正确重建图像。

一般来说，解决网络传输问题的传统手段有重传、纠错编码等。重传由于握

手机制和错误定位等操作会造成延迟[1]，而纠错编码会增加传输数据且恢复的数

据量有限。因此，在实时性和传输效率较高的应用场合，通过重传、纠错等传统

错误复原方法来恢复视频数据并不可行。

H.264 提出并推荐了一些错误复原的方法，主要分为两类：基于编码器的差

错控制技术、基于解码器的错误隐藏技术。

差错控制技术是编码器根据反馈信道得到的网络情况来调整编码方式，使得

输出码流更具容错性，通过减少码率、防止空间位置发生连续错误和特殊编码方

法等措施来减少后续的传输错误。然而无法立即解决已发生的解码错误，编解码

器需要等到下一个同步状态后，才能恢复正常的编解码。因此，这类方法增加了

编码器的复杂度以及冗余数据，并且带来了一定的传输和计算延迟。

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要视频编码技术作为多媒体通信的基础，其高效的压缩性能有效地降低了传输码率。由于使用了预测编码和可变长熵编码，压缩视频码流对网络丢包和延迟极为敏感。因此，需要采取一些错误复原技术来恢复受损图像质量和提高码流的抗误码能力，以保证图像的视觉质量，同时，这成为了多媒体实时传输的一项极具挑战性的任务。本文详细描述了H.264视频压缩编码标准中的基本编解码和错误复原的算法原理，如预测编码、变换编码、熵编码、解码端的错误隐藏和编码端的差错控制技术。并针对现有的时域和空域的错误隐藏算法中存在的不足进行改进。（1）模板匹配的错误隐藏算法在创建模板时，没有考虑到模板中多个纹理的情况，造成在修复复杂纹理图像时隐藏...

展开>> 收起<<

网络视频传输的错误复原研究.pdf

共64页,预览7页

还剩页未读，继续阅读

网络视频传输的错误复原研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: