基于机器视觉虚拟输入方法的研究
VIP免费
摘 要
目前，虚拟现实技术个行业中得到了越来越多的应用。在传统的虚拟现实环
境中人机交互设备中存在设备太过昂贵，使用环境收到限制等问题。随着计算机
技术的发展，使用计算机视觉技术来解决虚拟现实中人机交互的问题逐渐成为目
前在人机接口研究方面一个值得讨论的思路。
从计算机捕获的实时的视频流中来把人手自动在每一帧图像中定位和提取是
进行手势识别的首要条件。为了使后期手势跟踪获得较高的准确性，在图像预处
理阶段，本文先将采集到的图像进行无冗余的帧分离操作，将我们感兴趣的手势
图像从视频流中分离出来，然后进行灰度图转换、平滑去噪与边缘检测；在手势
跟踪阶段，本文采用基于肤色的高斯模型与经过改进的光流场跟踪算法相结合的
方法，实现了复杂背景下实时快速的手势跟踪。该方法在保证鲁棒性较高的同时，
算法的执行效率与检测的准确性都较高。
对于动态手势的识别方法，考虑到动态手势本身的一些特点。本文采用模板
匹配的方法对手势的形状进行识别。实验结果表明，对孤立手势的识别率达到了
93%。
本文还论述了在基于机器视觉的虚拟现实人机接口的软件开发过程中，按照
软件工程的架构要求，采用了模块化的开发方式。首先用 VRML 语言设计了一个
虚拟的场景，采用了一种 API 函数较多虚拟场景浏览器作为虚拟环境。然后，用
Visual C++.NET 2003 结合 Matlab 开发实现了论文在图像预处理、手势跟踪识别阶
段所采用的算法。考虑到手势识别模块可以作为一个可以广泛使用的模块，最后
通过 TCP/IP 技术，将虚拟场景模块与手势识别模块集成到一起。
关键词：虚拟现实 机器视觉 图像处理 手势识别 模板匹配
ABSTRACT
Nowadays, virtual reality is widely used in many industry and advertising fields.
In traditional virtual reality apply circumstance, the equipment of human-machine
interface is often very expensive and its requirements on apply circumstance is very
high. With the development of computer science, using machine vision technology as
a possible means to solve some difficulties in human-machine interface of virtual
reality is becoming a direction that worth discussion.
It's the primary task for gesture recognition to find and extract human hand
automatically in each frame that obtained by computer from the real-time video flow.
In order to acquire high accuracy in the gesture tracking of later process, we extract
the frames that we are interested in from catch videos, and then we turn RGB color
images to gray-scaled images, take the smoothing measure to reduce the noise in the
images and the edge detecting action in the period of preprocess. In gesture tracking
process, this thesis employ a method to locate human hand in a complex background
is proposed. The moving hand's position can be found based on the combination of
skin-color based on Gauss model and revised optical flow. This method could
guarantee not only high robust but also high algorithm efficiency and detecting
accuracy.
For the recognition of dynamic gesture, in consideration on features of dynamic
gesture, in this thesis, a method is proposed for hand trajectory recognition based on
template matching. Experiments manifested, the accuracy on recognition of four
separated gesture reached 93% using this method.
In this paper narrated the modeling development method according to the
software engineering architecture during the implement of human machine interface
of virtual reality based on machine vision. First, using VRML build a virtual scene
and make use of a virtual reality browse with more API function. Then, using Visual
C++.Net 2003 with Matlab 7.3 implement the algorithm of image preprocessing,
gesture recognition Considering the gesture recognition module can be used as a
common component, we integrate the virtual scene module and gesture recognition
module via TCP/IP technique.
Key Word: Visual Reality, Machine Vision, Image Process, Gesture
Recognition, Template-matching
目 录
中文文摘
ABSTRACT_Toc191320936
第一章 绪 论 ...................................................................................................................1
§1.1 机器视觉概述 ......................................................................................................1
§1.2 背景知识 ..............................................................................................................2
§1.2.1 模式识别理论 ...............................................................................................2
§1.2.2 基于视觉的手势识别 ...................................................................................4
§1.2.3 手势分割与跟踪方法介绍 ...........................................................................5
§1.2.4 手势建模 .......................................................................................................6
§1.2.5 手势分析 .......................................................................................................7
§1.2.6 手势识别 .......................................................................................................8
§1.3 本论文所做工作 ................................................................................................10
§1.4 论文各章概要 ....................................................................................................11
第二章 图像预处理与手势跟踪 ...................................................................................12
§2.1 图像视频流的获取 ............................................................................................12
§2.2 捕获到的图像色彩模式 ....................................................................................13
§2.2.1 RGB 模式 ................................................................................................... 13
§2.2.2 灰度（Grayscale）模式 .............................................................................13
§2.3 RGB 模式转换到灰度模式 ............................................................................... 14
§2.4 图像平滑与增强 ................................................................................................14
§2.4.1 中值滤波法 .................................................................................................15
§2.4.2 图像增强 .....................................................................................................16
§2.5 图像分割 ............................................................................................................17
§2.5.1 阀值与图像分割 .........................................................................................18
§2.5.2 基于肤色的手势分割 .................................................................................19
§2.6 手势跟踪 ............................................................................................................22
§2.6.1 光流场的基本方程 .....................................................................................23
§2.6.2 帧间差阀值法 .............................................................................................24
§2.6.3 光流场的计算 .............................................................................................24
§2.7 手势起始与终止的判断 ....................................................................................25
§2.8 实验分析 ............................................................................................................26
第三章 基于图像匹配的目标识别方法 .......................................................................27
§3.1 图像匹配算法 ....................................................................................................27
§3.2 图像的特征研究 ................................................................................................28
§3.2.1 边缘检测与提取 .........................................................................................30
§3.2.2 彩色边缘的检测 .........................................................................................32
§3.3 基于模板的匹配 ................................................................................................33
§3.4 复杂场景下匹配算法的实现 ............................................................................35
§3.5 图像匹配实验以及实验结果 ............................................................................37
第四章 基于机器视觉的虚拟现实人机接口的设计 ...................................................38
§4.1 系统总体设计 ....................................................................................................38
§4.1.1 系统的工作流程 .........................................................................................38
§4.1.2 系统设计的原则 .........................................................................................38
§4.1.3 系统模块划分 .............................................................................................39
§4.2 场景子系统的设计 ............................................................................................40
§4.2.1 场景子系统的设计思想 .............................................................................40
§4.2.2 场景子系统开发环境 .................................................................................40
§4.2.3 场景子系统模块划分 .................................................................................41
§4.3 手势识别子系统设计 ........................................................................................42
§4.3.1 手势识别子系统流程设计 .........................................................................42
§4.3.2 手势识别子系统设计原则 .........................................................................42
§4.3.3 手势识别子系统设计方案 .........................................................................43
第五章 基于机器视觉的虚拟现实人机接口的实现 ...................................................45
§5.1 场景子系统的实现 ............................................................................................45
§5.2 手势识别子系统的实现 ....................................................................................49
§5.2.1 手势图像的获取 .........................................................................................50
§5.2.2 RGB 图像转为灰度图像的实现 ................................................................ 51
§5.2.3 中值滤波的实现 .........................................................................................53
§5.2.4 图像分割的实现 .........................................................................................55
§5.2.5 使用光流法对手势跟踪的实现 .................................................................57
§5.2.6 基于模板匹配的手势识别的实现 .............................................................57
§5.3 场景子系统与手势识别子系统的集成 ............................................................60
第六章 结论与展望 .......................................................................................................62
参考文献 .........................................................................................................................63
在读期间公开发表的论文和承担科研项目及取得成果 .............................................65
第一章 绪论
1
第一章 绪 论
§1.1 机器视觉概述
在虚拟现实中人机交互一直是科学研究的一个热点。随着计算机应用的深
入，同时伴随着计算机及相关学科的迅猛发展，符合人际交流习惯的新颖人机交
互技术的研究变得异常活跃，并取得了一定的进展。人机交互技术已经从以计算
机为中心逐步转移到以人为中心。
在当前的虚拟现实环境中，人机的交互主要分为三类。第一类，基于数据手
套的交互。运用连接在手套上的传感器将手指运动转换为电信号以确定手势，手
指的相对位置是由附加的传感器决定的，该传感器通常是连接在数据手套上的带
磁性的或有关声音的传感器，利用数据手套和位置跟踪器测量手势在空间运动的
轨迹和时序信息，识别率较高，但系统需要使用者穿戴复杂的数据手套和位置跟
踪器，给使用者造成一定的不便，目前输入设备比较昂贵，很难大量推广；第二
类，基于鼠标、键盘、触摸屏的交互。将手在外部设备上面的运动作为输入；第
三类，基于视觉的人机接口。相对的，基于视觉的交互方式的优点是无需手套，
非接触式，因而更符合人机交互“自然”的要求。当今计算机的快速计算能力使
实时视觉计算成为可能，从而成为当前研究的主要万向。国内外已有众多的学者
对此课题从不同的角度、不同的层次进行了一定的研究工作。将机器视觉系统用
于人机接口，它模仿人类接受周围信息的方式，从而实现直接的、自然人机交互
方式。
基于视觉的手势检测与识别使用一个或多个摄像头结合计算机视觉技术来
分析并解释所捕获的图像信息，因而分为基于单目视觉的识别系统和基于多目视
觉的识别系统两类。基于单目视觉的识别即仅通过单个摄像机来采集图像，这样
可以建立手势的平面模型，并且基于这样的模型进行识别。这种方法模型简单，
处理的数据量较小，识别时间短，但由于仅有一个视角，所以这种方法对于用户
的输入限制较大。基于多目视觉的手势识别即通过两个或是两个以上的摄像机来
采集图像，这样可以建立人脸和手势的立体模型，并进行立体识别。这种方法对
用户的输入限制较小，可以实现更加自然的人机交互方式，但由于立体模型较平
面模型要复杂得多，需要处理的数据量很大，图像识别所需的时间会比较长。考
虑系统的实时性，本文采用基于单目视觉的识别系统。由于人手和手势本身具有
的多样性、多义性以及时间和空间上的差异性等固有特性，加之人的手掌、手势
是复杂变形体以及视觉本身的不确定性，以及它是一门涉及到模式识别、神经网
基于机器视觉的虚拟输入方法的研究
2
络、人工智能、数字图像处理、计算机视觉等多个学科的交叉研究领域,使得无
论在技术上还是在理论上，基于视觉的人脸和手势识别的研究都是一项极富挑战
性的多学科交叉研究课题。本论文重点研究复杂背景下单目视觉的手势检测、识
别与运动轨迹的定位。
§1.2 背景知识
在介绍本论文的核心部分－—手势识别与轨迹之前，先把相关的知识加以阐
述。相关知识主要包括以下两方面，第一是模式识别理论简介，第二手势识别与
轨迹跟踪的方法介绍。
§1.2.1 模式识别理论
模式识别理论诞生于 20 世界 60 年代，随着 40 年代计算机的出现，50 年代
人工智能的兴起，模式识别在 60 年代初迅速发展为一门学科。模式是指存在于
时间或空间中可观察的，我们可以区别他们是否相同或相似的事物。但是模式不
是指事物本身，而是我们从事物可以获取的信息。模式识别的作用和目的就是将
某一具体事物正确的归入某一类别，其主要特点就是采用数值模型来表达对象的
模型。通常先定义一个量度，把对象的各个特征及其变化的规律进行定量的描述，
其结果得到一组参数或者参数集合。一旦特征量度和特征参数被确定，则在识别
对象物体时，可采用特征量度取得它们的特征参数，然后根据参数落在哪个范围
内，就可以判断对象所属。
有两种基本的模式识别方法，即统计模式识别方法与结构（句法）模式识别
方法，与此对应的模式识别系统都有两个过程所组成，即设计与实现。设计是指
用一定数量的样本进行分类器设计。实现是指所设计的分类器对待识别的样本进
行分类决策。基于统计方法的模式识别系统主要由 4个部分组成：数据获取，预
处理，特征提取与选择，分类决策，如图 1-1 所示。
图1-1 模式识别系统的组成
1.数据获取
为了使计算机可以运算符号来表示所研究的对象。通常输入对象的信息有 3
种类型，即：
摘要：
展开>>
收起<<
摘要目前，虚拟现实技术个行业中得到了越来越多的应用。在传统的虚拟现实环境中人机交互设备中存在设备太过昂贵，使用环境收到限制等问题。随着计算机技术的发展，使用计算机视觉技术来解决虚拟现实中人机交互的问题逐渐成为目前在人机接口研究方面一个值得讨论的思路。从计算机捕获的实时的视频流中来把人手自动在每一帧图像中定位和提取是进行手势识别的首要条件。为了使后期手势跟踪获得较高的准确性，在图像预处理阶段，本文先将采集到的图像进行无冗余的帧分离操作，将我们感兴趣的手势图像从视频流中分离出来，然后进行灰度图转换、平滑去噪与边缘检测；在手势跟踪阶段，本文采用基于肤色的高斯模型与经过改进的光流场跟踪算法相结合的方法...
相关推荐
作者：陈辉
分类：高等教育资料
价格：15积分
属性：68 页
大小：1.55MB
格式：PDF
时间：2024-11-19
