机器人双目视觉跟随系统研究

VIP免费
3.0 牛悦 2024-11-19 4 4 2.14MB 79 页 15积分
侵权投诉
摘 要
运动是视觉研究的一个重要方面，在工业过程控制、车辆导航、飞行目标跟
踪、交通监测等应用中都存在着大量运动视觉问题。随着计算机性能以及CCD等技
术的不断发展，再加上人们对静态图像处理经验的积累，使得通过计算机对运动
图像的分析成为研究的热点。
目前，很多专家在运动图像的分析上已取得了很大的成就，但在三维运动结
构估计中，很少有人研究三维空间对运动目标的跟踪定位。将计算机视觉中立体
和运动相结合，对获得的序列图像完成运动目标空间位置的定位和跟踪，对计算
机视觉来说是一个巨大的挑战，值得深入研究。基于此，提出了本课题—机器人
双目视觉跟随系统研究。
本文将立体和运动结合起来，设计一个双目实时跟踪系统，使机器人能够对
物体进行实时跟踪。详细地分析了实时跟踪系统所涉及的摄像机标定、运动分割、
图像匹配、运动参数的计算以及运动估计等关键技术，并给出它们的相关算法及
实验。这些工作为该系统的进一步研究奠定了坚实的基础。
本系统的研究为动态跟踪运动物体提供了一个合理易行的解决方案，无论在
单目或双目视觉下都实现了机器人动态跟踪运动的物体，随着物体的移动而移动。
此方案为三维空间对运动目标跟踪定位做出了有意义且有实用价值的尝试。
关键词：摄象机标定 SIFT特征匹配 Camshift 三维运动分析
ABSTRACT
Motion is an important part in vision study. And motion vision is involved in many
industrial applications such as procedure control, vehicle navigation, flight object
tracking, traffic monitoring. With the development of computer performance and CCD
technology and accumulation of image processing experience, motion image became a
hot topic of study today.
Many positive results were achieved in analyzing motion image. But few people
have studied tracking location of moving object in three dimensions space movement
structure evaluation. Combine stereo and motion of computer vision, locate and track
movement object space position for sequence image is a big challenge for computer
vision. Based on these, a study of robot binocular vision tracking system was put
forward.
This dissertation introduces the implementation of a real-time motion tracking
system based on stereo vision for an industrial robot. Generally study three dimensions
sequence image which relates to the key contents such as movement segmentation ，
video camera calibration，image match，feature corresponding，calculation of three
dimensions objects movement parameters ，objects movement evaluation and so on.
Give out all algorithms above-mentioned key sections and relevant tests. These
substantial theory and test base are founded in the further research and practicability of
the system.
This study provides a feasible method for robot dynamic tracking movement object,
which can be realized in monocular and binocular vision. The method is regarded as a
worthy step of tracking location of movement object in three dimensions space.
Key words: Camera calibration, SIFT Features matching, CamShift,
Three dimensions movement analysis
目 录
中文摘要
ABSTRACT
第一章 绪论.....................................................................................................................1
§1.1 本课题的研究背景............................................................................................1
§1.2 研究问题的提出和意义...................................................................................3
§1.3 论文研究的目的及主要内容............................................................................4
第二章 机器人双目视觉跟随系统软硬件组成.............................................................5
§2.1 硬件组成............................................................................................................5
§2.2 软件组成............................................................................................................7
第三章 视觉图像处理的基本内容...............................................................................10
§3.1 视觉图像处理方法分类..................................................................................10
§3.2 图像滤波..........................................................................................................10
§3.2.1 中值滤波 ................................................................................................... 11
§3.2.2 数学形态学滤波 ....................................................................................... 12
§3.3 图像的增强和锐化..........................................................................................13
§3.4 图像分割..........................................................................................................14
本章小节..................................................................................................................15
第四章 运动目标检测...................................................................................................16
§4.1 序列图像的运动分析......................................................................................16
§4.1.1 运动目标的视觉原理 ............................................................................... 16
§4.1.2 运动目标的检测 ....................................................................................... 17
§4.2 提出假设..........................................................................................................19
§4.3 预处理..............................................................................................................19
§4.4 运动目标的分割定位......................................................................................23
§4.4.1 差分图像 ................................................................................................... 23
§4.4.2 阈值分割 ................................................................................................... 25
§4.4.3 后处理 ....................................................................................................... 26
§4.4.4 运动目标的定位 ....................................................................................... 27
本章小节..................................................................................................................29
第五章 双目摄像机定标...............................................................................................31
§5.1 摄像机的成像模型..........................................................................................32
§5.2 双目模型..........................................................................................................34
§5.3 摄像机标定方法..............................................................................................35
§5.4 运动物体特征点三维坐标计算......................................................................38
§5.5 试验及结果分析..............................................................................................40
本章小节..................................................................................................................44
第六章 基于 SIFT 特征的图像匹配和三维重构.........................................................46
§6.1 SIFT 特征匹配 ................................................................................................ 46
§6.1.1 尺度空间理论 ........................................................................................... 46
§6.1.2 DoG(Difference-of-Gaussian)算子 ...........................................................47
§6.1.3 SIFT 特征匹配算法 ..................................................................................47
§6.1.4 实验结果 ................................................................................................... 50
§6.2 三维重构.........................................................................................................51
本章小节..................................................................................................................53
第七章 物体三维运动参数估计...................................................................................54
§7.1 刚体运动的描述..............................................................................................54
§7.2 旋转变换的表达..............................................................................................55
§7.3 运动分析..........................................................................................................60
§7.3.1 单目视觉运动分析 ................................................................................... 60
§7.3.2 双目视觉的运动分析 ............................................................................... 63
§7.4 目标的运动佑计..............................................................................................65
§7.5 实验结果..........................................................................................................67
§7.5.1 单、双目视觉运动分析实验 ................................................................... 67
§7.5.2 运动物体状态预测估计 ........................................................................... 68
本章小节..................................................................................................................69
第八章 总结与展望.......................................................................................................71
参考文献.........................................................................................................................74
在读期间公开发表的论文和承担科研项目及取得成果.............................................76
致 谢.............................................................................................................................77
第一章 绪论
1
第一章 绪论
§1.1 本课题的研究背景
视觉是人类观察和认知世界的重要手段。据统计，人类从外部环境获得的信
息约有80%是由视觉获取，并通过眼睛与大脑来获取、处理和理解的视觉信息。人
的眼睛从周围的环境获取大量信息，传入大脑后由大脑根据知识和经验对信息进
行加工、推理等工作，最后识别、理解周围的环境。计算机视觉就是用计算机模
拟人眼的功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进
行形态和运动识别。机器人视觉系统的基本结构如图1.1所示：
图1.1 机器人视觉系统的基本结构
计算机视觉是20世纪50年代从统计模式识别开始的，当时的工作主要集中在
二维图像分析、识别和理解上，如光学字符识别、工作表面、显微图片和航空分
析和解释等。20世纪60年代开始了立体视觉的开创性研究，美国麻省理工学院的
Roberts完成了三维景物分析的研究 [1]，他的工作把过去的二维图像分析推广到三
维景物分析，这标志着立体视觉技术的诞生。在随后的二十年中它迅速发展并形
成了一门新的学科。到70年代，已经出现了一些视觉应用系统[2]：1973年，英国的
Marr教授应邀在麻省理工学院(MIT)的人工智能实验室创建并领导了一个以博士
生为主的研究小组，从事视觉理论方面的研究。1977年，Marr提出了不同于“积
木世界”分析方法的计算机理论——Marr视觉理论，该理论在20世纪80年代成为
计算机视觉研究领域中的一个十分重要的理论框架[3]。经过多年的发展，在Marr
的理论框架下，计算机视觉取得了很多成果。但随着计算机视觉研究的不断深入，
人们发现了马尔视觉理论的局限性，即从景物图像或序列图像中求出景物精确的
三维几何描述，并定量的确定景物中物体的性质时遇到了困难[4]。Gibson指出：感
知是一种行动，不仅仅是一种被动式的反应，计算机视觉也应该朝着主动视觉的
方面发展。
上世纪80年代中后期，随着移动式机器人等相关应用的研究，视觉研究与之
密切结合，因而大量运用空间几何的方法以及物理知识来研究立体视觉，这一时
期引入了主动视觉的研究方法，并采用了距离传感器以及引入融合技术等。由于
这种研究方法可直接取得深度图或通过移动获取深度图，因而使很多病态问题变
图像 特征检测 ·重建 ·识别
底层
处理
位置
形状
物体描述
机器人双目视觉跟随系统研究
2
成良态的。此外，在视觉的研究中重视了对定性视觉、有目的的视觉等研究 。上
述这些理论和方法的研究有力地促进了相关应用的发展，这些应用领域包括对照
片特别是航空照片和卫星照片的解释、精确制导、移动机器人立体视觉导航、医
学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及
智能人机接口等[5]。在立体视觉的应用方面不乏成功的例子，如1996年日本成功研
制出利用双目视觉来指导机械手动作的樱桃番茄收获机器人[6]。
到上世纪90年代初，关于立体视觉的研究在许多方面开始趋于成熟。最近十
多年来，计算机视觉在各个领域中得到广泛应用[7]，同时基于多视几何的视觉理论
也得到迅速发展[8]。
我国的机器人立体视觉发展正处于方兴未艾的阶段，无论是工业 、农业还是
军事领域都显示出广阔的发展前景。在视觉理论上，王天珍教授在总结现有视觉
模型的基础上，将主动视觉模型与机器人立体视觉模型相结合，提出一种版式并
行检索模型[9]。该模型既能描述生理视觉过程又能用来指导机器人完成视觉功能，
这个模型能解释不少神经生理学和认知心理学现象，其计算机模拟的结果也是令
人鼓舞的[10]。各大高校也正加大机器人立体视觉研究的力度，其中由清华大学率
先研究开发的拟人机器人TBIPR-1，采用最为典型的平行双目立体视觉系统[11]设计
指标为：具有多关节手足运动、视觉、触觉和听觉功能的双腿机器人，身高1.60
米，体重100-200公斤，能在内部动力驱动下，根据视觉、触觉和听觉自主实现步
行、慢跑、跨越障碍运动、拾取物体以及其它人类较高级运动。可以预计，我国
飞速发展的经济将为机器人立体视觉技术的发展提供更加广阔的应用需求，反过
来，机器人立体视觉技术的发展将更加有利于我国工业经济的发展和人民生活水
平的提高。
回顾计算机视觉的研究历史，可以看到两条相当清晰的主线：理论与方法研
究和应用研究。前者从纯学术的角度出发，研究模拟人类视觉的各种理论与算法，
后者从实际问题出发，研究识别、检测等问题。视觉监控是计算机视觉领域当前
的一个新兴的应用研究方向，在视觉监控系统中，摄像机作为人类视觉的延伸，
它不仅代替人眼，而且用计算机代替或协助人来完成监视任务。计算机在不需要
人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析，实现对场景中
目标的识别、定位和跟踪，并在此基础上分析和判断目标的行为，从而做到既能
完成日常管理又能在异常情况发生的时候及时做出反应。视觉监控主要涉及摄像
机标定、物体识别、运动分割、三维物体的运动估计与跟踪、多摄像机结合、高
层语义理解等内容。由于视觉监控具有广泛的应用前景和潜在的经济价值，引起
了国际上许多著名科研机构以及研究人员的兴趣，特别是美国9.11事件更使视觉监
摘要：

摘要运动是视觉研究的一个重要方面，在工业过程控制、车辆导航、飞行目标跟踪、交通监测等应用中都存在着大量运动视觉问题。随着计算机性能以及CCD等技术的不断发展，再加上人们对静态图像处理经验的积累，使得通过计算机对运动图像的分析成为研究的热点。目前，很多专家在运动图像的分析上已取得了很大的成就，但在三维运动结构估计中，很少有人研究三维空间对运动目标的跟踪定位。将计算机视觉中立体和运动相结合，对获得的序列图像完成运动目标空间位置的定位和跟踪，对计算机视觉来说是一个巨大的挑战，值得深入研究。基于此，提出了本课题—机器人双目视觉跟随系统研究。本文将立体和运动结合起来，设计一个双目实时跟踪系统，使机器人能...

展开>> 收起<<
机器人双目视觉跟随系统研究.pdf

共79页,预览8页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：79 页 大小：2.14MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 79
评分 收藏
分享
立即下载 VIP免费下载
客服
关注