乒乓机器人的视觉系统研究

VIP免费
3.0 赵德峰 2024-11-19 5 4 3.68MB 74 页 15积分
侵权投诉
摘 要
随着科学技术的不断发展和社会的进步，机器人的发展有了很大的提升，各
种各样的机器人出现在人们的生活当中，智能机器人成为未来机器人的研究方向。
视觉作为机器人智能化的主要技术之一，它的研究是相当必要和紧急的。如今国
内对于机器人视觉的研究还处在初级阶段。本文以乒乓机器人为研究背景，提出
机器人的视觉框架，对视觉实现过程中的图像采集、图像预处理、运动目标(人和
乒乓球)的检测和跟踪进行了研究和实现。
提出了乒乓球机器人视觉实现框架。根据实现智能乒乓球机器人这一目标，
设计了乒乓球机器人视觉实现框架，框架主要分为七个部分，并将这七个部分划
分为视觉的低级处理、中级处理和高级处理部分。
改进了混合高斯模型的差分实现方法。分析、实验并对比了三种典型的运
动目标检测方法，确定运动目标的检测方法为基于混合高斯模型的背景差分方法，
在程序实现上，将滤波和数学形态学方法很好的应用到检测过程中，与传统的
高斯检测相比，取得了更完整的检测结果和更光滑的边界。
实现了运动目标(乒乓球和人)的跟踪。通过算法分析，采用 Camshift 算法和
Kalman 预估算法并进行实验仿真，实现了对运动物体的跟踪，获得了物体的运动
轨迹，并对物体运动的实际轨迹和预测轨迹进行了比较，实验结果表明了方法的
有效性，实现了轨迹预测。
给出了摄像机标定前提下的乒乓球三维坐标计算方法，分析了乒乓球世界坐
标获取对预估算法鲁棒性的影响。
提出了实现功能集成的 MFC 界面设计需求。在视觉实现过程中，人机界面
的实现是非常必要的，故此，设计并绘制了界面的示意图。
课题主要的算法实现软件为OpenCV。OpenCV(Open Source Compmer Vision
Library)是一种用于数字图像处理和计算机视觉的函数库。
关键词： 视觉系统 OpenCV 运动目标检测 运动目标跟踪
Camshift Kalman 轨迹预测
ABSTRACT
With the development of science and technology and social progress, the
development of robot has been greatly improved, a variety of robots exist in people's
daily life, intelligent robots become the research direction of future . As one of the
main technologies of intelligent robots, vision’s study is very necessary and urgent.
Nowadays, the domestic research of robot’s vision is still in the early stage. In this
paper, proposed framework of vision of Table tennis robot and the main job focused on
three parts: image acquisition, image pre-processing, moving targets detection and
tracking.
Proposed framework of vision of Table tennis robot which is consisted of seven
parts. Then divided this seven parts into Low-level processing of vision, Intermediate
processing of vision, Advanced processing of vision.
Improved the implementation process based on the Gaussian mixture model.
Analysis, experiment and comparison of three typical methods of detection and the
final detection method is Gaussian mixture model-based background difference.
Applied the filter and mathematical morphology in the process of detection by
programming, and the result is more complete and smooth.
Realized the tracking of moving targets. Based on the algorithm of Camshift and
Kalman, realized the tracking of moving targets by simulation experiments and
accessed to motion trajectory, then compared the actual object motion trajectory and
the prediction trajectory. The experimental results show that method in this paper is
effective.
Provided the extracting method of three-dimensional coordinate of table tennis,
analyze the effect of word Coordinates of table tennis on Robustness of prediction
algorithm.
Proposed MFC interface design requirement. It is very necessary to realize the
human-machine interface, so drew a diagram of the interface.
The main software used in this paper is OpenCV. OpenCV(Open Source Computer
Vision Library) is a library for digital image processing and computer vision.
Key words：Vision System, OpenCV, Detection and Tracking,
Camshift, Kalman, Trajectory Prediction
目 录
摘要
ABSTRACT
第一章 绪论..................................................................................................................1
§1.1 研究背景...........................................................................................................1
§1.2 需求定义...........................................................................................................4
§1.3 与乒乓机器人视觉分析相关的乒乓知识.......................................................5
§1.4 OpenCV 简介.................................................................................................. 6
§1.5 技术难点分析...................................................................................................8
§1.5.1 运动目标检测和跟踪的难点概述............................................................ 8
§1.5.2 本文要解决的问题..................................................................................... 8
§1.6 本文研究内容及结构安排...............................................................................9
第二章 机器视觉、图像理论及视觉框架构建..........................................................10
§2.1 机器视觉与图像理论.....................................................................................10
§2.1.1 机器视觉技术........................................................................................... 10
§2.1.2 图像及图像处理理论............................................................................... 12
§2.2 实验平台的搭建.............................................................................................13
§2.3 乒乓机器人视觉系统框架构建 ...................................................................14
§2.3.1 视频采集................................................................................................... 15
§2.3.2 视频处理................................................................................................... 16
§2.3.3 三维重建................................................................................................... 17
§2.3.4 处理后数据传输....................................................................................... 17
§2.3.5 知识库建立............................................................................................... 17
§2.3.6 模仿学习................................................................................................... 17
§2.3.7 自主学习................................................................................................... 18
§2.4 接口的定义和实现.........................................................................................18
§2.5 本章小结.........................................................................................................19
第三章 图像预处理......................................................................................................20
§3.1 图像滤波.........................................................................................................20
§3.1.1 噪声分析................................................................................................... 20
§3.1.2 中值滤波................................................................................................... 21
§3.1.3 平均滤波................................................................................................... 23
§3.2 灰度图像的直方图均衡.................................................................................24
§3.3 数学形态学.....................................................................................................27
§3.4 本章小结.........................................................................................................29
第四章 运动目标的检测..............................................................................................30
§4.1 常用的两种颜色空间模型.............................................................................30
§4.2 运动目标的检测、提取.................................................................................31
§4.2.1 帧差法....................................................................................................... 31
§4.2.2 背景差分法............................................................................................... 34
§4.2.3 光流法....................................................................................................... 36
§4.3 混合高斯模型背景建模.................................................................................37
§4.4 乒乓球的运动检测实现.................................................................................42
§4.5 本章小结.........................................................................................................43
第五章 运动目标的跟踪实现......................................................................................44
§5.1 目标跟踪算法的分类.....................................................................................44
§5.1.1 特征匹配跟踪算法(Feature Tracking)......................................................44
§5.1.2 区域匹配的跟踪算法 (Region Tracking)................................................ 45
§5.1.3 基于模型的跟踪(Model-based Tracking).................................................45
§5.1.4 基于目标运动特性的跟踪 (Motion Identity-based Tracking)................45
§5.2 光流法.............................................................................................................46
§5.3 基于 Camshift 的运动目标的跟踪...............................................................48
§5.3.1 RGB 空间转换到 HSV 空间.................................................................... 49
§5.3.2 Mean-shift 算法........................................................................................49
§5.3.3 Camshift 算法...........................................................................................52
§5.4 卡尔曼预估器及在本文中的应用.................................................................54
§5.4.1 卡尔曼预估算法(The Kalman Forecast Algorithm).................................55
§5.4.2 卡尔曼预估算法在乒乓球跟踪上的应用............................................... 56
§5.4.3 乒乓球质心三维坐标求解...................................................................... 59
§5.4.4 质心世界坐标求解与预估算法鲁棒性关系分析................................... 61
§5.5 本章小结.........................................................................................................61
第六章 总结与展望......................................................................................................62
§6.1 研究总结.........................................................................................................62
§6.2 研究展望.........................................................................................................63
参考文献........................................................................................................................65
第一章 绪论
1
第一章 绪 论
§1.1 研究背景
在科技水平迅猛发展的今天，机器人开发也得到了极大的发展，自 1959 年第
一台机器人诞生以来，人们就开始了对机器人的狂热研究。机器人技术[1]是一门
集机械、计算机、控制、传感器、电子、信号处理等多学科为一体的综合学科。
如今，人们期望机器人不仅仅在工业上有所作为，更期望其在人们的生活等
其他领域中发挥更多的作用，大量的针对运动、娱乐型的智能机器人的研究不断
开展。
乒乓机器人就是运动机器人的一种，特别是仿人型的乒乓机器人将成为未来
的研究方向。
仿人机器人的研究在许多方面已经取得了突破[2]，如关键机械单元、基本行
走能力、整体运动、动态视觉等，但是离我们理想中的要求还相去甚远，还
需要在仿人机器人的思维和学习能力、与环境的交互、躯体结构和四肢运动、
体系结构等方面进行更进一步的研究。
仿人机器人系统的主要缺陷是对环境的适应性和学习能力的不足[2]，机
器人与外界不能进行足够的交互。由于传感器的噪声、学习方式和训练时间
的有限，学习控制的实时性还不能令人满意，仍然需要研究和开发新的算法、
学习方法[3]。
特别是近年来机器视觉的研究日益广泛，机器视觉在机器人上的应用也相当
多，其作用也越来越重，成为智能机器人不可缺少的部分。因为对于复杂的动作，
仅仅靠编程是不能够应付完成的。同时，智能机器人程序编制的要求很高，目的
是为了解决传感器标定问题和电机的运动参数问题[4][5]。因此，基于视觉的机器人
的研究能够简化编程难度。在众多感知方法中，计算机视觉是最具挑战性和吸
引力的一种，有着广阔的运用前景[6]。
2005 年7月7号英国伦敦利物浦街和阿尔盖特站之间发生了伦敦地铁连环爆
炸案。案件的侦破归功于伦敦的视频监控技术，可以说这次侦破的成功，视频证
据功不可没。可见视觉的研究在安全防范方面也有重要的研究意义。通过对视频
序列的分析，可以对罪犯的作案动机和实施作案的过程有更清楚的解释。基于人
工的视频监控往往会带有主观的感情色彩。可见视频序列的分析将成为未来案件
破获的主要辅助工具之一。机器人在视觉形成的“眼睛”下，通过对环境的实时
乒乓机器人的视觉系统研究
2
处理，达到对环境的适应。
机器人视觉的应用是很广泛的：
1) 机器人导航
在一些科技场馆以及一些高级的医院，可以见到一些为人们导引并解说的机
器人，它们都是导航机器人的典型代表。
2)零件检测
现在搬运型的机器人已经不稀奇，但是若结合机器视觉，实现零件形状识别
检测，则可以节省人力，并提高工作效率。
3)动作模仿
机器人通过视觉实时采集目标动作，通过一系列图像处理，最终实现目标动
作的复现，是娱乐、试教机器人的首选。特别是在机器人遥控上：机器人将危险
环境的信息传送给控制者，控制者根据信息做出各种动作，运动捕捉系统将动作
捕捉下来，实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比，
这种系统可以实现更为直观、细致、复杂、灵活而快速的动作控制，大大提高机
器人应付复杂情况的能力[7]。在当前机器人全自主控制尚未成熟的情况下，这一
技术有着特别重要的意义。
当然，基于视觉的机器人在很多的领域都可以担当重要的角色，也有着广阔
的应用前景。基于视觉的机器人的应用前景是无限的，也是现在的研究趋势。
在总结各种视觉应用共性的基础上，以乒乓机器人为研究背景，以运动的乒
乓球和人为研究对象，在单目视觉的硬件条件下，对运动进行采集形成视频流，
通过对视频的分析，实现运动参数以及运动轨迹的获取，为人机对打打下基础。
从而形成人体运动知识库，利用该知识库为机器人的模仿学习打下基础，从而最
终实现具有自主学习能力的乒乓机器人。
最终目的的实现是任重而道远的，因此本文力在构建基于机器人视觉的实现
框架，定义各个功能模块，并对实现的关键技术进行研究和实现。以期为最终目
的的实现以及为机器人视觉研究做出一些贡献。
乒乓机器人作为一个手眼协调系统，包括机械系统、视觉系统和控制系统，
视觉系统类似人的眼睛，机械系统类似人的手臂，控制系统类似人的大脑，乒乓
机器人可以通过模仿和学习人的击球方法，实现手眼协调，以达到眼疾手快、准
确击球的目的[8]。本文以乒乓机器人为研究背景，所做的工作都是为乒乓机器人
的视觉服务的。
如今国内对乒乓球机器人的研究还不是很成熟，主要的研究机构有中科院自
动化研究所以及浙江大学的计算机学院。特别是对机器人视觉系统的研究，还处
第一章 绪论
3
在初级阶段，主要停留在理论的基础上。图 1-1 为中科院的乒乓机器人
图1-1 中科院的乒乓机器人
作为盛产机器人的日本，乒乓机器人的研究相对来说是比较成熟的，下图为
日本展出的乒乓机器人。
图1-2 日本乒乓机器人
从以上的两幅图片就可以看出，我国在乒乓机器人的研究上是比较落后的，
需要有更多的人投入到这方面的研究上来，这也是一项具有挑战性的科研，作者
希望通过对乒乓机器人的视觉进行研究，为乒乓机器人的研究作出一些贡献。作
者所作的工作也是所在学院即将开展的重点项目之一。
摘要：

摘要随着科学技术的不断发展和社会的进步，机器人的发展有了很大的提升，各种各样的机器人出现在人们的生活当中，智能机器人成为未来机器人的研究方向。视觉作为机器人智能化的主要技术之一，它的研究是相当必要和紧急的。如今国内对于机器人视觉的研究还处在初级阶段。本文以乒乓机器人为研究背景，提出机器人的视觉框架，对视觉实现过程中的图像采集、图像预处理、运动目标(人和乒乓球)的检测和跟踪进行了研究和实现。提出了乒乓球机器人视觉实现框架。根据实现智能乒乓球机器人这一目标，设计了乒乓球机器人视觉实现框架，框架主要分为七个部分，并将这七个部分划分为视觉的低级处理、中级处理和高级处理部分。改进了混合高斯模型的差分实现...

展开>> 收起<<
乒乓机器人的视觉系统研究.pdf

共74页,预览8页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：赵德峰 分类：高等教育资料 价格：15积分 属性：74 页 大小：3.68MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 74
评分 收藏
分享
立即下载 VIP免费下载
客服
关注