空间遥操作机器人增强现实技术研究

VIP免费

3.0 牛悦 2024-11-19 4 4 2.47MB 67 页 15积分

侵权投诉

摘要

空间遥操作中空间站与地面控制站之间信号双向传输存在较大时延，而仅依

靠虚拟预测技术难以精确的完成遥操作任务，为此，本文在总结前人研究成果的

基础上，设计了一种基于计算机视觉跟踪技术的增强现实系统，并将此系统应用

于空间遥操作实验中。实验结果表明，该系统可以精确修正虚拟预测模型的位置

误差，并为实验操作者提供了重要操作依据，在空间遥操作实验中起到了关键作

用。论文所做的工作主要体现在以下几个方面：

1. 研究分析增强现实开发工具包 ARToolKit 和利用 ARToolKit 开发增强现实程序

的原理；研究了 ARToolKit 实现虚拟模型与真实环境融合的原理、摄像机的标

定方法以及 ARToolKit 中坐标系间的相互关系。

2.分析了增强现实系统的注册原理和注册过程；研究了摄像机标定技术的原理；

依据计算机图像算法，研究了提取图像中某特定对象的方法；分析图像压缩过

程的编码问题，根据实验的要求，分析了碰撞检测算法的实现原理；研究了增

强现实的在线修正功能，结合实验系统，设计了一种增强现实在线修正的算法

实现。

3.设计了增强现实实验系统的硬件结构，利用 CCD 摄像头采集实验现场环境的图

像，并用两台计算机之间的数据传输延迟模拟空间站与地面控制站之间的信号

延迟。

4.在 Windows xp 操作系统下，利用 VC++编写摄像头图像采集程序和处理程序，

实现虚拟模型与真实环境的融合，并把融合后的图像保存为 JPG 图像。编写

Socket 通信程序，将保存的 JPG 图像发送到另一台计算机上，此计算机接收图

像数据并显示在主程序的增强现实窗口中。根据增强现实在线修正的算法原理，

利用增强现实的数据实现对存在误差的虚拟现实模型进行修正。

5.通过与空间遥操作实验系统的联调，测试了增强现实的显示效果。根据联调实

验中出现的问题和空间遥操作实验系统的变化，反复修改并进行多次联调实验，

实验结果令人满意。

理论和实验研究表明，所设计的实验模型对空间遥操作实验任务的完成起到

了至关重要的作用。本文的研究和实验为空间遥操作实验的设计提供了一种可行

的视觉伺服方案，也为其他增强现实系统的设计提供了一些思路。

关键词：增强现实 ARToolKit 图像压缩在线修正

ABSTRACT

There is a big delay that the signals are transmitted between the space station and

the ground control station in space-teleoperation, but it is difficult to complete

teleoperation tasks only relying on the forecasting techniques. So this paper researched

and designed an augmented reality system based on computer vision tracking

technology. Debugging and applying in the space teleoperation experimental system on

the ground. The experimental results show that the system can accurately amend the

virtual prediction error, provide an important experimental basis for the operator and

play a key role in space-teleoperation experiments. This paper’s work is reflected in

the following areas:

1. This paper researched and analysis of the augmented reality development kit

ARToolKit and the process of developing procedures for augmented reality with

ARToolKit. Integration principle of the virtual model and real environment,

camera calibration method and the relationship between the coordinate systems in

ARToolKit was researched.

2. This paper analysis of the registration principle and the registration process of the

augmented reality system. The principles of camera calibration technique and the

method that extracted a particular object from an image based on computer

graphics algorithms were studied. An on-line amendment model combined with

the experimental platform was designed.

3. Based on the vision principle this paper designed a kind of hardware architecture

for augmented reality. CCD cameras captured images of the experimental scene

environment. The big delay was simulated both the space station and the ground

control station through join transmission delay between two computers.

4. Prepared camera collection procedures and processes to achieve the virtual model

and real-world integration using VC++ in the Windows xp operating system and

these fused images were saved as JPG image. These JPG images that have been

saved would be sent to another computer by socket communication program. This

computer received these images data and displayed them in the main program of

the augmented reality window. According to the principle On-line amendment, we

amended the virtual reality model error.

5. We tested the effect of augmented reality through debugging experiments with

space teleoperation experimental system. According to the problems that appeared

in the experiments and the changes of Space-teleoperation, the procedure was

modified repeatedly. The final experimental results were satisfactory.

Theoretical and experimental studies have shown that the experimental model

played a key role in Space-teleoperation and provide an important experimental basis

for operators. These studies and experiments provide a viable program of visual servo

for designing space-teleoperation experiments, but also provide some ideas for

designing other augmented reality systems.

Keywords: augmented-reality image-compression ARToolKit online- correction

摘要

ABSTRACT

第一章绪论 .....................................................................................................................1

§1.1 增强现实技术的研究背景及意义.........................................................................1

§1.2 增强现实技术概述及应用.....................................................................................2

§1.2.1 增强现实技术概述.....................................................................................2

§1.2.2 增强现实技术的应用.................................................................................3

§1.3 增强现实技术的研究进展......................................................................................6

§1.3.1 国外的研究状况.........................................................................................7

§1.3.2 国内的研究状况.........................................................................................8

§1.4 增强现实技术在空间遥操作中的应用..................................................................8

§1.5 存在的问题..............................................................................................................9

§1.6 本文的主要工作.....................................................................................................9

第二章基于 ARToolKit 的增强现实开发 ................................................................... 11

§2.1 基于 ARToolKit 的增强现实开发流程 ...............................................................11

§2.2 ARToolKit 的工作原理 ........................................................................................12

§2.3 摄像机标定方法...................................................................................................13

§2.4 ARToolKit 坐标系 ................................................................................................15

§2.5 计算机视觉算法...................................................................................................18

第三章关键技术研究 ...............................................................................................20

§3.1 增强现实系统的注册原理...................................................................................20

§3.2 摄像机标定技术...................................................................................................21

§3.3 标识识别...............................................................................................................24

§3.4 边缘检测................................................................................................................25

§3.4.1 图像分析的基本步骤................................................................................25

§3.4.2 边缘检测算子............................................................................................25

§3.5 JPEG 图像的压缩编码 ..........................................................................................28

§3.5.1 JPEG 压缩概述 ..........................................................................................28

§3.5.2 JPEG 压缩过程 ..........................................................................................28

§3.6 碰撞检测...............................................................................................................31

§3.6.1 碰撞检测概述...........................................................................................31

§3.6.2 碰撞检测算法...........................................................................................33

第四章增强现实实验系统的设计与实现 .................................................................38

§4.1 系统软硬件及总体设计方案................................................................................38

§4.1.1 实验系统的硬件结构...............................................................................38

§4.1.2 实验系统的软件环境...............................................................................39

§4.1.3 软件实现流程...........................................................................................39

§4.2 系统关键技术具体实现.......................................................................................40

§4.2.1 标识物的制作...........................................................................................40

§4.2.2 初始化摄像机的参数...............................................................................42

§4.2.3 视频帧的获取、标识识别、虚拟场景绘制...........................................42

§4.2.4 添加时间信息...........................................................................................45

§4.2.5 后台缓存图像压缩为 JPG 格式图像 .......................................................46

§4.2.6 JPG 图像的延时传输 ................................................................................49

§4.2.7 监控机显示图片.......................................................................................50

§4.3 增强现实的在线修正功能....................................................................................51

§4.3.1 增强现实标识物位置和角度数据获取...................................................52

§4.3.2 修正功能实现...........................................................................................53

第五章总结与展望 .....................................................................................................57

§5.1 本文总结...............................................................................................................57

§5.2 未来展望...............................................................................................................57

参考文献 .........................................................................................................................59

在读期间公开发表的论文和承担科研项目及取得成果 .............................................63

致谢 .............................................................................................................................64

第一章绪论

§1.1 增强现实技术的研究背景及意义

随着人类空间活动的不断发展，特别是近年来各国对太阳系以及深空探索计

划的逐步展开，将会有大量的空间生产、空间加工、空间装配、空间维护和修理

工作，然而向空间发送宇航员需要大量的资金，而且由于空间工作需要在一个了

解不多并且不可控的环境中进行，因此必须充分利用空间机器人技术，减小宇航

员从事危险工作的代价和成本[1]。2004 年NASA 在空间控索展望报告中提出未来

空间活动的目标之一就是“执行持续的人类和机器人计划，探索太阳系及深空间

“。NASA 提出了一系列机器人任务，为将来人类探索活动做准备和支持。因此，

在现在及未来的太空活动中，机器人是先驱者，而后才由人类进行一系列的探索

活动，但智能机器人的研究现状表明，由于受到机构、控制、传感和人工智能等

支撑技术的限制，研制出能在未知或复杂环境下全自主方式工作的智能机器人，

是短期内难以达到的目标。利用现有技术以及人机合作的遥操作机器人概念，机

器人也可以在许多空间任务中替代人，以降代成本和危险，增强人类的活动能力

[2]。

空间站内的遥操作机器人与地面控制站中的操作者之间的信号传输存在较

大的时延，操作者在发出控制指令后不能实时地得到空间机器人运动的反馈信息，

造成系统操作性能降低。为了克服信号传输时延对遥操作的影响，人们普遍采用

虚拟预测环境技术对从机器人运动进行预测显示，即在本地计算机中建立虚拟的

环境模型，操作者通过操作虚拟的空间机器人来实现对真实空间机器人的遥操作。

虚拟环境将操作命令执行结果实时地反馈给操作者，而真实空间机器人在间隔一

定的时间后重复虚拟机器人的运动，从而有效地克服大时延对空间遥操作机器人

系统的影响。

基于虚拟环境预测技术的遥操作对建模误差很敏感，真实机器人能否完全重

复虚拟机器人的运动，主要取决于所建立的模型是否精确，这包括机器人自身模

型和各个环境对象相对于机器人的位姿关系是否精确。因此，虚拟环境模型的精

确性是非常重要的，它必须如实准确地反映真实环境中机器人的运动状态及机器

人与操作对象的位置关系，为操作者提供真实可信的、友好的人机界面，以真正

起到提高遥操作效率、减轻用户作业负担的作用。但是，对于实际的空间遥操作

机器人系统，由于各种误差因素的综合影响，对真实环境的精确建模是困难的，

空间遥操作机器人增强现实技术研究

甚至有时候会存在很大的误差。即使在建模比较精确的情况下，由于系统不可避

免地存在测量误差与运动累积误差，也会导致系统工作一段时间之后，虚拟环境

中的虚拟机器人与真实环境中机器人的运动出现偏差，这些偏差的存在不但降低

了预测的效果和精度，还可能导致在实际操作中出现各种误操作，例如抓取物体

时，虚拟机器人已经抓住了物体，而真实机器人却未能抓到物体；或者真实机器

人已经与环境对象接触，但虚拟机器人还未到达还未到达虚拟对象的位置，如果

操作者完全依赖于虚拟环境操作，就会产生过大的接触力，以至损伤空间机器人

或工作对象。此外，在遥操作过程中，由于某些外界因素的影响，也可能使实际

环境对象的状态发生变化，而实际环境中物体状态的改变在虚拟场景中很难得到

及时的反应，出现虚拟模型与真实环境对象不完全一致的现象，从而严重影响虚

拟预测环境的可靠性，导致遥操作任务失败。因此，希望纯粹通过虚拟预测模型

来反映实际的运动情况是不可靠的，这必将大大降低系统处理突发事件的能力。

为了解决这一问题，利用遥操作现场真实的信息去修正虚拟模型，增强图形仿真

的效果是非常有必要的。

JPL 实验室首先提出了图形图像叠加技术，即把高精度的机器人模型叠加在

真实的视频图像上，操作者通过对虚拟模型与现场真实环境图像的比较来判断它

们的运动是否一致，实时监控虚拟模型的误差大小，在误差超过一定阈值时采取

相应的措施加以补偿或补救，这种技术即增强现实（Augmented Reality，AR）。

增强现实技术是指将计算机生成的虚拟对象与真实环境结合起来，构造出具有虚

实结合的空间。如图 1.1 所示[2][3]，真实环境和虚拟环境在两端，中间是混合现实。

混合现实

增强现实

真实环境

虚拟环境

增强虚拟

图 1.1 增强现实的位置

§1.2 增强现实技术概述及应用

§1.2.1 增强现实技术概述

增强现实(Augmented Reality，简称 AR)是近年来国外众多知名大学和研究机

构的研究热点之一。增强现实技术不仅具有与虚拟现实技术相类似的应用领域，

诸如尖端武器、飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺

术等领域，而且由于其具有能够对真实环境进行增强显示输出的特性，在医疗研

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要空间遥操作中空间站与地面控制站之间信号双向传输存在较大时延，而仅依靠虚拟预测技术难以精确的完成遥操作任务，为此，本文在总结前人研究成果的基础上，设计了一种基于计算机视觉跟踪技术的增强现实系统，并将此系统应用于空间遥操作实验中。实验结果表明，该系统可以精确修正虚拟预测模型的位置误差，并为实验操作者提供了重要操作依据，在空间遥操作实验中起到了关键作用。论文所做的工作主要体现在以下几个方面：1.研究分析增强现实开发工具包ARToolKit和利用ARToolKit开发增强现实程序的原理；研究了ARToolKit实现虚拟模型与真实环境融合的原理、摄像机的标定方法以及ARToolKit中坐标系间的相互...

展开>> 收起<<

空间遥操作机器人增强现实技术研究.pdf

共67页,预览7页

还剩页未读，继续阅读

空间遥操作机器人增强现实技术研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: