基于SOAP的多机群网格通信模型研究与实现
VIP免费
I
摘 要
随着信息技术的发展，人们对计算资源的需求日益膨胀，海量数据正在出现
在各行各业。这些数据包含着各种对人类社会有用的信息，如何对这些海量数据
进行管理与利用成为了一个摆在信息行业界的问题。对海量数据的处理客观上要
求巨大的计算能力和存储能力。随着海量数据的数据量不断扩大，传统的超级计
算机不能提供充足的计算能力，并且其高昂的价格不适合处理海量数据。于是出
现了采用计算机机群处理海量数据的趋势。为了更充分利用网络上闲置的计算资
源，又出现了网格计算的计算模式。
网格计算环境是并行的、资源分布的、异构和动态的。虽然在局域网环境下
的通信机制已经发展得比较完善，如支持并行通信的 MPI 还有支持异构环境的通
信机制如 CORBA、DCOM。但在广域环境下的通信机制由于 Internet 的防火墙机
制的限制而使得传统的基于局域网的分布式通信机制不能很好的工作。
为了在异构的网格环境下支持通信，在由多计算机机群构成的多机群网格环
境下利用 SOAP 协议进行并行计算，本文采用分布式服务（Web Services）技术并
使用 JWSDP（Java Web 服务开发工具包）构建了一个基于 SOAP 的多机群网格的
并行通信。本文主要进行了以下四个方面的研究：（1）本文借鉴 Ad-hoc 网络，提
出了动态组网、动态调整网络拓扑结构的自适应算法。（2）本文还提出了采用 SOAP
压缩机制来提高传输性能。（3）本文利用 JWSDP 提供的同步异步通信机制来实现
多机群网格环境下的通步、异步通信，构造了一对一、一对多乃至多对多的通信
模型以支持网格环境下的并行通信。（4）本文采用了通过 SOAP 与 TCP 传输性能对
比的结果表明，该通信模型可以有效支持多机群网格的构建及其上的并行通信。
关键词：SOAP JAXM JAX-RPC Web Services 并行通信
II
ABSTRACT
With the development of information technology, the demand of information
resource is also increasing .Massive data is appearing in all walks of life .The data holds
useful information for the human race. So , how to manage and utilize massive data has
become a task for the IT field . Massive data requires great computing capabilities .
With the fast growing pace of the capacity of massive data . It’s too expensive and
sometimes even impossible for the mainframe computer to cope with massive data .So,
the trend is to use computer cluster to replace mainframe computer, to make better use
of the available unused computing capabilities of the nework, the concept of grid
computing is becoming more and more popular .
Grid computing environment is parallel, distributed and dynamic. Although the
communication mechanism has been there for a while and has been well developed.
Such as MPI which provides good support and shows good performance for the parallel
communication. CORBA 、DCOM provide support for communication in
heterogeneous environment . However, In the internet environment ,there are
firewalls ,which prohibited the traditional ways of communication working well in the
LAN environment .
In order to support the communication of heterogeneous grid computing
environment . This paper use SOAP to support the parallel communication using
distributed web service technology and JWSDP(java web service development packet)
to build a multi-cluster parallel communication model . The research carried out by
this paper can be divided into four parts:(1) Inspired by the Ad-hoc network ,this paper
brings forward a self-adaptive network building, topology adjusting algorithm.(2) This
paper proposes the compression of soap message to improve the performance of
communication. (3) Using JWSDP, we realize synchronous 、asynchronous
communication mechanisms and one to one 、one to many 、many to many
communication mechanisms. (4) we make comparisons of SOAP and TCP
communication performance to prove that the communication model described by this
paper can support the construction of the system and the parallel communication on it.
Key Words ：SOAP JAXM JAX-RPC Web-Services Parallel
Communication
III
目录
摘 要
..............................................................................................................................................................I
ABSTRACT ................................................................................................................................................... II
目录
.............................................................................................................................................................III
第一章 绪论
.................................................................................................................................................1
§1.1 课题来源与意义 .............................................................................................................................. 1
§ 1.2 国内外研究现状 ..............................................................................................................................2
§1.3 本文的研究工作 .............................................................................................................................. 3
§1.4 论文各章节的安排 .......................................................................................................................... 3
第二章 从分布式环境下的通信机制到
SOAP
协议的演进
..................................................................... 5
§2.1 分布式环境下的通信机制 ...............................................................................................................6
§2.1.1
客户端－服务器端应用程序
................................................................................................... 6
§2.1.2
通用对象代理体系结构
........................................................................................................... 6
§2.1.3 JAVA RMI ...................................................................................................................................8
§2.1.4 MICROSOFT DCOM .................................................................................................................9
§2.1.5
面向消息的中间件
................................................................................................................ 10
§2.2 传统分布式通信技术存在的问题 .................................................................................................11
第三章
SOAP
协议以及相关知识介绍
.................................................................................................... 13
§3.1 XML 简介 ...................................................................................................................................... 13
§3.1.1 XML
文档的格式
.................................................................................................................... 13
§3.2 基于 XML 的SOAP 协议 ............................................................................................................. 15
§3.2.1 Soap
消息的组成
.................................................................................................................... 15
§3.2.2 SOAP
头
...................................................................................................................................17
§3.2.3 S
OAP 消息体
............................................................................................................................ 21
§3.2.4 SOAP
故障
[7] ........................................................................................................................... 22
§3.2.5 SOAP
消息附件
.......................................................................................................................22
§3.2.6 Soap
的编码
............................................................................................................................ 23
§3.2.7 SOAP
与传输协议绑定
...........................................................................................................25
第四章
SOAP
消息传递模式与消息交换模式
........................................................................................ 29
§4.1 SOAP 传递模式 .......................................................................................................................... 29
§4.
1.1
Document/Literal 消息传递模式
.................................................................................... 29
§4.
1.2 RPC/Literal
消息传递模式
.................................................................................................30
§4.2SOAP 消息交换模式 .....................................................................................................................31
第五章 基于
SOAP
和
AD-HOC
型的多机群网格并行通信模型
.......................................................... 33
§5.1 AD-HOC 网络简介 ........................................................................................................................... 33
§5.2 AD HOC 网络的特点 ....................................................................................................................33
§5.3 网格计算简介 .................................................................................................................................34
§5.4 一个 SOAP 协议的多机群网格通信模型 .......................................................................................36
§
5.4.1 QMCG 时序图及说明
............................................................................................................. 36
§
5.4.2 系统中节点部署
.................................................................................................................. 37
§
5.4.3 系统名词定义
....................................................................................................................... 37
§5.4.4
本系统的状态转换图如下图
................................................................................................. 39
§5.4.5 QMCG
的通信机制
.................................................................................................................39
§5.4.6
模型中的协议配置
................................................................................................................. 40
IV
§5.4.7 SOAP
通信域构成图
...............................................................................................................40
§5.4.8
QMCG 系统算法描述
............................................................................................................... 41
§5.4.8.1
QMCG 动态组网过程
............................................................................................................. 41
§5.4.8.2
QMCG 的动态维护算法
......................................................................................................... 44
§5.4.8.3 QMCG
的节点退出过程算法
..............................................................................................45
§5.4.8.4
QMCG 组播通信模型
............................................................................................................. 46
§5.4.8.4.2 SOAP
消息的多对多通信机制
.........................................................................................47
§5.4.8.5 QMCG
异步通信算法
.......................................................................................................48
§5.4.8.6 SOAP
消息的压缩算法
.....................................................................................................49
§5.4.9 Tcp
通信域中的通信
...............................................................................................................50
第六章
QMCG
中的
SOAP
通信支持
...................................................................................................... 51
§ 6.1 JAXM 提供的通信支持 ................................................................................................................51
§6.1.1 Jaxm
应用程序体系结构
........................................................................................................ 52
§6.1.2 Jaxm 消息交换交互模式
................................................................................................... 53
§6.1.3 利用 JAXM SOAP 消息发送过程
......................................................................................... 53
§
6.1.4 利用
JAXM SOAP
消息接收
.................................................................................................55
§
6.1.5
JAXM
在
QMCG
中的应用
..................................................................................................55
§6.2 基于 SOAP 的JAX-RPC 支持 QMCG 并行通信 ........................................................................55
§
6.2.1 JAX-RPC
的核心特征
........................................................................................................... 56
§
6.2.2JAXM
与
JAX-RPC
的比较
.................................................................................................... 57
§
6.2.3 JAX-RPC
应用程序体系结构的构成
................................................................................... 58
§
6.2.4 java/xml
数据类型映射
.........................................................................................................58
§
6.2.5 java/WSDL
定义映射
........................................................................................................... 61
§
6.2.6 JAX-RPC
中的附件类型映射
............................................................................................... 61
§
6.2.7QMCG
中的
JAX-RPC
应用
.................................................................................................. 62
第七章 关键技术与部分代码
...................................................................................................................65
§7.1 利用 JNI 获得本地数据 ................................................................................................................. 65
§7.2 采用 JAVA 压缩技术对 SOAP 消息进行压缩部分代码 ..............................................................70
第八章 实验及结果分析
...........................................................................................................................73
§8.1 实验设计 ........................................................................................................................................ 73
§8.2 软、硬件环境及相关配置信息 .................................................................................................... 73
§8.2.1
硬件环境
................................................................................................................................ 73
§8.2.2
软件环境
................................................................................................................................ 73
§8.3 实验及结果分析 ............................................................................................................................ 74
第九章 结束语
...........................................................................................................................................81
参考文献
.....................................................................................................................................................82
在读期间公开发表的论文和承担科研项目及取得成果
.........................................................................85
致 谢
.....................................................................................................................................................86
第一章 绪论
1
第一章 绪论
§1.1 课题来源与意义
随着信息社会的快速发展，信息量急速增长，海量数据开始出现在大型企业
和事业部门；这些海量数据多以分布式方式存在，通过 Internet 互联。这些分散
的数据可能由大型企业或事业部门的各个分支产生。对于企业或事业部门的决策
者来说，这些以分布方式存在的数据往往是决策的依据，对分布的海量数据的查
询是十分必要的。但是由于其地域的分散性，数据的分布往往出现跨平台分布偏
斜的特点；同时，各部门为了自身网络安全会利用防火墙限制本地数据与外界数
据的交互。这些使得对分布式的海量数据进行高效的检索与查询成为摆在业界的
一项课题。为了支持这种分布式异构环境下的海量数据查询，提供一个在此环境
下适用的通信模型是一个十分必要的前提。
伴随着网络技术的迅速发展，机群计算、网格计算[1-3]等技术相继出现。这
些计算模式利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级
计算机，其中每一台参与计算的计算机就是一个计算节点。这样就可以充分利用
各地闲散的计算资源同时可以增加整个网络的数据处理能力。2002 年美国
Argonne 国家实验室推出了 Globus[4] ，该项技术已经在 NASA 网格（NASA
IPG）、欧洲数据网格（Data Grid）、 美国国家技术网格（NTG）等多个项目中得
到应用并已成为事实上的网格计算标准。而国内也开展了“中国国家网格”、“教
育科研网格”、“织女星网格”和“先进计算基础设施北京、上海试点工程” 等
五大网格项目的研究。
利用网格计算模型的充分利用闲散资源、任务分片、计算结点并行工作以提
高处理能力的特点可以较好的处理对海量数据的高效查询问题。由于计算结点以
分布式存在与互联网上，结点之间存在的防火墙往往使得传统的通信方式不能正
常进行；采用 HTTP 隧道技术将 SOAP 与HTTP 绑定可以穿越防火墙使得数据可
以在 internet 上的计算机点间交互。
SOAP 基于 XML 而便于各种异构数据的交互
已经成为网格计算中最广泛应用的通信协议[5][6]。如何利用 SOAP 构造多机群的
查询网格、实现各计算结点动态组网、计算节点的动态退出、同时支持计算结点
间的多种模式的数据通信成为十分关键的问题。传统的并行计算通信如 MPI 与
VPN 已经有比较成熟的产品出现但是它们均只适用于计算机机群内部的通信而
不适用于分布在互联网上的异构数据之间的交互。现有的 SOAP 为轻型的通信协
议，主要是为了实现异构数据之间的交互。[7-9]
基于 SOAP 的多机群网格通信模型研究与实现
2
本课题旨在构建一个基于 SOAP 的多机群网格查询系统的通信模型。采用分
布式服务技术并使用 JWSDP（Java Web 服务开发工具包）[10][11]实现了该模型，
借助于 JAX-RPC 和JAXM 同步和异步通信机制。同时，借鉴 AD- hoc 网络的构
造方法，通过 SOAP 协议构建模型该多机群网格通信模型。此外还进行相关关键
技术研究和实验。
本课题的研究成果为海量数据查询提供了理论基础，对于满足当前应用需
要，适应信息量剧增的趋势，进行海量数据高性能查询具有重要的作用和现实意
义。
§ 1.2 国内外研究现状
目前对于海量数据查询的研究多集中于算法研究，模型多为假设海量数据分
布在单个机群内，通过局域网互联。对于广域网环境下的多机群海量数据查询的
通信机制研究国内外的并不多见，有关广域网环境下多机群间通信环境构造以及
多机群间的并行通信的研究就更少。
有关采用 SOAP 在广域网传输性能的研究。Binghamton University 的Weiyi
Meng 提出了微分反串行化（differential deserialization）的优化方法，利用消息之
间可能存在的相似性缩短了反序列化 soap 消息时间。也有人指出由于 XML 自身
的特点使得 XML 数据存在很大的压缩空间，有实验用通用的 GZIP 算法对 SOAP
消息进行压缩其压缩比约为 9：1，目前针对 XML 文档的压缩有 XMill, Xgrind、
XPress 以及 XPack，这些算法对 SOAP 消息压缩有更好的压缩性能[12][13]。目前已
经有研究对 SOAP 消息进行压缩，将原内容压缩为二进制流并将其加入到 SOAP
Message 的附件域中以 DIME 方式打包传输。
目前的 SOAP1.2 是由 SUN Microsystems、IBM、HP、EBA、Microsoft 和Oracle
等供应商领导的 W3C XML 工作组努力的结晶[7]。SOAP 多用于传输轻量级数据，
传输时依据具体应用需要可以与 HTTP/SSL、JMS、BEEP 绑定。对于 SOAP 消息
的交换模式，SOAP 规范 1.2 提出了四种：单向消息、请求/响应交换、请求多响应
模式、通知模式、征求－相应模式。SOAP 协议并不针对某种编程语言，SUN 公
司发布的 JWSDP 软件包对 java 环境下的 SOAP 通信进行了很好的支持；Microsoft
公司实现了 SOAP 协议,并使之成为.Net Framework 的一个重要的基础;IBM 和
Oracle 对于 SOAP 也都有自己的解决方案。
摘要：
展开>>
收起<<
I摘要随着信息技术的发展，人们对计算资源的需求日益膨胀，海量数据正在出现在各行各业。这些数据包含着各种对人类社会有用的信息，如何对这些海量数据进行管理与利用成为了一个摆在信息行业界的问题。对海量数据的处理客观上要求巨大的计算能力和存储能力。随着海量数据的数据量不断扩大，传统的超级计算机不能提供充足的计算能力，并且其高昂的价格不适合处理海量数据。于是出现了采用计算机机群处理海量数据的趋势。为了更充分利用网络上闲置的计算资源，又出现了网格计算的计算模式。网格计算环境是并行的、资源分布的、异构和动态的。虽然在局域网环境下的通信机制已经发展得比较完善，如支持并行通信的MPI还有支持异构环境的通信机制如...
相关推荐
作者：陈辉
分类：高等教育资料
价格：15积分
属性：87 页
大小：1.57MB
格式：PDF
时间：2024-11-19
