网格并行通信模型的研究

VIP免费

3.0 赵德峰 2024-11-19 4 4 1.07MB 94 页 15积分

侵权投诉

摘要

随着信息技术的飞速发展和 Internet 的日益普及，信息爆炸已经成为当今

信息技术产业界和学术界所面临的急需解决的主要问题。针对这一问题，网格以

其良好的自治性、自相似性、异构性、管理的多样性、强大的并行 I/O 能力、非

常高的性能价格比等特点成为一个可行的解决方案。

在数据网格中，强大的数据处理、存储中心是一个研究焦点。研究表明，实

现这种中心的有效手段是构建由多个网络构成的大规模机群，进一步构建基于网

格的并行计算系统。然而，随着机群节点数目和网络数目的增加，通信将成为瓶

颈。尤其是对数据并行方式来工作的，同步只发生在数据需要交换时。数据交换

时会产生通信的峰值，当进行数据密集交换并且通信量很大时，将导致冲突。冲

突将会浪费通信资源、降低并行性。

有关并行通信的研究中，从协议和硬件的角度来实现并行通信的理论是成熟

的。但是它们还是不能满足多计算机机群网格的需要，更主要是：他们不能够高

效地解决异构网格环境下大规模并行通信的峰值通信问题。

基于 IP 协议和普通宽带网络的多级分组通信模型就是从通信策略和控制方

面来解决峰值通信冲突的研究成果。在这种多级分组通信模型中，通过有序的分

组机制来解决大规模计算中峰值通信问题，即模型通过对计算节点进行分组，把

多对多的完全图通信简化为多次并行的一对多通信。

本文对多级分组通信模型的机群内的通信分组模型进行了进一步详细的探

讨，主要工作如下：（1）根据各个计算节点能力的差异，网络的实际通信能力，

研究了一系列有效的分组策略，并优化了机群的分组通信模型。（2）给出了实现

这些通信模型的关键技术，并用 JAVA 进行了实现。（3）通过实验验证了各种分

组策略的效率。

关键词：并行计算数据网格峰值通信分组通信分组策略

ABSTRACT

For the rapid development of the information techniques and the popular use of Internet,

information explosion has become the main problem which the information technology

industry and the academe face on and must breakthrough. And Grid, with the feature of

autonomy, self-like, heterogeneity, multiple administrative domains, powerful parallel

I/O ability, and high rate between performances and its cost, etc, become a flexible way

to resolve to this problem.

Within data-grid, the powerful data computing and storage center is the high point

that must be focused on. Research that the most efficient way to realize this center is to

build a large-scale Cluster that composed of many networks, and than build a parallel

computing system upon them based on grid. Nevertheless, as the increment of

computing nodes and networks, data communication will be the bottleneck for this

system. Especially, to parallel computing, synchronization only happens during the time

that data need to be exchanged. Data exchange will lead to communication peak.

Conflict will happen when it is an intensive data exchange and massive data need to be

exchanged. Conflicts will waste communication resources and lower the degree of

concurrence.

In the research of parallel communication, theories of parallel communication carried

out from protocol and hardware are mature, but they haven’t achieved the needs of

Cluster-Grid with large amount of PCs. And more important, they couldn’t resolve the

large-scare parallel communication peak problem that happened in heterogeneity grid

platform efficiently.

Multi-level grouping communication model that based on IP protocol and networks

with common bandwidth is the exact research outcome that efficiently resolve

communication peak problem by communication strategy and control. In this

multi-level grouping communication model, communication peak problem within

large-scare parallel computing is resolved by sequence grouping mechanism. Means by

grouping computing nodes, this model simplified many to many completed graph

communication to many concurrence one to many communications that happen in

different time.

Father discussion about grouping communication model within a single Cluster for

multi-level grouping communication model is represented in this paper. The main jobs

of this paper are as following: (1) Basing the difference of computing nodes’

computation capability and the actual communication ability of networks, several

grouping strategies are described, and the grouping communication model within single

Cluster has been optimized. （2) The key technologies to realize this communication

model are described also, and this model has been realized by JAVA. (3) The efficiency

of all these grouping strategies has been experimented.

Key words: Parallel Computing, Data-Grid, Communication Peak,

Grouping Communication，Grouping Strategy.

中文摘要

ABSTRACT

第一章绪论 ......................................................... 1

§1.1 课题来源与意义 ............................................. 1

§1.2 国内外研究现状 .............................................. 2

§1.3 本文的研究工作 ............................................. 3

§1.4 论文各章节的安排 ........................................... 3

第二章网络 .......................................................... 4

§2.1 网络协议 ................................................... 4

§2.1.1 网络模型 .............................................. 4

§2.1.2 物理层协议要点和技术 .................................. 6

§2.1.3 数据链路层技术要点和协议 .............................. 7

§2.1.4 网络层技术要点和协议 .................................. 9

§2.1.5 传输层技术要点和协议 ................................. 11

§2.1.6 应用层技术要点和协议 ................................. 11

§2.2 网络硬件 .................................................. 11

§2.3 网络拓扑结构[49] ............................................ 12

第三章并行计算 ..................................................... 14

§3.1 并行计算概述 .............................................. 14

§3.1.1 并行计算模型 ......................................... 14

§3.1.2 并行程序设计语言 ..................................... 19

§3.1.3 并行程序设计目前面临的困难和发展 ..................... 20

§3.2 并行计算的应用 ............................................ 21

第四章网格并行计算 ................................................. 23

§4.1 网格概述 .................................................. 23

§4.1.1 网格的有关概念和目的[2] ................................ 23

§4.1.2 网格的特点[3] .......................................... 25

§4.1.3 网格体系结构和工具 ................................... 26

§4.2 基于网格的应用 ............................................ 29

§4.2.1 网格在科学计算上的应用 ............................... 30

§4.2.2 网格在社会经济生活上的应用 ........................... 31

§4.3 基于网格的应用所面临的有关问题 ............................ 31

§4.3.1 网格任务的分解 ....................................... 31

§4.3.2 网格通信 ............................................. 32

§4.3.3 网格资源管理 ......................................... 32

第五章网格并行计算的通信 ........................................... 34

§5.1 网格并行计算中的通信问题 .................................. 34

§5.2 目前有关的解决方法 ......................................... 35

§5.3 这些解决方法的比较 ......................................... 38

第六章多级分组通信模型[6] ........................................... 40

§6.1 数据密集型网格模型、计算过程和通信问题 ..................... 40

§6.2 单个机群分组通信模型 GCAS .................................. 42

§6.3 两个机群分组通信模型 GCAD .................................. 46

§6.4 多个机群分组通信模型 MGCM .................................. 46

§6.5 分析 ...................................................... 48

第七章优化的单个机群分组通信模型 ................................... 50

§7.1 接收数目固定的单个机群分组通信模型 ......................... 50

§7.1.1 对多级分组通信模型的改进 ............................. 50

§7.1.2 接收数目固定的分组方法 ............................... 52

§7.1.3 接收数目固定的单个机群分组通信模型 ................... 55

§7.1.4 分析 ................................................. 57

§7.2 发送和接收相匹配的单个机群分组通信模型 .................... 59

§7.2.1 对分组通信模型的改进 ................................. 59

§7.2.2 发送能力和接收能力相匹配的分组方法 ................... 62

§7.2.3 发送能力和接收能力相匹配的单个机群分组通信模型 ....... 69

§7.2.4 分析 ................................................. 72

第八章关键技术 ..................................................... 74

§8.1 通信控制技术 .............................................. 74

§8.1.1 计算节点 CN .......................................... 74

§8.1.2 队列 ................................................. 75

§8.1.3 选播标志矩阵 ......................................... 76

§8.2 计算节点过程模型 .......................................... 77

§8.3 机群 ...................................................... 80

§8.2.1 机群控制器 Master ..................................... 80

§8.2.2 计算节点 Node ........................................ 81

第九章测试 ......................................................... 82

§9.1 实验环境描述 ............................................... 82

§9.2 优化分组方法的发送误差测试 ................................ 82

§9.3 简单分组与优化分组通信的对比 ............................... 83

参考文献 ............................................................ 85

在读期间公开发表的论文和承担科研项目及取得成果 ...................... 90

致谢 ............................................................ 91

第一章绪论

§1.1 课题来源与意义

近年来，随着科学技术和信息技术的发展，各行各业的信息量剧增，信息爆

炸已经成为当今信息产业界和学术界所面临急需解决的问题，对更高性能计算机

的需求已不再局限于传统的大数据量的科学计算领域（天气预报、人造卫星等科

学计算领域），在海量数据库查询、INTERNET 等较为广泛的应用领域也提出了同

样的要求。适应这种趋势需要的解决方案显然不能再利用价格昂贵的大型机、巨

型机，而应当是使用多台微机或工作站组成的基于网格的分布式计算。

网络技术[1]和网格[2][3]以其良好的自治性、自相似性、异构性、管理的多样性、

强大的并行 I/O 能力、非常高的性价比等特性成为一个可行的解决方案。在网格

中，强大的数据处理、存储中心始终是一个研究焦点。研究表明，实现这种中心

有效手段是构建由多个网络构成的大规模机群。然而，随着机群节点数目和网络

数目的增加，通信将成为瓶颈。尤其是对数据并行方式来工作的系统，数据需要

交换，同步只发生在数据交换时，从而会周期性的出现大规模多对多通信。数据

交换时的大规模多对多通信会使网格系统产生通信的峰值，当进行数据密集交换

并且通信数据量很大时，通信的峰值问题将会产生许多负面问题，如导致通信冲

突、网络阻塞、接收缓冲区溢出、多对一通信的相互阻塞、无效传输、死锁等情

况，浪费了可贵的通信资源、降低了并行性、降低了系统的可扩展性。（典型的数

据密集交换的例子是并行 JOIN[4] [5] 操作的关系元组重分配阶段。）

通过研究表明，通信是基于网格的大规模、分布式计算瓶颈，高效的通信策

略将能有效的利用系统的通信资源、提高计算的并行度、增加系统的可扩展性。

目前国内外有关高效通信的研究有很多，与其它通信技术和通信策略相比，基于

IP 协议和普通网络带宽的多级分组通信模型[6]有明显的优势：

IP 协议是最基本、最简单且最广为使用的通信协议；

普通网络带宽对于网格系统的通信设施来说更具有普遍性；

基于 IP 协议和普通网络带宽的多级分组通信模型是把大规模多对多通信

分解为小规模并行的一对多通信，在解决了系统的通信峰值问题的同时几

乎没有给系统增加模块，节省了系统的构建和维护费用。

同时，在通信时考虑各个网格计算节点计算能力的差异、各个机群网络带宽

的差异，可以充分的利用网络带宽、各个计算节点的能力，提高效率。

因此，本课题的研究成果对于满足当前应用需要，适应信息量剧增的趋势，

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要随着信息技术的飞速发展和Internet的日益普及，信息爆炸已经成为当今信息技术产业界和学术界所面临的急需解决的主要问题。针对这一问题，网格以其良好的自治性、自相似性、异构性、管理的多样性、强大的并行I/O能力、非常高的性能价格比等特点成为一个可行的解决方案。在数据网格中，强大的数据处理、存储中心是一个研究焦点。研究表明，实现这种中心的有效手段是构建由多个网络构成的大规模机群，进一步构建基于网格的并行计算系统。然而，随着机群节点数目和网络数目的增加，通信将成为瓶颈。尤其是对数据并行方式来工作的，同步只发生在数据需要交换时。数据交换时会产生通信的峰值，当进行数据密集交换并且通信量很大时，将导...

展开>> 收起<<

网格并行通信模型的研究.pdf

共94页,预览10页

还剩页未读，继续阅读

网格并行通信模型的研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: