并行性是指在同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作，只要在时间上互相重叠，都存在并行性。计算机系统中的并行性可从不同的层次上实现，从低到高大致可分为：

（1）指令内部的并行：是指指令执行中的各个微操作儘可能实现并行操作。

（2）指令间的并行：是指两条或多条指令的执行是并行进行的。

（3）任务处理的并行：是指将程式分解成可以并行处理的多个处理任务，而使两个或多个任务并行处理。

（4）作业处理的并行：是指并行处理两个或多个作业。如多道程式设计、分时系统等。另外，从数据处理上，也有从低到高的并行层次。

（5）字串位并：同时对一个二进制字的所有位进行操作。

（6）字并位串：同时对多个字的同一位进行操作。

（7）全并行：同时对许多字的所有位进行操作。

时间并行

时间并行指时间重叠，在并行性概念中引入时间因素，让多个处理过程在时间上相互错开，轮流重叠地使用同一套硬体设备的各个部分，以加快硬体周转而赢得速度。

时间并行性概念的实现方式就是採用流水处理部件。这是一种非常经济而实用的并行技术，能保证计算机系统具有较高的性能价格比。目前的高性能微型机几乎无一例外地使用了流水技术。

空间并行

空间并行指资源重複，在并行性概念中引入空间因素，以“数量取胜”为原则来大幅度提高计算机的处理速度。大规模和超大规模积体电路的迅速发展为空间并行技术带来了巨大生机，因而成为实现并行处理的一个主要途径。空间并行技术主要体现在多处理器系统和多计算机系统。但是在单处理器系统中也得到了广泛套用。?

时间并行+空间并行

指时间重叠和资源重複的综合套用，既採用时间并行性又採用空间并行性。显然，第三种并行技术带来的高速效益是最好的。

21世纪的计算机系统在不同层次上採取了并行措施，只有当并行性提高到一定层次时，具有了较高的并行处理能力，才能称为“并行处理系统”。一般有以下三种并行措施。

时间重叠

时间重叠是在并行性概念中引入时间因素，即多个处理过程在时间上相互错开，轮流重叠地使用同一套硬体设备的各个部件，以加快硬体周转而赢得速度。这各并行措施表现在指令解释的重叠及流水线部件与流水线处理机。

资源重複

资源重複是在并行性概念中引入空间因素。这种措施提高计算机处理速度最直接，但由于受硬体价格昂贵的限制而不能广泛使用。目前，随着硬体价格的降低，已在多种计算机系统中使用，如多处理机系统、陈列式处理机等。

资源共享

资源共享也是在并行性概念中引入时间因素，它是通过软体的方法实现的。即多个用户按一定的时间顺序轮流使用同一套硬体设备；既可以是按一定的时间顺序共享CPU，也可以是CPU与外围设备在工作时间上的重叠。这种并行措施表现在多道程式和分时系统中，而分散式处理系统和计算机网路则是更高层次的资源共享。

从第一台电子计算机发明，电子计算机已经经历了五代。计算机发展到第四代时，出现了用共享存储器、分布存储器或向量硬体选件的不同结构的并行计算机，开发了用于并行处理的多处理作业系统专用语言和编译器，同时产生了用于并行处理或分布计算的软体工具和环境。到出现的计算机称为第五代计算机，它们的主要特点是进行大规模并行处理。并行处理技术是在微电子、印刷电路、高密度封装技术、高性能处理机、存储系统、外围设备、通信通道、语言开发、编译技术、作业系统、程式设计环境和套用问题等研究和工业发展的产物。

并行计算机具有代表性的套用领域有：天气预报建摸、VLSI电路的计算机辅助设计、大型资料库管理、人工智慧、犯罪控制和国防战略研究等，而且它的套用範围还在不断地扩大。并行处理技术主要是以算法为核心，并行语言为描述，软硬体作为实现工具的相互联繫而又相互制约的一种结构技术。本文就并行处理技术的算法策略、描述性定义及软硬体方面的实现做一个简单的介绍。

并行算法的基本策略

在并行处理技术中所使用的算法主要遵循三种策略：

1．分而治之法：也就是把多个任务分解到多个处理器或多个计算机中，然后再按照一定的拓扑结构来进行求解。

2．重新排序法：分别採用静态或动态的指令词度方式。

3．显式/隐式并行性结合：显式指的是并行语言通过编译形成并行程式，隐式指的是串列语言通过编译形成并行程式，显式/隐式并行性结合的关键就在于并行编译，而并行编译涉及到语句、程式段、进程以及各级程式的并行性。

并行性描述定义

利用计算机语言进行并行性描述的时候主要有三种方案：

1．语言扩展方案：也就是利用各种语言的库函式来进行并行性功能的扩展。

2．编译製导法：也称为智慧型编译，它是隐式并行策略的体现，主要是由并行编译系统进行程式表示、控制流的分析、相关分析、最佳化分析和并行化划分，由相关分析得到方法库管理方案，由最佳化分析得到知识库管理方案，由并行化划分得到程式重构，从而形成并行程式。

3．新的语言结构法：这是显式并行策略的体现。也就是建立一种全新的并行语言的体系，而这种并行语言通过编译就能直接形成并行程式。

并行软体可分成并行系统软体和并行套用软体两大类，并行系统软体主要指并行编译系统和并行作业系统，并行套用软体主要指各种软体工具和套用软体包。在软体中所牵涉到的程式的并行性主要是指程式的相关性和网路互连两方面。

程式的相关性

程式的相关性主要分为数据相关、控制相关和资源相关三类。

数据相关：说明的是语句之间的有序关係，主要有流相关、反相关、输出相关、I/O相关和求知相关等，这种关係在程式运行前就可以通过分析程式确定下来。数据相关是一种偏序关係，程式中并不是每一对语句的成员都是相关联的。可以通过分析程式的数据相关，把程式中一些不存在相关性的指令并行地执行，以提高程式运行的速度。

控制相关：是语句执行次序在运行前不能确定的情况。它一般是由转移指令引起的，只有在程式执行到一定的语句时才能判断出语句的相关性。控制相关常使正在开发的并行性中止，为了开发更多的并行性，必须用编译技术克服控制相关。而资源相关则与系统进行的工作无关，而与并行事件利用整数部件、浮点部件、暂存器和存储区等共享资源时发生的冲突有关。软体的并行性主要是由程式的控制相关和数据相关性决定的。在并行性开发时往往把程式划分成许多的程式段——颗粒。颗粒的规模也称为粒度，它是衡量软体进程所含计算量的尺度，用细、中、粗来描述。划分的粒度越细，各子系统间的通信时延也越低，并行性就越高，但系统开销也越大。因此，在进行程式组合最佳化的时候应该选择适当的粒度，并且把通讯时延儘可能放在程式段中进行，还可以通过软硬体适配和编译最佳化的手段来提高程式的并行度。

网路互连

将计算机子系统互连在一起或构造多处理机或多计算机时可使用静态或动态拓扑结构的网路。静态网路由点一点直接相连而成，这种连线方式在程式执行过程中不会改变，常用来实现集中式系统的子系统之间或分散式系统的多个计算结点之间的固定连线。动态网路是用开关通道实现的，它可动态地改变结构，使之与用户程式中的通信要求匹配。动态网路包括汇流排、交叉开关和多级网路，常用于共享存储型多处理机中。在网路上的讯息传递主要通过寻径来实现。常见的寻径方式有存储转发寻径和虫蚀寻径等。在存储转发网路中以长度固定的包作为信息流的基本单位，每个结点有一个包缓冲区，包从源结点经过一系列中间结点到达目的结点。存储转发网路的时延与源和目的之间的距离(段数)成正比。而在新型的计算机系统中採用虫蚀寻径，把包进一步分成一些固定长度的片，与结点相连的硬体寻径器中有片缓冲区。讯息从源传送到目的结点要经过一系列寻径器。同一个包中所有的片以流水方式顺序传送，不同的包可交替地传送，但不同包的片不能交叉，以免被送到错误的目的地。虫蚀寻径的时延几乎与源和目的之间的距离无关。在寻径中产生的死锁问题可以由虚拟通道来解决。虚拟通道是两个结点间的逻辑链，它由源结点的片缓冲区、结点间的物理通道以及接收结点的片缓冲区组成。物理通道由所有的虚拟通道分时地共享。虚拟通道虽然可以避免死锁，但可能会使每个请求可用的有效通道频宽降低。因此，在确定虚拟通道数目时，需要对网路吞吐量和通信时延折衷考虑。

并行处理技术是解决需要长时间处理，特别是全3D模拟难题极为高效的方案。若拥有多台工作站，则可将它们当做一个处理机群来操作，然而，Linux微机机群却拥有更高的性能/价格比。并行处理技术可适用于SunSolaris，SGIIrix和Linux运行环境，但不支持微机Windows环境。并行处理技术使全3D模拟工作的可适用性得到极大程度地扩展。以往需要数天才能完成的处理任务，仅需几小时即可完成。例如油气系统模拟以往仅能作为研究工作，而现在则可以作为油气勘探风险评价的常规流程之一。清楚地展示出近几年在没有硬体成本增加的前提下处理速度的重大突破！PetroMod并行处理(PP)许可证IESPetroMod的并行处理(PP)许可证可按处理器的个数购买，折扣量与所购买的可并行处理的数目有关。并行处理的购置费和维护费都很低，但它们可灵活地套用于不同的工作中，因为不管如何套用，许可证只管您可拥有的并行处理数：-并行处理技术主要用于加速对大的全3D数据模型的处理能力。典型的处理器数介于8-12之间，并行处理的加速因子通常与处理器数接近，即8个处理器的加速能力近于原来的8倍，因为并行处理技术能够充分利用机群中所有记忆体。-并行处理技术还可用于对2D模型进行处理。-并行处理技术对PetroRisk处理特别重要，因为每一个风险运算过程都对应一个处理器！这意味着多个风险运算过程可在并行机中同时运行，并且风险模拟可有机地融入全3D处理工作中。

遵循不同的技术途径，採用不同的并行措施，在不同的层次上实现并行性的过程，反映了计算机体系结构向高性能发展的自然趋势。

在单处理机系统中，主要的技术措施是在功能部件上，即改进各功能部件，按照时间重叠、资源重複和资源共享形成不同类型的并行处理系统。在单处理机的并行发展中，时间重叠是最重要的。把一件工作分成若干相互联繫的部分，把每一部分指定给专门的部件完成，然后按时间重叠措施把各部分执行过程在时间上重叠起来，使所有部件依次完成一组同样的工作。例如将执行指令的过程分为三个子过程：取指令、分析指令和执行指令，而这三个子过程是由三个专门的部件来完成，它们是取指令部件、分析指令部件和指令执行部件。它们的工作可按时间重叠，如在某一时刻第I条指令在执行部件中执行，第I+1条指令在分析部件中分析，第I+2条指令被取指令部件取出。三条指令被同时处理，从而提高了处理机的速度。另外，在单处理机中，也较为普遍地运用了资源重複，如多操作部件和多体存储器的成功套用。

多机系统是指一个系统中有多个处理机，它属于多指令流多数据流计算机系统。按多机之间连线的紧密程度，可分为紧耦合多机系统和松耦合多机系统两种。在多机系统中，按照功能专用化、多机互连和网路化三个方向发展并行处理技术。

功能专用化经鬆散耦合系统及外围处理机向高级语言处理机和资料库机发展。多机互连是通过网际网路紧密耦合在一起的、能使自身结构改变的可重构多处理机和高可靠性的容错多处理机。计算机网路是为了适应计算机套用社会化、普及化面发展起来的。它的进一步发展，将满足多任务并行处理的要求，多机系统向分散式处理系统发展是并行处理的一种发展趋势。

国家重大基础研究项目课题以及国家高技术研究项目。中心的主要任务是为研究所的高性能计算提供相关的科学与技术支持，主要包括：

1.高性能并行计算机环境的建设与管理

2.高性能并行计算软体与理论研究

3.大规模科学计算可视化软体与理论研究

4.大规模数据管理软体与理论研究

5.计算机网路技术的开发与套用

6.虚拟现实技术研究

·上海超级计算中心成立与2000年底，是上海市信息化建设的一个重要基础设施。该中心以上海市的科研教育和工业发展为基础，为汽车碰撞模拟、船舶设计等提供高性能计算能力。目前拥有国内TOP100排名第一的超级计算机曙光4000A。

·中国科学院的超级计算中心成立于1996年，为中国科学院的科学研究提供计算环境，是中国科学院信息化建设的重要基础设施之一。