| 并行性包括同时性和并发性。其中，同时性是指两个或两个以上的事件在同一时刻发生，并发性是指两个或两个以上的事件在同一时间间隔内连续发生。
|
|
|
| 从计算机信息处理的步骤和阶段的角度看，并行处理可分为如下几类。
|
|
|
|
|
|
|
|
|
| （4）指令、任务、作业并行（多处理机、分布处理系统、计算机网络）。
|
|
|
|
|
| 阵列处理机将重复设置的多个处理单元（PU）按一定方式连成阵列，在单个控制部件（CU）控制下，对分配给自己的数据进行处理，并行地完成一条指令所规定的操作。这是一种单指令流多数据流计算机，通过资源重复实现并行性。
|
|
|
|
|
| SIMD和MIMD是典型的并行计算机，SIMD有共享存储器和分布存储器两种形式。
|
|
|
| 在具有共享存储器的SIMD结构（如下图所示）中，将若干个存储器构成统一的并行处理机存储器，通过互联网络ICN为整个并行系统的所有处理单元共享。其中，PE为处理单元，CU为控制部件，M为共享存储器，ICN为互联网络。
|
|
|
|
|
|
|
| 分布式存储器的SIMD处理机如下图所示，其中，PE为处理单元，CU为控制部件，PEM为局部存储器，ICN为互联网络。含有多个同样结构的处理单元，通过寻径网络ICN以一定的方式互相连接。
|
|
|
|
|
|
|
| 分布存储器的并行处理机结构中有两类存储器，一类存储器附属于主处理机，主处理机实现整个并行处理机的管理，在其附属的存储器内常驻操作系统；另一类是分布在各个处理单元上的存储器（即PEM），这类存储器用来保存程序和数据。在阵列控制部件的统一指挥下，实现并行操作。程序和数据通过主机装入控制存储器。通过控制部件的是单指令流，所以指令的执行顺序还是和单处理机一样，基本上是串行处理。指令送到控制部件进行译码。划分后的数据集合通过向量数据总线分布到所有PE的本地存储器PEM。PE通过数据寻径网络互连。数据寻径网络执行PE间的通信。控制部件通过执行程序来控制寻径网络。PE的同步由控制部件的硬件实现。
|
|
|
|
|
| 多处理机系统是由多台处理机组成的系统，每台处理机有属于自己的控制部件，可以执行独立的程序，共享一个主存储器和所有的外部设备。它是多指令流多数据流计算机。在多处理机系统中，机间的互连技术决定了多处理机的性能。多处理机之间的互连要满足高频带、低成本、连接方式的多样性以及在不规则通信情况下连接的无冲突性。
|
|
|
|
|
| 集群一般是指连接在一起的两个或多个计算机（结点）。集群计算机是一种并行或分布式处理系统，由很多连接在一起的独立计算机组成，像一个单集成的计算机资源一样协同工作，主要用来解决大型计算问题。计算机结点可以是一个单处理器或多处理器的系统，拥有内存、I/O设备和操作系统。连接在一起的计算机集群对用户和应用程序来说像一个单一的系统，这样的系统可以提供一种价格合理的且可获得所需性能和快速而可靠的服务的解决方案。
|
|
|
