| 并行性包括同时性和并发性两个侧面。其中，同时性是指两个或两个以上的事件在同一时刻发生，并发性是指两个或两个以上的事件在同一时间间隔内连续发生。
|
|
|
| 从计算机信息处理的步骤和阶段的角度看，并行处理可分为以下几类。
|
|
|
|
|
|
|
|
|
| .指令、任务、作业并行（多处理机、分布式处理系统、计算机网络）。
|
|
|
|
|
| 阵列处理机将重复设置的多个处理单元（PU）按一定方式连成阵列，在单个控制部件（CU）控制下，对分配给自己的数据进行处理，并行地完成一条指令所规定的操作。这是一种单指令流多数据流计算机，通过资源重复实现并行性。
|
|
|
|
|
| SIMD和MIMD是典型的并行计算机，SIMD有共享存储器和分布存储器两种形式。
|
|
|
| 具有共享存储器的SIMD结构（见下图）中，将若干个存储器构成统一的并行处理机存储器，通过互连网络（Interconnection Network，ICN）为整个并行系统的所有处理单元共享。其中，PE为处理单元，CU为控制部件，M为共享存储器，ICN为互连网络。
|
|
|
|
|
|
|
| 分布存储器的SIMD处理机如下图所示，其中PE为处理单元，CU为控制部件，PEM为局部存储器，ICN为互连网络。含有多个同样结构的处理单元，通过寻径网络ICN以一定方式互相连接。
|
|
|
|
|
|
|
| 分布存储器的并行处理机结构中有两类存储器：一类存储器附属于主处理机，主处理机实现整个并行处理机的管理，在其附属的存储器内常驻操作系统；另一类是分布在各个处理单元上的存储器（即PEM），这类存储器用来保存程序和数据。
|
|
|
|
|
| 多处理机系统是由多台处理机组成的系统，每台处理机都有属于自己的控制部件，可以执行独立的程序，共享一个主存储器和所有的外部设备。它是MIMD计算机。多处理机之间的互连，要满足高带宽、低成本、连接方式的多样性以及在不规则通信情况下连接的无冲突性。
|
|
|
