|
|
|
高速缓存（Cache）由快速半导体存储器构成，用来存放当前最活跃的程序和数据，其内容是主存局部域的副本，对程序员来说是透明的。
|
|
|
|
|
|
Cache存储器中控制部分的功能是判断CPU要访问的信息是否在Cache存储器中，若在即为命中，若不在则没有命中。命中时直接对Cache存储器寻址；未命中时，要按照替换原则决定主存的一块信息放到Cache存储器的哪一块里。
|
|
|
|
现代CPU中Cache分为了多个层级，如下图所示。
|
|
|
|
|
|
|
|
在多级Cache的计算机中，Cache分为一级（L1 Cache）、二级（L2Cache）、三级（L3 Cache）等，CPU访存时首先查找L1 Cache，如果不命中，则访问L2Cache，直到所有级别的Cache都不命中，才访问主存。通常要求L1 Cache的速度足够快，以赶上CPU的主频。如果Cache为两级，则L1 Cache的容量一般都比较小，为几千字节到几十千字节；L2 Cache则具有较高的容量，一般为几百字节到几兆字节，以使高速缓存具有足够高的命中率。
|
|
|
|
|
|
在CPU工作时，送出的是主存单元的地址，而应从Cache存储器中读／写信息。这就需要将主存地址转换成Cache存储器的地址，这种地址的转换称为地址映像。Cache的地址映像有如下3种方法。
|
|
|
|
（1）直接映像。直接映像是指主存的块与Cache块的对应关系是固定的，如下图所示。
|
|
|
|
|
|
|
|
在这种映像方式下，由于主存中的块只能存放在Cache存储器的相同块号中，因此，只要主存地址中的主存区号与Cache中记录的主存区号相同，则表明访问Cache命中。一旦命中，由主存地址中的区内块号立即可得到要访问的Cache存储器中的块，而块内地址就是主存地址中给出的低位地址。
|
|
|
|
直接映像方式的优点是地址变换很简单，缺点是灵活性差。例如，不同区号中块号相同的块无法同时调入Cache存储器，即使Cache存储器中有空闲的块也不能利用。
|
|
|
|
（2）全相联映像。全相联映像如下图所示。同样，主存与Cache存储器均分成大小相同的块。这种映像方式允许主存的任一块可以调入Cache存储器的任何一个块的空间中。
|
|
|
|
|
|
|
|
例如，主存为64MB，Cache为32KB，块的大小为4KB（块内地址需要12位），因此主存分为16384块，块号从0～16383，表示块号需要14位，Cache分为8块，块号为0～7，表示块号需3位。存放主存块号的相联存储器需要有Cache块个数相同数目的单元（该例中为8），相联存储器中每个单元记录所存储的主存块的块号，该例中相联存储器每个单元应为14位，共8个单元。
|
|
|
|
在地址变换时，利用主存地址高位表示的主存块号与Cache中相联存储器所有单元中记录的主存块号进行比较，若相同即为命中。这时相联存储器单元的编号就对应要访问Cache的块号，从而在相应的Cache块中根据块内地址（上例中块内地址是12位，Cache与主存的块内地址是相同的）访问到相应的存储单元。
|
|
|
|
全相联映像的主要优点是主存的块调入Cache的位置不受限制，十分灵活。其主要缺点是无法从主存块号中直接获得Cache的块号，变换比较复杂，速度比较慢。
|
|
|
|
（3）组相联映像。这种方式是前面两种方式的折中。具体方法是将Cache中的块再分成组。例如，假定Cache有16块，再将每两块分为1组，则Cache就分为8组。主存同样分区，每区16块，再将每两块分为1组，则每区就分为8组。
|
|
|
|
组相联映像就是规定组采用直接映像方式而块采用全相联映像方式。也就是说，主存任何区的0组只能存到Cache的0组中，1组只能存到Cache的1组中，以此类推。组内的块则采用全相联映像方式，即一组内的块可以任意存放。也就是说，主存一组中的任一块可以存入Cache相应组的任一块中。
|
|
|
|
在这种方式下，通过直接映像方式来决定组号，在一组内再用全相联映像方式来决定Cache中的块号。由主存地址高位决定的主存区号与Cache中区号比较可决定是否命中。主存后面的地址即为组号。
|
|
|
|
|
|
替换算法的目标就是使Cache获得尽可能高的命中率。常用算法有如下几种。
|
|
|
|
（1）随机替换算法。就是用随机数发生器产生一个要替换的块号，将该块替换出去。
|
|
|
|
（2）先进先出算法。就是将最先进入Cache的信息块替换出去。
|
|
|
|
（3）近期最少使用算法。这种方法是将近期最少使用的Cache中的信息块替换出去。
|
|
|
|
（4）优化替换算法。这种方法必须先执行一次程序，统计Cache的替换情况。有了这样的先验信息，在第二次执行该程序时便可以用最有效的方式来替换。
|
|
|
|
|
|
Cache的性能是计算机系统性能的重要方面。命中率是Cache的一个重要指标，但不是最主要的指标。Cache设计的目标是在成本允许的条件下达到较高的命中率，使存储系统具有最短的平均访问时间。设Hc为Cache的命中率，tc为Cache的存取时间，tm为主存的访问时间，则Cache存储器的等效加权平均访问时间ta为：
|
|
|
|
ta=Hctc+（1-Hc）tm=tc+（1-Hc）（tm-tc）
|
|
|
|
这里假设Cache访问和主存访问是同时启动的，其中，tc为Cache命中时的访问时间，（tm-tc）为失效访问时间。如果在Cache不命中时才启动主存，则
|
|
|
|
|
|
Cache的命中率与Cache容量的关系如下图所示。Cache容量越大，则命中率越高，随着Cache容量的增加，其失效率接近0%（命中率逐渐接近100%）。但是，增加Cache容量意味着增加Cache的成本和增加Cache的命中时间。
|
|
|
|
|
|
|
|
在指令流水线中，Cache访问作为流水线中的一个操作阶段，Cache失效将影响指令的流水。因此，降低Cache的失效率是提高Cache性能的一项重要措施。当Cache容量比较小时，容量因素在Cache失效中占有比较大的比例。降低Cache失效率的方法主要有选择恰当的块容量、提高Cache的容量和提高Cache的相联度等。
|
|
|
