CPU的速度要遠遠大于內存的速度，為了解決這個問題，CPU引入了三級緩存：L1，L2和L3三個級別，L1最靠近CPU，L2次之，L3離CPU最遠，L3之后才是主存。速度是L1>L2>L3>主存。越靠近CPU的容量越小。CPU獲取數據會依次從三級緩存中查找，如果找不到再從主存中加載。示意圖如下  當CPU要讀取一個數據時，首先從一級緩存中查找，如果沒有找到再從二級緩存中查找，如果還是沒有就從三級緩存或內存中查找。一般來說，每級緩存的命中率大概都在80%左右，也就是說全部數據量的80%都可以在一級緩存中找到，只剩下20%的總數據量才需要從二級緩存、三級緩存或內存中讀取，由此可見一級緩存是整個CPU緩存架構中最為重要的部分。 下表是一些緩存未命中的消耗數據：