Cache Memory (캐시 메모리)

캐시 메모리는 빠른 데이터 접근을 하게 해 주고 자주 사용하는 컴퓨터 프로그램, 응용 프로그램 및 데이터를 저장하는 작은 크기의 휘발성 컴퓨터 메모리이다.

CPU 가 주기억장치에서 저장된 데이터를 읽어올 때, 자주 사용하는 데이터를 캐시 메모리에 저장한 뒤, 다음에 주기억장치가 아닌 캐시 메모리에서 먼저 가져오면서 속도를 향상한다.

CPU에서 이러한 캐시 데이터를 2~3개 정도 사용한다. (L1, L2, L3 캐시 메모리라고 부른다.)

속도와 크기에 따라서 분류한 것으로 일반적으로 L1 캐시부터 사용한다.

(CPU에서 가장 빠르게 접근하고, 여기서 데이터를 찾지 못하면 L2로 간다.)

Cache Locality (캐시의 지역성)

캐시 메모리는 앞서 말했듯이 속도는 매우 빠르나 용량이 적다.

따라서 캐시가 효율적으로 동작하려면 컴퓨터가 자주 사용할 데이터가 캐시 메모리에 적재되어야 한다.

즉, 캐시의 적중율(hit-rate)을 극대화해야 한다.

이때 적중율(hit-rate)을 극대화시키기 위해 데이터 지역성(Locality)의 원리를 사용한다.

지역성의 전제 조건으로 프로그램은 모든 데이터와 코드에 균등하게 접근(Access) 하지 않는다는 특성을 기본으로 한다.

즉, 지역성(Locality)이란, 기억장치 내의 정보에 균등하게 Access 하는 것이 아닌 어느 한순간에 특정 부분을 집중적으로 참조하는 특성이다.

이 데이터 지역성은 대표적으로 시간 지역성(Temporal Locality)과 공간 지역성(Spatial Locality)으로 나뉜다.

시간 지역성 : 최근에 참조된 주소의 내용은 곧 다음에 다시 참조되는 특성.
- for나 while 같은 반복문에 사용하는 조건 변수처럼 한번 참조된 데이터는 잠시 후 또 참조될 가능성이 높음
공간 지역성 : 대부분의 실제 프로그램이 참조된 주소와 인접된 주소의 내용이 다시 참조되는 특성
- A [0], A [1]과 같은 연속 접근 시, 참조된 데이터 근처에 있는 데이터가 잠시 후 또 사용될 가능성이 높음

언급했듯이 캐시(cache)는 프로세서 가까이에 위치하면서 빈번하게 사용되는 데이터를 놔두는 장소이다.

하지만 캐시가 아무리 가까이 있더라도 찾고자 하는 데이터가 어느 곳에 저장되어 있는지 모른다면 어떨까?

모든 데이터를 순회해야 한다면 시간이 오래 걸리게 된다.

즉, 캐시에 목적 데이터가 저장되어 있다면 바로 접근하여 출력할 수 있어야 캐시가 의미 있어진다는 것이다.

그렇기 때문에 캐시를 저장할 때 특정 자료구조를 사용하여 묶음으로 저장하게 되는데 이를 캐싱 라인이고 한다.

프로세스는 다양한 주소에 있는 데이터를 사용하므로 빈번하게 사용하는 데이터의 주소 또한 흩어져 있다.

따라서 캐시에 저장하는 데이터에는 데이터의 메모리 주소 등을 기록해 둔 태그를 달아놓을 필요가 있다.

이러한 태그들의 묶음을 캐싱 라인이라고 하고 메모리로부터 가져올 때도 캐싱 라인을 기준으로 가져온다.

종류로는 대표적으로 세 가지 방식이 존재한다.