Den Namen verdankt der Cache der Tatsache, dass er als Teil des Steuerwerks im Verborgenen arbeitet. Nur selten spricht ein Programmierer den Cache explizit an, etwa um ihn zu leeren (Flush). Wörtlich aus dem Englischen übersetzt bedeutet Cache (gesprochen: wie das Bargeld - cash, entlehnt aus dem französischen cacher - verbergen, caché - verborgen) soviel wie „geheimes Lager". Aus den Quotes-of-the-day eines Linux Betriebssystems: „Cache: A very expensive part of the memory system of a computer that no one is supposed to know it is there." Das Funktionieren des Caches beruht auf der so genannten Lokalitätseigenschaft.