現在的顯卡具有多級緩存結構，這些級別的緩存經過精心設計，可填補計算間的空白，對GPU的性能與速度有著重要影響。不同的GPU供應商（例如AMD和NVIDIA）具有不同大小的L1和L2緩存。例如，NVIDIA A100 GPU上的L2緩存為40MB，這是上一代GPU L2緩存量的七倍，這表明有許多新的應用程式比以前更吃緩存了。
TDP消息，國外一網站測試了最新一代顯卡（AMD的RDNA 2和NVIDIA的Ampere）的GPU顯存延遲。通過在OpenCL中使用指針追逐測試，可得出以下結論：RDNA 2的高速緩存非常快速，與Ampere相比，緩存延遲要低得多，而VRAM延遲幾乎是相同的；NVIDIA使用由L1和L2組成的兩級緩存系統，速度相對較慢，數據從擁有L1緩存的Ampere SM簇傳輸到外部L2的需要100ns左右的延遲。
AMD具有三級緩存系統，L1和L2之間的延遲只有66ns。Infinity Cache本質上是L3緩存，僅增加了20ns的額外延遲，與NVIDIA的緩存解決方案相比，AMD更具優勢。
來源：遊民星空
