Grafikkarten wurden im Laufe der Jahre so entwickelt, dass sie über mehrstufige Cache-Hierarchien verfügen. Diese Cache-Ebenen wurden entwickelt, um die Lücke zwischen Speicher und Rechenleistung zu schließen, ein wachsendes Problem, das die Leistung von GPUs in vielen Anwendungen lähmt. Verschiedene GPU-Anbieter, wie AMD und NVIDIA, haben je nach Architektur unterschiedliche Größen von Registerdateien, L1- und L2-Caches. Zum Beispiel beträgt die Größe des L2-Caches bei NVIDIAs A100-GPU 40 MB, was siebenmal größer ist als bei der vorherigen Generation V100. Das zeigt nur, wie sehr neue Anwendungen größere Cache-Größen erfordern, die immer größer werden, um die Bedürfnisse zu befriedigen.
Heute haben wir einen interessanten Bericht, der von Chips and Cheese kommt. Die Website hat sich entschieden, die GPU-Speicherlatenz der neuesten Kartengeneration zu messen – AMDs RDNA 2 und NVIDIAs Ampere. Durch die Verwendung von einfachen Pointer-Chasing-Tests in OpenCL, erhalten wir interessante Ergebnisse. Der Cache von RDNA 2 ist schnell und massiv. Im Vergleich zu Ampere ist die Cache-Latenz viel niedriger, während die VRAM-Latenz ungefähr gleich geblieben ist. NVIDIA verwendet ein zweistufiges Cache-System, bestehend aus L1 und L2, was eine eher langsame Lösung zu sein scheint. Die Daten, die vom SM von Ampere, der den L1-Cache enthält, zum äußeren L2 kommen, benötigen über 100 ns Latenzzeit.
AMD hingegen hat ein dreistufiges Cache-System. Es gibt L0-, L1- und L2-Cache-Ebenen, die das RDNA-2-Design ergänzen. Die Latenz zwischen L0 und L2 beträgt, selbst mit L1 dazwischen, nur 66 ns. Infinity Cache, bei dem es sich im Wesentlichen um einen L3-Cache handelt, fügt nur zusätzliche 20 ns an Latenz hinzu und ist damit im Vergleich zu NVIDIAs Cache-Lösungen immer noch schneller. NVIDIAs GA102 massiver Die scheint ein großes Problem für den L2-Cache darzustellen, um ihn zu umgehen und es werden viele Zyklen benötigt. Mehr über den Test können Sie hier lesen.
Quelle: GPU Memory Latency Tested on AMD’s RDNA 2 and NVIDIA’s Ampere Architecture
