A CUDA GPU-kban több féle memóriáthasználhatunk, amelyek kezelését részben nekünk kell megoldani. Ebbe a fejezetben átvesszük a memóriák típusait, és azok használatát.

A memóriák típusai nagy vonalakban:

• globális memoria: A klasszukus GPU memória. Itt tároljuk az adatokat. A CPU és a GPU is tudja írni olvasni.
• Regiszterek: Minden szál kap belőlük egy készletet. A szál a futása közbeni közbenső számításokhoz használhatja. Nagyon gyors.
• Közös memória: A multiprocesszor belső memóriája. A blokkon belüli szálak tudnak rajta keresztül adatokat cserélni.
• Konstans memória: Egy kicsi gyorsítótárazott memróiaterület, amiből nagyon gyorsan lehet olvasni. A kernelekből nem írható.
• Textúra memória: Képek beolvasására optimalizált memória. a globálisból olvas, de automatikus gyorsítótárazása, és 2D interpolációja van