CPU ve GPU ile programlama arasındaki farkları anlamak için yapılması gereken ilk şey, ikisinin işleyiş yapısını karşılaştırmaktır. CPU genellikle seri olarak işlem yapmak için tasarlanmış birkaç çekirdekten oluşmaktadır. GPU ise birden fazla görevi bir arada paralel olarak yapabilmek için tasarlanmış yüzlerce çekirdekten oluşmaktadır.CPU programlama genellikle sınırlı sayıda kuyrukların çalışacağı uygulamalar için optimize edilmiştir. GPU ise farklı bir spektrumda programlamayı amaçlamaktadır.