İki çekirdekli işlemciye sahip bilgisayarlardan 16 çekirdekli işlemcisi olan iş istasyonlarına kadar çeşitlilik gösteren hesaplama ortamlarının yaygınlaştığı günümüzde paralel işlem yapmanın önemi artmaktadır. Paralel programlamada ise büyük bir problem birden fazla parçaya bölünerek iki ya da daha fazla işlemci tarafından, her bir parçası eş zamanlı olarak çalıştırılır.

Paralel programlama çeşitli amaçlarla kullanılabilir. Ancak en belirgin amaç, bir problemin daha hızlı biçimde çözülmesini sağlamaktır.

Paralel programlamanın bir başka faydası ise sınırlı hesaplama kaynaklarının, birden fazla kişi tarafından ortak biçimde kullanılmasını sağlamaktır. Bu sayede sınırlı sayıdaki işlem birimi daha fazla kişi tarafından verimli biçimde kullanılabilir.

Merkezi işlemci birimleri (Central Processing Unit–CPU), aritmetik ve mantıksal operasyonları gerçekleştiren bir elektronik devreler bütünüdür.

İşlemcilerin hızlarının artması, birim zamanda yapabildiği iş miktarının, dolayısıyla da hesaplama performanslarının artması anlamına gelmektedir.

İşlemcilerin içindeki elektronik devreler, bir tür saat vuruşu mekanizması ile hareket ederler. Saat vuruşu, dijital bir elektrik sinyalinin 1’den 0’a inişi ya da 0’dan 1’e çıkışı ile tanımlanır. Bir saniye içerisinde bu saat vuruşlarından kaç tane olduğu, o işlemcinin frekansını belirler.

3 GHz frekansa sahip bir işlemci saniyede 3×109 saat vuruşuna sahiptir.

Grafik işlemci birimi (Graphical Processing Unit–GPU), merkezi işlemci birimlerinden farklı olarak görüntü işleme komutlarını çalıştırmak üzere özelleşmiş bir elektronik devreler bütünüdür.

Silicon Graphics üç-boyutlu grafik uygulamalarında kullanılmak üzere standart platformdan bağımsız OpenGL kütüphanesini tasarlamıştır. Günümüzde OpenGL Windows, Linux, Mac OS X ve Solaris gibi birçok işletim sisteminde ve oyun konsollarında iki ve üç boyutlu grafikleri ekrana çizmek için kullanılmaktadır.

GPU’lar sadece grafik tabanlı işlemler için değil, genel amaçlı hesaplamalar için de kullanılabilmektedir.

CPU ve GPU ile programlama arasındaki farkları anlamak için yapılması gereken ilk şey, ikisinin işleyiş yapısını karşılaştırmaktır. CPU genellikle seri olarak işlem yapmak için tasarlanmış birkaç çekirdekten oluşmaktadır. GPU ise birden fazla görevi bir arada paralel olarak yapabilmek için tasarlanmış yüzlerce çekirdekten oluşmaktadır.

CPU programlama genellikle sınırlı sayıda kuyrukların çalışacağı uygulamalar için optimize edilmiştir.

GPU’lar uzun hesaplama komutlarının hâkim olduğu çoklu kuyruklu uygulamalarda kullanılmaktadır.

CUDA (Compute Unified Device Architecture), GPU programlama için NVIDIA firmasının sunduğu C, C++, Fortran gibi programlama dilleriyle birlikte kullanılabilen mimari ve teknolojidir.

Bunlardan ilki, hafızadan rastgele seçilen bir adresin CUDA kodu ile okunabilmesidir. Bir diğeri ise bit seviyesinde işlemler ile tam sayı ve ondalıklı sayı işlemler için tam destek sağlamasıdır. GPU ile veri okuma işlemleri çok hızlı bir şekilde yapılabilmektedir. Ayrıca paralel hesaplamalarda kuyrukların veri paylaşımı için kullanabilecek hızlı bir ortak hafıza alanı sunulmaktadır.

1. Giriş verisi CPU’nun belleğinden GPU belleğine kopyalanır. 2. GPU programı yüklenir ve giriş verisine göre işlemler yapılır. 3. İşlem sonuçları GPU belleğinden CPU belleğine kopyalanır.

GPU’lar günümüzde biyoinformatik, hesaplamaya dayalı finans, sayısal analitik, moleküler dinamik, medikal görüntüleme, hava iklim tahmini gibi birçok uygulama alanına sahiptir.

GPU tabanlı CUDA mimarisini ve CUDA C programlama dilini kullanan cihazlar günümüzde bu alanda kullanılmaya başlanmıştır.

Bunlar video düzenleme, efekt ekleme, dijital animasyon, gerçekleme gibi işlemlerdir. Günümüzde Adobe gibi birçok firma animasyon ve simülasyonlar için çoklu GPU programlamayı kullanmaya başlamıştır.

GPU’lar simülasyon mühendisliğinde de kullanım alanlarına sahiptir. Simülasyon mühendisliğinde, bir ürünün tasarımından sonra üretime geçmeden önce ürünün simülasyonu yapılarak, ürünün geliştirme süresi kısaltılırken, kaliteyi arttırmak amaçlanmaktadır.