Bir arama motoru web robotu, arama dizini ve kullanıcı arabirimi şeklinde üç temel bileşenden oluşmaktadır. Arama sonuçları genellikle sık tercih edilen internet sayfalarından oluşan listeler şeklinde sunulan bir mekanizmadır. Robot, web üzerinde bulunan web sitesi kaynaklarını ve bunların bağlantılarını
otomatik olarak gezerek sayfa içeriklerini saklayıp, aramada hızlı erişim sağlayacak şekilde dizinlemektedir.
Bu işlem için hazırlanmış yazılımlara robot (bot) ya da web örümceği (spider ya da web crawler) denir. Bu yazılımlar, web siteleri üzerindeki bağlantıları takip ederek buldukları siteleri tararlar ve okunabilir (metin) içeriği arama motorlarının ilgili sunucularında
kayıt altına alırlar. Sayfalarda güncelleme olduğundan bu
işlem belirli periyotlarda tekrar edilerek içeriğin güncelliği
sağlanır. Kullanıcı arabirimi ise oluşturulan dizin üzerinden
kullanıcıların ihtiyaçlarına göre arama yapmasını sağlayan
ve sonuçları listeleyen sayfalardır. Bu arama sayfalarında
anahtar sözcükler verilerek “Arama (Search)” dediğimiz
işlem gerçekleştirilir. Belirtilen sözcüğün geçtiği web sitesi
adresleri liste halinde kullanıcıya sunulur.