CEVAP:

Robot, web üzerinde bulunan web sitesi kaynaklarını ve bunların bağlantılarını otomatik olarak gezerek sayfa içeriklerini saklayıp, aramada hızlı erişim sağlayacak şekilde dizinlemektedir. Bu işlem için hazırlanmış yazılımlara robot (bot) ya da web örümceği (spider ya da web crawler) denir. Bu yazılımlar, web siteleri üzerindeki bağlantıları takip ederek buldukları siteleri tararlar ve okunabilir (metin) içeriği arama motorlarının ilgili sunucularında kayıt altına alırlar.