1993 yılında bir indeks oluşturmak için “Wandex”
adında ilk “bot (robot)” yani dizinleme işini yarı-otomatik olarak yapabilen bir robot teknolojisi geliştirildi. 1994
yılında “tam metin (full text)” aramasına imkan sağlayan
“WebCrawler” diğerlerinden farklı olarak herhangi bir kullanıcının bir web sayfasını her kelimesi için aramaya izin
veren ilk arama motoru oldu. Bu gelişmenin ardından web
sayfalarını bulmayı kolaylaştıran ve sunduğu farklı yaklaşımlarla kullanıcıların ilgisini çeken Magellan, Excite,
Infoseek, Overture, Looksmart ve Inktomi, AltaVista ve
Yahoo gibi arama motorları piyasaya çıktı.
1997’de açılan Yandex ve 1998 yılında Overture, Looksmart ve Inktomi arama motorlarından güç alan “Msn”
kuruldu. 2004 yılında Altavista ile teknoloji yükseltmesi
yapılan Msn, 2009 yılından sonra hayatına “Bing” olarak
devam etti.
1998 yılında “PageRank” adlı teknolojilerini satmak
için yola çıkan “Google”’ kurucuları ağ üzerindeki her
sayfayı önemine göre puanlayan sisteme yatırım yaparak,
“Google Search” arama motorunu kurdular. Ağ üzerindeki
her sayfayı puanlayan bu sistem; o sayfaya verilen bağlantı
ve bağlantı veren yerlerin puanı ile matematiksel olarak hesaplama yaparak söz konusu sayfaya puan veren bir mantığa dayanıyordu. Bu yaklaşımla Google bir sayfayı
incelerken sayfanın komşu sitelerine de bakıyor, bir sitenin önemini belirleyebilmek için ağın tamamını
tarıyordu. Bu algoritma ile Google alakalı arama sonuçları listelemede daha başarılı oluyordu. Bu sayede
2007 yılının sonlarına doğru dünya çapında tanınan bir web arama motoru haline gelen Google birçok
farklı alanda servis sunarak büyümesini sürdürmektedir.