Bölüm 2 : Arama motorları nasıl indeks oluşturur?

Her arama motorunun kendi arama indeksi oluşturma süreci vardır. Aşağıda, Google'ın kullandığı sürecin basitleştirilmiş bir versiyonu bulunmaktadır.

 

 

 

URL'ler

 

Her şey bilinen bir URL listesiyle başlar. Google bunları çeşitli yollarla keşfeder. En yaygın üç yöntem ise şöyledir:

 

• Geri bağlantılardan (Backlink): Google, yüz milyarlarca web sayfasını içeren bir indekse sahiptir. Bir sayfa, bir bilinen sayfadan yeni bir sayfaya bağlantı verirse, Google bu sayfayı keşfedebilir. Bunu bir örümcek ağı gibi düşünebiliriz. 

 

• Site haritalarından (Sitemap): Site haritaları, sitenizde önemli olduğunu düşündüğünüz sayfaları ve dosyaları Google'a kolay ve hızlı bir şekilde bildirir.

 

• URL gönderimlerinden: Google, site sahiplerine Google Arama Konsolu üzerinden bireysel URL'lerin taranması imkanı sağlamaktadır.

Yukarıda bahsettiğimiz işlemler diğer arama motorları için de neredeyse birebir aynıdır.

 

Tarama

 

Tarama, bilinen URL'leri ziyaret eden ve indiren bir bilgisayar botu olan bir örümcek (spider) tarafından gerçekleştirilir. Google'ın tarayıcısı Googlebot'tur.

 

İşleme ve görüntüleme

 

İşleme, Google'ın taranan sayfalardan önemli bilgileri anlamak ve çıkarmak için yaptığı bir aşamadır. Bu aşamada, sayfanın kodunu çalıştırarak kullanıcılar için nasıl göründüğünü anlamaya çalışır.

 

Google dışında kimse bu sürecin tüm detaylarını bilmese de, aslında bilinmesi gereken tek şey bağlantıları çıkarmak ve  indeksleme amacıyla içeriğin depolamasıdır.

 

İndeksleme

 

İndeksleme, tarama sonucunda işlenen bilgilerin arama indeksine eklenmesi aşamasıdır.

 

Arama indeksi, bir arama motorunu kullandığınızda anahtar kelimelerin arandığı yerdir. Kısaca arama motorunda bir şey aradığımızda arama motoru daha önce hazırladığı indekslerdeki verilere bakar. Bu yüzden Google ve Bing gibi büyük arama motorlarında indekslenmek çok önemlidir. İndekste olmadıkça kullanıcılar sizi bulamaz.