ROBOTS.TXT NEDIR? PAGERANK NEDIR, NASıL ÇALıŞıR PR değerinin sitelere etkisi 4. hafta

 robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.Robotları Engelleme Standardı

ROBOTS.TXT NE IÇIN KULLANıLıR?  Resim olmayan dosyalar  Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.no index etiketleri ya da yönergeler

 Resim dosyaları  robots.txt, resim dosyalarının Google arama sonuçlarında görünmesini engeller. (Ancak, bu yöntem, diğer sayfaların veya kullanıcıların resminize bağlantı vermesini engellemez.)

 Kaynak dosyaları  Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyasını kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak, bu kaynakların eksikliği Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellememelisiniz. Aksi halde Google, bu kaynaklara dayanan sayfalarınızı iyi bir şekilde analiz edemez.

ROBOTS.TXT DOSYASı OLUŞTURMA  Bir robots.txt dosyası oluşturabilmek için alanınızın kök dizinine erişebilmeniz gerekir.  En basit robots.txt dosyasında iki anahtar kelime kullanılır; User- agent ve Disallow. Kullanıcı aracıları, arama motoru robotlarıdır (veya web tarayıcı yazılımlarıdır). Çoğu kullanıcı aracısı Web Robotları Veritabanı'nda listelenir. Disallow, belli bir URL'ye erişilmemesini söyleyen, kullanıcı aracılarına yönelik bir komuttur. Diğer yandan, erişimine izin verilmeyen bir dizinin alt dizinine karşı gelen belli bir URL'ye Google'ın erişmesini sağlamak için üçüncü bir anahtar kelime olan Allow'u kullanabilirsiniz.Web Robotları Veritabanı

 robots.txt dosyanızı metin dosyası olarak kaydetmelisiniz,  Dosyayı sitenizin en üst dizinine (ya da alan adınızın kök dizinine) koymanız gerekir ve  robots.txt dosyasının robots.txt olarak adlandırılmış olması gerekir.

ÖRNEK ROBOTS.TXT DOSYASI User-agent: * Allow: /  Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları’nın isimleri gelecekti fakat “*” işaretini gördünüz. Bunun anlamı, siteniz tüm Google Botları’nca istisnasız indexlenmesine izin vermişsiniz demektir.

ÖRNEK ROBOTS.TXT DOSYASI  User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/  Bütün google botları, bu 4 dosyayı indexlemeyecektir.