Robots.txt Nedir? Robots.txt Nasıl Kullanılır?
Paylaş:
RSS
Follow by Email
Facebook
Twitter
LinkedIn

SEO çalışmaları başlı başına bir iştir ve yapılan her işlemin bir anlamı vardır. Ayrıca sadece SEO uzmanları değil, web sitesi sahiplerinin de bilmesi gereken bazı işlemler vardır. Örneğin, Robots.txt üzerinde yapılan işlemler arama motoru robotlarının siteniz üzerinde yönlendirilmesi sağlar.

Peki Robots.txt nedir?

Robots.txt Nedir?

Robots.txt, arama motoru botlarına (tarayıcılar, robotlar veya örümcekler olarak da bilinir) web sitesi sayfalarının nasıl taranacağını ve dizine alınacağını bildirmek için kullanılan bir metin dosyasıdır. İdeal olarak, bir robots.txt dosyası web sitenizin en üst dizinine yerleştirilir, böylece robotlar talimatlara kolaylıkla erişebilir.

İlk Robots.txt dosyası 1994 yılında oluşturulmuş ve 2005 yılında genişletilmiştir. Robots.txt dosyaları belirli standartlara uymalıdır.

Robots.txt Dosyası Kullanırken Dikkat Edilmeli

Robots.txt dosyaları, arama botlarının nasıl taranacağına veya bu sitenin veya bu kısmının nasıl taranmayacağına ilişkin talimatlar sağladığından, bu dosyanın nasıl kullanılacağını ve ayarlanacağını bilmek son derece önemlidir. 

Bir robots.txt dosyası yanlış ayarlanmışsa, birden fazla indeksleme hatasına neden olabilir. Bu nedenle, dosya üzerinde yaptığınız her çalışmada dosyanızı kontrol etmelisiniz. (Google tarafından verilen öneriler: https://support.google.com/webmasters/answer/6062598?hl=tr)

Unutmayın: Robots.txt dosyanızı doğru yapılandırırsanız, indekslenme hızınız artacak ve arama motoru botları sitenizi doğru yapılandıracaktır.

Robots.txt İle Neler Gizlenmeli?

Robots.txt dosyaları, belirli dizinleri, kategorileri ve sayfaları arama dışında bırakmak için kullanılabilir. Bunun için “noindex” parametresini kullanabilirsiniz.

Robots.txt dosyası kullanarak gizlemeniz gereken bazı sayfalar:

  • Yinelenen içeriğe sahip sayfalar,
  • Numaralandırılmış sayfalar,
  • Dinamik ürün ve servis sayfaları,
  • Kullanıcı sayfaları
  • Yönetici sayfaları
  • E-ticaret siteleri sepet sayfaları
  • Sohbetler
  • Teşekkür sayfaları

Robots.txt Nasıl Kullanılmalı?

Robots.txt dosyaları oldukça esnektir ve birçok şekilde kullanılabilir. Ancak asıl yararı, SEO uzmanlarının her sayfanın koduna tek tek erişmek zorunda kalmadan aynı anda birden fazla sayfaya “izin vermelerini” veya “engellemelerini” sağlamalarıdır.

Örneğin, tüm arama motoru robotlarını tek bir kodla engelleyebilirsiniz. Bunun gibi:

User-agent: *
Disallow: /

Ya da herhangi bir kategoriyi engelleyebilirsiniz.

User-agent: *
Disallow: /kategori-adi/

Birden fazla sayfayı aramanın dışında tutmak da bazı durumlarda gerekebilir. Yalnızca arama motoru botlarından gizlemek istediğiniz URL’leri hazırlayın. Ardından, robots.txt’inize “disallow” komutunu ekleyin, URL’leri listeleyin. İşte bu kadar.

Disallow: /kategori-adi-1/
Disallow: /kategori-adi-2/
Disallow: /kategori-adi-3/
Disallow: /kategori-adi-4/
Disallow: /kategori-adi-5/

Yorum Gönderin

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir