robots txt
28 Nisan 2020 Yazarı taliptuncer 0

Robots.txt Dosyası Nedir?

Robots.txt Dosyası Nedir

Robot.txt dosyası nedir, dosya en basit ve kısa kodların olduğu notepad yazısıdır. Dosya içerisinde bulunan en basit kısa kodlar sayesinde Yandex, Bing ve Google arama motoru botlarına site içerikleri ile ilgili bilgiler veririz. Basitçe hangi sayflara botların ziyaret edebileceği hangi sayfalara giriş yetkisinin olmadığı belirtilir. Önemli bir detay da site içerikleriyle alakalı haritanın olduğu sitemap.xml dosaysının yolunun bulumasıdır. Bu genellikle unutulan ve olması gereken bir satırdır. Önemli bir diğer konu ise sitemizi yönettiğimiz admin panelinin bulunduğu kısımlara botların girmesini engellemek bu Robot txt dosyasında belirtebiliyoruz ve  kesinlikle index lenmeyecektir. gerek olmayan sayfalardır. Kurallara tam olarak uygun bir robots.txt dosyasına sahip olmak hem siteye iyi bir yönetim sağlar ve seo kalitesine yardımcı olur, Robots.txt Dosyası Nedir.

robots.txt

robots.txt

Robots.txt Nasıl Olmalıdır?

Robots.txt dosyası nedir nasıl olmalıdır; Bir robots.txt dosyasının yazılması tamamen site sahibine aittir ve istenilen şekilde yönetilebilmektedir. Aşağıda en basit genel bir örnek bulunmakta burada user-agent yanında bulunan yıldız işareti (“*”) herşey herkes anlamı yani yasak kimseye yok demektir. Bu durumda siteye tüm botlar tüm farkli ip herkes siteye giriş yapabilmektedir. İkinci satırdaki disallow is siteye girişini istemediğimiz bölümleri yazarız eğer “/” işareti varsa bu durumda tüm sayfalara giriş yetkileri vardır. Eğer ikinci örnekteki worpress kullanıcısının admin paneline girişi yasaklamak için disallo: /wp-admin yazarız.

Komut1

User-agent: *
Disallow: /

Komut2

User-agent: *
Disallow: /wp-admin

robots txt

robots.txt dosyası nedir

Robots txt dosyasının varlığı 1995 yılında hayata geçti ve arama motorlarına web siteler hakkında giriş yetki index kısımları hakkında bilgi verdi.

Aşağıda bir örnek doküman mevcuttur.

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Disallow: /cgi-bin/
Sitemap: https://seo-uzmani.taliptuncer.com/sitemap.xml

Robots txt Dosyanızı Test etmek için TIKLAYINIZ
seo nedir 1. sayfa

seo nedir 1. sayfa

Robot txt dosyası olmazsa olmaz dosyadır tabi ki sadece bu dosya ile SEO yapmış olmazsınız fakat atılacak adımların en başında gelmektedir. Tüm seo uzmanları bunu bilmekte ve uygulamaktadır.

Robots.txt dosyası nedir,seo iletişim