Robots.txt Dosyası Nedir?
Robots.txt Dosyası Nedir
Robot.txt dosyası nedir, dosya en basit ve kısa kodların olduğu notepad yazısıdır. Dosya içerisinde bulunan en basit kısa kodlar sayesinde Yandex, Bing ve Google arama motoru botlarına site içerikleri ile ilgili bilgiler veririz. Basitçe hangi sayflara botların ziyaret edebileceği hangi sayfalara giriş yetkisinin olmadığı belirtilir. Önemli bir detay da site içerikleriyle alakalı haritanın olduğu sitemap.xml dosaysının yolunun bulumasıdır. Bu genellikle unutulan ve olması gereken bir satırdır. Önemli bir diğer konu ise sitemizi yönettiğimiz admin panelinin bulunduğu kısımlara botların girmesini engellemek bu Robot txt dosyasında belirtebiliyoruz ve kesinlikle index lenmeyecektir. gerek olmayan sayfalardır. Kurallara tam olarak uygun bir robots.txt dosyasına sahip olmak hem siteye iyi bir yönetim sağlar ve seo kalitesine yardımcı olur, Robots.txt Dosyası Nedir.
robots.txt
Robots.txt Nasıl Olmalıdır?
Robots.txt dosyası nedir nasıl olmalıdır; Bir robots.txt dosyasının yazılması tamamen site sahibine aittir ve istenilen şekilde yönetilebilmektedir. Aşağıda en basit genel bir örnek bulunmakta burada user-agent yanında bulunan yıldız işareti (“*”) herşey herkes anlamı yani yasak kimseye yok demektir. Bu durumda siteye tüm botlar tüm farkli ip herkes siteye giriş yapabilmektedir. İkinci satırdaki disallow is siteye girişini istemediğimiz bölümleri yazarız eğer “/” işareti varsa bu durumda tüm sayfalara giriş yetkileri vardır. Eğer ikinci örnekteki worpress kullanıcısının admin paneline girişi yasaklamak için disallo: /wp-admin yazarız.
Komut1
User-agent: *
Disallow: /
Komut2
User-agent: *
Disallow: /wp-admin
robots.txt dosyası nedir
Robots txt dosyasının varlığı 1995 yılında hayata geçti ve arama motorlarına web siteler hakkında giriş yetki index kısımları hakkında bilgi verdi.
Aşağıda bir örnek doküman mevcuttur.
User-agent: Googlebot Disallow: User-agent: googlebot-image Disallow: User-agent: googlebot-mobile Disallow: User-agent: MSNBot Disallow: User-agent: Slurp Disallow: User-agent: Teoma Disallow: User-agent: Gigabot Disallow: User-agent: Robozilla Disallow: User-agent: Nutch Disallow: User-agent: ia_archiver Disallow: User-agent: baiduspider Disallow: User-agent: naverbot Disallow: User-agent: yeti Disallow: User-agent: yahoo-mmcrawler Disallow: User-agent: psbot Disallow: User-agent: yahoo-blogs/v3.9 Disallow: User-agent: * Disallow: Disallow: /cgi-bin/ Sitemap: https://seo-uzmani.taliptuncer.com/sitemap.xml Robots txt Dosyanızı Test etmek için TIKLAYINIZ
seo nedir 1. sayfa
Robot txt dosyası olmazsa olmaz dosyadır tabi ki sadece bu dosya ile SEO yapmış olmazsınız fakat atılacak adımların en başında gelmektedir. Tüm seo uzmanları bunu bilmekte ve uygulamaktadır.
