Забрана за директива е необходимо за робота, за да му позволи индексиране на всеки файл или папка.
Пример позволява да индексира роботите:
Следващият пример забранява индексира вашия сайт за всички роботи за търсене:
Ако трябва да се закрие конкретна страница от индекса:
User-Agent: *
Забрани: /stranitsa.html
За да блокирате дадена директория и цялото му съдържание:
User-Agent: *
Disallow: / CGI-хамбар /
Disallow: / снимки /
Но не направи грешка, ако не се сложи "/" след името на папката, например, направете следното:
User-Agent: *
Disallow: / изображения
като се започне с «имидж» от знаци, всички файлове и директории ще бъдат забранени.
Позволете директива противоречи пряко Забрани.
директива Водещ се добавя за да покаже на първичния огледало на вашия сайт:
User-Agent: Google
Забрани:
Водещ: site.com
User-Agent: Google
Забрани:
Водещ: www.site.com
Карта на сайта директива - карта на сайта - показва местоположението на XML-и Sitemap:
В този случай, ако вашият ресурс е дубликат страници (обикновено такава ситуация се случва в блогове) и трябва да премахне тези страници от индексиране вмъкнете мета маркер за роботи в «HEAD» Tags:
<Мета име = »роботи» съдържание = »Noindex, Nofollow»>
В този случай, всички търсачката паяци на всяка система, ще забравите за съществуването на тези страници и търсачките няма да получат дублирани страници, които могат да имат отрицателно въздействие, когато се използва промоция.
Проекти, които са създадени от CMS имат огромен брой файлове, необходими за работа, но не носят никаква информация. Необходимо е да се предотврати тяхното индексиране, се дължи на загубата на време за проверка на ненужни отпадъци, вместо изискваните страници.
Правилно файла robots.txt
От моя блог е създаден с помощта на WordPress, а след това опишете пример файл. Всъщност той WordPress автоматично създава robots.txt, но липсва много на правото.
Свързани статии