Tweet към Twitter
Търсачката роботи на входа на първото нещо, на сайта в обръщат към файла robots.txt, за да получат инструкции за по-нататъшни действия и да разберете какви файлове и директории са забранени за индексиране. Поради това е необходимо да се знае уебмастера, как да пишат на файла, тъй като това може да доведе до грешки много лоши последствия. Повтарям и поясни, че robots.txt нищо дава възможност за индексиране на файла, но само забранява. И още един нюанс. Това не е изцяло индикация за търсачките. По-скоро можем да кажем, че това е документ за справка.
robots.txt файла - един обикновен файл с TXT разширение, която е създадена с помощта на Notepad и да включва в основната директория на даден сайт, и която съдържа инструкции за търсене индексиране роботи. Инструкции могат да бъдат като цяло, както и отделни специфични роботи.
Основни правила при създаването и качването на файл robots.txt:
- да не се обърка името, което се нарича файла robots.txt, когато не robot.txt и така нататък.
- да се напише името на файла robots.txt винаги с малки букви, т.е., robots.txt и няма Robots.txt и robots.txt и така нататък.
- място файла robots.txt е в главната директория на сайта си, отколкото на всяко друго място.
User-Agent: *
Disallow: / adminka /
Disallow: / изображение /
Първата линия «User-Agent: *». Звездичката в инструкцията за потребителя агент означава, че това ръководство се отнася за всички роботи. Ако инструкцията е предназначен за конкретна уеб робот, е необходимо да се регистрирате името му.
Вторият и третия ред забрани adminka директория индексиране и образ. Моля, имайте предвид, че всяка забранено да се индексират на директорията е регистриран в отделен ред. Комбинирането им в една линия е грубо грешка. Можете също така не може да прехвърля линия в рамките на едно твърдение.
User-Agent: Yandex
Disallow: / adminka /
Водещ: www.site.ru
Сега, с конкретни примери за писане на файла robots.txt, за най-различни задачи.
1. Изключване на целия сайт за индексиране от всички търсачки.
2. Не се забрани целия сайт за индексиране от всички търсачки.
3. Пълна забрана в целия сайт да бъде индексиран от робот за търсене (например, SeoBot).
User-Agent: SeoBot
Disallow: /
4. Не се забрани целия сайт за индексиране един робот (например, SeoBot) и блокира всички други индексиране роботи.
User-Agent: SeoBot
Забрани:
5. Изключване на множество директории за индексиране от всички търсачки.
User-Agent: *
Disallow: / directoria-1 /
Disallow: / directoria-1 /
Disallow: / hidedirectoria /
6. Изключване на няколко файла за индексиране от всички търсачки.
User-Agent: *
Забрани: /hide.php
Забрани: /secret.html
Какви грешки трябва да се избягва в писмена форма на съдържанието на файла robots.txt?
Това са основните правила за писане на съдържанието на файла robots.txt:
Свързани статии