Здравейте, днес ще говорим за това как да се създаде правилната роботи текстов формат и защо имаме нужда от нея.
Какво е роботи TXT
В една от предишните ни статии говорихме и как търсачката паяци работа. роботи TXT файл дава търсачката роботи инструкции за това как правилно да индексира вашия сайт. С помощта на насоки можете, например, да определят на робота какво страници или директории да бъдат индексирани и кои не образуват група от огледала за вашия уеб сайт (ако ги имате), укажете пътя до файла карта на сайта, и така нататък. По принцип тя се използва, за да забраните индексирането на някои страници на сайта.
Как да създадете правилните роботите TXT
Готови ли сте да поставите файла в основната директория на сайта си (където е файла index.html).
директива User-Agent
Този вид поздрав от търсачките.
Позволете и Забрани директиви
С директивата Забрани укажете кои страници или директории забранено сайт индексирани. А чрез Позволете директива съответно е възможно.
Този пост ще кажа на всички роботи, че всички от сайта им може да се индексират само директория каталог.
Ето един пример роботи TXT, показващи отделните инструкции за различните търсачки:
# Позволява на робота да индексира целия сайт, с изключение на участък с велосипеди
User-Agent: *
Disallow: / мотори /
# Забранява роботи индексирането от място, различно от секцията с лодки
User-Agent: Googlebot
Позволете: / лодка /
Disallow: /
# Изключване на всички други търсачки за индексиране вашия сайт
User-Agent: *
Disallow: /
Забележка. между директивата за потребителския агент, Позволете и Disallow не може да бъде празен низ!
Специални знаци * и $
Директивите позволяват и Забрани можете да използвате специални символи * и $ да се уточни на регулярни изрази. * -Изберете споменатата последователност
Например: # Предотвратява роботи да индексира всички страници, съдържащи URL частен
User-Agent: *
Disallow: / * частен
По подразбиране, в края на всяко правило е необходимо да се определи характера маска *. A *, за да отмените в края на правилата, използвани от символа за $.
Например: # забранява "/ заключване"
# Но не забранява "/lock.html"
User-Agent: *
Disallow: / заключване $ # забранява "/ заключване"
# А "/lock.html"
User-Agent: *
Disallow: / заключване
Специален знак $ * не забранява определен в края, а именно:
User-Agent: *
Disallow: / заключване $ # забранява само "/ заключване"
Disallow: / заключване * $ # по същия начин като "Disallow: / заключване"
# Забранява /lock.html и / заключване
Директива карта на сайта
Ако използвате картата на сайта на сайта, използвайте директивата за сайта и в него укажете пътя към една (или няколко файла).
директива Host
Ако сайтът Ви има огледало, можете да използвате тази директива ще се образува специален робот група от огледала от сайта си и ще търси само основният огледалото. Тази директива не гарантира избора на този сайт в него като основен огледало, но тя дава висок приоритет в решението.
# Посочете основната огледало сайт
Забележка. Тази директива се използва изключително за Yandex! + За всеки от файла robots.txt се обработват само от една директива домакин. Ако файлът не съдържа няколко директиви, роботът използва първата.
директива домакин трябва да съдържа:
Мога ли да използвам кирилицата в TXT на роботи?
Не, не можете да използвате кирилица. За да укажете името на домейна в използването на кирилица, например, на услугата.
Конфигуриране на роботи TXT MogutaCMS
В MogutaCMS попълнете роботи TXT не се изисква, тъй като то се попълва автоматично, когато инсталирате двигателя.
Свързани статии