Файлът robots.txt е необходимо само, ако сайтът ви има съдържание, което търсачките не трябва индекс. Ако търсачките трябва да индексира целия сайт, файла robots.txt не е необходимо (дори и празен).
За да използвате файл robots.txt, трябва да имат достъп до основната директория на вашия домейн. При липса на достъп до основната директория на домейна, можете да ограничите достъпа с мета роботи.
За да изключите напълно добавянето на съдържанието на страниците в индекса на Интернет-Google, дори и да има връзка от други сайтове, използвайте Noindex мета тагове или на водещи рентгенови роботи-маркер. При зареждането на страницата Noindex мета тагове ще попречи да го добавите към индекса на Google. HTTP заглавни рентгенови роботи тагове е особено полезно, за да се контролира индексирането на файлове във формат, различен от към HTML, като графики или други документи.
Създаване на файл robots.txt
Най-простият файл robots.txt използва две правила:
- Потребителят-агент. робот, за който се прилага правилото
- Забрани. URL, който трябва да бъде блокирана
Тези две линии са един запис на файлове. Файлът може да съдържа произволен брой записи. В едно съобщение, което може да посочите няколко Забрана линии и няколко линии на потребителски агент.
Всеки раздел в файла robots.txt е независима и не е продължение на предишните части. Например:
В този пример, блокове URL Googlebot само в съответствие с критериите / folder2 /.
Заявления и роботи User-Agent
Заявление потребителски агент - е термин, който се отнася до робота на търсачката. база данни от базата скенери съдържа имената на много от най-популярните роботи. За да кандидатствате рекорд за конкретен робот, посочете името му. За да го използвате, за всички роботи, а не по име, въведете звездичка. Запишете всички роботи се, както следва:
Google използва няколко различни робота (прилагане на потребителски агент).
Блокиране приложение потребителски агент
Забрана ред съдържа списък на страниците, които трябва да бъдат блокирани. Можете да укажете даден URL или модел. Записът трябва да започва с наклонена черта (/).
Тествайте файла robots.txt
Промените, които правите в този инструмент не се запаметяват. За да запазите промените, трябва да копирате текста и го поставете във вашия файл robots.txt.
Свързани статии