Поздрави на всички читатели seversantana.ru блог. Как да създадете robots.txt, какво е и какво е то? Нека се опитаме да се изясни ситуацията.
robots.txt - компилиран текстов файл за търсачките. Тя може да зададете индексирането на параметрите на място. Тези параметри могат да бъдат предписани за всички роботи наведнъж, както и за всяка търсачка индивидуално.
търсачките ( "паяжина") е специална програма е част от търсачката, предназначени за сканиране на уеб страници и въвеждане на информация на тези страници в базата данни на търсачката. Освен това, според търсачката никой не знае алгоритъма определя значението на получената информация и я съхранява (или не) в своя индекс, които определят класирането.
В допълнение към различни "паяци" в Интернет, и дори пеша roboty- "кълвачи" периодично "подслушване" индексирани сайтове, чрез отмятане тяхната наличност. Но за всичко това "животно" и това е текстов файл robots.txt а.
Цел robots.txt уточни търсачката паяци кои страници за индексиране и данни, и които не са. Това се прави с помощта на съставяне на директиви (инструкции). Job робот за търсене, който отвори сайта започва да изтеглите robots.txt.
Поведението на търсачките, без robots.txt? При липсата на такова, или на неправилно място, когато роботът просто не мога да го намеря, тя сканира целия сайт без ограничения.
В допълнение към robots.txt забраната за индексиране може да се извърши с помощта на парола за защита на файлове на сървъра, или чрез използване на мета тагове с директивите на индексиране.
Добър или лош? Е, нека да ги обхожда и индексира всичко. Какво значение има robots.txt, или не? Да започнем с това, че да компенсирате директивите на robots.txt и го създадете дори за първи път в живота си, а не като отнема време афера с. Защо трябва да се даде на файлове индексиране на услуги или доброволно създаване на вътрешни дубликати?
Съставяне директиви в robots.txt за търсачките е пълно ръководство за действие. Това е само препоръка. Всичко зависи от това, което роботът отидох на сайта и как да конфигурирате своите алгоритми за търсене. Някои роботи ще се съсредоточи не виждат нашите задръжки. И дори "четат" директивата относно пълната забрана на индексиране сайт не седне на задника си като робот на снимката, прикрепена към моята статия. И просто да вземем и индекс на факта, че те се нуждаят.
Но тъй като ние се интересуваме основно в издаването на Google и Yandex за тези търсачки, на първо място е нашата robots.txt.Kak споменах по-горе, можете да създадете robots.txt универсален за всички търсачки, и могат да бъдат причислени към отделни директиви (указания), специално за специфични роботи.
Създаване и съставянето на robots.txt
Се появи следният прозорец, в който трябва да изберете място на вашия компютър, където искаме да запишете файла. Така например, на работния плот. И регистри в Името на линия "File задачите» - robots.txt. И кликнете върху "Save". Всичко, robots.txt файл е създаден. Въпреки това, досега без съдържание. Сега за изготвянето на насоки за търсачките.
Използва се при изготвянето на директиви на robots.txt
Като пример, ние се образува най-простият robots.txt в света по два начина. Пълна забрана на индексирането на целия сайт, както и директива резолюция индексиране на целия ред.
Пълна забрана на индексиране целия сайт
Свързани статии