Създаване на обикновен текстов документ с име robots.txt. В Windows 7, напиши разширение .txt, не е необходимо, просто се обадете на новосъздадените роботите документ Текст
Синтаксисът абсолютно не е сложно, нищо не zamudrenogo.
User-Agent: * - Тази директива показва до каква точно търсещият робот идва обжалване. Икона "*" означава, че всички роботи. За да се уточнят на робота и да е специално за търсещи машини, трябва само да въведете вместо "*" име робот.
Ето списък на търсещите роботи основен търсачките Roux Нета:
Забрани: - директива за забрана на индексиране на файлове. материал, страница директория.
С цел да се индексира от търсачките на всички материали, необходими директива забрани: оставете празно:
Позволете: - директива позволява индексиране на определен материал, директорията на страница.
За да изключите напълно индексирането на целия сайт, трябва да се регистрирате на следния код:
Можете да изключите индексирането на файлове с определени разширения, като например въвеждане в robots.txt тази линия, ние забрани индекс на всички файлове с разширение .pdf на:
Водещ: - Директива, което показва основната огледало сайта. Така че можете да определите основното място със или без WWW. Въпреки че е по-добре да го направи от страна на домакина.
Карта на сайта: - директива, която посочва къде картата на сайта на .xml предназначена за търсачките.
файла robots.txt трябва да бъде поставен в основната директория на сайта.
За сайтове, създадени с CMS (система за управление на съдържанието), като WordPress или Joomla! има специални приставки, които ви позволяват да конфигурирате правилния индексирането на сайта.
Свързани статии