И сега, до точката, ...
Как да създадете файл robots.txt
Файлът се намира в главната директория, някои го или »WWW« или »обществен HTML« или »httpdocs« хостинг.
Когато отворите бележника и запълване. Напълнете както в моя пример по-долу, но за сега само въведете Нека разгледаме правилата.
Винаги започва с директива User-агент. Това е името на робота можете да укажете на робота Yandex или Google, но по-правилно да се даде възможност на всички роботи, за да го предписва, както следва:
Освен това, директивата предвижда Disallow. т.е. Deny. Забрана за индексиране на файлове, папки, някои части от сайта (Позволи - позволи индексирането на всички, много рядко е предписано в robots.txt)
За да забраните съдържание индексиране в папката WP-администратор, трябва да се регистрирате
User-Agent: *
Disallow: / WP-администратор /
Следваща искате да деактивирате индексиране определени страници, като Karta-sajta, предписва
User-Agent: *
Disallow: / WP-администратор /
Забрани: /karta-sajta.html
Надявам се, че принципът на файла пълнене е ясно ...
Наблизо индексиране първото нещо, системните файлове:
- WP-администратор /
- WP-съдържание / приставки
- WP-съдържание / теми
- WP-съдържание / езици
- WP-включва /
- WP-login.php
- WP-register.php
Ето как го населяват файла, ако се интересувате, за да се регистрирате, ако не искам да се занимавам. след това тук е досие, изготвено правилно, копирате и поставите себе си.
Свързани статии