Поради големия брой на въпроси за правилните сайтове индексиране на базата на DLE, публикувам правилата за създаване на robots.txt за DLE.
Създаване robotx.txt за DLE.
ситуация:
Yandex индексира страници за разпечатване (.) И с течение на времето хвърля новината, която да съответства на страниците за печат.
резултат:
С течение на времето, мястото в индекса за търсене е почти непрекъсната колекция от страници за отпечатване.
проблем:
За обмен на връзки трудно да се продават връзки на тези страници.
решение:
Не давай страници за отпечатване:
User-Agent: *
Disallow: / * печат
ситуация:
Индексирани страници / потребител /. Спамерите "тласък" на страницата на техните профили като последният съдържа външни връзки (спам).
решение:
Забрана / потребител /:
Disallow: / * печат
ситуация:
Индексирани страници не съдържат съдържанието.
резултат:
все още ще падне с течение на времето, допълнителната тежест в робота, ненужни директиви.
решение:
Забрана тези директории:
Disallow: / архивиране /
Disallow: / двигател /
Disallow: / език /
Disallow: / шаблони /
Disallow: / ъпгрейд /
Disallow: / качване /
Забрани: /autobackup.php
Забрани: /admin.php
PS: в зависимост от зададените папки, които се намират в различни хостинг панели (например, CGI-бен папка) и папки, които да бъдат добавени по своя собствена нужда, не забравяйте да ги въведете.
Поставете във всеки един от вашите сайтове, не се мързеливи и всичко ще бъде наред.
Версия 2.0.101. Още по-зъл, по-човеконенавистен.
Свързани статии