Забрана на индексирането на страници / директории (robots.txt)
Всички търсачките при наближаване на сайта на първо място търси файла robots.txt. Това е текстов файл, намиращ се в главната директория на сайта (на същото място, където основният индекс файла. Основно домейн / сайт е public_html папка), той записва специални указания за търсачките. Тези инструкции може да не дават възможност за индексиране на страница папка или сайт, уточни робота на главния огледало сайта, за да се препоръча да търсещият робот да спазва определен интервал от време индексиране на вашия сайт, и по-
Ако robotx.txt файл не е в директорията на вашия сайт, а след това можете да го създадете.
За да забраните индексирането на сайта чрез файла robots.txt, директиви, използвани 2: User-агент и Disallow.
User-Agent: UKAZAT_POISKOVOGO_BOTA
Disallow: / # ще бъде забранено да индексира целия сайт
Disallow: / страница / # ще бъде забранено да индексира директория / страница /
1. Без индексиране на вашия сайт бот MSNbot
2. Предотвратяване на индексирането на сайта Yahoo бот
User-Agent: Slurp
Disallow: /
3. Предотвратяване на индексирането на сайта Yandex бот
4. Без индексиране на вашия сайт Google бот
5. Без индексиране на вашия сайт за всички търсачки
6. усложнява проблема и да забрани такова Yandex индексирана папка CGI-бен и изображения, както и извличане на файлове myfile1.htm и myfile2.htm в SUBDIR директория (името на папката, където са разположени myfile1.htm и myfile2.htm файлове)
User-Agent: Yandex
Disallow: / CGI-хамбар /
Disallow: / снимки /
User-Agent: апортна
Забрани: /subdir/myfile1.htm
Забрани: /subdir/myfile2.htm
7. Забрана за индексиране папка CGI-бен и изображения за всички търсещи машини
User-Agent: *
Disallow: / CGI-хамбар /
Disallow: / снимки /
Сега, как да разрешите на индекса на всички страници на сайта си за всички търсачки (Забележка: еквивалента на тази инструкция ще бъде файла robots.txt):
Послепис За разнообразие на ССФ, в интернет можете да намерите препоръка, която е по-добре да затворите директория да се индексират от търсачките. по-голяма степен това е необходимо за безопасността и се намали натоварването на сървъра.
- 9 Членове този полезен
статии
Пренасочване от HTTP към HTTPS, използвайки .htaccess
Как да се увеличи лимита за памет за сценария (memory_limit).
Как да се увеличи лимита на паметта за скрипт, уеб сайт и CMS (memory_limit)? 1. Ако трябва да се ограничи.
Как бързо да качите сайта си (или файлове) към FTP
Всеки знае, че когато копирате множество малки файлове на FTP, или на вашия компютър, стр.
Как да видите текущите настройки на PHP.
За тази цел има функция специална phpinfo (). Създаване на директория
Създаване и използване на собствения си файл php.ini (suPHP)
Създаване и използване на собствения си файл php.ini предупреждение. Тази информация не е от значение.
Свързани статии