Малко теория

Може би това не е тайна, че търсачките не работят в реално време. Роботът е постоянно избягва нови сайтове поставя текстовете в базата данни на търсачката, и актуализира средствата вече са направени на базата данни. Ето защо новият сайт в търсачките не е веднага.

Обикновено, роботът открива нов сайт на някой друг линк или като го добавите чрез специалната форма на търсачките (така наречената "addurilki" от фразата "Добавяне на URL" - добави URL).

Веднага след като робот хитове на сайта си, той веднага поиска файла robots.txt. Ако той не го намери - работи по подразбиране. Затова файла robots.txt понякога се нарича файл изключение за търсачките.

Файлът robots.txt се използва за блокиране на индексиране на определени страници и цели секции на сайта, както и за предаване на търсене робот файл sitemap.xml (карта на сайта файл) на.

Използване на файла robots.txt

Ще разгледаме работата на файла robots.txt примери.

Забрана за индексиране на целия сайт

За да забраните индексирането на целия обект трябва да е във вашия robots.txt, за да се направи в следните направления:

Забрана за индексиране индивидуална папка

Запис на потребителски агент уточнява кой е забранено индексация (вместо звездичка * може да се запише тук "Яндекс" или "Googlebot"), и влизането "Забрани" описва това, което е забранено за индексация.

User-Agent: *
Disallow: / частни /

Бан индексиране на определени типове файлове

В този случай, той ще бъде много полезно, за да забраните индексирането на страници от тип "index.php". По принцип.

Това може да стане по следния начин:

User-Agent: *
Позволете: / $
Позволете: /*.php$
Позволете: /*.jpg$
Позволете: /*.gif$
Позволете: /*.xml$
Забрани: /index.php?*

Прехвърляне на робота файл sitemap.xml

Ние няма да се спирам на писането на файла. Да предположим, че с този файл, че разбирате. Ще покажем един от начините на предаване на системата за търсене на файлове, а именно предаването на файла чрез robots.txt. За да направите това в robots.txt да добавите следния ред:

Разбираемо е, че файла sitemap.xml съществува и е изписан правилно.