След като създадете и качите файл с XML-сайта на уеб сървър.

Кога да актуализирате direktivuSitemap?

директива следва да се актуализира само когато валиден й файл URL се е променило. В случай, ако картата на сайта Ви е актуализиран, но адреса си остава същата, по-нататъшни действия, не е необходимо да се произвеждат.

За да добавите директива за наличието на картата на сайта в robots.txt трябва да добавите следния ред:

- това е пълен URL адреса на вашия XML Карта на сайта файл (например: sitemap.xml).

В резултат на това robots.txt трябва да получите нещо подобно:

User-Agent: *
Карта на сайта: httr: //mysite.com/sitemap.xml

Ако е необходимо да се актуализира директивата - достатъчно е да се замени съществуващата линия, за да си robots.txt:

Какво трябва да направя, ако robots.txt съдържа няколко секции (User-Agent)?

Ако използвате различни директиви за различни роботи, трябва да добавите директива на сайта във всяка от тях (или тези, които съответстват на търсачката паяци, които искате да прехвърлите видите информация за нея).

В резултат на това robots.txt трябва да получите нещо подобно:

# За всички, но Google и Yandex
User-Agent: *
Карта на сайта: httr: //mysite.com/sitemap.xml

# Това ще се използват роботи Yandex
User-Agent: Yandex
Карта на сайта: httr: //mysite.com/sitemap.xml

# Това ще бъде използвано от Google роботи
User-Agent: Googlebot
Карта на сайта: httr: //mysite.com/sitemap.xml