В допълнение към robots.txt има споразумения други джентълменски за роботи - например, че не трябва да се направи повече от един от връзка към канала, за да вкара и да даде възможност на други потребители на мрежата да общува с този сървър.
За търсачката Yandex.Ru на робота се състои от повече индексиране модули, кодиране на откриване (ако страницата съдържа руски език) и да определят уникалността на документа.
1. Как Yandex.Ru научите за нови ресурси
2. правилата за индексиране в Yandex.Ru
В допълнение, Yandex започва да се бори спам, и страници с време за redirect'a нула ще бъдат изключени от индекса (не е ясно какви други цели освен за спам може да бъде от създателите на страницата, потребителят не може по принцип да видите).
Робот Yandex.Ru магазини дата на последното обхождане всеки URL, дата на промяна (да го изпрати на уеб-сървър) и датата на последната промяна в търсене основа (датата индексация) на. Той оптимизира заобикаляйки уеб, така че по-чести посещения на най-непостоянен сървъра.
Поради тази причина, а също и защото, който работи Yandex.Ru търсене и сортиране по дата, ще се радваме да сървъра раздаваха правилната дата на промяна на файл, който не се среща в повече от 20% от случаите.
3. Как да разбера дали ресурсът се индексира
4. Конфигуриране на сървъра така. че даде правилната дата и файл кодирането на руски език.
Ресурсът в системата е описана правилно. Как да го оправя?
Ние често се писма от рода на "Аз не се появи във вашата система, моят живот, и това е описано правилно. Как мога да оправя нещата?" Най-общо казано, един ресурс, ако има такъв, може да не бъдат записани правилно. Ако това е тайна, отказ на достъп до нея в robots.txt. Ако това не се гледа на думите, на които бихте искали да, или не е в челните редици, имайте предвид, че в действителност, написани на страниците на вашия сайт.
Yandex.Ru - пълен текст на търсачката, така че страниците ще бъдат в думите, написани върху тях, а не за ключовите думи, които са описани по този ресурс. Също така имайте предвид, че Yandex работи само с текстове и не може да разпознае графики. Ето защо, ако името е изготвен, е необходимо тя да се повтаря навсякъде само текст.
Свързани статии