Отговорът на този въпрос е прост:

Robots.txt, напишете нещо като това:

User-Agent: Yandex
Crawl-забавяне: 10

Ако сървърът е тежко натоварени и не разполага с време, за да изпълни исканията за изтегляне, използвайте директива Crawl-закъснението. Тя ви позволява да определите робот за търсене на минималния период от време (в секунди) между края на една страница за изтегляне и началото на следващата товара.

За съвместимост с роботи, които не са изцяло по стандарта, при обработката на robots.txt, директива Crawl-закъснение, за да добавите към групата, която започва от запис на потребителски агент, веднага след директиви и забраняване на Allow).

Yandex верижен поддържа частични стойности обхождане забавяне, например, 0.5. Това не гарантира, че той ще ги посещават вашия сайт всеки половин секунда, но за да се ускори байпас сайт.

User-Agent: Yandex
Crawl-забавяне: 2 # определя времето за изчакване в секунди 2

User-Agent: *
Disallow: / търсене
Crawl-забавяне: 4.5 # определя времето за изчакване за 4.5 секунди

Директивата се прави за това ще премахне тежестта на бяс Yandex, който очевидно няма граници.

Знам, че някои от тях са в очакване Yandex бот като мана от небето и ще пиша как да го спра, да държи. Да има problemma. Милионери също muchayutsya и не знаят къде да сложи парите =).

Свързани пунктове: