И разбра необходимостта да се намали натоварването на сървъра. Един от моите сайтове онлайн магазини е доста тежък. И въпреки включването на кеширане, умен хостинг, това е много сървъра изпратена. Когато се преместих в специален сървър, на регулярна хостинг с повишена мощност, необходимостта да се намали тежестта стана особено остър, тъй като когато позволено 150cp ме на мира един този сайт, за да се получи натоварване 250sr. Нямаше да е навсякъде. Обувки-интензивно скриптове, като динамична обработка на снимки, не е много ефективни, и аз трябваше да се копае по-нататък.
Копаене в интернет, намерих начин да се отреже нежеланите ботове, и да ограничи дейностите е необходимо.
Така претенция 1. Се намали натоварването на сървъра, като заключите нежелани ботове дейност.
За да направите това, поставете в .htaccess файл следната позиция:
# Следваща списък yuzeragentov, че ние се забрани достъп
SetEnvIfNoCase User-Agent MJ12bot bad_bot
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase bad_bot User-Agent Butterfly
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent Ning bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase bad_bot User-Agent библиотека
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Никой bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent търсещите bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
Отказ от ENV = bad_bot
Т.е. първо ние даваме списък на ботове, които искат да се забрани да посетите сайта, ги маркират създаването bad_bot, и след това да ги забрани да даде съдържанието на страницата, ако те се появяват.
Списъкът може да се възстанови. В моя случай, специалните проблеми, причинени MJ12bot, което 1-3K за заявления, направени на ден.
т.2. Намаляването на натоварването чрез инсталиране на времето
Изтеглянето на много страници, ботовете са и доста място и поставят целия сървър, заедно с тях.
Така че те не поставят на сървъра, че е възможно да се определи минималното закъснение интервал от време, който трябва да мине преди следващия искането.
Това може да стане чрез файл robots.txt. Добави в следните позиции:
Този пост означава, че ботовете Yandex не е позволено да се направи използвате сайта по-често от 1 на всеки 5 секунди.
Точно трябва да се направи едно и също записа за други търсачки роботите.
Ние правим и радвайте се намали натоварването и да се повиши средната скорост на сайта.