Много уеб администратори (и включително и аз), с цел да се ускори страници двигатели индекса за търсене, се добавят линкове към страниците си в Twitter и Facebook. Някои го правя на ръка, някои с помощта на програми и услуги, чрез добавяне на RSS-емисии и т.н.
Резултатът е истински мини-DDoS, когато в рамките само на няколко секунди, тези ботове от вашия сървър, поискани от десетки и стотици страници. И тези ботуши, искам да виждам никаква полза, различна от натоварването на сървъра ви не позволява.
Но всичко това е, както се казва, "не е важно." Основното нещо, което подробен мониторинг на логове и бе разкрито големия брой искания от страна на "ляво" ботове. Забрана тях чрез IP чувство не беше, защото за мнозина тя често се променя. И тогава разбрах, решение, което все още държи здраво спестява моите сайтове на различни zadalbyvat ботове и съответно много намалява натоварването на сървъра.
В главната папка на файла на сайта .htaccess е създаден със следното съдържание:
За да позволяват, отричат
позволи от всичко
# Следваща списък yuzeragentov, че ние се забрани достъп
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase bad_bot User-Agent Butterfly
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent Ning bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase bad_bot User-Agent библиотека
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Никой bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent търсещите bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
Поръчка Allow, Deny
Оставя се от всичко
Отказ от ENV = bad_bot
Просто вземете парче от тези данни на името на робота, ние имаме, че ще бъде "bingbot" и да добавите към списъка ни в файла .htaccess на следния ред:
SetEnvIfNoCase User-Agent bingbot bad_bot
Ако yuzeragenta, на когото искате да откаже достъп до името на сайта се състои от две думи, тогава те просто трябва да приемете в кавички. Например, един сайт с yuzeragentom zadalbyvat бот:
Mozilla / 5.0 (съвместим; SISTRIX Crawler; httr: //crawler.sistrix.net/)
Напиши в .htaccess на следната комбинация:
Свързани статии