Какво е бот? Това е програма, която разглежда вашия сайт. Bots са добри и там са лоши. Каква е разликата между добро и зло бот? Един добър бот полезно. Например, един бот търсачка, която ви интересува преместване на сайта е добра, тъй като спомага за страниците на сайта индексират по-бързо и заемат място в резултатите от търсене. Bad бот не преследва тези цели, тя изглежда за уязвимости, тя се сваля информацията за нуждите на собственика, без да дава нищо в замяна - няма никаква полза, нито удобни услуги. Често, лоши ботове освен кражба на съдържание създава повече и пречат - допълнителната тежест, която забавя сайта, докато спре. Ето защо, ако вземем предвид идеалната техника работа със сайта, работата трябва да бъдат насърчавани добрите ботове, лоши ботове и работа забрана.
Да, имаме, но как да се разграничи доброто от лошото бот? Има някои доста прости начина да направите това. Първото нещо, което идва на ум - бот подпис, който е оставил като следа. Добри лодки винаги са истински подпис, който показва кой обхождане на сайта. Лошите ботове са склонни да се скрие името и мисията, маскиран като обикновен посетител. Разбира се, модерна технология може лесно да бъде определен от поведение, независимо дали уебсайт истински човек изглежда, или бот сканиране. Но сега автоматично се определи дали този бот е добро, или лошо, това не винаги е възможно.
Ето защо, подписът трябва да се добави още една особеност в поведението, което произвежда лош бот: лош робот винаги пълзи до мястото, където е забранено катерене. За да се обърнете към забранените места за лодки там файла robots.txt - това са посочени всички начини, за които е невъзможно да отида бот. Един добър бот няма да отиде там, където му е било позволено, но лош бот просто не пропускайте нито една възможност да прокара през всички места, които са на сайта.
По подразбиране това е позволено да посетите този сайт ботове:
Ако искате ботът е разрешен достъп до обекта, а след това го направи в списъка с разрешени сайтове.
Свързани статии