Блокиране на нежелани роботи
Всеки ден нашите сайтове заобикалят различни роботи, а не предприемането на всякакви ползи и създаване на допълнителна тежест на сървъра. Разбира се, някои от вас са се сблъсквали ситуация, в която хоста на сайта си блокиран поради прекомерно натоварване, упражняван върху сървъра. Тази ситуация може да възникне, когато без надзор посещават различни страници на сайта си от роботи. Ако използвате специален сървър, можете да платите допълнителни разходи за трафик и други сървърни ресурси - CPU или паметта.
За да се избегне тази ситуация в първия заместник, трябва да инсталирате статистика за посещаемостта на сайта ви. Освен това е необходимо да се приеме технически мерки за блокиране на нежелани роботи. Ако сайтът ви работи на уеб сървъра Apache, можете да го направите с помощта на mod_rewrite модул или mod_setenvif.
Блокирането на роботи, използвайки mod_rewrite.
Създаване на правило във файла. Htaccess следното:
Последният ред от примера определя какво да правите, когато роботът пита за достъп.
Регулярният израз "^. * $" Означава "за достъп до всички файлове е забранено."
забранява на търсещите озаглавена достъп на робота
- NC - не е с малки букви.
- Или - средства "или следното условие."
NC флаг позволява игнорира букви в низа за търсене.
Тази линия се посочва, че на търсещите търсещите и ще се утвърди като идентични изрази.
Ако използвате mod_setenvif модул. правила ще изглеждат по следния начин:
Свързани статии