преди 2 месеца мадам високо (високо) на трафика към вашия сайт и множество брави hostingerov
openkart двигател и цена филтър, не си спомням името
АМ и така за Google ботове Yado причина за всичките си prolblem на robots.txt и Noindex не помогна)
.htacess някакъв ефект не даде на всички, дори и да не се блокира за дълго време, защото те (ботове) постоянно се променя имена и IP и представителство честно такъв ужас не съм виждал
Аз всъщност ги изпраща в гората, а не възможност, но тя със сигурност ще работи
miozhno код и нарязани, но това е всичко, за максимална яснота nakidal, аз го хвърли в кода на PHP и всички ботове гора, но след това отново трябва да имате всички страници се отнасят до индекс PHP
Въпреки това, той не е стандартен
Основни имена стандарт разговори като "протокол на изключения", има само потребителски агент и Забрани определена. Две години по-късно, като дълго стандарт, в които има Позволете и др. В продължение на 20 години е било възможно да се научи нещо може да анализира, роботи.
Поради това, разработчиците на роботите на търсещите машини да имат моралното право да го игнорирате
PS разработчици имат право да се игнорира роботи, които те правят. Вероятно сте забелязали колко срамежливи ботове чрез страниците, забранени за индексиране.
Свързани статии