Целта е да се предотврати някои директории за индексиране от търсачките, за да се отърве от дублирано съдържание. Например, в една и съща статия може да бъде достъпен както от / таг / и с / категория /.
Защо дублирано съдържание е лошо?
Ето какво казва Google за това (превод), можете също да намерите информация за търсачката Yandex, който гласи, че техните алгоритми banyat сайтове с дублиране на съдържанието. Аз не знам това е вярно или не, аз не съм експерт в областта на SEO (ако има експерти - в otpishite kammenty), но само в случай, Лий презапис!
Опитайте търсене в Google или Yandex, и вие ще намерите много информация по тази тема.
Robots.txt
robots.txt - файл, за да ограничи достъпа до роботите съдържание в HTTP-сървър. Файлът трябва да бъде в основата на сайта (т.е. имат относителен име на път /robots.txt място). Ако имате няколко поддомейна файл трябва да се намира в главната директория на всеки. Този файл допълва Sitemaps стандарт, който е точно обратната цел: да се улесни достъпа до роботите съдържание.
robots.txt?
Така че моят външен вид роботи:
Разрешавам търсене ботове да се индексират само моя "неприлично" и "Архиви". Забележете, аз използвам маска / wp-. URL адреси за WP-login.php, WP-register.php, WP-администратор, и т.н. имам под индексиране забрана (Забрани).
Беше ми позволено също да индексира моите "/ WP-съдържание / качвания /" за услуги "Yandeks.Kartinki" и "Google Изображения". тъй като там се съхраняват в основното изображение. И аз споделям "sitemap.xml" файл за по-добро индексиране.
За проверка на синтаксиса и структурата на файла robots.txt Има редица специализирани онлайн услуги:
Само едно не трябва да забравяме за файла sitemap.xml
Sitemaps - е XML-файла, съдържащ информация за търсачките (като Google, Yahoo, Ask.com, MSN, Yandex) на страниците на уебсайта, които са обект на индексация. Sitemaps може да помогне на търсачките откриват страници на сайта, по време на последната актуализация, честотата на актуализиране и значение в сравнение с други страници на вашия сайт на търсачката да могат да индексират сайта по-интелигентно.
Saytmap не се изисква и търсачките не гарантират използването му, той помага само ботове за търсене да се индексират, но мисля, че е много полезно!
За Wordpress плъгин съществува - Google XML Sitemaps (други полезни плъгини за Wordpress, използвани от мен). Този плъгин генерира файл sitemap.xml за вас. в които и двамата се предоставя информация за ботове търсене за индексиране на сайта. Вие сами можете да го настроите и да определите приоритетен интерес за статии, страници и т.н.
Центрове Google уебмастър и Yandex
За да се ускори индексиране препоръчана Google и Yandek с около файла robots.txt и sitemap.xml. за това има специални услуги:
Използване на HTTP-пинг да уведоми търсачките за актуализации в карти на сайтове
Можете да посочите местоположението на сайта на търсачката файл с помощта на HTTP-заявка:
Добро време на деня. Аз имам един въпрос за дублиране на съдържанието.
Така например, в раздела има списък от статии, много от тях са с маркер. "Прочетете повече", като щракнете върху връзката, която се премести в една статия с уникален URL-то. Но има в категория кратки статии, които напълно отразяват текст на статията в списъка позиция записи. Т.е. кликнете върху тази история, да отидем на yurl статия, където текстът е абсолютно идентичен с текста на заглавията на страниците. Как най-добре да се избегне такъв презапис?
Благодаря за отговора.
Като цяло, бих затвори индексирането на статии в списъка на тези органи, и остави само заглавията и линковете към отделна страница.
Благодаря. Затворен чрез SEO плъгин всичко-в-едно позиции, архиви и етикети. Надяваме се това трябва да бъде достатъчно.
Преди Не върнати колони, имам нужда от тях. Кажи ми как е възможно да се затвори "тялото на статията в списъка на колони"?
Здравейте. Дори съм добавя към своя уебсайт файла robots.txt с това съдържание:
Тъй като това реши ли проблема? Все още искам да се върна сайтове с безплатен хостинг! Включително сайтове Ucoz! Сигурен съм, нищо не може да помогне, аз не пиша правилата. А yukoz и други дизайнери - разсадник на ХС.
Е, добре. Ето как роботи:
Ahhhh. Има Wikipedia, когато тези кодекси там, разбрах, че показва код за грешка 403:
"Се появява в HTTP / 1.0.
Сървърът разбра заявката, но той отказва да се съобрази с поради ограниченията в достъпа от страна на клиента на посочения ресурс.
Ако достъпа до ресурса изисква удостоверяване посредством HTTP, сървърът връща отговора 401 (или прокси 407). В противен случай се определя лимитът от администратора на сървъра или разработчик на уеб-базирани приложения и може да бъде всеки, в зависимост от възможностите на софтуера.
Във всеки случай, клиентът следва да съобщи причините за отказ при обработката на молбата.
Най-вероятните причини за ограничения могат да служат като:
Прави се опит за достъп до уеб сървъра на системните ресурси (например файлове, .htaccess или .htpasswd) или файлове, до които достъпът е бил затворен с помощта на конфигурационни файлове.
Достъпът изисква удостоверяване на HTTP средства (например, за достъпа до ССФ или раздела за регистрирани потребители).
"Се появява в HTTP / 1.0.
Заявката е успешна ресурс. Ако клиентът е поискал всички данни, те са в заглавната част и / или тялото на съобщението. "
И аз все още искам да си получа сайт индексирани. И аз искам да взема сайтове с безплатен хостинг! Включително сайтове Ucoz! И аз все още искате да направите своя сайт показатели като ТИЦ 1500 PR 13. Как мога да направя това? Отговор на никого, моля?
Опитах се да добавите сайта си в Яндекс и той ми даде, че се предполага, че не е така, защото индекс на заключен робота, но аз не сте добавили този робот, но Yandex защо той намира. и наистина има роботи е написан така, че да е забранено да индексира целия сайт всичко Асортимент. че той най-накрая е и какво да правя сега?
Свързани статии