robots.txt - е текстов файл, който се използва за предотвратяване на роботи (като ботовете на търсачките) индексиране и "байпас" на някои части от сайта ви. Без този файл, ботове ще могат да ходят свободно на сайта си, че не е много добра.
По подразбиране, WordPress не създава файла robots.txt, така че е необходимо да се създаде и да персонализирате своя собствена, също себе си.
Общата смисъла на забраната за достъп до определени части от сайта ви да се съсредоточи върху важно съдържанието на роботи.
Какво се случва, ако не разполагате с файла robots.txt?
С една дума, която искате да индексира всичко.
За WordPress това означава следното:
Както вероятно сте се досетили, нито един от по-горе е подходящо съдържание за SEO и дори може да навреди на вашия сайт. Google позволява само на определен брой "референтен боклук", така че има смисъл да се концентрира върху съдържанието и страници.
Как мога да контролирам индексирането на вашия сайт?
Решението е много просто.
Копирайте и поставете следното в него:
Запазете файла. Ако сте го създали от сървъра, просто да качите в главната директория на сайта. Това е същата директория, където папка WP-администратор, WP-включва и WP-съдържание.
Това е всичко. Сега вие ще забележите, че някои връзки към сайтове ще отпадат от търсенето за няколко дни или дори седмици.
Ако искате да добавите и други файлове, просто добавете правило по този начин:
Моля, имайте предвид, че ни липсва домейна на уебсайта, както и добавете пътя до папката, като се започне с наклонената черта (/).
Свързани статии