Магазин модулей SoloMono

Редактируемый robots.txt

Дата создания : 2018-09-21
98
1 2 3 4 5
icon 1,9k
Редактируемый robots.txt
free, junior, seo, pro

Robots.txt — это обыкновенный текстовый документ, который лежит в корне веб-сайта и информирует поисковых роботов о том, какие страницы и файлы они должны сканировать и индексировать.
Для управления трафиком поисковых роботов на вашем сайте команда SoloMono разработала модуль «Редактируемый robots.txt», в котором содержатся инструкции, которые говорят поисковым роботам, какие URL на вашем сайте им разрешено обрабатывать. С его помощью можно ограничить количество запросов на сканирование и тем самым снизить нагрузку на сайт. Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google. Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них директиву noindex или сделайте их доступными только по паролю.

Что пишут об этом модуле

Оставить свой отзыв

icon