Магазин модулей SoloMono

Редактируемый robots.txt

Дата создания : 2018-09-21
100
1 2 3 4 5
icon 1,1k
Редактируемый robots.txt

Robots.txt — это обыкновенный текстовый документ, который лежит в корне веб-сайта и информирует поисковых роботов о том, какие страницы и файлы они должны сканировать и индексировать.
Для управления трафиком поисковых роботов на вашем сайте команда SoloMono разработала модуль «Редактируемый robots.txt», в котором содержатся инструкции, которые говорят поисковым роботам, какие URL на вашем сайте им разрешено обрабатывать. С его помощью можно ограничить количество запросов на сканирование и тем самым снизить нагрузку на сайт. Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google. Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них директиву noindex или сделайте их доступными только по паролю.

pixel_trans
Что пишут об этом модуле

Оставить свой отзыв

icon