Магазин модулів SoloMono

Редагований robots.txt

Дата створення : 2018-09-21
95
1 2 3 4 5
icon 2,0k
Редагований robots.txt
free, junior, seo, pro

Robots.txt - це звичайний текстовий документ, який лежить в корені сайту і інформує пошукових роботів про те, які сторінки та файли вони повинні сканувати та індексувати.
Для керування трафіком пошукових роботів на вашому сайті команда SoloMono розробила модуль "Редагований robots.txt", в якому містяться інструкції, які говорять пошуковим роботам, які URL на вашому сайті їм дозволено обробляти. З його допомогою можна обмежити кількість запитів на сканування і цим знизити навантаження на сайт. Файл robots.txt не призначений для заборони показу ваших матеріалів у результатах пошуку Google. Якщо ви не бажаєте, щоб будь-які сторінки з вашого сайту були представлені в Google, додайте на них директиву noindex або зробіть їх доступними лише за паролем.

Що пишуть про модуль

Залишити свій відгук

icon