Robots.txt - це звичайний текстовий документ, який лежить в корені сайту і інформує пошукових роботів про те, які сторінки та файли вони повинні сканувати та індексувати.
Для керування трафіком пошукових роботів на вашому сайті команда SoloMono розробила модуль "Редагований robots.txt", в якому містяться інструкції, які говорять пошуковим роботам, які URL на вашому сайті їм дозволено обробляти. З його допомогою можна обмежити кількість запитів на сканування і цим знизити навантаження на сайт. Файл robots.txt не призначений для заборони показу ваших матеріалів у результатах пошуку Google. Якщо ви не бажаєте, щоб будь-які сторінки з вашого сайту були представлені в Google, додайте на них директиву noindex або зробіть їх доступними лише за паролем.
Залишити свій відгук