Robots.txt to zwykły dokument tekstowy, który znajduje się w katalogu głównym witryny i informuje roboty wyszukiwania o tym, które strony i pliki powinny przeszukiwać i indeksować.
Aby zarządzać ruchem robotów indeksujących w Twojej witrynie, zespół SoloMono opracował moduł Editable robots.txt, który zawiera instrukcje informujące roboty indeksujące, które adresy URL w Twojej witrynie mogą przetwarzać. Dzięki niemu możesz ograniczyć liczbę żądań indeksowania, a tym samym zmniejszyć obciążenie witryny. Celem pliku robots.txt nie jest zapobieganie wyświetlaniu Twoich treści w wynikach wyszukiwania Google. Jeśli nie chcesz, aby jakiekolwiek strony w Twojej witrynie były przesyłane do Google, dodaj do nich dyrektywę noindex lub ustaw je tylko na hasło.
Zostaw recenzję