robots.txt

Пишет файл robots.txt сайта. Если оставить пустым, все страницы открыты.

Пример: /admin закрывает этот путь. Каждый путь на своей строке.

Страница не кладёт файл на сервер. Скопируй результат и сохрани как robots.txt в корне сайта.