robots.txt

Saytın robots.txt faylını yazır. Boş buraxsan, bütün səhifələr açıq qalır.

Nümunə: /admin yazılanda bu yol bağlı olur. Hər yol ayrı sətirdədir.

Bu səhifə faylı serverə qoymur. Nəticəni kopyalayıb saytın kök qovluğuna robots.txt adı ilə qoyursan.