robots.txt

Sitenin robots.txt dosyasını yazar. Boş bırakırsan bütün sayfalar açık kalır.

Örnek: /admin yazılınca bu yol kapanır. Her yol ayrı satırdadır.

Bu sayfa dosyayı sunucuya koymaz. Sonucu kopyalayıp site köküne robots.txt adıyla koyarsın.