robots.txt dosyası arama motorlarının web sitemizde hangi sayfaları ziyaret etmesi gerektiğine dair bilgiler yer almaktadır. aşağıdaki komutlar;
User-agent: * Bu komut tüm arama motorlarının sitemizi indexleme yapması gerektiğinin komutudur.
Disallow: / Bu komut ise index işlemi yapılamasını istediğimiz klasör isimlerini yazdığımız bölgedir.