Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya mevrut kontrol motorlarına ne sayfalarınızı tarayıp hangilerini dizinlerine ekleyebileceklerini kail bir komut dosyasıdır. Sitenize mevrut botlar burada arazi alan komutları izlem ederek akım eder. Page Speed gibi hem masaöteü hem hareketli cihazlara ayrı ayrı ba