robots.txt-файл-это текстовый файл, расположенный в основном каталоге сайта, в котором написаны специальные инструкции для поисковых роботов. Эти инструкции могут запрещать индексацию определенных разделов или страниц на сайте, указывать правильное "зеркало" домена, рекомендовать поисковому роботу соблюдать определенный промежуток времени между загрузкой документов с сервера и т. д.
Некоторые полезные свойства этого файла:
1. Мы говорим роботу загружать страницы сайта с интервалом не менее 20 секунд (полезно в VPS/Cloudserver для уменьшения нагрузки):
Пользователь-агент: *
Задержка просмотра: 20
2. Закройте каталог /admin от индексации всеми роботами:
Пользователь-агент: *
Не разрешать: /админ/
3. Отказ всех роботов индексировать весь сайт:
Пользователь-агент: *
Не позволять: /
4. Разрешить индексацию одному роботу и запретить остальным:
Пользователь-агент: Яндекс
Не разрешать: пользователь-агент: *
Не позволять: /
