Генератор файла robots.txt

Материал из wiki.seolib.ru
Перейти к: навигация, поиск

Инструмент позволяет быстро получить и проверить ограничения в файле Robots.txt. Нужно указать:

  1. Адрес сайта;
  2. Для какого робота указывать правила:
    • Для всех
    • Только для Яндекс
    • Только для Google
    • Для другого
  3. Символы на страницах домена, наличие которых приведёт к блокировке всех таких страниц;
  4. Конкретные страницы и папки, которые нужно запретить;
  5. Адрес xml-карты сайта.