🤖 Генератор robots.txt онлайн

Базовые правила для поисковых роботов и отдельный контроль AI-краулеров — без единого запроса на сервер

⚡ Пресеты

Пресет заполняет группы User-agent ниже готовым набором — дальше можно донастроить вручную.

📋 Группы User-agent

🧠 AI-боты (опционально)

Список разделён на три категории по назначению бота — это разные решения, и ни одна не выбрана по умолчанию.

Заблокировать всех ботов, собирающих данные для обучения моделей Отметить в файле, что AI-поиск и цитирование сознательно не ограничены (справочно — без отдельного разрешающего правила)

Показать все боты по отдельности

Тренировочные — собирают контент для обучения

Поисковые / цитирующие — показывают сайт в AI-поиске

По запросу пользователя — не автоматические краулеры

Эти боты заходят по прямой ссылке во время диалога пользователя с AI-ассистентом. Провайдеры прямо указывают, что для таких запросов правила robots.txt могут не применяться — блокировка ограничивает переходы по ссылкам из чата, а не сбор данных для обучения.

🗺️ Sitemap

⚙️ Дополнительно

Добавить Crawl-delay для User-agent: *

Нестандартная директива. Googlebot её полностью игнорирует, часть других роботов учитывает частично. Применяется только к группе «* (все роботы)», в остальные группы не добавляется.

Задержка, секунд

Внимание: у группы User-agent: * стоит Disallow: / — это закроет весь сайт от индексации всеми обычными поисковыми роботами.

Содержание

Как пользоваться Про AI-ботов Частые вопросы

Генератор robots.txt онлайн — бесплатный конструктор файла robots.txt с отдельным контролем AI-краулеров: тренировочных ботов, поисковых/цитирующих ботов и ботов, заходящих по запросу пользователя. Всё собирается прямо в браузере, ничего не отправляется на сервер.

Как пользоваться

Выберите пресет или начните с чистого листа: Готовые пресеты покрывают типовые случаи: открытый сайт, закрытые служебные разделы, WordPress. Дальше можно донастроить любую группу вручную.
Настройте группы User-agent: Для каждой группы роботов укажите, какие пути запретить (Disallow) и какие явно разрешить (Allow) как исключение из запрета.
Решите, что делать с AI-ботами: Отдельный блок отделяет ботов, которые собирают данные для обучения моделей, от тех, что показывают сайт в AI-поиске или заходят по прямому запросу пользователя. Это разные решения, и по умолчанию ничего не блокируется — выбор за вами.
Добавьте Sitemap: Укажите ссылку на sitemap.xml — это ускоряет обнаружение страниц роботами.
Скопируйте или скачайте: Готовый файл нужно положить в корень сайта под именем robots.txt. Проверить результат можно инструментом «Проверка robots.txt».

Про AI-ботов

Крупные AI-компании используют разных ботов для разных задач, и это осознанное разделение с их стороны:

Тренировочные боты (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, FacebookBot, Meta-ExternalAgent, Applebot-Extended) собирают контент, который может попасть в обучающую выборку будущих версий моделей.
Поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) обеспечивают показ сайта в ответах AI-поисковиков — блокировка уберёт сайт из таких ответов.
Боты по запросу пользователя (ChatGPT-User, Claude-User, Perplexity-User) заходят по прямой ссылке во время диалога — это не массовый обход сайта.

Часто задаваемые вопросы

robots.txt — это защита от посторонних?

Нет. robots.txt — это просьба к роботам, а не техническое ограничение доступа. Добросовестные роботы (Google, Яндекс, крупные AI-компании) её соблюдают, но ничто не мешает недобросовестному боту её проигнорировать. Для реальной защиты нужны серверные меры — пароль, ограничение по IP, WAF.

Что будет, если заблокировать AI-бота для обучения моделей?

Компания перестанет использовать новый контент вашего сайта для тренировки будущих версий модели. Это не влияет на обычную поисковую индексацию (Google, Яндекс) — это отдельные боты с отдельными правилами.

Чем ChatGPT-User и Claude-User отличаются от обычных ботов?

Это не автоматические краулеры, а запросы, которые бот делает по ссылке прямо во время диалога с пользователем — например, когда человек просит ChatGPT открыть конкретную страницу. OpenAI прямо указывает, что для таких запросов правила robots.txt могут не применяться. Блокировка этих ботов ограничивает переходы по прямым ссылкам из чата, а не обучение моделей.

Стоит ли блокировать все AI-боты сразу?

Не обязательно. Блокировка ботов, отвечающих за AI-поиск (OAI-SearchBot, Claude-SearchBot, PerplexityBot), уберёт сайт из ответов AI-поисковиков со ссылкой на источник — для многих сайтов это источник трафика, а не угроза. Решение стоит принимать по каждой группе отдельно, а не одним чекбоксом «заблокировать все».

Почему для «оставить AI-поиск доступным» генератор не добавляет отдельное правило Allow: /?

Allow: / — это не нейтральное состояние, а явное разрешение, которое полностью заменяет собой любые другие ограничения для этого конкретного бота, включая Disallow из группы User-agent: *. Если на сайте закрыты /admin/ или /cart/ для всех роботов, отдельное правило Allow: / для конкретного AI-бота откроет ему и эти разделы тоже. Поэтому такой выбор генератор фиксирует только комментарием в файле, а не отдельным разрешающим правилом — бот при этом остаётся под теми же ограничениями, что и остальные роботы.

Нужна ли директива Host?

Нет, эта директива устарела: Яндекс официально прекратил её поддержку ещё в 2018 году. Генератор её не добавляет.

Учитывается ли Crawl-delay?

Не всеми роботами. Googlebot её полностью игнорирует, часть других роботов — учитывает частично. Anthropic, например, прямо заявляет, что уважает Crawl-delay. Директива вынесена в дополнительные настройки, а не в основной экран.

Файл отправляется на сервер?

Нет. Весь генератор работает в браузере на JavaScript — ничего не отправляется и не сохраняется на сервере uToolkit.

Как проверить готовый файл?

Загрузите его в корень сайта под именем robots.txt и проверьте инструментом «Проверка robots.txt» — он покажет статус, разбор правил и предупредит о типичных ошибках.