🤖 Проверка robots.txt онлайн
Проверка robots.txt онлайн — бесплатный инструмент для диагностики файла robots.txt любого сайта. Показывает HTTP-статус, размер файла, найденные Sitemap-строки, наличие правил User-agent/Disallow/Allow/Crawl-delay/Host, и сразу предупреждает о типичных проблемах — например, если сайт случайно закрыт от всех поисковых роботов. Проверка идёт только по публичным http/https-адресам с защитой от обращения к локальным и служебным IP.
Как пользоваться
- Введите домен или URL: Можно ввести просто example.com — сервис сам попробует https, а если не получится, проверит http. Можно указать схему явно: https://example.com — тогда проверяется только она.
- Нажмите «Проверить»: Сервис запросит /robots.txt по защищённому каналу и покажет результат: статус ответа, размер файла и финальный адрес после редиректов.
- Изучите правила и предупреждения: Сервис проверит наличие User-agent: *, Disallow, Allow, Sitemap, Crawl-delay и Host, и предупредит о типичных проблемах — например, если сайт случайно закрыт от всех роботов.
- Перейдите по Sitemap-ссылкам: Если в robots.txt указаны Sitemap-строки, они показываются кликабельными ссылками — можно сразу открыть и проверить sitemap отдельно.
Часто задаваемые вопросы
Что делает robots.txt и зачем его проверять?
robots.txt — это файл в корне сайта, который указывает поисковым роботам, какие разделы можно обходить, а какие нет. Ошибка в нём может случайно закрыть сайт от индексации целиком или, наоборот, оставить открытыми разделы, которые не должны попасть в поиск.
robots.txt не найден (404) — это плохо?
Нет, это не ошибка. Если файла нет, по умолчанию сайт считается полностью открытым для обхода. Но явный robots.txt с понятными правилами — хорошая практика, особенно если есть служебные разделы (админка, корзина, поиск по сайту), которые не нужны в индексе.
Что означает User-agent: * с Disallow: /?
Это значит «запретить обход всем роботам полностью». Иногда это специально (например, тестовый поддомен), но часто — забытая настройка после разработки сайта, из-за которой сайт вообще не попадает в поиск. Инструмент специально выделяет такой случай отдельным предупреждением.
Обязательно ли указывать Sitemap в robots.txt?
Не обязательно — можно отправить sitemap напрямую через Google Search Console или Яндекс.Вебмастер. Но указать Sitemap-строку в robots.txt — стандартная практика: это первое место, куда заглядывает большинство роботов.
Учитывается ли Crawl-delay?
Не всеми роботами. Googlebot эту директиву игнорирует полностью — скорость обхода для Google регулируется через Search Console. Часть других роботов (включая некоторые версии Яндекса) её учитывает частично.
Почему сервис сначала пробует HTTPS, а потом HTTP?
Если вы ввели домен без схемы, сервис сначала проверяет https://, и только если не получилось (ошибка соединения, таймаут или ответ 403/404/5xx) — пробует http://. Если вы явно указали схему (например, https://example.com), используется только она, без автоматического переключения.
Безопасно ли проверять чужой сайт через этот инструмент?
Да. Сервис делает только обычный публичный HTTP/HTTPS-запрос к /robots.txt — то же самое может сделать любой браузер или поисковый робот. Запросы к локальным, приватным и служебным адресам заблокированы, размер ответа ограничен 512 КБ, а редиректы ограничены и проверяются на каждом шаге.
Для чего используется
Полезно знать
- 404 у robots.txt — это не страшно. Но явный файл с понятными правилами — лучшая практика, особенно если на сайте есть служебные разделы.
- Проверяйте robots.txt после миграции с тестового домена. Один из самых частых факапов — забытый Disallow: / с тестового окружения, перенесённый на продакшен.
- Sitemap в robots.txt — подсказка, а не правило. Робот может найти sitemap и без этой строки, но указать её явно — стандартная и ожидаемая практика.
- Для управления скоростью обхода Google используйте Search Console. Crawl-delay в robots.txt Google игнорирует полностью.