Проверить robots.txt сайта — бесплатно онлайн
Бесплатная проверка robots.txt: синтаксис, блокировка важных страниц, Crawl-delay, Sitemap directive и доступность файла.
Запустить бесплатно →🔍 Что проверяет инструмент
AuditGuard проверяет: доступность robots.txt (HTTP 200, не 404), синтаксис директив User-agent и Disallow, случайное закрытие важных разделов (главная, /catalog, /shop) от индексации, наличие директивы Sitemap: с правильным URL, Crawl-delay (слишком большой задерживает индексацию), наличие Disallow: / — полная блокировка индексации (критическая ошибка), блокировку CSS/JS файлов (мешает рендерингу поисковым роботом).
📊 Как интерпретировать результат
Disallow: / для Googlebot или Yandex — красный критический: весь сайт закрыт от индексации. Отсутствие Sitemap — жёлтый. Закрытые CSS/JS — жёлтый. Файл доступен, нет критических блокировок — зелёный.
🛠️ Что делать при обнаружении проблемы
Проверить каждый Disallow: вручную. Добавить Sitemap: https://example.com/sitemap.xml. Разрешить CSS и JS для роботов. Никогда не публиковать robots.txt с Disallow: / на production-сайте.
🚀 Запустить проверку
Введите URL вашего сайта и получите полный технический отчёт с анализом robots.txt проверить и другими 430+ параметрами.
Проверить сайт бесплатно →Проверьте сайт комплексно
431+ параметров, включая robots.txt проверить — бесплатно.
Запустить бесплатный аудит