robots.txt для AI-ботов 2026: блокируем GPTBot, ClaudeBot, CCBot и Perplexity
С 2023 года AI-компании запустили сотни краулеров для сбора обучающих данных. Рассказываем, каких ботов стоит блокировать, как правильно это сделать в robots.txt, и когда блокировка — ошибка.
Сгенерировать robots.txt →Полный список AI-ботов для robots.txt (2026)
| User-agent | Компания | Назначение | Рекомендация |
|---|---|---|---|
GPTBot | OpenAI | Обучение GPT-4/5 и ChatGPT | ⚠️ По ситуации |
OAI-SearchBot | OpenAI | Поиск ChatGPT | ✅ Оставить (трафик) |
ClaudeBot | Anthropic | Обучение Claude | ⚠️ По ситуации |
Claude-Web | Anthropic | Claude.ai — поиск в реальном времени | ✅ Оставить |
CCBot | Common Crawl | Открытый датасет, используется многими LLM | 🔴 Блокировать |
PerplexityBot | Perplexity AI | AI-поиск и индексация | ⚠️ По ситуации |
Applebot-Extended | Apple | Обучение Apple Intelligence | 🔴 Блокировать |
Bytespider | ByteDance / TikTok | Обучение ИИ TikTok | 🔴 Блокировать |
FacebookBot | Meta | Обучение Llama / Meta AI | ⚠️ По ситуации |
Google-Extended | Обучение Gemini (не поиск!) | ⚠️ По ситуации | |
Diffbot | Diffbot | Knowledge graph, продаётся компаниям | 🔴 Блокировать |
cohere-ai | Cohere | Обучение LLM для enterprise | 🔴 Блокировать |
Google-Extended блокирует только использование контента для обучения Gemini. Это НЕ влияет на обычную индексацию Google Search — Googlebot работает через отдельный User-agent.Минимальный robots.txt с блокировкой AI-ботов
Базовая конфигурация: блокируем самые агрессивные краулеры и датасеты:
Полная блокировка всех AI-ботов
Если хотите заблокировать максимум AI-сканеров — коммерческих и открытых:
Когда НЕ надо блокировать AI-ботов
✅ Оставьте GPTBot и ClaudeBot открытыми, если:
- Вы хотите что ChatGPT и Claude ссылались на ваш сайт как на источник в ответах
- У вас информационный сайт (новости, база знаний, документация) — AI-упоминания дают трафик
- Вы хотите попасть в AI-поиск ChatGPT Search (OAI-SearchBot) и Perplexity
Оставьте открытым OAI-SearchBot (отдельный от GPTBot) — он используется для ChatGPT Search, который реально приводит посетителей на сайт. Это принципиально другой бот, не для обучения.
Разница между GPTBot и OAI-SearchBot
OpenAI использует разные User-agent для разных задач:
GPTBot— обучение языковых моделей. Посещения не дают трафика на сайт. Можно блокировать.OAI-SearchBot— ChatGPT Search (AI-поиск). Когда пользователь ищет что-то через ChatGPT, бот посещает страницы и ссылается на них в ответе. Блокировка = нет трафика из ChatGPT Search.
Аналогично для Anthropic: ClaudeBot (обучение) vs Claude-Web (поиск Claude.ai в реальном времени).
Проверка: соблюдают ли боты robots.txt?
На практике соблюдение robots.txt среди AI-компаний:
| Компания | Соблюдает robots.txt | Источник |
|---|---|---|
| OpenAI (GPTBot) | ✅ Официально да | Документация OpenAI |
| Anthropic (ClaudeBot) | ✅ Официально да | Документация Anthropic |
| Apple (Applebot-Extended) | ✅ Официально да | Документация Apple |
| Perplexity (PerplexityBot) | ✅ Официально да | Документация Perplexity |
| Common Crawl (CCBot) | ⚠️ Частично | Жалобы в интернете |
| ByteDance (Bytespider) | ⚠️ Нестабильно | Независимые исследования |
| Diffbot | ❌ Игнорирует | Множество жалоб |
Блокировка через nginx (дополнительный уровень защиты)
Если хотите гарантированно заблокировать конкретного бота — используйте nginx:
Итоговая шпаргалка
| Ситуация | Что делать |
|---|---|
| Хочу чтобы ChatGPT ссылался на мой сайт | Открыть OAI-SearchBot, закрыть GPTBot |
| Не хочу чтобы данные использовались для обучения | Блокировать GPTBot, ClaudeBot, Google-Extended |
| Не хочу попадать в открытые датасеты | Блокировать CCBot обязательно |
| Блокировать всё кроме поиска | Whitelist Googlebot, Yandexbot, bingbot; остальным Disallow: / |
Часто задаваемые вопросы
Какие AI-боты нужно блокировать в robots.txt в 2026 году?
Основные: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl — обучающий набор), PerplexityBot, Applebot-Extended (Apple Intelligence). Также стоит заблокировать Bytespider (TikTok/ByteDance) и Diffbot. Из поисковых AI-ботов — Google-Extended (только обучение Gemini, не поиск).
Блокировка GPTBot в robots.txt действительно работает?
OpenAI официально заявляет что GPTBot соблюдает robots.txt. На практике крупные AI-компании (OpenAI, Anthropic, Apple, Perplexity) соблюдают директивы. CCBot и Bytespider соблюдают нестабильно, Diffbot нередко игнорирует. Полной гарантии нет — для надёжной блокировки дополняйте nginx-правилами.
Стоит ли блокировать все AI-боты или только некоторые?
Зависит от стратегии. Если контент уникальный и авторский — можно блокировать всех. Если хотите упоминаний в ответах ChatGPT/Claude как источника — не блокируйте OAI-SearchBot и Claude-Web. CCBot рекомендуем блокировать всегда: это открытый датасет который распространяется среди многих проектов.