Почему это важно
- AI-системы не рендерят JS — контент только в initial HTML доступен для индексации
- llms.txt помогает AI понять структуру и назначение сайта без краулинга всех страниц
- Structured data = машиночитаемые факты, которые AI использует в ответах
- Без правильного robots.txt AI-краулеры могут игнорировать или перегружать сайт
Частые вопросы
Вопрос
Что такое GEO (Generative Engine Optimization)?
GEO — оптимизация для генеративных AI-систем: Perplexity, ChatGPT, Gemini, Bing Copilot. В отличие от SEO, цель не ранжирование, а цитируемость в AI-ответах. Ключевые факторы: авторитетность источника, HTML-first контент, structured data, llms.txt.
Вопрос
Что такое llms.txt?
Текстовый файл в корне сайта (/llms.txt), описывающий сайт, его структуру и ключевые разделы для языковых моделей. Аналог robots.txt, но для AI: не ограничивает краулинг, а даёт контекст. Поддерживается рядом AI-агентов.
Вопрос
Нужно ли разрешать GPTBot в robots.txt?
Зависит от стратегии. Блокировка GPTBot/ClaudeBot/PerplexityBot запрещает использование контента для обучения моделей, но также снижает шанс цитирования в AI-ответах. AuditGuard показывает текущее состояние и описывает последствия.