Представим: в журнале сервера появилось имя ClaudeBot. Значит ли это, что Claude уже знает вашу компанию, сможет найти страницу услуги и покажет её клиенту? Для такого вывода сначала нужно разобраться, какое именно обращение зарегистрировано и что обозначает имя робота.
У Anthropic отдельно описаны сбор материалов для возможного обучения, поисковый обход и получение страницы по запросу пользователя. Эти назначения помогают понять, к какой задаче относится имя в журнале. Особенно важно слово «возможного»: оно определяет границу вывода о ClaudeBot.
Официальные определения и независимые материалы проверены 28 октября 2026 года. Собственных логов Anthropic, эксперимента с обучением модели или измерений клиентских заявок в статье нет.
Три назначения роботов Claude
В актуальной справке Anthropic приведены три имени. В таблице ниже — заявленное платформой назначение, а не результат анализа конкретного посещения вашего сайта.
| Имя | Назначение по описанию Anthropic | Что остаётся отдельным вопросом |
|---|---|---|
ClaudeBot |
Сбор веб-материалов, которые потенциально могут участвовать в обучении моделей | Использовали ли конкретную страницу в обучении конкретной модели |
Claude-SearchBot |
Обход веба для улучшения качества поиска | Вошла ли нужная страница в конкретную поисковую подборку |
Claude-User |
Получение веб-материалов по запросу пользователя | Что именно вошло в ответ и была ли в нём рекомендация компании |
Cloudflare, Akamai и MetrikStack также разделяют эти имена в собственных классификаторах. Это подтверждает содержательное различие категорий. Их каталоги не являются исследованием того, как определённый текст использовали внутри модели.
В общей подписи «боты Claude» эти задачи смешиваются. Если в отчёте сохранены три отдельных имени, видно, к какой заявленной категории отнесены события. Что произошло с определённой страницей дальше, таблица назначений не показывает.
Почему визит ClaudeBot ещё не говорит об обучении страницы
Ключевое слово в определении Anthropic — возможность использования материалов для обучения. Для владельца сайта это два разных вопроса:
- Какое назначение заявлено для робота? На него отвечает справка Anthropic: сбор веб-материалов для потенциального обучения.
- Участвовала ли именно эта страница в обучении определённой модели? Для него нужны сведения о фактическом использовании материала. В приведённом определении такой записи о вашем URL нет.
Слово «потенциально» нельзя незаметно заменить на «обязательно». Обратный вывод также был бы лишним: из отсутствия сведений в выбранном журнале не следует, что материал никогда не использовали. Ответ о конкретной странице в таком наборе данных остаётся неизвестным.
Та же аккуратность нужна в формулировке «Claude знает нашу компанию». Она может означать разные вещи: модель упомянула название, поиск показал страницу или ассистент разобрал переданный документ. Сначала стоит назвать наблюдаемый результат. Например, проверка PDF-каталога компании в Claude посвящена ответу по загруженному файлу; по этому ответу нельзя установить состав обучающей выборки.
Чем поиск отличается от получения страницы для пользователя
Для Claude-SearchBot Anthropic указывает улучшение качества поиска. Для Claude-User — получение веб-материалов по запросу пользователя. Поэтому вопрос «страницу запрашивали в связи с пользовательским обращением?» отличается от вопроса «какой робот предназначен для поискового обхода?».
В опубликованных наблюдениях это тоже разные объекты. Arrivl исследовал серверные обращения с проверкой идентичности на стороне Cloudflare; отдельного подтверждённого Claude-SearchBot в его выборке не было. SurfacedBy и Search Engine World задавали ассистентам вопросы о специально подготовленных страницах с контрольными строками и сопоставляли ответы с запросами к серверу. Эти два опыта относятся к получению страниц по запросу пользователя.
Ни одна из этих постановок не прослеживает обучение конкретной модели на странице компании. Их результаты не образуют последовательность «ClaudeBot обучил модель → SearchBot нашёл страницу → Claude-User порекомендовал бизнес». Такой связи в рассмотренных данных нет.
Общая методика чтения журналов и проверки принадлежности обращения уже разобрана в материале о получении страницы по ссылке и поисковом доступе Perplexity. Для Claude назначения берём из документации Anthropic: определения другой платформы их не заменяют.
Одна запись ClaudeBot: точная граница вывода
Рассмотрим полностью вымышленный пример. Допустим, происхождение обращения уже установлено, а в журнале сохранены только имя ClaudeBot, путь /uslugi/semka/ и код ответа 200. Тело ответа, сведения об обучающей выборке и тексты диалогов в условие не входят.
Точный вывод: «Зарегистрирован запрос ClaudeBot к указанному пути с кодом 200. По описанию Anthropic назначение этого имени связано со сбором материалов для потенциального обучения. Фактическое использование страницы в обучении конкретной модели по сохранённым полям не установлено».
Если таких строк станет сто, появится число зарегистрированных событий. Отсутствующие сведения об обучении от этого не добавятся. Это логическая граница нашего условного набора полей; она не означает, что дополнительную информацию невозможно получить иным способом.
Для вопроса «рекомендует ли Claude нашу компанию?» нужен сам соответствующий ответ. Разбор компании в ответах Claude продолжает эту линию: видимое название, источник и содержание рекомендации рассматриваются отдельно. Назначения трёх роботов помогают классифицировать обращение, а вопрос об обучении конкретного URL остаётся вопросом о фактическом использовании данных.
Частые вопросы
Если ClaudeBot запросил страницу, модель уже обучилась на ней?
Официальное назначение описывает потенциальное использование материалов для обучения. В нашем условном журнале сведений о фактическом включении страницы в обучающую выборку нет. Этот пример не устанавливает ни включение, ни невключение.
ClaudeBot и Claude-SearchBot выполняют одну задачу?
Anthropic описывает их отдельно: ClaudeBot связан со сбором материалов для возможного обучения, Claude-SearchBot — с улучшением качества поиска. Объединённая подпись «боты Claude» скрывает это различие.
Где в этой классификации находится Claude-User?
По определению Anthropic он получает веб-материалы по запросу пользователя. Это третье заявленное назначение, отдельное от потенциального обучения и поискового обхода.
Справочные материалы
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? — https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Cloudflare — Bot reference — https://developers.cloudflare.com/ai-crawl-control/reference/bots/
- Akamai — Introducing more granular controls for AI bot traffic — https://www.akamai.com/blog/security/2026/sep/introducing-more-granular-controls-ai-bot-traffic
- MetrikStack — AI crawlers and bots — https://metrikstack.com/docs/bots
- Arrivl — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-User: what each one actually does on a real site — https://arrivl.ai/blog/what-gptbot-chatgpt-user-oai-searchbot-claudebot-claude-user-actually-do
- SurfacedBy — I told eight AI assistants not to read a page. Three read it anyway. — https://surfacedby.com/blog/ai-assistants-robots-txt-test
- Search Engine World — Do AI Assistants Actually Respect Your robots.txt? We Put 12 of Them to the Test. — https://www.searchengineworld.com/do-ai-assistants-actually-respect-your-robots-txt-we-put-12-of-them-to-the-test
Связанные статьи
