Рекомендует ли ChatGPT вашу компанию: как проверить ответы

Представим вымышленную ситуацию: владелец клининговой компании спросил ChatGPT, кого выбрать для уборки офиса в Екатеринбурге, и увидел свою компанию в ответе. Через несколько дней коллега задал похожий вопрос и получил другой список. По этим двум ответам пока нельзя сказать, как часто компанию предлагают покупателям: различались и условия вопроса, и момент проверки.

Независимые исследования SparkToro и Майка Сондерса находили изменения в составе названных вариантов при повторных запросах. В другой выборке само появление некоторых брендов оставалось устойчивым. Поэтому полезнее сохранить набор вопросов и ответы на них, чем делать вывод по одному скриншоту. Ниже — способ проверить присутствие компании именно в ChatGPT, отделить рекомендацию от простого упоминания и сравнить повторные замеры. Он описывает только наблюдения в выбранной вами серии вопросов, а не «место бизнеса во всём ChatGPT».

Что считать рекомендацией компании

До проверки договоритесь, что именно будете отмечать. Для этой статьи рекомендация — ситуация, когда ChatGPT предлагает компанию как подходящий вариант под условия вопроса клиента. «Рассмотрите компанию А для регулярной уборки офиса» подходит под это правило. Общая оговорка «уточните график и стоимость» не отменяет предложения. Если компания лишь перечислена или нейтрально описана в сравнении, стоит в перечне источников либо названа как неподходящая, запишите упоминание, но не рекомендацию. Фразу «может подойти, если работает до 9:00» при неизвестном графике отметьте как условный вариант и не добавляйте в строгий подсчёт рекомендаций. Все эти отметки описывают слова ChatGPT; действительную доступность услуги, график и условия проверяют отдельно.

Наличие видимой ссылки на сайт фиксируйте отдельным признаком. Ссылка может сопровождать ответ, в котором компанию не советуют; отсутствие ссылки не превращает предложение компании в нейтральное упоминание. Сохраните формулировку, на основании которой поставили отметку, чтобы позже другой сотрудник мог проверить разметку.

Такие правила — рабочее определение для вашего журнала, а не официальная метрика ChatGPT. В независимых разборах ответов отдельно учитывают название бренда, характер его появления и видимый источник. В своём журнале применяйте одно выбранное правило ко всем компаниям и всем повторениям.

Какие вопросы включить в проверку

Начните с ситуаций, в которых клиент выбирает услугу или подрядчика. Возьмите обезличенные формулировки из обращений, разговоров с продажами и частых вопросов; если своих данных пока нет, пометьте предложенный сценарий как гипотезу. Как составить такую основу без догадок о «секретных запросах нейросети», мы разобрали в карте вопросов клиента.

Разделите вопросы на три группы:

1. Выбор без названия компании. Например: «Кого рассмотреть для регулярной уборки офиса в Екатеринбурге до начала рабочего дня, если нужен договор?» Эта группа показывает, появляется ли компания среди вариантов в выбранных вами сценариях.
2. Проверка известной компании. Например: «Подходит ли компания А для уборки офиса утром?» Здесь название уже дано в вопросе. Такой ответ помогает проверить описание компании и условия услуги, но не показывает, что ChatGPT предложил её самостоятельно.
3. Сравнение названных компаний. Например: «Сравни компании А и Б для утренней уборки офиса». Отмечайте, кого ChatGPT предлагает и почему, но считайте эту группу отдельно: оба названия были подсказаны заранее.

Для услуги с местной привязкой явно укажите город, а для сложного выбора — существенные условия: тип помещения, график, формат договора. Не меняйте в середине серии «утреннюю уборку офиса» на «генеральную уборку квартиры» и не складывайте ответы в один показатель. Разные формулировки могут дать разные наборы вариантов; это показали несколько независимых серий запросов. Их результаты не задают готовый список вопросов для вашей ниши — его нужно собрать из собственной задачи покупателя.

Какие условия записать до первого замера

Для каждого вопроса заранее сохраните его точный текст и тип группы. Запишите дату и время, язык, указанные в вопросе город и страну, отдельно — страну подключения, если она известна. Отметьте то, что действительно видно в интерфейсе: вход в аккаунт, новый или продолжающийся диалог, доступный режим поиска, название модели и настройки памяти или персонализации, если они показаны и имеют значение. Не угадывайте скрытую модель, местоположение подключения или источник ответа.

Старайтесь проводить повторы в сопоставимых условиях. Если один ответ получен в новом диалоге с поиском, а другой — в длинной переписке без него, пометьте это различие и не считайте их чистым повтором одного опыта. В независимых проверках ответы различались при изменении формулировки географии, способа доступа, языка или страны подключения. Эти выборки не позволяют заранее сказать, как сильно каждый фактор повлияет именно на российскую компанию. Запись условий нужна, чтобы понимать границы собственного сравнения.

Не вставляйте в запросы личные данные клиента, закрытые переписки, договоры и нераскрытые коммерческие условия. Реальный вопрос покупателя можно обезличить, сохранив его смысл.

Как провести серию запросов и сохранить ответы

Составьте список вопросов до запуска проверки. Каждый вопрос задайте дословно, сохраните полный ответ и скриншот, если важен вид ссылок или блока источников. Для отдельных сопоставимых запусков начинайте новый диалог и записывайте каждую дату; это не устраняет возможное влияние настроек аккаунта или памяти, которые тоже следует отмечать. Если намеренно проверяете продолжение беседы, выделите его в отдельный сценарий. Если уточнили формулировку после первого ответа, это уже новый вопрос, а не повтор прежнего.

Повторите важные вопросы в разные моменты и покажите в отчёте, сколько ответов действительно сохранили. Универсального числа повторов, после которого результат становится «достоверной долей рекомендаций», найденные исследования не устанавливают. Например, в условной ручной проверке точнее написать «компания предложена в трёх из восьми пригодных ответов на четыре вопроса выбора без бренда», чем «ChatGPT рекомендует нас в 38% случаев». Вторая фраза скрывает выборку и создаёт видимость точности для всех клиентов. Если на один вопрос пришлось больше повторов, покажите результат также по каждому вопросу, чтобы он не перевесил остальные незаметно.

В каждом ответе отметьте отдельно: компания названа или нет; предложена ли как подходящий вариант или только условно; сказано ли, что она не подходит; видна ли ссылка на её сайт; какие конкуренты названы и предложены; есть ли спорное фактическое утверждение. Полный ответ без названий компаний, в том числе отказ предложить конкретных исполнителей, — пригодный ответ с нулём рекомендаций. Только технически пустую или оборванную генерацию сохраните с пометкой «непригодна для разметки»: она не входит в знаменатель пригодных ответов, но число таких случаев и причину исключения показывайте отдельно. Для спорной разметки приложите короткую дословную фразу из ответа.

Пример записей в журнале

Ниже — вымышленный редакционный пример, а не реальные ответы ChatGPT и не результат исследования рынка. Компании А, Б и В условны; даты и фразы служат только для демонстрации записи.

В настоящем журнале рядом с каждой строкой храните полный ответ или скриншот, время, язык, видимые настройки и режим, показанные ссылки, отметки по конкурентам и спорным фактам. Таблица выше сокращена для чтения. В двух пригодных ответах на один и тот же вопрос выбора без бренда компания А предложена один раз из двух. Две остальные строки относятся к другим типам вопросов и в этот подсчёт не входят. Даже «один из двух» описывает только этот вымышленный пример, не частоту для бизнеса.

Как сравнить себя с конкурентами

Смотрите на одни и те же ответы, а не на отдельный вопрос о себе и другой вопрос о конкуренте. В ответе на безбрендовый сценарий отметьте для каждой названной компании одинаковые признаки: упоминание, предложение как варианта, явное предпочтение, видимая ссылка и оговорка об условиях. Затем отдельно разберите сравнительные вопросы, в которых названия даны заранее.

Показывайте, каких конкурентов включили в ручной обзор и на каких основаниях: покупатели реально сопоставляют их с вами, они работают в том же городе и решают похожую задачу. Не называйте частоту попадания среди выбранных соперников «долей рынка» или «рейтингом ChatGPT». Если в ответах появляется незапланированная компания, добавьте её в журнал с датой, но не переписывайте задним числом правила исходного сравнения. Выбор вопросов и состава соперников определяет смысл рассчитанной доли.

Если ChatGPT назвал конкурента подходящим, проверьте, какое именно условие он приписал этой компании и подтверждено ли оно. Текст ответа и видимая ссылка не раскрывают полностью, почему сервис выбрал вариант. Делать по ним вывод «нас не назвали из-за одной страницы» нельзя.

Как подвести итог и повторить замер

Сводите результаты по типам вопросов и внутри них по каждому вопросу. Для каждого периода укажите число разных вопросов, число запусков, число пригодных ответов и отдельно число технически непригодных с причиной исключения. Для пригодных ответов запишите числитель и знаменатель отдельно: в скольких компания названа, в скольких предложена как вариант, в скольких показана ссылка на её сайт. Не смешивайте вопрос с брендом, безбрендовый выбор и сравнение названных компаний. Если условия или набор вопросов менялись, покажите новую группу отдельно.

Для повторного замера сохраните исходный список, точные формулировки и правила разметки. Снова запишите дату и доступные настройки. Если после обновления сайта компания стала появляться чаще, корректная запись звучит так: «в нашей серии из таких-то вопросов её предложили чаще, чем в прошлой». Этого недостаточно, чтобы приписать изменение именно правке сайта: могли измениться ответы сервиса, рынок, источники, условия сеанса и сама выборка. Причину приходится проверять отдельно.

Журнал ответов также не показывает, сколько заявок или продаж принесла конкретная рекомендация. Переходы на сайт и обращения можно анализировать отдельно, с их собственными ограничениями; не записывайте их в колонку «результат ChatGPT» лишь потому, что они случились после замера.

Что делать с найденными ответами

Если ChatGPT неверно описывает услугу, город, график или цену, сначала установите действующий факт и проверьте публичные сведения. Порядок этой работы есть в статье «ChatGPT неверно описывает вашу компанию». Если в вопросах клиентов повторяется существенное условие, которого нет на вашем сайте, подтвердите его внутри компании и проверьте, где клиент должен увидеть ответ; карта вопросов клиента поможет связать вопросы со страницами.

Если компания не появилась в нескольких ответах, запишите это как отсутствие в данной выборке. Проверьте, насколько вопросы отражают ваш реальный рынок и действительно ли компания отвечает их условиям. Само отсутствие не доказывает техническую ошибку сайта, плохую репутацию или необходимость срочно покупать сервис мониторинга. Если найдено подтверждённое расхождение в собственных данных, исправьте именно его и сохраните дату правки для следующего замера.

Итог проверки — не обещание попасть в следующий ответ, а понятная история наблюдений: какие вопросы задавали, что именно ChatGPT сказал о компании и конкурентах, какие факты удалось подтвердить и что изменилось при повторе.