Что нейросеть знает о вашей компании: проверили на своём сайте
Иван Недомолков · Опубликовано:
22 сентября мы час задавали нейросетям двадцать вопросов из своей тематики: ЭСФ, NCALayer, Kaspi, свертка базы, переход на 1С 8.5. Слова TezBase не было ни в одном вопросе. Хотели понять, приходит ли к нам человек со своей задачей, а не узнают ли нас по имени.
Из 47 полученных ответов адрес нашего сайта стоял в источниках 17 раз. По имени компанию назвали дважды, и оба раза с ошибкой. Ниже разбор этого замера и всего, что мы до него чинили на сайте. Числа только наши, у каждого стоит дата.
Двадцать вопросов трём нейросетям
Вопросы одинаковые дословно во всех сервисах. Цитатой считали адрес tezbase.kz в списке источников ответа. Copilot снять не удалось: без входа он не пускает. Perplexity после 17 вопросов попросил войти, ChatGPT после 10 включил антибот. Обходить защиту не стали, поэтому ячеек 47 из возможных 80.
| Сервис | Снято ответов | Ссылаются на tezbase.kz |
|---|---|---|
| Perplexity, без входа | 17 из 20 | 9 |
| Яндекс Нейро, регион Алматы | 20 из 20 | 7 |
| ChatGPT без входа, с поиском | 10 из 20 | 1 |
| Copilot | 0, нужен вход | - |
Хотя бы один сервис сослался на нас в 12 вопросах из 20. Берут статьи про конкретную ошибку и инструменты: статус ЭСФ “заблокирован”, переполненный журнал транзакций с ошибкой 9002, NCALayer, подготовку к 8.5, выгрузку метаданных для нейросети. Из коммерческих страниц попали только интеграции с Kaspi и Halyk Market и страница цен.
Пусто там, где вопрос ближе всего к деньгам: кто внедряет Бухгалтерию для Казахстана, 1С для ломбарда, обслуживание 1С в Алматы. Страницы под эти темы у нас есть, а в ответах местные интеграторы. По базе в 200 ГБ нас тоже не взяли, хотя это наш профильный кластер: там цитируют форумы.
Где нас назвали по имени, там и ошиблись
Оба случая пришлись на один вопрос: “Свертка базы 1С: кто делает в Казахстане и сколько стоит”.
Perplexity написал, что TezBase работает в Шымкенте и Астане. Город он взял со страниц, которые мы завели под удалённую работу в этих городах. Про Алматы, где мы находимся, в ответе ни слова.
Яндекс Нейро назвал цену свертки небольшой базы. Цифру он взял из описания страницы цен, где свертка и оптимизация стоят соседними числами в одной фразе. Модель склеила две разные услуги в одну вилку, и нижней границей у свертки оказалась цена оптимизации.
Ни одну из ошибок модель не придумала с нуля. Обе собраны из наших же страниц, прочитанных коротко и без контекста. Лечение понятное: на гео-страницах первым абзацем писать, где офис, а цены разных услуг развести по разным фразам. На 24.09 описание страницы цен ещё прежнее, правка стоит в очереди. Проверим её тем же вопросом в октябрьском замере.
Страница есть, а поисковик её не знает
Все 17 адресов, на которые сослались нейросети, на 22.09 были в индексе и Google, и Яндекса. Обратное не работает: страницы про 200 ГБ, ломбард и Алматы тоже в индексе, но их не взял никто. Индекс здесь входной билет, дальше решает текст.
Google пишет об этом прямо: чтобы стать ссылкой в AI Overviews или AI Mode, страница должна быть проиндексирована и пригодна к показу в поиске со сниппетом, других технических требований нет (документация Google).
Поэтому первым делом мы проверили индекс, до всяких текстов. 17 августа спросили Search Console про каждую русскую страницу через URL Inspection API. Из 79 страниц 27 были вне индекса Google: у 19 статус “URL неизвестен Google”, у 8 “обнаружена, не проиндексирована”. Среди неизвестных оказались страница цен, все три гео-страницы и две трети свежих статей блога. Переписывать их было бессмысленно, читать их было некому.
Причин нашлось две.
Первая: Google последний раз скачал карту сайта 13 августа, и в ней было 127 адресов. Всё добавленное позже для него не существовало. IndexNow тут не спасает, Google его не поддерживает. Карту переотправили через API Search Console, и теперь после каждой партии страниц переотправляем и через неделю смотрим дату скачивания.
Вторая: в сборке было 327 страниц, из них 246 копии на казахском, узбекском и азербайджанском, почти дословно повторяющие русские. Canonical вёл на русскую версию, но canonical убирает страницу из индекса и совсем не мешает её обходить. Молодой домен тратил обход на копии. Копиям поставили noindex, follow, поверхность обхода сократилась с 327 до 135 страниц.
С Bing вышло смешнее. 11 сентября сайта не было в кабинете Bing Webmaster Tools вообще, а главная при этом стояла в индексе с 14 августа. Добавили ресурс, карту Bing обработал в тот же заход: 152 адреса, ошибок 0.
Что робот видит в HTML
Сайт мы проверяли так, как его видит программа без браузера: HTTP-запрос и разбор HTML без выполнения JavaScript. 11 сентября так прошли все 138 адресов карты. У всех ответ 200, один H1, canonical на собственный адрес, ни одного noindex в карте, дублей заголовков нет, структурированные данные разбираются без ошибок. Сайт собирается в статический HTML, поэтому текст, цена и контакты приходят в ответе сервера сразу.
24 сентября повторили на странице услуги Сайт глазами ИИ: цена стоит в HTML текстом три раза, блоков разметки JSON-LD пять.
Про llms.txt. 11 сентября его у нас не было, адрес отдавал 404. Сейчас файл есть: 112 КБ, 180 ссылок и абзац о компании с городом, контактами и условием по ценам. Google при этом пишет, что для его ИИ-функций отдельные машинные файлы не нужны. Пользу llms.txt мы не мерили и пока не знаем чем. Держим его как дешёвый каталог и рычагом не считаем.
Роботы ИИ и robots.txt: файл оказался половиной настройки
У OpenAI разные роботы для поиска и для обучения моделей: OAI-SearchBot и GPTBot (документация OpenAI). Закрыть обучение и оставить поиск можно, но это две разные строки.
11 сентября наш robots.txt запрещал GPTBot и ClaudeBot и не трогал поисковых OAI-SearchBot, PerplexityBot и Claude-SearchBot. Поверх нашего файла Cloudflare дописывал свою вставку, и Яндекс держал по robots рекомендацию. Вставку отключили, в файле осталась одна общая группа.
22 сентября решили открыть и обучающих роботов: хотим, чтобы тексты сайта попадали и в знания моделей, кроме поисковых ответов. Поправили robots.txt, проверили запросами и увидели, что GPTBot, ClaudeBot и CCBot всё равно получают 403. Блокировка стояла на краю Cloudflare, и запрос не доходил до сайта, что бы ни было написано в файле. Сняли её в панели Cloudflare, а Bytespider, Amazonbot и робота Meta заблокировали там по отдельности.
robots.txt описывает намерение, доступ решает то, что стоит перед сайтом. Проверять надо ответ сервера на запрос конкретного робота.
Проверка 24.09 с нашего адреса: GPTBot, ClaudeBot, OAI-SearchBot и PerplexityBot получают 200, Bytespider и Amazonbot 403. Оговорка: запрос с именем робота в заголовке не доказывает, что настоящий робот из сетей оператора пройдёт так же. Что роботы ходят, видно по Cloudflare: за 7 дней до 22.09 ИИ-краулеры сделали 2,38 тыс. запросов, больше всех BingBot (482) и PerplexityBot (419).
Что изменилось по числам
Исправления шли одновременно с выпуском новых страниц: только 11 сентября вышло 8 статей и 6 карточек инструментов. Поэтому рост в таблице нельзя целиком записать на исправления.
| Показатель | Было | Стало |
|---|---|---|
| Страниц в индексе Google | 52 из 79, 17.08 | 134 из 185, 22.09 |
| Русских страниц в поиске Яндекса | 71, 20.08 | 188, 22.09 |
| Google за 28 дней, клики / показы | 84 / 2 340, 12.08-08.09 | 104 / 3 947, 23.08-19.09 |
| Google из Казахстана, клики / показы | 43 / 1 274 | 57 / 2 534 |
| Визиты за 30 дней, Метрика | 359, 27.08 | 639, 24.09 |
Окна Google частично перекрываются, так что это направление, точный прирост отсюда не посчитать. Яндекс на 22.09 держит в поиске все 185 адресов карты.
Доля страниц в индексе Google почти не сдвинулась: с 66 до 72 %. Страниц становится больше, и каждая новая начинает с “неизвестен”. На 22.09 таких 32, и среди них страница услуги “Сайт глазами ИИ”, ради которой написана эта статья. Мы стоим в той же очереди, что и все.
Google отдельно показывает ИИ-отчёт. За 12.08-08.09 ссылки на наш сайт показаны в AI Overviews и AI Mode 396 раз по 70 страницам, больше всех у справочника NCALayer: 83. Это показы ссылок, не переходы и не число ответов, и в общие показы Google они уже входят.
Что до сих пор не знаем
Попадание в ответ нейросети напрямую не измеряется. ИИ-отчёт Google показывает показы ссылок, но текстов ответов в нём нет, и через API его не выгрузить. Bing AI Performance на новом ресурсе 11.09 показывал “No data”, и он касается только Copilot и партнёров Microsoft. ChatGPT и Perplexity отчётов владельцу сайта не дают. Остаётся ручной замер: те же 20 вопросов дословно раз в месяц, следующий в последнюю неделю октября.
Сколько людей пришло к нам из ответа нейросети и написало, мы не знаем. Что даст открытие обучающих роботов 22 сентября, станет видно не раньше, чем выйдут модели, обученные после этой даты. Гарантий цитирования ни одна правка из этой статьи не даёт: источник выбирает помощник, мы можем только убрать то, что ему мешает.
И вопрос, на который у нас пока нет ответа: почему Perplexity на вопрос про Halyk Market отвечает нашей страницей про Kaspi, хотя страница Halyk есть в индексе обоих поисковиков, а Яндекс Нейро её находит?
