Нейросеть выдумывает факты: как проверить ответ ChatGPT и Claude

Нейросеть ответила быстро и уверенно: с цифрами, датой и ссылкой на правило. Вы вставили это в пост или отправили клиенту, а потом выяснилось, что такого правила нет. Модель не врала нарочно, она просто собрала правдоподобный текст из обрывков. Ловить такие выдумки можно без технических знаний, нужен только порядок проверки.

Почему нейросеть выдумывает факты

Языковая модель вроде ChatGPT или Claude устроена как очень начитанный автодополнитель. Она продолжает текст так, как он «обычно» продолжается. Когда нужных сведений в её памяти нет или они смутные, модель не останавливается, а дописывает то, что звучит похоже на правду. Такие ошибки называют галлюцинациями.

Есть и вторая причина. У модели есть дата, до которой она училась, и про всё, что поменялось позже, она может знать неточно или не знать совсем. Тарифы, правила площадок, законы и функции сервисов меняются часто, поэтому здесь ошибок больше всего.

Режим поиска в интернете помогает, но не спасает полностью. Модель может взять устаревшую страницу, неправильно понять таблицу или смешать два источника в один ответ.

Где нейросеть ошибается чаще всего

Не каждое предложение требует проверки. Вот типы данных, на которых выдумки встречаются чаще и обходятся дороже.

Как проверить ответ нейросети: пошагово

Эта схема занимает несколько минут и подходит для любой нейросети. На простых вопросах часть шагов можно пропустить, на денежных и юридических лучше пройти все.

1. Разложите ответ на утвержденияПопросите модель выписать списком все факты из своего ответа. Так сразу видно, что именно нужно проверять, а что просто связующий текст.
2. Попросите источник к каждому фактуПусть нейросеть укажет, откуда она это взяла, и честно отметит места, где источника нет.
3. Откройте ссылки самиСамая частая ловушка. Ссылка может не открываться, вести на главную страницу или говорить совсем о другом.
4. Пересчитайте цифрыЛюбую сумму, процент или срок проверьте в калькуляторе или таблице. Модели ошибаются в арифметике чаще, чем кажется.
5. Спросите то же самое другими словамиЕсли на перефразированный вопрос пришёл другой ответ, значит, модель не уверена и угадывает.
6. Сверьтесь с первоисточникомДля денег, налогов, здоровья и правил площадок решение принимайте только по официальному документу, а ответ нейросети используйте как подсказку, где искать.

Первые два шага удобно сделать одним запросом в том же чате, сразу после ответа.

Выпиши списком все проверяемые утверждения из своего предыдущего ответа: цифры, даты, названия, законы, правила, цитаты, ссылки.
Для каждого укажи:
1) источник, откуда это известно (если источника нет, напиши «источник не знаю»);
2) уверенность: высокая, средняя или низкая;
3) могло ли это измениться после даты твоего обучения.
Ничего не додумывай. Если не уверен, так и пиши.

Ответ на этот промпт тоже не истина в последней инстанции. Зато он показывает слабые места: всё, что помечено низкой уверенностью или «источник не знаю», проверяйте в первую очередь.

Перекрёстная проверка второй нейросетью

Ещё один быстрый фильтр – отдать ответ другой модели и попросить найти ошибки. Если у вас есть доступ к двум сервисам, например к ChatGPT и Claude, вставьте текст из одного в другой. Совпадение ответов не доказательство, обе модели могут ошибиться одинаково. А вот расхождение – точный сигнал, что пора идти к первоисточнику.

Ниже ответ другой нейросети на вопрос: [ВАШ ВОПРОС].
Проверь его как строгий редактор-фактчекер:
– найди утверждения, которые выглядят сомнительно, устарели или противоречат друг другу;
– отдельно отметь цифры и ссылки, которые нужно проверить по первоисточнику;
– для каждого пункта напиши, где это лучше проверить (официальный сайт, закон, справка сервиса).
Не переписывай ответ целиком, только список замечаний.

Ответ:
[ВСТАВЬТЕ ТЕКСТ]

Как снизить выдумки ещё до ответа

Проверять проще, когда ошибок с самого начала меньше. Вот что реально помогает.

• Дайте материал. Вставьте в чат текст документа, страницу справки или выгрузку и попросите отвечать только по нему. Тогда модели не нужно вспоминать, она пересказывает то, что у неё перед глазами.
• Разрешите сказать «не знаю». Без такого разрешения модель старается ответить хоть что-нибудь.
• Уточните дату и страну. «Правила для продавцов в России на ноябрь 2026 года» даёт меньше путаницы, чем просто «какие правила».
• Включите поиск, если он есть в сервисе, и попросите прикладывать ссылку к каждому факту. Но ссылки всё равно откройте сами.

Ответь на вопрос, используя только текст ниже. Не добавляй сведения из своей памяти.
Если в тексте нет ответа, напиши: «В документе этого нет».
К каждому утверждению в ответе добавь короткую цитату из документа, на которую опираешься.

Вопрос: [ВАШ ВОПРОС]

Документ:
[ВСТАВЬТЕ ТЕКСТ ДОКУМЕНТА]

Пример: проверяем ответ про комиссию маркетплейса

Допустим, селлер спрашивает у нейросети, какая комиссия Wildberries в его категории, и получает конкретный процент. Ответ выглядит убедительно: категория названа правильно, рядом даже есть пояснение про логистику.

Что здесь не так. Комиссии площадок меняются, а модель знает их в лучшем случае на дату своего обучения. Если поставить такой процент в расчёт юнит-экономики, ошибка тихо уйдёт в цену, рекламный бюджет и итоговую прибыль. Правильный ход – использовать ответ как подсказку, какие статьи расходов учесть, а сами цифры взять из личного кабинета продавца на сегодняшнюю дату.

[ЗДЕСЬ МОЖНО ДОБАВИТЬ ЛИЧНЫЙ КЕЙС/ЦИФРЫ]

Тот же принцип работает с налогами, сроками маркировки, требованиями к сертификатам и правилами рекламы. Нейросеть хорошо объясняет, как устроена тема, и плохо знает свежие цифры.

Когда проверка обязательна, а когда можно расслабиться

Простое правило: чем дороже ошибка, тем ближе к первоисточнику должна быть проверка. Про то, какие задачи вообще разумно отдавать ИИ, мы подробно писали в статье «ИИ-агенты: что поручить нейросети, а что оставить себе».

Чек-лист перед тем, как использовать ответ

• Я понимаю, какие утверждения в ответе фактические, а какие – просто рассуждения
• Каждую цифру я пересчитал(а) или нашёл(ла) в первоисточнике
• Все ссылки открываются и говорят то же, что пересказала нейросеть
• Тарифы, комиссии и правила сверены на текущую дату
• Цитаты найдены в оригинале
• Если две нейросети ответили по-разному, я выяснил(а), кто прав

Проверка ответов – базовый навык, с которого начинается спокойная работа с нейросетями. Если хочется разобраться в этом системно, с практикой на своих задачах, такие темы мы разбираем на занятиях в клубе «Селлериум».

Частые вопросы

Нейросеть отлично ускоряет работу, пока вы относитесь к её ответу как к черновику толкового помощника, а не как к справке. Сохраните промпт «разобрать ответ на факты» и прогоните через него следующий важный ответ: с первого раза станет видно, где модель уверена, а где угадывает.