В одной автоматизации правило для ответа клиенту может начинаться с простого условия: если в сообщении есть «купить», предложить оформление заказа. Я проверил с Codex, сколько лишних предложений даст такое правило на пяти вымышленных сообщениях. Ни клиентов, ни модель классификации в тесте не подключал.

Что вышло в тесте

Взял пять сообщений: «Хочу купить», «Не хочу купить», «Где кнопка „купить“?», «Не подскажете, как купить?» и «Клиент написал: „Хочу купить“». Сначала вручную присвоил им разные роли: запрос покупки, отказ, вопрос об интерфейсе, просьба об инструкции и пересказ чужого запроса.

Затем проверил каждую строку поиском слова с границами. Код на Python нашёл «купить» во всех пяти сообщениях. Прямой запрос покупки был один. Если бы этот флаг управлял ответом с оформлением, неуместное предложение появилось бы в четырёх из пяти учебных случаев. Это результат проверки выбранного правила на конкретных строках. Он ничего не говорит о точности моделей или доле таких запросов в настоящей переписке.

Что передать помощнику

В инструкции я бы задал отдельно значение сообщения и следующий допустимый шаг. Прямой запрос может открыть диалог об оформлении. Вопрос про кнопку требует подсказать, где её найти. Вопрос «как купить» требует объяснения процедуры. Отказ надо принять. Цитату стоит разобрать вместе с остальной репликой, потому что её автор и собеседник могут быть разными людьми.

Для первого прогона удобно попросить помощника возвращать три поля: намерение, подтверждающую фразу и предполагаемое действие. Если он пишет «готов купить», а в доказательство приносит «не хочу купить», расхождение видно сразу. Если действие требует отдельного подтверждения, классификатор сам этого подтверждения не выдаёт. На этапе проверки можно вообще отключить отправку и смотреть только на подготовленные ответы.

Как расширить проверку

Я бы добавил ответы из двух реплик. Например, после отказа собеседник может спросить цену другого товара, а после инструкции о покупке уточнить, где кнопка на телефоне. Последнее сообщение иногда невозможно классифицировать отдельно от предыдущего. Поэтому тесту полезно передавать ровно тот контекст, который увидит помощник на рабочем месте.

Есть ещё одна граница: частица «не» встречается и в отказе, и в вежливой просьбе «не подскажете». Запрет по одному слову даст новую ошибку. После настройки я бы оставил несколько заранее размеченных фраз для отложенной проверки и сравнил не только категории, но и действия. Если система всё равно предлагает оформление в ответ на вопрос об интерфейсе, нужно разбирать связь между категорией и действием, даже когда категория в журнале выглядит правдоподобно.

Тест проведён на вымышленных фразах. Текст подготовлен с помощью Codex.Больше разборов инструментов ИИ — Jarvis News.