Когда ИИ читает скан счёта, он может правильно узнать цифры и выбрать неправильное поле. В документе рядом стоят номер заказа, номер счёта и итог. Все три значения могут выглядеть правдоподобно. Я проверил на учебном примере, что можно поймать до переноса данных в таблицу, если требовать от распознавания не только значение, но и ссылку на исходную строку.

Учебный результат

Я взял вымышленные данные: на первой странице номер заказа 2301, на второй номер счёта 817 и итог 9 800 рублей. Смоделировал четыре ответа распознавания. Только у одного значение и роль совпали с источником. Ещё в одном цифры были скопированы точно, но номер заказа выдали за итог счёта. Два остальных ответа указали несуществующую строку и неверную сумму. Локальная проверка приняла один ответ и отправила три на разбор. Она не запускала AWS и не измеряла качество OCR.

Что проверял

Сначала у каждого поля фиксировал три составляющие: значение, страницу и строку с названием поля. Затем сверял их отдельно:

  1. Есть ли строка. Если текст указывает на страницу 9, а скан состоит из двух страниц, такое значение не переносится в таблицу.
  2. Та ли роль у поля. «Номер заказа» может быть действительно равен 2301. Это не делает его суммой счёта.
  3. Совпадает ли значение. Если строка «Итого» содержит 9800, а извлечено 8900, совпадение роли не помогает.

При провале любого шага в результате оставляю причину. Тогда оператор открывает конкретную строку и видит, что именно проверить. Отдельный статус полезнее, чем один общий флаг «низкая уверенность»: в первом случае не хватает исходного фрагмента, а во втором он есть, но его неправильно интерпретировали.

Что попросить у помощника

Для каждого поля можно попросить вернуть название, значение, номер страницы и короткий фрагмент, откуда взято значение. В инструкции полезно отдельно указать: «Если фрагмент не найден, оставь значение пустым. Не подставляй ближайшее число». Страницу и фрагмент нужно проверять по исходнику. Ответ модели об уверенности сам по себе не подтверждает ни наличие, ни смысл строки.

Для нового шаблона документа я бы сначала собрал несколько разрешённых примеров с вручную отмеченными полями. В набор стоит включать случаи, когда на странице есть и заказ, и счёт, и итоги по отдельным позициям. Так можно увидеть, как процесс ведёт себя на похожих полях, а не только на самом простом скане. Сложные случаи оставляю в наборе проверок даже после исправления инструкции.

Где пригодится этот подход

В анонсе Textract Insights AWS описывает привязку извлечённых полей к месту на странице. Эта возможность упрощает последующую проверку, но правила переноса данных всё равно зависят от нашей задачи. В разобранном примере я проверял эту логику на искусственном результате, не подключая сервис и не отправляя документы вовне.

Разбор новости и ссылка на первоисточник в Jarvis News.

Текст подготовлен с помощью ИИ. Числа выше относятся к описанному учебному тесту.