Skip Navigation
InitialsDiceBearhttps://github.com/dicebear/dicebearhttps://creativecommons.org/publicdomain/zero/1.0/„Initials” (https://github.com/dicebear/dicebear) by „DiceBear”, licensed under „CC0 1.0” (https://creativecommons.org/publicdomain/zero/1.0/)СЕ
Сергей
Как проверять поля из сканов: у цифры должна быть страница и роль

Когда ИИ читает скан счёта, он может правильно узнать цифры и выбрать неправильное поле. В документе рядом стоят номер заказа, номер счёта и итог. Все три значения могут выглядеть правдоподобно. Я проверил на учебном примере, что можно поймать до переноса данных в таблицу, если требовать от распознавания не только значение, но и ссылку на исходную строку.

Учебный результат

Я взял вымышленные данные: на первой странице номер заказа 2301, на второй номер счёта 817 и итог 9 800 рублей. Смоделировал четыре ответа распознавания. Только у одного значение и роль совпали с источником. Ещё в одном цифры были скопированы точно, но номер заказа выдали за итог счёта. Два остальных ответа указали несуществующую строку и неверную сумму. Локальная проверка приняла один ответ и отправила три на разбор. Она не запускала AWS и не измеряла качество OCR.

Что проверял

Сначала у каждого поля фиксировал три составляющие: значение, страницу и строку с названием поля. Затем сверял их отдельно:

  1. Есть ли строка. Если текст указывает на страницу 9, а скан состоит из двух страниц, такое значение не переносится в таблицу.
  2. Та ли роль у поля. «Номер заказа» может быть действительно равен 2301. Это не делает его суммой счёта.
  3. Совпадает ли значение. Если строка «Итого» содержит 9800, а извлечено 8900, совпадение роли не помогает.

При провале любого шага в результате оставляю причину. Тогда оператор открывает конкретную строку и видит, что именно проверить. Отдельный статус полезнее, чем один общий флаг «низкая уверенность»: в первом случае не хватает исходного фрагмента, а во втором он есть, но его неправильно интерпретировали.

Что попросить у помощника

Для каждого поля можно попросить вернуть название, значение, номер страницы и короткий фрагмент, откуда взято значение. В инструкции полезно отдельно указать: «Если фрагмент не найден, оставь значение пустым. Не подставляй ближайшее число». Страницу и фрагмент нужно проверять по исходнику. Ответ модели об уверенности сам по себе не подтверждает ни наличие, ни смысл строки.

Для нового шаблона документа я бы сначала собрал несколько разрешённых примеров с вручную отмеченными полями. В набор стоит включать случаи, когда на странице есть и заказ, и счёт, и итоги по отдельным позициям. Так можно увидеть, как процесс ведёт себя на похожих полях, а не только на самом простом скане. Сложные случаи оставляю в наборе проверок даже после исправления инструкции.

Где пригодится этот подход

В анонсе Textract Insights AWS описывает привязку извлечённых полей к месту на странице. Эта возможность упрощает последующую проверку, но правила переноса данных всё равно зависят от нашей задачи. В разобранном примере я проверял эту логику на искусственном результате, не подключая сервис и не отправляя документы вовне.

Разбор новости и ссылка на первоисточник в Jarvis News.

Текст подготовлен с помощью ИИ. Числа выше относятся к описанному учебному тесту.

Читать далее
Как с Codex проверить счётчик публикаций: по карточкам было 6, а вышло 2

Когда ИИ собирает сводку из журнала, самая простая команда звучит как «посчитай опубликованное». Но журнал может хранить несколько событий на статью: подготовили черновик, отправили, увидели адрес, ещё раз открыли страницу. Если считать строки, один выпуск легко превращается в два или три. Я проверил этот случай с Codex на небольшом учебном наборе. Все идентификаторы и адреса в примере вымышлены.

Результат

На входе шесть строк: одна на уровне черновика, одна принятая, одна с неизвестным исходом и три публичные проверки. Две проверки относятся к одной статье на одной площадке. У другой площадки встречается тот же короткий номер статьи. На выходе — два уникальных публичных выпуска. Для каждого известна площадка, а адрес хранится отдельно от статуса.

Метод

Сначала я описал помощнику правило. В зачёт попадает только запись с подтверждённым открытым чтением, площадкой, нативным ID и адресом статьи. Ключ подсчёта — пара «площадка, ID». Испытательные URL относятся к зоне example, чтобы код ничего не отправлял и не обращался к реальным площадкам.

Для такой сверки ИИ полезен при подготовке пограничных примеров и формулировке проверки. Сам счётчик лучше оставить обычному коду: на одинаковом журнале он должен каждый раз выдавать одинаковые числа.

Проверка на Python

rows = [
    ("alpha", "10", "", "DRAFT"),
    ("alpha", "11", "https://alpha.example/11", "ACCEPTED"),
    ("alpha", "12", "", "UNKNOWN"),
    ("alpha", "13", "https://alpha.example/13", "PUBLIC_VERIFIED"),
    ("alpha", "13", "https://alpha.example/13", "PUBLIC_VERIFIED"),
    ("beta", "13", "https://beta.example/13", "PUBLIC_VERIFIED"),
]

verified = {
    (platform, native_id): url
    for platform, native_id, url, status in rows
    if status == "PUBLIC_VERIFIED" and platform and native_id and url
}
assert len(verified) == 2
assert set(verified) == {("alpha", "13"), ("beta", "13")}
print(len(rows), "строк →", len(verified), "публичных выпуска")  

Запуск напечатал «6 строк → 2 публичных выпуска». У строки в состоянии ACCEPTED уже есть похожий на постоянный адрес. Именно поэтому тест полезен: наличие ссылки само по себе ничего не добавляет к счётчику.

Что вынести в отчёт

В сводке я бы показывал два числа: подтверждённые выпуски и отправки, которые ещё требуют сверки. Три строки с непринятым или непроверенным состоянием также различаются по следующим действиям. Черновик ждёт редактуры, принятая публикация — публичной проверки, а неизвестный исход сначала нужно сверить по записанным данным об отправке. Из неизвестного исхода нельзя автоматически делать вывод, что пора отправлять повторно.

Если ведёшь дневной отчёт, отдельно добавь к проверке фактическую дату выхода и политику часового пояса. Старая публикация может получить новое подтверждение в понедельник, но её выпуск от этого не становится понедельничным. В примере все события относятся к одному условному дню, поэтому даты опущены.

О похожем принципе — как проверять результат шага автоматизации перед продолжением — в выпуске Jarvis News.

Текст и тест подготовлены с помощью Codex. Пример выполнен на синтетических данных.

Читать далее
Как с Codex проверить отчёт, в котором средняя сделка заняла 40 дней

В учебном наборе из пяти сделок средняя длительность — 40 дней. При этом четыре сделки закрылись за 12 дней или быстрее. Мы собрали в Codex короткую проверку на Python, чтобы понять, откуда взялась разница и какую фразу можно оставить в отчёте.

Это редакционный эксперимент на вымышленных данных. Мы запустили скрипт и проверили его вывод. Реальные записи из CRM не использовали, качество разных моделей не сравнивали.

Что показала проверка

Пять сделок заняли 9, 10, 11, 12 и 158 дней. Среднее получилось 40: 200 дней делим на 5 сделок. Медиана — 11, потому что это число стоит посередине упорядоченного ряда. Диапазон — от 9 до 158 дней.

В исходном наборе одна длинная сделка даёт 158 из 200 дней. Среднее учитывает и её, поэтому отвечает на вопрос «Сколько дней приходится на одну сделку, если распределить общую длительность поровну?». На вопрос «Сколько времени заняли центральные наблюдения?» лучше отвечать медианой и показывать, из скольких строк она получилась.

Самая полезная проверка оказалась простой: посчитать, сколько строк укладывается в 12 дней. Ответ «4 из 5» сразу показывает, почему фраза «обычная сделка длилась 40 дней» вводит читателя в заблуждение, хотя среднее посчитано верно.

Как повторить с Codex

Попроси помощника: «Напиши короткую проверку на Python. Вход: [9, 10, 11, 12, 158]. Выведи размер выборки, среднее, медиану, минимум и максимум, а также число сделок до 12 дней включительно. Не удаляй длинную сделку. Если проверяешь результат без неё, покажи его отдельно. Для пустого набора не возвращай нулевую длительность».

Основные расчёты занимают несколько строк. Их можно запустить локально с обычным Python:

from statistics import mean, median

days = [9, 10, 11, 12, 158]
print(len(days), mean(days), median(days), min(days), max(days))
print(sum(d <= 12 for d in days))

Первая строка вывода: 5, 40, 11, 9, 158. Вторая: 4. Код удобен тем, что исходные числа и способ расчёта видны рядом с ответом. Можно поменять набор и снова выполнить те же действия.

Зачем проверять отчёт без длинной сделки

Мы прогнали отдельную выборку из четырёх коротких сделок. В ней и среднее, и медиана равны 10,5 дня. Это показывает, насколько итог зависит от одной строки, но не даёт основания её удалять. Сначала нужно сверить даты и понять, не поменялось ли определение длительности. Если 158 дней записаны верно, эта сделка остаётся в основном расчёте.

Ещё проверили пустой набор: для него скрипт не выводит среднее и медиану. Ноль дней выглядел бы как результат измерения, хотя измерять было нечего. Перестановка строк в контрольной выборке тоже не изменила результат.

Что написать в отчёте

Для этих данных подойдёт такая формулировка: «Из пяти завершённых сделок четыре заняли не больше 12 дней. Медиана — 11 дней, среднее — 40, диапазон — 9–158». По пяти закрытым сделкам нельзя оценить сроки по всем открытым обращениям. Перед переносом метода на рабочий отчёт стоит проверить, от какой даты считается длительность: от первого контакта, квалификации или выставления счёта.

Другие разборы работы с ИИ — в Jarvis News.

Читать далее
Top This Month