Цель AIMultiple — помочь предприятиям определить правильный OCR для своего бизнеса. Этим предприятиям следует рассчитывать на обработку больших объемов (т. е. не менее десятков тысяч страниц в месяц) документов и изображений.

Каковы будут руководящие принципы?

Методология сравнительного анализа AIMultiple предназначена для объективной и прозрачной оценки. В нем также разъясняются требования к участию.

Что будет бенчмаркироваться?

Извлечение текста на английском языке из документов и изображений.

Ожидается, что набор данных будет включать 500 страниц:

• 300 страниц полных PDF-документов (например, технических руководств, технических документов, контрактов), содержащих текст в виде изображения. Будут использоваться PDF-файлы разной степени разборчивости. PDF-файлы будут собираться онлайн.
• 100 страниц транзакционных документов (например, счета-фактуры и квитанции). Они будут собраны онлайн и выбраны из документов AIMultiple и его партнеров.
• 100 страниц рукописных документов (например, квитанции, формы страховых требований). Они будут собраны онлайн и выбраны из документов AIMultiple и его партнеров.

В некоторых документах части документа будут изменены в цифровом виде для защиты PII.

Как AIMultiple будет выполнять тест?

Тест AIMultiple OCR направлен на точное соответствие предпочтениям покупателей OCR. Им нужно гибкое и экономичное решение. Поэтому AIMultiple будет измерять следующие показатели:

Точность

Он будет измеряться косинусное сходство. Мы не будем использовать расстояние Левенштейна, потому что разные продукты выводят тексты в разном порядке, особенно в случае многоколоночного текста. Хотя расстояние Левенштейна учитывает эти позиционные различия, нас интересует, насколько точно обнаруживается текст, а не то, где он расположен.

Скорость

Будут измеряться среднее время отклика и распределение времени отклика. Для каждой страницы будет разрешено не более 5 секунд времени обработки и передачи данных.

Масштабируемость

Одни и те же показатели могут быть протестированы с фиксированным количеством одновременных подключений. Этот показатель может быть одинаковым для всех провайдеров (т. е. одновременные соединения не могут замедлять обработку). В таком случае AIMultiple может не публиковать результаты для этой метрики.

Расходы

Общедоступные данные о затратах, опубликованные поставщиками, будут использоваться для расчета стоимости эталона. Модели ценообразования поставщиков также будут доступны, чтобы помочь покупателям сравнить цены на различные грузы.

Обслуживание клиентов

Отзывы на платформах обзоров B2B будут проанализированы для оценки удовлетворенности клиентов.

Как будут опубликованы результаты?

Они будут опубликованы на AIMultiple.com и будут содержать графики, которые пользователи смогут использовать для поиска подходящего поставщика для своего бизнеса. Будут представлены три лучших поставщика в каждой из вышеперечисленных категорий.

Каждый участник получит

• их подробные результаты для каждого документа и страницы вместе с отметками времени
• средние результаты для каждого документа и страницы
• набор данных

Обратите внимание, что AIMultiple находится на этапе разработки эталонного теста, и изменения будут внесены по мере того, как AIMultiple получит отзывы конечных пользователей и завершит тест.

Свяжитесь с командой AIMultiple по (электронная почта защищена), если вы хотите принять участие в тесте AIMultiple OCR.

Поделись LinkedIn

Джем является главным аналитиком AIMultiple с 2017 года. AIMultiple ежемесячно информирует сотни тысяч компаний (по данным SimilarWeb), включая 55% компаний из списка Fortune 500.

Работа Джема цитируется ведущими мировыми изданиями, в том числе Бизнес-инсайдерФорбс, Вашингтон постглобальные фирмы, такие как Делойт, HPE и НПО, такие как Всемирный Экономический Форум и наднациональные организации, такие как Европейская комиссия. Вы можете увидеть больше авторитетных компаний и ресурсов, которые ссылались на AIMultiple.

На протяжении всей своей карьеры Джем работал техническим консультантом, закупщиком технологий и предпринимателем в области технологий. Более десяти лет он консультировал предприятия по их технологическим решениям в McKinsey & Company и Altman Solon. Он также опубликовал отчет McKinsey по цифровизации.

Он руководил технологической стратегией и закупками телекоммуникационных компаний, подчиняясь генеральному директору. Он также руководил коммерческим ростом компании Hypatos, занимающейся глубокими технологиями, которая достигла 7-значного годового постоянного дохода и 9-значной оценки от 0 в течение 2 лет. Работа Джема в Hypatos освещалась ведущими технологическими изданиями, такими как TechCrunch нравиться Бизнес-инсайдер.

Джем регулярно выступает на международных технологических конференциях. Он окончил Университет Богазичи по специальности инженер-компьютерщик и имеет степень магистра делового администрирования Колумбийской школы бизнеса.