Новое исследование предлагает систему для определения относительной точности прогностического ИИ в гипотетических медицинских условиях, а также когда система должна полагаться на врача-человека.
Искусственный интеллект (ИИ) обладает огромным потенциалом для улучшения работы людей в различных отраслях. Но чтобы интегрировать инструменты ИИ в рабочее место безопасным и ответственным образом, нам необходимо разработать более надежные методы для понимания того, когда они могут быть наиболее полезными.
Итак, когда ИИ более точен, а когда человек? Этот вопрос особенно важен в здравоохранении, где прогнозирующий ИИ все чаще используется в задачах с высокими ставками для помощи клиницистам.
Сегодня в Природная медицинамы опубликовали нашу совместную статью с Google Research, в которой предлагается CoDoC (отсрочка до клинического рабочего процесса, основанная на комплементарности), система ИИ, которая учится, когда следует полагаться на прогностические инструменты ИИ или полагаться на врача для наиболее точной интерпретации. медицинские изображения.
CoDoC исследует, как мы можем использовать сотрудничество человека и ИИ в гипотетических медицинских учреждениях для достижения наилучших результатов. В одном примере сценария CoDoC сократил количество ложноположительных результатов на 25 % для большого набора обезличенных данных маммографии в Великобритании по сравнению с широко используемыми клиническими рабочими процессами — без пропуска ни одного истинно положительного результата.
Эта работа является результатом сотрудничества с несколькими организациями здравоохранения, в том числе с Партнерством «Остановить туберкулез» Управления ООН по проектным услугам. Чтобы помочь исследователям развить нашу работу по повышению прозрачности и безопасности моделей ИИ для реального мира, мы также открыли исходный код. Код CoDoC на GitHub.
CoDoC: дополнительный инструмент для совместной работы человека и ИИ
Создание более надежных моделей ИИ часто требует перестройки сложных внутренних механизмов прогнозирующих моделей ИИ. Однако для многих поставщиков медицинских услуг просто невозможно перепроектировать прогностическую модель ИИ. CoDoC потенциально может помочь улучшить прогностические инструменты ИИ для своих пользователей, не требуя от них модификации самого базового инструмента ИИ.
При разработке CoDoC у нас было три критерия:
- Специалисты, не занимающиеся машинным обучением, такие как медицинские работники, должны иметь возможность развертывать систему и запускать ее на одном компьютере.
- Для обучения потребуется относительно небольшой объем данных — обычно всего несколько сотен примеров.
- Система может быть совместима с любыми проприетарными моделями ИИ, и ей не потребуется доступ к внутренней работе модели или данным, на которых она обучалась.
Определение того, когда прогнозирующий ИИ или клиницист более точен
С CoDoC мы предлагаем простую и удобную систему искусственного интеллекта для повышения надежности, помогая системам прогнозирующего искусственного интеллекта «знать, когда они не знают». Мы рассмотрели сценарии, в которых клиницист может иметь доступ к инструменту ИИ, предназначенному для помощи в интерпретации изображения, например, для изучения рентгенографии грудной клетки на предмет необходимости теста на туберкулез.
Для любой теоретической клинической ситуации системе CoDoC требуется только три входа для каждого случая в обучающем наборе данных.
- Прогнозирующий ИИ выводит оценку достоверности от 0 (определенно, что болезнь отсутствует) до 1 (определенно, что болезнь присутствует).
- Клиницистская интерпретация медицинского изображения.
- Основная истина о том, присутствовало ли заболевание, как, например, установленное с помощью биопсии или другого клинического наблюдения.
Примечание. CoDoC не требует доступа к каким-либо медицинским изображениям..
CoDoC учится устанавливать относительную точность прогностической модели ИИ по сравнению с интерпретацией клиницистов, а также то, как эта взаимосвязь колеблется в зависимости от показателей достоверности прогностического ИИ.
После обучения CoDoC может быть включен в гипотетический будущий клинический рабочий процесс с участием как ИИ, так и врача. Когда новое изображение пациента оценивается прогностической моделью искусственного интеллекта, связанная с ним оценка достоверности передается в систему. Затем CoDoC оценивает, приведет ли в конечном итоге к наиболее точной интерпретации принятие решения ИИ или обращение к врачу.
Повышенная точность и эффективность
Наше всестороннее тестирование CoDoC с несколькими наборами данных реального мира, включая только исторические и обезличенные данные, показало, что сочетание лучшего человеческого опыта и прогнозирующего ИИ приводит к большей точности, чем с каждым из них по отдельности.
Помимо снижения на 25 % числа ложных срабатываний для набора данных маммографии, в гипотетических симуляциях, в которых ИИ разрешалось действовать автономно в определенных случаях, CoDoC смог сократить количество случаев, которые должен был прочитать врач, на два. трети. Мы также показали, как CoDoC может гипотетически улучшить сортировку рентгенограмм грудной клетки для дальнейшего тестирования на туберкулез.
Ответственная разработка ИИ для здравоохранения
Хотя эта работа является теоретической, она показывает потенциал нашей системы искусственного интеллекта для адаптации: CoDoC удалось повысить производительность при интерпретации медицинских изображений для различных демографических групп, клинических условий, используемого медицинского оборудования для визуализации и типов заболеваний.
CoDoC — многообещающий пример того, как мы можем использовать преимущества ИИ в сочетании с человеческими силами и опытом. Мы работаем с внешними партнерами, чтобы тщательно оценить наши исследования и потенциальные преимущества системы. Чтобы безопасно внедрить такие технологии, как CoDoC, в реальные медицинские учреждения, поставщики медицинских услуг и производители также должны будут понять, как врачи по-разному взаимодействуют с ИИ, и проверить системы с помощью конкретных медицинских инструментов и настроек ИИ.
Узнайте больше о CoDoC: