Система искусственной поджелудочной железы с обучением с подкреплением. Изображение предоставлено: Гарри Эмерсон.

Ученые из Бристольского университета показали, что обучение с подкреплением, тип машинного обучения, при котором компьютерная программа учится принимать решения, пробуя различные действия, значительно превосходит коммерческие контроллеры уровня глюкозы в крови с точки зрения безопасности и эффективности. Используя автономное обучение с подкреплением, когда алгоритм учится на историях пациентов, исследователи улучшают предыдущую работу, показывая, что хороший контроль уровня глюкозы в крови может быть достигнут путем обучения на основе решений пациента, а не методом проб и ошибок.

Диабет 1 типа является одним из наиболее распространенных аутоиммунных заболеваний в Великобритании и характеризуется недостаточностью гормона инсулина, отвечающего за регуляцию уровня глюкозы в крови.

На уровень глюкозы в крови человека влияет множество факторов, поэтому выбор правильной дозы инсулина для данного сценария может оказаться сложной и обременительной задачей. Современные устройства искусственной поджелудочной железы обеспечивают автоматическое дозирование инсулина, но их возможности ограничены упрощенными алгоритмами принятия решений.

Однако новое исследование, опубликованное в Журнал биомедицинской информатики, показывает, что автономное обучение с подкреплением может стать важной вехой в уходе за людьми, живущими с этим заболеванием. Наибольшее улучшение наблюдалось у детей, которые испытывали дополнительные полтора часа в целевом диапазоне уровня глюкозы в день.

Дети представляют собой особенно важную группу, поскольку они часто не могут справиться со своим диабетом без посторонней помощи, и улучшение этого показателя может привести к заметному улучшению долгосрочных результатов в отношении здоровья.

Ведущий автор Гарри Эмерсон из Бристоля Кафедра инженерной математикиобъяснил: «Мое исследование изучает, можно ли использовать обучение с подкреплением для разработки более безопасных и эффективных стратегий дозирования инсулина.

«Эти алгоритмы, основанные на машинном обучении, продемонстрировали сверхчеловеческую производительность в игре в шахматы и вождении беспилотных автомобилей, и поэтому могут реально научиться выполнять высоко персонализированную дозировку инсулина на основе предварительно собранных данных об уровне глюкозы в крови.

«Эта конкретная часть работы посвящена обучению с подкреплением в автономном режиме, в котором алгоритм учится действовать, наблюдая за примерами хорошего и плохого контроля уровня глюкозы в крови.

«Предварительные методы обучения с подкреплением в этой области преимущественно используют процесс проб и ошибок для выявления хороших действий, которые могут подвергнуть реального пациента воздействию небезопасных доз инсулина».

Из-за высокого риска, связанного с неправильным дозированием инсулина, эксперименты проводились с использованием одобренного FDA симулятора UVA/Padova, который создает набор виртуальных пациентов для тестирования алгоритмов контроля диабета 1 типа. Современные автономные алгоритмы обучения с подкреплением оценивались по сравнению с одним из наиболее широко используемых алгоритмов управления искусственной поджелудочной железой. Это сравнение проводилось среди 30 виртуальных пациентов (взрослых, подростков и детей) и учитывало данные за 7000 дней, при этом эффективность оценивалась в соответствии с текущими клиническими рекомендациями. Симулятор также был расширен, чтобы учитывать реалистичные проблемы реализации, такие как ошибки измерения, неверная информация о пациенте и ограниченное количество доступных данных.

Эта работа обеспечивает основу для продолжения исследований обучения с подкреплением в области контроля уровня глюкозы; демонстрируя потенциал подхода для улучшения состояния здоровья людей с диабетом 1 типа, подчеркивая при этом недостатки метода и области, требующие дальнейшего развития.

Конечная цель исследователей — внедрить обучение с подкреплением в реальных системах искусственной поджелудочной железы. Эти устройства работают под ограниченным надзором пациента и, следовательно, потребуются существенные доказательства безопасности и эффективности для получения одобрения регулирующих органов.

Гарри добавил: «Это исследование демонстрирует потенциал машинного обучения для изучения эффективных стратегий дозирования инсулина на основе предварительно собранных данных о диабете 1 типа. Исследуемый метод превосходит один из наиболее широко используемых коммерческих алгоритмов искусственной поджелудочной железы и демонстрирует способность использовать привычки человека и планировать более быстрое реагирование на опасные события».