Выстраивание ответственного подхода к сбору данных с Партнерством по ИИ
Наша цель в DeepMind — убедиться, что все, что мы делаем, соответствует самым высоким стандартам безопасности и этики в соответствии с нашими Принципами работы. Одним из наиболее важных моментов, с которого все начинается, является то, как мы собираем наши данные. За последние 12 месяцев мы сотрудничали с Партнерство по ИИ (PAI), чтобы тщательно рассмотреть эти проблемы и совместно разработать стандартизированные передовые методы и процессы для ответственного сбора данных о людях.
Сбор данных о людях
Более трех лет назад мы создали наш Комитет по этике исследований поведения человека (HuBREC), руководящую группу, созданную по образцу советов академических учреждений (IRB), таких как те, которые существуют в больницах и университетах, с целью защиты достоинства, прав и благополучие людей, участвующих в наших исследованиях. Этот комитет наблюдает за поведенческими исследованиями, включающими эксперименты с людьми в качестве предмета изучения, например, изучение того, как люди взаимодействуют с системами искусственного интеллекта (ИИ) в процессе принятия решений.
Наряду с проектами, связанными с поведенческими исследованиями, сообщество ИИ все чаще занимается «обогащением данных» — задачами, выполняемыми людьми для обучения и проверки моделей машинного обучения, таких как маркировка данных и оценка моделей. В то время как поведенческие исследования часто полагаются на добровольных участников, которые являются предметом изучения, обогащение данных предполагает, что людям платят за выполнение задач, которые улучшают модели ИИ.
Эти типы задач обычно выполняются на краудсорсинговых платформах, часто поднимая этические соображения, связанные с оплатой труда, социальным обеспечением и справедливостью, в которых может отсутствовать необходимое руководство или системы управления для обеспечения соблюдения достаточных стандартов. По мере того, как исследовательские лаборатории ускоряют разработку все более сложных моделей, доверие к методам обогащения данных, вероятно, будет расти, и вместе с этим потребность в более строгом руководстве.
В рамках наших Принципов работы мы обязуемся поддерживать и внедрять лучшие практики в области безопасности и этики ИИ, включая справедливость и конфиденциальность, чтобы избежать непредвиденных результатов, которые создают риски причинения вреда.
Лучшие практики
После PAI недавний информационный документ в разделе «Ответственный поиск поставщиков услуг по обогащению данных» мы совместно разработали наши методы и процессы для обогащения данных. Это включало создание пяти шагов, которым специалисты по ИИ могут следовать, чтобы улучшить условия работы для людей, занимающихся задачами по обогащению данных (для получения более подробной информации, пожалуйста, посетите Руководство PAI по поиску источников обогащения данных):
- Выберите подходящую модель оплаты и убедитесь, что всем работникам платят больше, чем местный прожиточный минимум.
- Разработайте и запустите пилотный проект перед запуском проекта по обогащению данных.
- Определите подходящих работников для желаемой задачи.
- Предоставьте работникам проверенные инструкции и/или учебные материалы.
- Установите четкие и регулярные механизмы коммуникации с работниками.
Вместе мы создали необходимые политики и ресурсы, собрав несколько отзывов от наших внутренних юридических, данных, безопасности, этических и исследовательских групп в процессе, прежде чем опробовать их на небольшом количестве проектов по сбору данных, а затем внедрить их в более широкая организация.
Эти документы дают больше ясности в отношении того, как лучше всего настроить задачи по обогащению данных в DeepMind, повышая уверенность наших исследователей в планировании и проведении исследования. Это не только повысило эффективность наших процессов утверждения и запуска, но, что немаловажно, расширило опыт людей, занимающихся задачами по обогащению данных.
Дополнительная информация об ответственных методах обогащения данных и о том, как мы внедрили их в наши существующие процессы, объясняется в недавнем тематическом исследовании PAI, Внедрение ответственных практик обогащения данных у разработчика ИИ: пример DeepMind. ПАИ также предоставляет полезные ресурсы и вспомогательные материалы для специалистов по ИИ и организаций, стремящихся разработать аналогичные процессы.
С нетерпением жду
Хотя эти передовые методы лежат в основе нашей работы, мы не должны полагаться только на них, чтобы гарантировать, что наши проекты соответствуют самым высоким стандартам благополучия и безопасности участников или работников в исследованиях. Каждый проект в DeepMind уникален, поэтому у нас есть специальный процесс анализа человеческих данных, который позволяет нам постоянно взаимодействовать с исследовательскими группами для выявления и снижения рисков в каждом конкретном случае.
Эта работа призвана служить ресурсом для других организаций, заинтересованных в улучшении своих методов поиска источников обогащения данных, и мы надеемся, что это приведет к межотраслевым обсуждениям, которые могут способствовать дальнейшей разработке этих руководств и ресурсов для команд и партнеров. Благодаря этому сотрудничеству мы также надеемся вызвать более широкую дискуссию о том, как сообщество ИИ может продолжать разрабатывать нормы ответственного сбора данных и коллективно улучшать отраслевые стандарты.
Узнайте больше о наших принципах работы.