Размышления и уроки о том, как поделиться с миром одним из наших крупнейших достижений

Реализация нашей миссии по решению задач интеллекта для развития науки и блага человечества на практике сопряжена с важнейшими обязанностями. Чтобы оказать положительное влияние на общество, мы должны активно и тщательно оценивать этические последствия наших исследований и их применения. Мы также знаем, что каждая новая технология может нанести вред, и серьезно относимся к долгосрочным и краткосрочным рискам. Мы с самого начала построили нашу основу на ответственном новаторстве, уделяя особое внимание ответственному управлению, исследованиям и воздействию.

Это начинается с установления четких принципов, которые помогут реализовать преимущества искусственного интеллекта (ИИ), одновременно снижая его риски и потенциальные негативные последствия. Ответственное новаторство — это коллективное усилие, поэтому мы внесли свой вклад во многие стандарты сообщества ИИ, например, разработанные Google, Партнерство в сфере ИИи ОЭСР (Организация экономического сотрудничества и развития).

Наш Принципы работы стали определять как наше стремление уделять приоритетное внимание всеобщей выгоде, так и области исследований и приложений, которые мы отказываемся проводить. Эти принципы лежат в основе принятия нами решений с момента основания DeepMind и продолжают совершенствоваться по мере изменения и роста сферы ИИ. Они созданы для нашей роли научно-исследовательской компании и соответствуют принципам искусственного интеллекта Google.

От принципов к практике

Записанные принципы – это лишь часть головоломки; ключевое значение имеет то, как они применяются на практике. Для комплексных исследований, проводимых на передовых рубежах искусственного интеллекта, это создает серьезные проблемы: как исследователи могут предсказать потенциальные выгоды и вред, которые могут возникнуть в отдаленном будущем? Как мы можем улучшить этическое предвидение с учетом широкого спектра точек зрения? И что нужно для изучения сложных вопросов наряду с научным прогрессом в реальном времени, чтобы предотвратить негативные последствия?

Мы потратили много лет на развитие наших собственных навыков и процессов ответственного управления, исследований и воздействия на DeepMind: от создания внутренних наборов инструментов и публикации статей по социотехническим вопросам до поддержки усилий по расширению обсуждений и прогнозированию в области искусственного интеллекта. Чтобы помочь командам DeepMind действовать ответственно и защищаться от вреда, наш междисциплинарный институциональный комитет по обзору (IRC) собирается каждые две недели для тщательной оценки проектов, документов и сотрудничества DeepMind.

Ответственное новаторство — это коллективная сила, и каждый проект — это возможность укрепить наши совместные навыки и понимание. Мы тщательно разработали наш процесс проверки, включив в него сменяющихся экспертов из широкого спектра дисциплин, включая исследователей машинного обучения, специалистов по этике и экспертов по безопасности, которые работают вместе с инженерами, экспертами по безопасности, специалистами по политике и многими другими. Эти разнообразные голоса регулярно определяют пути расширения преимуществ наших технологий, предлагают области исследований и приложений, которые следует изменить или замедлить, а также выделяют проекты, в которых необходимы дальнейшие внешние консультации.

Хотя мы добились большого прогресса, многие аспекты этого вопроса лежат на неизведанной территории. Мы не будем делать все правильно каждый раз и стремимся к постоянному обучению и итерациям. Мы надеемся, что рассказ о нашем текущем процессе будет полезен другим, работающим над ответственным искусственным интеллектом, и поощряем обратную связь по мере того, как мы продолжаем учиться, поэтому мы приводим подробные размышления и уроки одного из наших самых сложных и полезных проектов: AlphaFold. Наша система искусственного интеллекта AlphaFold решила 50-летнюю задачу предсказания структуры белка – и мы были рады видеть, что ученые используют ее для ускорения прогресса в таких областях, как устойчивое развитие, продовольственная безопасность, открытие лекарств и фундаментальная биология человека с момента ее выпуска. широкому сообществу в прошлом году.

Сосредоточение внимания на предсказании структуры белка

Наша команда исследователей машинного обучения, биологов и инженеров уже давно рассматривала проблему сворачивания белков как замечательную и уникальную возможность для систем обучения ИИ оказать существенное влияние. В этой области существуют стандартные критерии успеха или неудачи, а также четкая граница того, что должна делать система искусственного интеллекта, чтобы помочь ученым в их работе – предсказать трехмерную структуру белка. И, как и во многих биологических системах, сворачивание белков слишком сложно, чтобы кто-либо мог написать правила его работы. Но система искусственного интеллекта могла бы усвоить эти правила самостоятельно.

Еще одним важным фактором стала двухгодичная оценка, известная как КАСП (Критическая оценка предсказания структуры белка), которая была основан профессором Джоном Моултом и профессором Кшиштофом Фиделисом. На каждом собрании CASP обеспечивает исключительно надежную оценку прогресса, требуя от участников прогнозирования структур, которые только недавно были обнаружены с помощью экспериментов. Результаты являются отличным катализатором для амбициозных исследований и научного совершенства.

Понимание практических возможностей и рисков

Готовясь к оценке CASP в 2020 году, мы поняли, что AlphaFold продемонстрировал большой потенциал для решения стоящей задачи. Мы потратили немало времени и усилий на анализ практических последствий, задаваясь вопросом: как AlphaFold может ускорить биологические исследования и применения? Каковы могут быть непредвиденные последствия? И как мы могли бы ответственно делиться своим прогрессом?

Это открыло перед нами широкий спектр возможностей и рисков, многие из которых относились к областям, в которых у нас не обязательно был сильный опыт. Поэтому мы обратились за внешним мнением к более чем 30 лидерам в области биологических исследований, биобезопасности, биоэтики, прав человека и т. д., уделяя особое внимание разнообразию опыта и опыта.

В ходе этих дискуссий возникло множество последовательных тем:

1. Балансирование широкой пользы с риском вреда. Мы начали с осторожного подхода к риску случайного или преднамеренного вреда, в том числе к тому, как AlphaFold может взаимодействовать как с будущими достижениями, так и с существующими технологиями. В результате наших обсуждений с внешними экспертами стало яснее, что AlphaFold не облегчит причинение вреда с помощью белков, учитывая множество практических препятствий на пути к этому, но что будущие достижения необходимо будет тщательно оценивать. Многие эксперты решительно утверждали, что AlphaFold, как достижение, имеющее отношение ко многим областям научных исследований, принесет наибольшую пользу благодаря бесплатному и широкому доступу.
2. Точные меры доверия необходимы для ответственного использования. Биологи-экспериментаторы объяснили, насколько важно было бы понять и поделиться хорошо откалиброванными и пригодными для использования показателями достоверности для каждой части предсказаний AlphaFold. Сигнализируя, какие из прогнозов AlphaFold, скорее всего, будут точными, пользователи могут оценить, когда они могут доверять прогнозу и использовать его в своей работе, а когда им следует использовать альтернативные подходы в своих исследованиях. Первоначально мы рассматривали возможность исключения прогнозов, для которых AlphaFold имел низкую достоверность или высокую прогнозируемую неопределенность, но внешние эксперты, с которыми мы консультировались, доказали, почему было особенно важно сохранить эти прогнозы в нашем выпуске, и посоветовали нам наиболее полезные и прозрачные способы представления этих прогнозов. информация.
3. Справедливая выгода может означать дополнительную поддержку недостаточно финансируемых областей. У нас было много дискуссий о том, как избежать непреднамеренного увеличения неравенства внутри научного сообщества. Например, так называемый забытые тропические болезни, которые непропорционально затрагивают более бедные части мира, часто получают меньше финансирования исследований, чем следовало бы. Нам настоятельно рекомендовали уделять приоритетное внимание практической поддержке и активно стремиться к партнерству с группами, работающими в этих областях.

Установление нашего подхода к выпуску

На основе приведенных выше данных IRC одобрил набор выпусков AlphaFold для удовлетворения множества потребностей, в том числе:

• Рецензируемые публикации и открытый исходный код, включая два документы на природе в сопровождении открытый исходный код, чтобы исследователям было проще внедрять и улучшать AlphaFold. Вскоре после этого мы добавили Гугл Колаб позволяя любому ввести последовательность белка и получить предсказанную структуру в качестве альтернативы самостоятельному запуску открытого исходного кода.
• Крупный выпуск предсказаний структуры белка в сотрудничестве с ЭМБЛ-ЭБИ (Европейский институт биоинформатики EMBL), признанный лидер сообщества. Будучи государственным учреждением, EMBL-EBI позволяет любому находить прогнозы структуры белка так же легко, как поиск в Google. Первоначальный выпуск включал предсказанные формы каждого белка в организме человека, а наше последнее обновление включало предсказанные структуры почти всех известных науке каталогизированных белков. В общей сложности это более 200 миллионов структур, все они находятся в свободном доступе на веб-сайте EMBL-EBI с лицензиями открытого доступа и сопровождаются вспомогательными ресурсами, такими как вебинары по интерпретации этих структур.
• Встраивание 3D визуализаций в базу данных, с четкой маркировкой областей прогноза с высокой и низкой степенью достоверности и, в целом, стремясь как можно более четко описать сильные и слабые стороны AlphaFold в нашей документации. Мы также сделали базу данных максимально доступной, например, учитывая потребности людей с нарушением цветового зрения.
• Формирование более глубоких партнерских отношений с исследовательскими группами, работающими в недостаточно финансируемых областях, такие как забытые болезни и темы, имеющие решающее значение для глобального здравоохранения. Это включает ДНи (Инициатива «Лекарства от забытых болезней»), которая продвигает исследования болезни Шагаса и лейшманиоза, а также Центр инноваций в области ферментов которая разрабатывает ферменты, расщепляющие пластик, чтобы помочь уменьшить количество пластиковых отходов в окружающей среде. Наши растущие группы по взаимодействию с общественностью продолжают работать над этим партнерством, чтобы поддерживать большее сотрудничество в будущем.

Как мы развиваем эту работу

С момента нашего первого выпуска сотни тысяч людей из более чем 190 стран посетили База данных структуры белков AlphaFold и использовал AlphaFold с открытым исходным кодом с момента запуска. Для нас было честью узнать о том, как предсказания AlphaFold ускорили важные научные усилия, и мы работаем над тем, чтобы рассказать некоторые из этих историй с помощью наших Развернутый проект. На данный момент нам не известно о каких-либо злоупотреблениях или вреде, связанных с AlphaFold, хотя мы продолжаем уделять этому пристальное внимание.

Хотя AlphaFold был более сложным, чем большинство исследовательских проектов DeepMind, мы используем элементы того, что узнали, и включаем их в другие выпуски.

Мы развиваем эту работу путем:

• Расширение спектра вклада со стороны внешних экспертов на каждом этапе процесса и изучение механизмов этики участия в более широком масштабе.
• Расширение нашего понимания ИИ в биологии в целом, помимо какого-либо отдельного проекта или прорыва, необходимо со временем выработать более четкое представление о возможностях и рисках.
• Поиск путей расширения нашего партнерства с группами в областях, которые недостаточно обслуживаются нынешними структурами.

Как и наше исследование, это процесс постоянного обучения. Разработка ИИ для всеобщего блага — это работа сообщества, выходящая далеко за рамки DeepMind.

Мы прилагаем все усилия, чтобы помнить о том, как много тяжелой работы еще предстоит проделать в партнерстве с другими, и о том, как мы новаторски подходим к ответственному продвижению вперед.