Размышления и уроки о том, как поделиться с миром одним из наших крупнейших достижений

Претворение в жизнь нашей миссии по исследованию интеллекта для развития науки и пользы человечества сопряжено с важнейшей ответственностью. Чтобы помочь оказать положительное влияние на общество, мы должны активно и тщательно оценивать этические последствия наших исследований и их применения. Мы также знаем, что каждая новая технология может нанести вред, и мы серьезно относимся к долгосрочным и краткосрочным рискам. Мы с самого начала заложили основы ответственного новаторства, уделяя особое внимание ответственному управлению, исследованиям и влиянию.

Это начинается с установления четких принципов, которые помогают реализовать преимущества искусственного интеллекта (ИИ), снижая при этом его риски и потенциальные негативные последствия. Ответственное новаторство — это коллективная работа, поэтому мы внесли свой вклад во многие стандарты сообщества ИИ, например, разработанные Google, Партнерство по ИИи ОЭСР (Организация экономического сотрудничества и развития).

Наши Принципы работы определяют как наше стремление уделять приоритетное внимание широкой пользе, так и области исследований и приложений, которые мы отказываемся проводить. Эти принципы лежали в основе принятия нами решений с момента основания DeepMind и продолжают совершенствоваться по мере изменения и роста ландшафта ИИ. Они предназначены для нашей роли научной компании, занимающейся исследованиями, и соответствуют принципам искусственного интеллекта Google.

От принципов к практике

Записанные принципы — это только часть головоломки, ключевое значение имеет то, как они применяются на практике. Для сложных исследований, проводимых на передовых рубежах ИИ, это создает серьезные проблемы: как исследователи могут предсказать потенциальные преимущества и вред, которые могут возникнуть в отдаленном будущем? Как мы можем улучшить этическое предвидение с самых разных точек зрения? И что нужно для изучения сложных вопросов наряду с научным прогрессом в режиме реального времени, чтобы предотвратить негативные последствия?

Мы потратили много лет на развитие собственных навыков и процессов для ответственного управления, исследований и воздействия на DeepMind, от создания внутренних наборов инструментов и публикации документов по социотехническим вопросам до поддержки усилий по расширению обсуждения и прогнозирования в области ИИ. Чтобы помочь командам DeepMind стать ответственными первопроходцами и защитить себя от вреда, наш междисциплинарный Институциональный комитет по обзору (IRC) собирается каждые две недели для тщательной оценки проектов, документов и сотрудничества DeepMind.

Ответственное новаторство — это коллективная работа, и каждый проект — это возможность укрепить наши совместные навыки и понимание. Мы тщательно разработали наш процесс проверки, включив в него постоянно меняющихся экспертов из самых разных областей, а также исследователей машинного обучения, специалистов по этике и безопасности, работающих вместе с инженерами, экспертами по безопасности, профессионалами в области политики и другими. Эти разные мнения регулярно определяют способы расширения преимуществ наших технологий, предлагают области исследований и приложений, которые необходимо изменить или замедлить, и выделяют проекты, по которым необходимы дополнительные внешние консультации.

Хотя мы добились большого прогресса, многие аспекты этого лежат на неизведанной территории. Мы не будем делать это каждый раз правильно и стремимся к постоянному обучению и повторению. Мы надеемся, что поделиться нашим текущим процессом будет полезно для других, работающих над ответственным ИИ, и поощряем обратную связь по мере того, как мы продолжаем учиться, поэтому мы подробно изложили размышления и уроки одного из наших самых сложных и полезных проектов: AlphaFold. Наша система искусственного интеллекта AlphaFold решила 50-летнюю задачу прогнозирования структуры белков, и мы были очень рады видеть, как ученые используют ее для ускорения прогресса в таких областях, как устойчивость, продовольственная безопасность, открытие лекарств и фундаментальная биология человека с момента ее выпуска. для широкой общественности в прошлом году.

‍

‍

Сосредоточение внимания на предсказании структуры белка

Наша команда исследователей машинного обучения, биологов и инженеров уже давно рассматривала проблему свертывания белков как замечательную и уникальную возможность для систем обучения ИИ оказать значительное влияние. На этой арене есть стандартные меры успеха или неудачи, а также четкая граница того, что система ИИ должна делать, чтобы помочь ученым в их работе — предсказывать трехмерную структуру белка. И, как и во многих биологических системах, сворачивание белка слишком сложно, чтобы кто-то мог написать правила его работы. Но система ИИ может сама выучить эти правила.

Еще одним важным фактором была двухгодичная оценка, известная как КАСП (Критическая оценка предсказания структуры белка), которая была основана профессором Джоном Моултом и профессором Кшиштофом Фиделисом.. При каждом собрании CASP обеспечивает исключительно надежную оценку прогресса, требуя от участников предсказания структур, которые были недавно обнаружены в ходе экспериментов. Результаты являются отличным катализатором для амбициозных исследований и научного совершенства.

Понимание практических возможностей и рисков

Готовясь к оценке CASP в 2020 году, мы поняли, что AlphaFold обладает большим потенциалом для решения поставленной задачи. Мы потратили много времени и сил на анализ практических последствий, задаваясь вопросом: как AlphaFold может ускорить биологические исследования и приложения? Какие могут быть непредвиденные последствия? И как мы могли бы ответственно поделиться своим прогрессом?

Это представляло широкий спектр возможностей и рисков для рассмотрения, многие из которых были в областях, где у нас не обязательно был сильный опыт. Поэтому мы обратились к более чем 30 ведущим специалистам в области биологических исследований, биобезопасности, биоэтики, прав человека и т. д., уделяя особое внимание разнообразию знаний и опыта.

В ходе этих дискуссий возникло много последовательных тем:

1. Уравновешивание широкой пользы с риском причинения вреда. Мы начали с осторожного подхода к риску случайного или преднамеренного вреда, включая то, как AlphaFold может взаимодействовать как с будущими достижениями, так и с существующими технологиями. Благодаря нашим обсуждениям с внешними экспертами стало ясно, что AlphaFold не облегчит причинение вреда с помощью белков, учитывая множество практических препятствий для этого, но что будущие достижения необходимо тщательно оценивать. Многие эксперты решительно утверждали, что AlphaFold как достижение, относящееся ко многим областям научных исследований, принесет наибольшую пользу благодаря бесплатному и широкому доступу.
2. Точные меры доверия необходимы для ответственного использования. Биологи-экспериментаторы объяснили, насколько важно было бы понять и поделиться хорошо откалиброванными и пригодными для использования показателями достоверности для каждой части предсказаний AlphaFold. Сигнализируя, какие из прогнозов AlphaFold, скорее всего, будут точными, пользователи могут оценить, когда они могут доверять прогнозу и использовать его в своей работе, а когда им следует использовать альтернативные подходы в своих исследованиях. Первоначально мы рассматривали возможность исключения прогнозов, для которых AlphaFold имеет низкую достоверность или высокую прогностическую неопределенность, но внешние эксперты, с которыми мы консультировались, доказали, почему это особенно важно для сохранения этих прогнозов в нашем выпуске, и посоветовали нам наиболее полезные и прозрачные способы представить это. информация.
3. Справедливая выгода может означать дополнительную поддержку недостаточно финансируемых областей. У нас было много дискуссий о том, как избежать непреднамеренного увеличения различий в научном сообществе. Например, так называемый запущенные тропические болезни, которые непропорционально затрагивают более бедные части мира, часто получают меньше средств на исследования, чем должны. Нас настоятельно призвали уделять приоритетное внимание практической поддержке и активно искать партнерские отношения с группами, работающими в этих областях.

‍

‍

Установление нашего подхода к выпуску

Основываясь на приведенных выше данных, IRC одобрил набор выпусков AlphaFold для удовлетворения различных потребностей, в том числе:

• Рецензируемые публикации и открытый исходный код, включая два документы в природе в сопровождении открытый исходный код, чтобы облегчить исследователям внедрение и улучшение AlphaFold. Вскоре после этого мы добавили Google Колаб позволяя любому вводить последовательность белка и получать предсказанную структуру в качестве альтернативы самостоятельному запуску открытого исходного кода.
• Крупный выпуск предсказаний структуры белка в сотрудничестве с ЭМБЛ-ЭБИ (Европейский институт биоинформатики EMBL), признанный лидер сообщества. Являясь государственной организацией, EMBL-EBI позволяет любому человеку находить предсказания структуры белка так же легко, как поиск в Google. Первоначальный выпуск включал предсказанные формы для каждого белка в организме человека, а наше последнее обновление включало предсказанные структуры почти для всех каталогизированных белков, известных науке. В общей сложности это более 200 миллионов структур, все они находятся в свободном доступе на веб-сайте EMBL-EBI с лицензиями открытого доступа, сопровождаемые вспомогательными ресурсами, такими как вебинары по интерпретации этих структур.
• Встраивание 3D-визуализации в базу данных, с заметной маркировкой для областей прогноза с высокой и низкой достоверностью и, в целом, стремясь максимально четко указать сильные стороны и ограничения AlphaFold в нашей документации. Мы также сделали базу данных максимально доступной, например, с учетом потребностей людей с нарушением цветового зрения.
• Формирование более тесных партнерских отношений с исследовательскими группами, работающими в областях с недостаточным финансированием, такие как забытые болезни и темы, имеющие решающее значение для глобального здравоохранения. Это включает DNDi (Инициатива «Лекарства от забытых болезней»), которая продвигает исследования болезни Шагаса и лейшманиоза, и Центр ферментных инноваций которая разрабатывает ферменты, поедающие пластик, чтобы помочь уменьшить количество пластиковых отходов в окружающей среде. Наши растущие команды по взаимодействию с общественностью продолжают работать над этими партнерствами, чтобы поддерживать большее сотрудничество в будущем.

Как мы строим эту работу

С момента нашего первоначального выпуска сотни тысяч людей из более чем 190 стран посетили наш База данных структуры белка AlphaFold и использовал Открытый исходный код AlphaFold с момента запуска. Для нас было честью узнать о том, как предсказания AlphaFold ускорили важные научные исследования, и мы работаем над тем, чтобы рассказать некоторые из этих историй с нашими Развернутый проект. До сих пор нам не известно о каком-либо неправильном использовании или вреде, связанном с AlphaFold, хотя мы продолжаем уделять этому пристальное внимание.

Хотя AlphaFold был более сложным, чем большинство исследовательских проектов DeepMind, мы используем элементы того, что узнали, и включаем это в другие выпуски.

Мы опираемся на эту работу:

• Расширение диапазона входных данных от внешних экспертов на каждом этапе процесса и изучение механизмов этики участия в более широком масштабе.
• Расширение нашего понимания ИИ для биологии в целом, помимо любого отдельного проекта или прорыва, для более четкого понимания возможностей и рисков с течением времени.
• Поиск путей расширения наших партнерских отношений с группами в областях, которые недостаточно обслуживаются нынешними структурами.

Как и наше исследование, это процесс постоянного обучения. Разработка ИИ для всеобщего блага — это усилия сообщества, выходящие далеко за рамки DeepMind.

Мы прилагаем все усилия, чтобы помнить о том, сколько тяжелой работы еще предстоит сделать в партнерстве с другими, и как мы ответственно продвигаемся вперед.