Джон П. Десмонд, редактор AI Trends

На конференции были изложены два опыта того, как разработчики ИИ в федеральном правительстве применяют методы подотчетности ИИ. Мировое правительство ИИ Мероприятие, проведенное виртуально и лично на этой неделе в Александрии, штат Вирджиния.

Така Арига, главный специалист по данным и директор в США Счетная палата правительства, описал структуру подотчетности ИИ, которую он использует в своем агентстве и планирует сделать доступной для других.

И Брайс Гудман, главный стратег по искусственному интеллекту и машинному обучению в Отдел оборонных инноваций (DIU), подразделение Министерства обороны, созданное для того, чтобы помочь военным США быстрее использовать появляющиеся коммерческие технологии, описал работу своего подразделения по применению принципов разработки ИИ к терминологии, которую может применять инженер.

Арига, первый главный специалист по данным, назначенный в Счетную палату правительства США и директор Лаборатории инноваций GAO, обсудил Система подотчетности ИИ он помог развитию, созвав форум экспертов из правительства, промышленности, некоммерческих организаций, а также генеральных федеральных инспекторов и экспертов по искусственному интеллекту.

«Мы принимаем точку зрения аудитора на систему подотчетности ИИ, — сказал Арига. «GAO занимается проверкой».

Усилия по созданию официальной основы начались в сентябре 2020 года и включали 60% женщин, 40% из которых были недопредставленными меньшинствами, для обсуждения в течение двух дней. Усилия были вызваны желанием обосновать систему подотчетности ИИ реальностью повседневной работы инженера. Полученная структура была впервые опубликована в июне как «версия 1.0», которую Арига назвал «версией 1.0».

Стремление принести «высотную позу» на Землю

«Мы обнаружили, что структура подотчетности ИИ имеет очень высокий уровень», — сказал Арига. «Это похвальные идеалы и стремления, но что они значат для повседневного практикующего ИИ? Существует пробел, в то время как мы видим распространение ИИ в правительстве».

«Мы остановились на подходе, основанном на жизненном цикле», который включает этапы проектирования, разработки, развертывания и непрерывного мониторинга. Усилия по развитию опираются на четыре «столпа»: управление, данные, мониторинг и производительность.

Руководство проверяет, что организация предприняла для контроля за усилиями по ИИ. «Главный офицер ИИ может быть на месте, но что это значит? Может ли человек измениться? Является ли он междисциплинарным?» На системном уровне в рамках этого компонента команда рассмотрит отдельные модели ИИ, чтобы убедиться, что они были «преднамеренно продуманы».

Что касается столбца данных, его команда изучит, как были оценены обучающие данные, насколько они репрезентативны и функционируют ли они должным образом.

Что касается компонента «Производительность», команда рассмотрит «влияние на общество» системы ИИ при развертывании, в том числе риск нарушения Закона о гражданских правах. «Аудиторы имеют большой опыт оценки собственного капитала. Мы основывали оценку ИИ на проверенной системе», — сказал Арига.

Подчеркнув важность непрерывного мониторинга, он сказал: «ИИ — это не технология, которую можно развернуть и забыть». он сказал. «Мы готовимся постоянно отслеживать дрейф модели и хрупкость алгоритмов, и мы соответствующим образом масштабируем ИИ». Оценки определят, продолжает ли система искусственного интеллекта удовлетворять потребности, «или более уместным является закат», — сказал Арига.

Он участвует в обсуждении с NIST общей системы подотчетности правительства в области ИИ. «Нам не нужна экосистема путаницы, — сказал Арига. «Мы хотим общегосударственного подхода. Мы чувствуем, что это полезный первый шаг в продвижении идей высокого уровня на высоту, значимую для практиков ИИ».

DIU оценивает, соответствуют ли предлагаемые проекты этическим принципам искусственного интеллекта

В DIU Гудман участвует в аналогичных усилиях по разработке рекомендаций для разработчиков проектов ИИ в правительстве.

Проекты Гудман участвовал во внедрении ИИ для гуманитарной помощи и реагирования на стихийные бедствия, профилактического обслуживания, противодействия дезинформации и прогнозирования здоровья. Он возглавляет ответственную рабочую группу по искусственному интеллекту. Он является преподавателем Singularity University, имеет широкий круг клиентов-консультантов как внутри, так и вне правительства, и имеет докторскую степень в области искусственного интеллекта и философии, полученную в Оксфордском университете.

Министерство обороны США в феврале 2020 года приняло пять направлений Этические принципы ИИ после 15 месяцев консультаций с экспертами по искусственному интеллекту в коммерческой отрасли, правительственных научных кругах и американской общественности. Этими областями являются: Ответственный, Справедливый, Отслеживаемый, Надежный и Управляемый.

«Они хорошо продуманы, но для инженера не очевидно, как преобразовать их в конкретное требование проекта», — сказал Гуд в презентации Responsible AI Guidelines на мероприятии AI World Government. «Это пробел, который мы пытаемся заполнить».

Прежде чем DIU даже рассмотрит проект, они просматривают этические принципы, чтобы убедиться, что он проходит проверку. Не все проекты подходят. «Должна быть возможность сказать, что технологии нет или проблема несовместима с ИИ», — сказал он.

Все заинтересованные стороны проекта, в том числе из коммерческих поставщиков и в правительстве, должны иметь возможность тестировать и подтверждать и выходить за рамки минимальных юридических требований для соблюдения принципов. «Закон развивается не так быстро, как ИИ, поэтому эти принципы важны», — сказал он.

Кроме того, в правительстве ведется сотрудничество для обеспечения сохранения и поддержания ценностей. «Наша цель с этими рекомендациями — не пытаться достичь совершенства, а избежать катастрофических последствий», — сказал Гудман. «Может быть трудно заставить группу прийти к соглашению о наилучшем исходе, но легче заставить группу согласиться с наихудшим исходом».

Руководство DIU вместе с примерами из практики и дополнительными материалами будет опубликовано на веб-сайте DIU «скоро», сказал Гудман, чтобы помочь другим использовать этот опыт.

Вот вопросы, которые DIU задает перед началом разработки

Первым шагом в руководстве является определение задачи. «Это самый важный вопрос, — сказал он. «Только если есть преимущество, вы должны использовать ИИ».

Далее идет контрольный показатель, который необходимо установить заранее, чтобы узнать, реализован ли проект.

Затем он оценивает право собственности на данные кандидата. «Данные имеют решающее значение для системы искусственного интеллекта, и это место, где может существовать множество проблем». — сказал Гудман. «Нам нужен определенный договор о том, кто владеет данными. Если неоднозначно, это может привести к проблемам».

Затем команда Гудмана хочет получить образец данных для оценки. Затем им нужно знать, как и почему информация была собрана. «Если согласие было дано для одной цели, мы не можем использовать его для другой цели без повторного получения согласия», — сказал он.

Затем команда спрашивает, определены ли ответственные заинтересованные стороны, например, пилоты, на которых может повлиять отказ компонента.

Затем должны быть определены ответственные держатели миссии. «Для этого нам нужен один человек», — сказал Гудман. «Часто у нас есть компромисс между производительностью алгоритма и его объяснимостью. Возможно, нам придется выбирать между ними. Такие решения имеют этическую составляющую и операционную составляющую. Поэтому нам нужен кто-то, кто несет ответственность за эти решения, что соответствует цепочке подчинения в Министерстве обороны».

Наконец, команде DIU требуется процесс отката, если что-то пойдет не так. «Нам нужно быть осторожными, отказываясь от предыдущей системы», — сказал он.

Когда на все эти вопросы даны удовлетворительные ответы, команда переходит к этапу разработки.

Извлекая уроки, Гудман сказал: «Метрики — это ключ. И просто измерения точности может быть недостаточно. Нам нужно уметь измерять успех».

Кроме того, подгоните технологию под задачу. «Приложения с высоким риском требуют технологии с низким уровнем риска. И когда потенциальный вред значителен, мы должны быть полностью уверены в технологии», — сказал он.

Еще один извлеченный урок заключается в том, чтобы установить ожидания с коммерческими поставщиками. «Нам нужно, чтобы поставщики были прозрачными», — сказал он. «Когда кто-то говорит, что у него есть проприетарный алгоритм, о котором он не может нам рассказать, мы очень осторожны. Мы рассматриваем отношения как сотрудничество. Только так мы можем гарантировать ответственную разработку ИИ».

Наконец, «ИИ — это не магия. Это не решит все. Его следует использовать только тогда, когда это необходимо, и только тогда, когда мы можем доказать, что это даст преимущество».

Узнайте больше на Мировое правительство ИИв Счетная палата правительства, в Система подотчетности ИИ и в Отдел оборонных инноваций сайт.