Лорел: Замечательно. Спасибо за это подробное объяснение. Итак, поскольку вы лично специализируетесь на управлении, как предприятия могут сбалансировать обеспечение безопасности для искусственного интеллекта и развертывание машинного обучения, но при этом поощрять инновации?

Стефани: Таким образом, балансирование мер безопасности при развертывании AI/ML и поощрение инноваций может стать действительно сложной задачей для предприятий. Это большой масштаб, и он меняется очень быстро. Тем не менее, это критически важно, чтобы иметь этот баланс. Иначе какой смысл иметь здесь инновации? Есть несколько ключевых стратегий, которые могут помочь достичь этого баланса. Во-первых, установите четкие политики и процедуры управления, пересмотрите и обновите существующие политики там, где они могут не подходить для разработки AI/ML и развертывания новых необходимых политик и процедур, таких как мониторинг и постоянное соответствие, как я упоминал ранее. Во-вторых, вовлеките все заинтересованные стороны в процесс разработки AI/ML. Мы начинаем с инженеров данных, бизнеса, ученых данных, а также инженеров машинного обучения, которые внедряют модели в производство. Рецензенты моделей. Заинтересованные стороны бизнеса и организации риска. И это то, на чем мы сосредоточены. Мы создаем интегрированные системы, обеспечивающие прозрачность, автоматизацию и удобный пользовательский интерфейс от начала до конца.

Так что все это поможет упростить процесс и объединить всех. В-третьих, нам нужно было создать системы, не только обеспечивающие этот общий рабочий процесс, но и собирающие данные для автоматизации. Часто многие действия, происходящие в процессе жизненного цикла машинного обучения, выполняются с помощью разных инструментов, поскольку они принадлежат разным группам и отделам. И это приводит к тому, что участники вручную обмениваются информацией, просматривают и подписывают. Поэтому наличие интегрированной системы имеет решающее значение. В-четвертых, мониторинг и оценка производительности моделей AI/ML, как я упоминал ранее, действительно важны, потому что, если мы не будем отслеживать модели, это на самом деле будет иметь негативный эффект по сравнению с их первоначальным замыслом. И выполнение этого вручную задушит инновации. Развертывание модели требует автоматизации, поэтому ее наличие является ключевым фактором, позволяющим разрабатывать и развертывать модели в производственной среде, фактически работая. Это воспроизводимо, это работает в производстве.

Это очень, очень важно. И наличие четко определенных показателей для мониторинга моделей, включая производительность самой модели инфраструктуры, а также данные. Наконец, обучение и образование, потому что это групповой вид спорта, каждый имеет разное образование и играет разную роль. Наличие такого перекрестного понимания всего процесса жизненного цикла действительно важно. А понимание того, какие данные являются правильными для использования, и правильно ли мы используем данные для вариантов использования, не позволит нам намного позже отказаться от развертывания модели. Итак, все это, я думаю, является ключевым для баланса между управлением и инновациями.

Лорел: Итак, здесь есть еще одна тема для обсуждения, и вы затронули ее в своем ответе: как все понимают процесс ИИ? Не могли бы вы описать роль прозрачности в жизненном цикле AI/ML от создания до управления и внедрения?

Стефани: Конечно. Таким образом, AI/ML — это все еще довольно новое явление, оно все еще развивается, но в целом люди привыкли к потоку процессов высокого уровня, который определяет бизнес-проблему, собирает данные и обрабатывает данные для решения проблемы, а затем создает модель, которая представляет собой разработку модели, а затем развертывание модели. Но перед развертыванием мы проводим проверку в нашей компании, чтобы убедиться, что модели разработаны в соответствии с правильными ответственными принципами ИИ, а затем осуществляем постоянный мониторинг. Когда люди говорят о роли прозрачности, речь идет не только о возможности захвата всех артефактов метаданных на протяжении всего жизненного цикла, событий жизненного цикла, все эти метаданные должны быть прозрачными с отметкой времени, чтобы люди могли знать, что произошло. Вот так мы и поделились информацией. И эта прозрачность очень важна, потому что она укрепляет доверие и обеспечивает справедливость. Мы должны убедиться, что используются правильные данные, и это облегчает объяснение.

Есть одна вещь, связанная с моделями, которую нужно объяснить. Как он принимает решения? И тогда это помогает поддерживать постоянный мониторинг, и это можно сделать разными способами. Единственное, что мы очень подчеркиваем с самого начала, — это понимание целей инициативы ИИ, цели варианта использования и предполагаемого использования данных. Мы рассматриваем это. Как вы обрабатывали данные? Какова линия передачи данных и процесс преобразования? Какие алгоритмы используются и какие алгоритмы ансамбля используются? Спецификация модели должна быть задокументирована и прописана. Каковы ограничения, когда следует использовать модель, а когда ее не следует использовать? Объяснимость, аудируемость, можем ли мы на самом деле отследить, как эта модель создается на протяжении всего модельного ряда? А также особенности технологии, такие как инфраструктура, контейнеры, в которых она задействована, потому что это фактически влияет на производительность модели, где она развернута, какое бизнес-приложение фактически потребляет выходные данные из модели и кто может получить доступ к решениям из модель. Таким образом, все это является частью темы прозрачности.

Лорел: Да, это довольно обширно. Итак, учитывая, что ИИ — это быстро меняющаяся область со многими новыми техническими технологиями, такими как генеративный ИИ, как команды JPMorgan Chase не отстают от этих новых изобретений, а затем также выбирают, когда и где их использовать?