Вот почему человеческая рука должна нажать на спусковой крючок, почему человеческая рука должна нажать «Подтвердить». Если компьютер нацелится не на ту цель, а солдат все равно нажмет на курок, виноват солдат. «Если человек делает что-то, что приводит к несчастному случаю с машиной, например, роняет оружие там, где его быть не должно, — это все равно остается за человеком», — говорит Шанахан.
Но случаются несчастные случаи. И здесь все становится сложнее. Современные вооруженные силы потратили сотни лет на то, чтобы понять, как отличить неизбежные, безупречные трагедии войны от актов злого умысла, неуместной ярости или грубой небрежности. Даже сейчас это остается трудной задачей. Передача части человеческой деятельности и суждений алгоритмам, построенным во многих случаях на основе математического принципа оптимизации, бросит вызов всему этому закону и доктрине принципиально новым способом, говорит Кортни Боуман, глобальный директор по разработке конфиденциальности и гражданских свобод в Palantir. фирма со штаб-квартирой в США, которая создает программное обеспечение для управления данными для вооруженных сил, правительств и крупных компаний.
«Это разрыв. Это разрушительно», — говорит Боуман. «Чтобы принимать правильные решения, требуется новая этическая конструкция».
В этом году, сделав шаг, который был неизбежен в эпоху ChatGPT, Palantir объявила о разработке программного обеспечения под названием «Платформа искусственного интеллекта», которое позволяет интегрировать большие языковые модели в военные продукты компании. В демонстрации AIP, размещенной на YouTube этой весной, платформа предупреждает пользователя о потенциально угрожающем движении противника. Затем он предлагает отправить беспилотник для более тщательного изучения, предлагает три возможных плана перехвата нарушителей и намечает оптимальный маршрут для выбранной группы нападения, чтобы добраться до них.
И все же даже с машиной, способной на такую явную хитрость, военные не захотят, чтобы пользователь слепо доверял каждому ее предложению. Если человек нажимает только одну кнопку в цепочке убийств, вероятно, это не должна быть кнопка «Я верю», как однажды выразил обеспокоенный, но анонимный армейский оперативник в военной игре Министерства обороны США в 2019 году.
В рамках программы под названием «Городская разведка через управляемую автономию» (URSA) DARPA создало систему, позволяющую роботам и дронам действовать в качестве передовых наблюдателей за взводами в городских операциях. После отзывов консультативной группы проекта по этическим и юридическим вопросам было решено, что программное обеспечение будет обозначать людей только как «лица, представляющие интерес». Несмотря на то, что цель технологии состояла в том, чтобы помочь искоренить засады, она никогда не зашла так далеко, чтобы назвать кого-либо «угрозой».
Это, как надеялись, помешает солдату сделать неверный вывод. У этого также было юридическое обоснование, по словам Брайана Уильямса, адъюнкт-сотрудника Института оборонного анализа, который возглавлял консультативную группу. По его словам, ни один суд не утверждал, что машина может на законных основаниях обозначать человека как угрозу. (Опять же, добавляет он, ни один суд не установил, что это будет незаконным, и он признает, что не все военные операторы обязательно разделят осторожное прочтение закона его группой.) По словам Уильямса, DARPA изначально хотело, чтобы URSA была запрещена. способен автономно различать намерения человека; эта функция тоже была отменена по настоянию группы.
Боуман говорит, что подход Palantir заключается в том, чтобы преобразовать «созданные неэффективности» в «моменты в процессе принятия решений, когда вы действительно хотите замедлить ход событий». Например, вывод компьютера, указывающий на передвижение вражеских войск, по его словам, может потребовать от пользователя поиска второго подтверждающего источника информации, прежде чем приступить к действию (на видео Платформа искусственного интеллекта не делает этого). ).