OpenAI представила новые функции ChatGPT, которые включают в себя возможность разговаривать с чат-ботом, как если бы вы звонили, что позволяет вам мгновенно получать ответы на ваши устные вопросы реалистичным синтетическим голосом, как сообщил мой коллега Уилл Дуглас Хевен. OpenAI также сообщила, что ChatGPT сможет искать в Интернете.

Бот-конкурент Google, Bard, подключен к большей части экосистемы компании, включая Gmail, Docs, YouTube и Maps. Идея состоит в том, что люди смогут использовать чат-бота, чтобы задавать вопросы о своем собственном контенте, например, заставляя его искать в своей электронной почте или упорядочивать свой календарь. Бард также сможет мгновенно получать информацию из поиска Google. Аналогичным образом, Meta тоже объявила, что использует чат-ботов с искусственным интеллектом повсюду. Пользователи смогут задавать вопросы чат-ботам с искусственным интеллектом и аватарам с искусственным интеллектом знаменитостей в WhatsApp, Messenger и Instagram, при этом модель искусственного интеллекта будет получать информацию в Интернете из поиска Bing.

Это рискованная ставка, учитывая ограничения технологии. Технологические компании не решили некоторые постоянные проблемы с языковыми моделями ИИ, такие как их склонность выдумывать или «галлюцинировать». Но больше всего меня беспокоит то, что они представляют собой катастрофу для безопасности и конфиденциальности, как я писал ранее в этом году. Технологические компании передают эту глубоко ошибочную технологию в руки миллионов людей и предоставляют моделям ИИ доступ к конфиденциальной информации, такой как их электронные письма, календари и личные сообщения. Поступая таким образом, они делают нас всех уязвимыми для мошенничества, фишинга и хакерских атак в огромных масштабах.

Ранее я уже рассказывал о серьезных проблемах безопасности, связанных с языковыми моделями ИИ. Теперь, когда ИИ-помощники имеют доступ к личной информации и могут одновременно просматривать веб-страницы, они особенно подвержены типу атаки, называемой непрямым внедрением подсказок. Это смехотворно легко выполнить, и неизвестного решения.

Как я писал в апреле, в ходе непрямой атаки с быстрым внедрением третья сторона «изменяет веб-сайт, добавляя скрытый текст, который должен изменить поведение ИИ». «Злоумышленники могут использовать социальные сети или электронную почту, чтобы направлять пользователей на веб-сайты с этими секретными подсказками. Как только это произойдет, системой искусственного интеллекта можно будет манипулировать, чтобы позволить злоумышленнику, например, попытаться извлечь информацию о кредитных картах людей». Благодаря новому поколению моделей искусственного интеллекта, подключенным к социальным сетям и электронной почте, возможности хакеров безграничны.

Я спросил OpenAI, Google и Meta, что они делают для защиты от атак быстрого внедрения и галлюцинаций. Meta не ответила вовремя к публикации, а OpenAI не прокомментировала запись.

Что касается склонности ИИ к выдумке, представитель Google заявил, что компания выпускает Bard в качестве «эксперимента» и что он позволяет пользователям проверить факты ответов Барда с помощью Google Поиска. «Если пользователи видят галлюцинацию или что-то неверное, мы рекомендуем им нажать кнопку «палец вниз» и оставить отзыв. Это один из способов, с помощью которого Бард будет учиться и совершенствоваться», — сказал представитель. Конечно, такой подход возлагает на пользователя ответственность за обнаружение ошибки, и люди склонны слишком доверять ответам, генерируемым компьютером. У Google не было ответа на мой вопрос о быстром внедрении.

Что касается быстрого внедрения, Google подтвердил, что это не решенная проблема и остается активной областью исследований. Представитель сообщил, что компания использует другие системы, такие как спам-фильтры, для выявления и фильтрации попыток атак, а также проводит состязательное тестирование и учения «красной команды», чтобы определить, как злоумышленники могут атаковать продукты, созданные на основе языковых моделей. «Мы используем специально обученные модели, чтобы помочь выявить известные вредоносные входные данные и известные небезопасные выходные данные, которые нарушают нашу политику», — сказал представитель.