С разрешения ИССЛЕДОВАТЕЛЕЙ

Чжао признает, что существует риск того, что люди могут злоупотребить методом заражения данных в злонамеренных целях. Однако, по его словам, злоумышленникам потребуются тысячи отравленных образцов, чтобы нанести реальный ущерб более крупным и мощным моделям, поскольку они обучены на миллиардах образцов данных.

«Мы пока не знаем надежных средств защиты от этих атак. Мы еще не сталкивались с отравляющими атаками на современные модели (машинного обучения), но это может быть лишь вопросом времени», — говорит Виталий Шматиков, профессор Корнелльского университета, изучающий безопасность моделей искусственного интеллекта и не принимавший участия в разработке. исследовать. «Пришло время поработать над защитой», — добавляет Шматиков.

Гаутам Камат, доцент Университета Ватерлоо, который исследует конфиденциальность и надежность данных в моделях искусственного интеллекта и не участвовал в исследовании, говорит, что работа «фантастическая».

Исследование показывает, что уязвимости «в этих новых моделях не исчезают волшебным образом, а на самом деле становятся только более серьезными», — говорит Камат. «Это особенно верно, поскольку эти модели становятся более мощными, и люди доверяют им больше, поскольку ставки со временем только растут».

Мощный сдерживающий фактор

Цзюньфэн Ян, профессор информатики в Колумбийском университете, который изучал безопасность систем глубокого обучения и не участвовал в этой работе, говорит, что Nightshade может оказать большое влияние, если заставит компании, занимающиеся искусственным интеллектом, больше уважать права художников — например, , будучи более готовыми выплачивать роялти.

Компании, занимающиеся искусственным интеллектом, которые разработали генеративные модели преобразования текста в изображение, такие как Stability AI и OpenAI, предложили художникам отказаться от использования их изображений для обучения будущих версий моделей. Но художники говорят, что этого недостаточно. Ева Тооренент, иллюстратор и художник, использовавшая Glaze, говорит, что политика отказа требует от художников преодолевать трудности и при этом оставлять технологическим компаниям всю власть.

Тооренент надеется, что Nightshade изменит статус-кво.

«Это заставит (компании, занимающиеся искусственным интеллектом) дважды подумать, потому что у них есть возможность разрушить всю свою модель, забрав нашу работу без нашего согласия», — говорит она.

Отэм Беверли, еще одна художница, говорит, что такие инструменты, как Nightshade и Glaze, вселили в нее уверенность в том, что она снова сможет публиковать свои работы в Интернете. Ранее она удалила его из Интернета после того, как обнаружила, что оно было без ее согласия внесено в популярную базу данных изображений LAION.

«Я просто очень благодарна, что у нас есть инструмент, который может помочь вернуть художникам власть над их собственными работами», — говорит она.