Новое исследование, основанное на прагматике и философии, предлагает способы привести диалоговых агентов в соответствие с человеческими ценностями.

Язык — это важная человеческая черта и основное средство, с помощью которого мы передаем информацию, включая мысли, намерения и чувства. Недавние прорывы в исследованиях искусственного интеллекта привели к созданию диалоговых агентов, которые способны общаться с людьми разными способами. Эти агенты работают на больших языковых моделях — вычислительных системах, обученных на огромных массивах текстовых материалов для прогнозирования и создания текста с использованием передовых статистических методов.

Тем не менее, хотя языковые модели, такие как ИнструктироватьGPT, Суслики ЛаМДА Достигнув рекордного уровня производительности при выполнении таких задач, как перевод, ответы на вопросы и понимание прочитанного, эти модели также продемонстрировали ряд потенциальных рисков и режимов сбоя. К ним относятся использование токсичных или дискриминационных высказываний, а также ложной или вводящей в заблуждение информации (1, 2, 3).

Эти недостатки ограничивают продуктивное использование диалоговых агентов в прикладных ситуациях и привлекают внимание к тому, что они не соответствуют определенным требованиям. коммуникативные идеалы. На сегодняшний день большинство подходов к настройке диалоговых агентов сосредоточены на прогнозировании и снижении рисков причинения вреда (4).

Наша новая газета, Разговор с ИИ: приведение языковых моделей в соответствие с человеческими ценностямииспользует другой подход, исследуя, как может выглядеть успешное общение между человеком и искусственным диалоговым агентом и какие ценности должны направлять это взаимодействие в различных разговорных областях.

Выводы из прагматики

Для решения этих проблем в статье используется прагматика, традиция лингвистики и философии, согласно которой цель разговора, его контекст и набор связанных с ним норм составляют существенную часть здоровой разговорной практики.

Моделируя разговор как совместную деятельность двух или более сторон, лингвист и философ Пол Грайс считал, что участники должны:

• Говорите информативно
• Говорить правду
• Предоставьте соответствующую информацию
• Избегайте неясных или двусмысленных утверждений.

Однако наша статья показывает, что необходима дальнейшая доработка этих принципов, прежде чем их можно будет использовать для оценки диалоговых агентов, учитывая различия в целях и ценностях, заложенных в разных диалоговых областях.

Дискурсивные идеалы

Например, научные исследования и коммуникации направлены в первую очередь на понимание или предсказание эмпирических явлений. Учитывая эти цели, диалоговый агент, предназначенный для содействия научным исследованиям, в идеале должен делать только утверждения, правдивость которых подтверждена достаточными эмпирическими данными, или иным образом уточнять свои позиции в соответствии с соответствующими доверительными интервалами.

Например, агент, сообщающий, что «На расстоянии 4,246 световых лет Проксима Центавра является ближайшей к Земле звездой», должен делать это только после того, как лежащая в его основе модель проверит соответствие этого утверждения фактам.

Тем не менее, собеседнику, играющему роль модератора в публичном политическом дискурсе, возможно, придется демонстрировать совершенно другие достоинства. В этом контексте целью является, прежде всего, преодоление разногласий и обеспечение продуктивного сотрудничества в жизни сообщества. Следовательно, агенту необходимо будет выдвинуть на первый план демократические ценности терпимости, вежливости и уважения (5).

Более того, эти ценности объяснять почему создание токсичной или предвзятой речи с помощью языковых моделей часто так проблематично: оскорбительный язык не может передать равное уважение к участникам разговора, что является ключевым значением для контекста, в котором используются модели. В то же время научные достоинства, такие как всестороннее представление эмпирических данных, могут быть менее важными в контексте общественного обсуждения.

Наконец, в области творческого повествования коммуникативный обмен нацелен на новизну и оригинальность, ценности, которые также существенно отличаются от описанных выше. В этом контексте может быть уместным более широкий простор для воображения, хотя по-прежнему важно защищать сообщества от вредоносного контента, создаваемого под видом «творческого использования».

Пути вперед

Это исследование имеет ряд практических последствий для разработки согласованных диалоговых агентов ИИ. Начнем с того, что им нужно будет воплощать разные характеристики в зависимости от контекста, в котором они используются: не существует универсального подхода к согласованию языковой модели. Вместо этого соответствующий режим и стандарты оценки для агента, включая стандарты правдивости, будут различаться в зависимости от контекста и цели разговорного обмена.

Кроме того, диалоговые агенты могут также иметь потенциал для развития более содержательных и уважительных разговоров с течением времени посредством процесса, который мы называем построение и пояснение контекста. Даже когда человек не знает о ценностях, которые управляют данной разговорной практикой, агент все равно может помочь человеку понять эти ценности, предвосхищая их в разговоре, делая ход общения более глубоким и плодотворным для говорящего человека.