Помечайте вредоносный контент с помощью обнаружения токсичности Amazon Comprehend

Машинное обучение

Помечайте вредоносный контент с помощью обнаружения токсичности Amazon Comprehend | DeepTech

DEEPTECH

November 14, 2023

Интернет-сообщества стимулируют взаимодействие пользователей в таких отраслях, как игры, социальные сети, электронная коммерция, знакомства и электронное обучение. Члены этих онлайн-сообществ доверяют владельцам платформ обеспечению безопасной и инклюзивной среды, в которой они могут свободно потреблять контент и вносить свой вклад. Модераторы контента часто нанимаются для проверки пользовательского контента и проверки его безопасности и соответствия вашим условиям использования. Однако постоянно растущие масштабы, сложность и разнообразие нежелательного контента делают рабочие процессы модерации людьми немасштабируемыми и дорогостоящими. В результате возникают бедные, вредные и неинклюзивные сообщества, которые отвлекают пользователей и негативно влияют на сообщество и бизнес.

Наряду с пользовательским контентом, машинный контент поставил новую задачу модерации контента. Он автоматически создает очень реалистичный контент, который может быть неуместным или вредным в масштабе. Перед отраслью стоит новая задача: автоматическая модерация контента, создаваемого искусственным интеллектом, для защиты пользователей от вредных материалов.

В этом посте мы представляем обнаружение токсичности — новую функцию Amazon Comprehend, которая помогает автоматически обнаруживать вредоносный контент в тексте, созданном пользователем или машиной. Сюда входит обычный текст, текст, извлеченный из изображений, а также текст, расшифрованный из аудио- или видеоконтента.

Обнаружение токсичности в текстовом контенте с помощью Amazon Comprehend

Amazon Comprehend — это сервис обработки естественного языка (NLP), который использует машинное обучение (ML) для выявления ценной информации и связей в тексте. Он предлагает ряд моделей машинного обучения, которые можно предварительно обучить или настроить с помощью интерфейсов API. Amazon Comprehend теперь предоставляет простое решение на основе NLP для обнаружения токсичного контента в тексте.

API Amazon Comprehend Toxicity Detection присваивает текстовому контенту общую оценку токсичности в диапазоне от 0 до 1, что указывает на вероятность того, что он является токсичным. Он также классифицирует текст по следующим семи категориям и предоставляет оценку достоверности для каждой:

НЕНАВИСТЬ_РЕЧ – Речь, которая критикует, оскорбляет, осуждает или дегуманизирует человека или группу на основе идентичности, будь то раса, этническая принадлежность, гендерная идентичность, религия, сексуальная ориентация, способности, национальное происхождение или другая группа идентичности.
ГРАФИКА – Речь, в которой используются визуально описательные, подробные и неприятно яркие образы. Такие выражения часто делаются многословными, чтобы усилить оскорбление, дискомфорт или вред получателю.
ПРИТЕСНЕНИЕ_ИЛИ_ЗЛОУПОТРЕБЛЕНИЕ – Речь, которая навязывает разрушительную динамику власти между говорящим и слушающим (независимо от намерений), стремится повлиять на психологическое благополучие реципиента или объективирует человека.
СЕКСУАЛЬНЫЙ – Речь, которая указывает на сексуальный интерес, активность или возбуждение, используя прямые или косвенные ссылки на части тела, физические особенности или пол.
VIOLENCE_OR_THREAT – Речь, содержащая угрозы, направленные на причинение боли, травм или враждебности по отношению к человеку или группе людей.
ОСКОРБЛЯТЬ – Речь, содержащая унизительные, унизительные, насмешливые, оскорбительные или унижающие выражения.
ненормативная лексика – Речь, содержащая слова, фразы или аббревиатуры, которые являются невежливыми, вульгарными или оскорбительными.

Вы можете получить доступ к API обнаружения токсичности, вызвав его напрямую с помощью интерфейса командной строки AWS (AWS CLI) и AWS SDK. Обнаружение токсичности в Amazon Comprehend в настоящее время поддерживается на английском языке.

Случаи использования

Модерация текста играет решающую роль в управлении пользовательским контентом в различных форматах, включая публикации в социальных сетях, сообщения в онлайн-чатах, обсуждения на форумах, комментарии на веб-сайтах и многое другое. Более того, платформы, принимающие видео- и аудиоконтент, могут использовать эту функцию для модерации расшифрованного аудиоконтента.

Появление генеративного ИИ и больших языковых моделей (LLM) представляет собой новейшую тенденцию в области ИИ. Следовательно, существует растущая потребность в гибких решениях для модерации контента, создаваемого LLM. API Amazon Comprehend Toxicity Detection идеально подходит для удовлетворения этой потребности.

Запрос API Amazon Comprehend для обнаружения токсичности

Вы можете отправить до 10 текстовых сегментов в API обнаружения токсичности, каждый из которых имеет ограничение по размеру в 1 КБ. Каждый текстовый сегмент запроса обрабатывается независимо. В следующем примере мы создаем файл JSON с именем toxicity_api_input.json содержащий текстовый контент, включая три фрагмента текста для модерации. Обратите внимание, что в примере нецензурные слова замаскированы как XXXX.

{
  "TextSegments": (     
    {"Text": "and go through the door go through the door he's on the right"},
    {"Text": "he's on the right XXXXX him"},
    {"Text": "what the XXXX are you doing man that's why i didn't want to play"}
  ),
  "LanguageCode": "en"
}

Вы можете использовать интерфейс командной строки AWS для вызова API обнаружения токсичности, используя предыдущий файл JSON, содержащий текстовое содержимое:

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Ответ API Amazon Comprehend Toxicity Detection

Выходные данные JSON ответа API обнаружения токсичности будут включать результат анализа токсичности в формате JSON. ResultList поле. ResultList перечисляет элементы текстового сегмента, а последовательность представляет порядок, в котором текстовые последовательности были получены в запросе API. Токсичность представляет собой общий показатель достоверности обнаружения (от 0 до 1). Метки включают список меток токсичности с показателями достоверности, классифицированных по типу токсичности.

Следующий код показывает ответ JSON от API обнаружения токсичности на основе примера запроса из предыдущего раздела:

{
    "ResultList": (
        {
            "Toxicity": 0.009200000204145908,
            "Labels": (
                { "Name": "PROFANITY", "Score": 0.0007999999797903001},
                { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905},
                { "Name": "INSULT", "Score": 0.003000000026077032},
                { "Name": "GRAPHIC", "Score": 0.0010000000474974513},
                { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258},
                { "Name": "SEXUAL", "Score": 0.0017000000225380063},
                { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291}
            )
        },
        {
            "Toxicity": 0.7358999848365784,
            "Labels": (
                { "Name": "PROFANITY", "Score": 0.011900000274181366},
                { "Name": "HATE_SPEECH", "Score": 0.019500000402331352},
                { "Name": "INSULT", "Score": 0.0714000016450882},
                { "Name": "GRAPHIC", "Score": 0.006099999882280827},
                { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292},
                { "Name": "SEXUAL", "Score": 0.0027000000700354576},
                { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266}
            )
        },
        {
            "Toxicity": 0.9843000173568726,
            "Labels": (
                { "Name": "PROFANITY", "Score": 0.9369999766349792 },
                { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 },
                { "Name": "INSULT", "Score": 0.42100000381469727 },
                { "Name": "GRAPHIC", "Score": 0.12630000710487366 },
                { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 },
                { "Name": "SEXUAL", "Score": 0.19169999659061432 },
                { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 }
            )
        }
    )
}

В предыдущем JSON первый текстовый сегмент считается безопасным с низкой оценкой токсичности. Однако второй и третий сегменты текста получили оценки токсичности 73% и 98% соответственно. Для второго сегмента Amazon Comprehend обнаруживает высокий показатель токсичности VIOLENCE_OR_THREAT; для третьего сегмента он обнаруживает PROFANITY с высоким показателем токсичности.

Пример запроса с использованием Python SDK

В следующем фрагменте кода показано, как использовать Python SDK для вызова API обнаружения токсичности. Этот код получает тот же ответ JSON, что и команда AWS CLI, продемонстрированная ранее.

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend')

# Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content(
    TextSegments=(
        {"Text":  "and go through the door go through the door he's on the right"},
        {"Text":  "he's on the right XXXXX him"},
        {"Text":  "what the XXXX are you doing man that's why i didn't want to play"}
    ),
    LanguageCode="en"
)

Краткое содержание

В этом посте мы представили обзор нового API Amazon Comprehend Toxicity Detection. Мы также описали, как анализировать ответ API в формате JSON. Для получения дополнительной информации обратитесь к документу Comprehend API.

Обнаружение токсичности Amazon Comprehend теперь доступно в четырех регионах: us-east-1, us-west-2, eu-west-1 и ap-southeast-2.

Дополнительную информацию о модерации контента см. в Руководстве по модерации контента на AWS. Сделайте первый шаг к оптимизации операций модерации контента с помощью AWS.

Об авторах

Лана Чжан — старший архитектор решений в команде AWS WWSO AI Services, специализирующийся на искусственном интеллекте и машинном обучении для модерации контента, компьютерного зрения, обработки естественного языка и генеративного искусственного интеллекта. Благодаря своему опыту она занимается продвижением решений AWS AI/ML и помогает клиентам трансформировать их бизнес-решения в различных отраслях, включая социальные сети, игры, электронную коммерцию, средства массовой информации, рекламу и маркетинг.

Равиша СК — старший технический менеджер по продукту в AWS, специализирующийся на искусственном интеллекте и машинном обучении. Она имеет более чем 10-летний опыт работы в области анализа данных и машинного обучения в различных областях. В свободное время она любит читать, экспериментировать на кухне и исследовать новые кофейни.