Компании все чаще полагаются на изображения и видео, созданные пользователями, для привлечения внимания. От платформ электронной коммерции, поощряющих клиентов делиться изображениями продуктов, до компаний в социальных сетях, продвигающих созданные пользователями видео и изображения, использование пользовательского контента для взаимодействия является мощной стратегией. Однако может быть сложно гарантировать, что этот пользовательский контент соответствует вашим политикам и способствует созданию безопасного онлайн-сообщества для ваших пользователей.

Многие компании в настоящее время зависят от модераторов или реагируют на жалобы пользователей, чтобы управлять нежелательным контентом, созданным пользователями. Эти подходы не масштабируются для эффективной модерации миллионов изображений и видео с достаточным качеством или скоростью, что приводит к ухудшению пользовательского опыта, высоким затратам на достижение масштаба или даже потенциальному ущербу репутации бренда.

В этом посте мы обсудим, как использовать функцию пользовательской модерации в Amazon Rekognition для повышения точности предварительно обученного API модерации контента.

Модерация контента в Amazon Rekognition

Amazon Rekognition — это управляемый сервис искусственного интеллекта (ИИ), который предлагает предварительно обученные и настраиваемые возможности компьютерного зрения для извлечения информации и аналитических данных из изображений и видео. Одной из таких возможностей является модерация контента Amazon Rekognition, которая обнаруживает нежелательный или нежелательный контент в изображениях и видео. Amazon Rekognition использует иерархическую таксономию для обозначения неприемлемого или нежелательного контента с 10 категориями модерации верхнего уровня (например, насилие, откровенное, алкоголь или наркотики) и 35 категориями второго уровня. Клиенты из таких отраслей, как электронная коммерция, социальные сети и игры, могут использовать модерацию контента в Amazon Rekognition, чтобы защитить репутацию своего бренда и создать безопасные сообщества пользователей.

Используя Amazon Rekognition для модерации изображений и видео, модераторам приходится просматривать гораздо меньший набор контента, обычно 1–5 % от общего объема, уже помеченного моделью модерации контента. Это позволяет компаниям сосредоточиться на более важных видах деятельности и при этом обеспечить всестороннюю модерацию за небольшую часть существующих затрат.

Представляем пользовательскую модерацию Amazon Rekognition

Теперь вы можете повысить точность модели модерации Rekognition для данных вашего бизнеса с помощью функции пользовательской модерации. Вы можете обучить собственный адаптер всего лишь с 20 аннотированными изображениями менее чем за 1 час. Эти адаптеры расширяют возможности модели модерации, позволяя с большей точностью обнаруживать изображения, используемые для обучения. В этом посте мы используем образец набора данных, содержащий как безопасные изображения, так и изображения с алкогольными напитками (считающимися небезопасными), чтобы повысить точность метки модерации алкоголя.

Уникальный идентификатор обученного адаптера может быть предоставлен существующему Обнаружить метки модерации Операция API для обработки изображений с помощью этого адаптера. Каждый адаптер может использоваться только той учетной записью AWS, которая использовалась для обучения адаптера, гарантируя, что данные, используемые для обучения, останутся в безопасности в этой учетной записи AWS. С помощью функции пользовательской модерации вы можете адаптировать предварительно обученную модель модерации Rekognition для повышения производительности в вашем конкретном случае модерации без каких-либо знаний в области машинного обучения (ML). Вы можете продолжать пользоваться преимуществами полностью управляемой службы модерации с моделью оплаты по факту использования для индивидуальной модерации.

Обзор решения

Обучение пользовательского адаптера модерации включает пять шагов, которые можно выполнить с помощью Консоли управления AWS или интерфейса API:

1. Создать проект
2. Загрузите данные обучения
3. Присвойте изображениям метки основной истины
4. Обучение адаптера
5. Используйте адаптер

Давайте рассмотрим эти шаги более подробно с помощью консоли.

Создать проект

Проект — это контейнер для хранения ваших адаптеров. Вы можете обучать несколько адаптеров в рамках проекта с помощью разных наборов обучающих данных, чтобы оценить, какой адаптер лучше всего работает для вашего конкретного случая использования. Чтобы создать свой проект, выполните следующие шаги:

1. В консоли Amazon Rekognition выберите Пользовательская модерация в панели навигации.
2. Выбирать Создать проект.

3. Для Название проектавведите название вашего проекта.
4. Для Имя адаптеравведите имя вашего адаптера.
5. При необходимости введите описание вашего адаптера.

Загрузить данные обучения

Вы можете начать всего с 20 образцов изображений, чтобы адаптировать модель модерации для обнаружения меньшего количества ложных срабатываний (изображения, которые подходят для вашего бизнеса, но помечены моделью меткой модерации). Чтобы уменьшить количество ложноотрицательных результатов (изображений, которые не подходят для вашего бизнеса, но не отмечены меткой модерации), вам необходимо начать с 50 образцов изображений.

Вы можете выбрать один из следующих вариантов, чтобы предоставить наборы данных изображений для обучения адаптера:

Выполните следующие шаги:

1. Для этого сообщения выберите Импортируйте изображения из корзины S3. и введите свой URI S3.

Как и любой процесс обучения ML, обучение адаптера пользовательской модерации в Amazon Rekognition требует двух отдельных наборов данных: один для обучения адаптера, а другой — для оценки адаптера. Вы можете либо загрузить отдельный набор тестовых данных, либо автоматически разделить набор обучающих данных для обучения и тестирования.

2. Для этого сообщения выберите Авторазделение.
3. Выбирать Включить автоматическое обновление чтобы система автоматически переобучала адаптер при запуске новой версии модели модерации контента.
4. Выбирать Создать проект.

Присвойте изображениям метки основной истины

Если вы загрузили изображения без аннотаций, вы можете использовать консоль Amazon Rekognition для присвоения меток изображениям в соответствии с таксономией модерации. В следующем примере мы обучаем адаптер обнаруживать скрытый алкоголь с более высокой точностью и помечаем все такие изображения меткой «алкоголь». Изображения, которые не считаются неприемлемыми, могут быть помечены как безопасные.

Обучение адаптера

После того, как вы пометите все изображения, выберите Начать обучение инициировать тренировочный процесс. Amazon Rekognition будет использовать загруженные наборы данных изображений для обучения модели адаптера для повышения точности обработки изображений определенного типа, предоставленных для обучения.

После обучения пользовательского адаптера модерации вы сможете просмотреть все сведения об адаптере (adapterID, test и training файлы манифеста) в Производительность адаптера раздел.

Производительность адаптера В разделе отображаются улучшения по количеству ложных срабатываний и ложных отрицательных результатов по сравнению с предварительно обученной моделью модерации. Адаптер, который мы обучили для улучшения обнаружения этикетки с алкоголем, снижает уровень ложноотрицательных результатов на тестовых изображениях на 73%. Другими словами, адаптер теперь точно предсказывает метку модерации алкоголя для на 73 % больше изображений по сравнению с предварительно обученной моделью модерации. Однако улучшения в отношении ложноположительных результатов не наблюдается, поскольку для обучения не использовались ложноположительные образцы.

Используйте адаптер

Вы можете выполнить вывод с помощью недавно обученного адаптера для достижения повышенной точности. Для этого позвоните в Amazon Rekognition. DetectModerationLabel API с дополнительным параметром, ProjectVersionкоторый является уникальным AdapterID адаптера. Ниже приведен пример команды с использованием интерфейса командной строки AWS (AWS CLI):

aws rekognition detect-moderation-labels \
--image 'S3Object={Bucket="<bucket>",Name="<key>"}' \
--project-version <ARN of the Adapter> \
--region us-east-1

Ниже приведен пример фрагмента кода с использованием Библиотека Python Boto3:

import boto3
client = boto3.client('rekognition')
response = client.detect_moderation_labels(
    Image={
        "S3Object":{
            "Bucket":"<bucket>",
            "Name":"<key>"
        }
    }, 
    ProjectVersion="<ARN of the Adapter>"
)

Лучшие практики для обучения

Чтобы максимизировать производительность вашего адаптера, рекомендуется использовать следующие рекомендации по его обучению:

• Данные образца изображения должны отражать репрезентативные ошибки, для которых вы хотите повысить точность модели модерации.
• Вместо того, чтобы использовать только изображения ошибок для ложноположительных и ложноотрицательных результатов, вы также можете предоставить истинные положительные и истинные отрицательные результаты для повышения производительности.
• Предоставьте как можно больше аннотированных изображений для обучения.

Заключение

В этом посте мы представили подробный обзор новой функции пользовательской модерации Amazon Rekognition. Кроме того, мы подробно описали шаги по проведению обучения с помощью консоли, включая рекомендации по достижению оптимальных результатов. Для получения дополнительной информации посетите консоль Amazon Rekognition и изучите функцию пользовательской модерации.

Пользовательская модерация Amazon Rekognition теперь доступна во всех регионах AWS, где доступен Amazon Rekognition.

Узнайте больше о модерации контента на AWS. Сделайте первый шаг к оптимизации операций модерации контента с помощью AWS.

Об авторах

Шипра Канория является главным менеджером по продукту в AWS. Она с энтузиазмом помогает клиентам решать их самые сложные проблемы с помощью машинного обучения и искусственного интеллекта. Прежде чем присоединиться к AWS, Шипра более 4 лет проработала в Amazon Alexa, где запустила множество функций, связанных с производительностью, в голосовом помощнике Alexa.

Аакаш Дип — инженер-менеджер по разработке программного обеспечения из Сиэтла. Ему нравится работать над компьютерным зрением, искусственным интеллектом и распределенными системами. Его миссия — предоставить клиентам возможность решать сложные проблемы и создавать ценность с помощью AWS Rekognition. Помимо работы он любит пешие прогулки и путешествия.

Лана Чжан — старший архитектор решений в команде AWS WWSO AI Services, специализирующийся на искусственном интеллекте и машинном обучении для модерации контента, компьютерного зрения, обработки естественного языка и генеративного искусственного интеллекта. Благодаря своему опыту она занимается продвижением решений AWS AI/ML и помогает клиентам трансформировать их бизнес-решения в различных отраслях, включая социальные сети, игры, электронную коммерцию, средства массовой информации, рекламу и маркетинг.