Записи совещаний являются важной частью совместной работы, однако они часто остаются незамеченными. Между ведением дискуссий, внимательным слушанием и набором заметок ключевая информация легко ускользает незаписанной. Даже когда заметки записаны, они могут быть неорганизованными или неразборчивыми, что делает их бесполезными.

В этом посте мы рассмотрим, как использовать Amazon Transcribe и Amazon Bedrock для автоматического создания четких и кратких обзоров видео- и аудиозаписей. Будь то внутреннее собрание команды, конференция или звонок о прибылях и убытках, этот подход может помочь вам выделить часы контента до наиболее важных моментов.

Мы рассмотрим решение для расшифровки заседания проектной группы и суммируем ключевые выводы с помощью Amazon Bedrock. Мы также обсудим, как вы можете настроить это решение для других распространенных сценариев, таких как лекции, собеседования и звонки по продажам. Читайте дальше, чтобы упростить и автоматизировать процесс ведения заметок.

Обзор решения

Объединив Amazon Transcribe и Amazon Bedrock, вы сможете сэкономить время, получить ценную информацию и улучшить совместную работу. Amazon Transcribe — это сервис автоматического распознавания речи (ASR), который упрощает добавление в приложения возможности преобразования речи в текст. Он использует передовые технологии глубокого обучения для точной расшифровки аудио в текст. Amazon Bedrock — это полностью управляемый сервис, который предлагает выбор высокопроизводительных базовых моделей (FM) от ведущих компаний в области ИИ, таких как AI21 Labs, Anthropic, Cohere, Meta, Stability AI и Amazon, с единым API, а также широким набором инструментов. возможности, необходимые для создания генеративных приложений искусственного интеллекта. С помощью Amazon Bedrock вы можете легко экспериментировать с различными ведущими FM и индивидуально настраивать их на основе своих данных, используя такие методы, как точная настройка и поисковая дополненная генерация (RAG).

Решение, представленное в этом посте, организовано с использованием конечного автомата AWS Step Functions, который срабатывает, когда вы загружаете запись в назначенную корзину Amazon Simple Storage Service (Amazon S3). Step Functions позволяет создавать бессерверные рабочие процессы для координации и подключения компонентов в сервисах AWS. Он справляется с основной сложностью, поэтому вы можете сосредоточиться на логике приложения. Это полезно для координации задач, распределенной обработки, ETL (извлечение, преобразование и загрузка) и автоматизации бизнес-процессов.

На следующей диаграмме показана высокоуровневая архитектура решения.

Рабочий процесс решения включает в себя следующие этапы:

1. Пользователь сохраняет запись в корзине активов S3.
2. Это действие запускает конечный автомат транскрипции и суммирования Step Functions.
3. В рамках конечного автомата запускается функция AWS Lambda, которая расшифровывает запись с помощью Amazon Transcribe и сохраняет транскрипцию в корзине активов.
4. Вторая функция Lambda извлекает транскрипцию и генерирует сводку, используя модель Anthropic Claude в Amazon Bedrock.
5. Наконец, последняя функция Lambda использует Amazon Simple Notification Service (Amazon SNS) для отправки получателю сводки записи.

Это решение поддерживается в регионах, где доступен Anthropic Claude на Amazon Bedrock.

Государственный автомат организует шаги для выполнения конкретных задач. Следующая диаграмма иллюстрирует подробный процесс.

Предварительные условия

Пользователям Amazon Bedrock необходимо запросить доступ к моделям, прежде чем они станут доступны для использования. Это разовая акция. Для этого решения вам необходимо включить доступ к модели Anthropic Claude (не Anthropic Claude Instant) в Amazon Bedrock. Дополнительные сведения см. в разделе Доступ к модели.

Развертывание ресурсов решения

Решение развертывается с использованием шаблона AWS CloudFormation, который можно найти на Репозиторий GitHub, чтобы автоматически предоставить необходимые ресурсы в вашей учетной записи AWS. Для шаблона необходимы следующие параметры:

• Адрес электронной почты, используемый для отправки сводки – Резюме будет отправлено на этот адрес. Прежде чем получать дополнительные уведомления, вам необходимо подтвердить первоначальное электронное письмо с подтверждением Amazon SNS.
• Краткие инструкции – Это инструкции, данные модели Amazon Bedrock для создания сводки.

Запустите решение

После развертывания решения с помощью AWS CloudFormation выполните следующие шаги:

1. Подтвердите электронное письмо с подтверждением Amazon SNS, которое вы должны получить через несколько минут после создания стека CloudFormation.
2. В консоли AWS CloudFormation перейдите к только что созданному стеку.
3. В стеке Выходы вкладку и найдите значение, связанное с AssetBucketName; это будет выглядеть примерно так summary-generator-assetbucket-xxxxxxxxxxxxx.
4. На консоли Amazon S3 перейдите к своему сегменту активов.

Сюда вы будете загружать свои записи. Допустимые форматы файлов: MP3, MP4, WAV, FLAC, AMR, OGG и WebM.

5. Загрузите свою запись на recordings папка.

Загрузка записей автоматически активирует конечный автомат Step Functions. В этом примере мы используем образец записи собрания команды в sample-recording каталог репозитория GitHub.

6. В консоли Step Functions перейдите к конечному автомату генератора сводок.
7. Выберите имя конечного автомата, запускаемого со статусом Бег.

Здесь вы можете наблюдать за ходом работы конечного автомата при обработке записи.

8. После того, как оно достигнет своего Успех штат, вы должны получить по электронной почте краткое изложение записи.

Кроме того, вы можете перейти к сегменту ресурсов S3 и просмотреть стенограмму в папке стенограмм.

Просмотрите сводку

Вы получите сводку записи по электронной почте на адрес, который вы указали при создании стека CloudFormation. Если вы не получили электронное письмо через несколько секунд, убедитесь, что вы подтвердили электронное письмо с подтверждением Amazon SNS, которое вы должны были получить после создания стека, а затем снова загрузите запись, что запустит процесс сводки.

Это решение включает в себя запись пробного собрания команды, которую вы можете использовать для тестирования решения. Сводка будет выглядеть аналогично следующему примеру. Однако из-за природы генеративного ИИ ваш результат будет выглядеть немного иначе, но содержание должно быть близким.

Вот ключевые моменты стендапа:

• Джо закончил проверку текущего состояния задачи EDU1 и создал новую задачу для разработки будущего состояния. Эта новая задача находится в очереди и должна быть расставлена ​​по приоритетам. Сейчас он запускает EDU2, но выбор ресурсов заблокирован.
• Роб создал стратегию маркировки для SLG1, основываясь на передовом опыте, но, возможно, ему придется координировать свои действия с другими командами, создавшими свои собственные стратегии, чтобы выработать единый подход. Была создана новая задача для координации стратегий мечения.
• Роб добился прогресса в отладке SLG2, но ему может понадобиться дополнительная помощь. Эта задача будет перенесена на второй спринт, чтобы дать время получить дополнительные ресурсы.

Следующие шаги:

• Джо продолжит работу над EDU2, пока не будет принято решение о выборе ресурсов.
• Новая задача, которая будет приоритетной для координации стратегий тегирования между командами.
• SLG2 перешёл на Спринт 2
• Стендапы перенесут на понедельник начиная со следующей недели

Развернуть решение

Теперь, когда у вас есть работающее решение, вот несколько потенциальных идей по настройке решения для ваших конкретных случаев использования:

• Попробуйте изменить процесс, чтобы он соответствовал доступному исходному контенту и желаемым результатам:
  • В ситуациях, когда расшифровки доступны, создайте альтернативный рабочий процесс Step Functions для приема существующих расшифровок на основе текста или PDF.
  • Вместо использования Amazon SNS для уведомления получателей по электронной почте вы можете использовать его для отправки выходных данных в другую конечную точку, например на сайт совместной работы группы или в канал чата группы.
• Попробуйте изменить параметр стека сводных инструкций CloudFormation, предоставленный Amazon Bedrock, чтобы получить выходные данные, соответствующие вашему варианту использования (это генеративное приглашение ИИ):
  • Подводя итоги отчета о прибылях компании, вы можете сосредоточить внимание модели на потенциально многообещающих возможностях, проблемных областях и вещах, которые вам следует продолжать отслеживать.
  • Если вы используете это для подведения итогов лекции курса, модель может определять предстоящие задания, обобщать ключевые понятия, перечислять факты и отфильтровывать любые светские разговоры из записи.
• Для одной и той же записи создайте разные сводки для разных аудиторий:
  • Резюме инженеров сосредоточены на проектных решениях, технических проблемах и предстоящих результатах.
  • В сводках менеджеров проектов основное внимание уделяется срокам, затратам, результатам и действиям.
  • Спонсоры проекта получают краткую информацию о статусе проекта и его эскалации.
  • Для более длинных записей попробуйте создать сводки для разных уровней интереса и затрат времени. Например, создайте одно предложение, один абзац, одну страницу или подробное резюме. В дополнение к подсказке вы можете настроить max_tokens_to_sample параметр для размещения контента разной длины.

Очистить

Чтобы очистить решение, удалите созданный ранее стек CloudFormation. Обратите внимание, что удаление стека не приведет к удалению сегмента активов. Если вам больше не нужны записи или расшифровки, вы можете удалить этот сегмент отдельно. Amazon Transcribe автоматически удалит задания по транскрипции через 90 дней, но вы можете удалить их вручную раньше.

Заключение

В этом посте мы рассмотрели, как использовать Amazon Transcribe и Amazon Bedrock для автоматического создания четких и кратких изложений видео- и аудиозаписей. Мы рекомендуем вам продолжить оценку Amazon Bedrock, Amazon Transcribe и других сервисов искусственного интеллекта AWS, таких как Amazon Textract, Amazon Translate и Amazon Rekognition, чтобы увидеть, как они могут помочь в достижении ваших бизнес-целей.

Об авторах

Роб Барнс является главным консультантом AWS Professional Services. Он работает с нашими клиентами над обеспечением требований безопасности и соответствия требованиям в сложных средах AWS с несколькими учетными записями посредством автоматизации.

Джейсон Стел — старший архитектор решений в AWS, расположенном в Новой Англии. Он работает с клиентами, чтобы согласовать возможности AWS с их самыми серьезными бизнес-задачами. В свободное от работы время он занимается сборкой вещей и просмотром фильмов по комиксам со своей семьей.