Автором этой публикации является Тара Шанкар Яна, старший менеджер по техническому маркетингу продуктов в Microsoft.

Что, если бы мы могли внедрить ИИ в повседневные инструменты, которыми мы пользуемся, чтобы радовать обычных пользователей? Немного творчества и мощная платформа искусственного интеллекта Microsoft позволяют создавать приложения с поддержкой искусственного интеллекта, которые удивят пользователей, как никогда раньше.

Представляем Snip Insights!

Snip Insights, кроссплатформенный инструмент искусственного интеллекта с открытым исходным кодом для интеллектуального захвата экрана, представляет собой шаг вперед с точки зрения того, как пользователи могут получать информацию из своих снимков экрана. Первоначальный прототип Snip Insights, созданный для ОС Windows и выпущенный на Microsoft Build 2018 в мае, был создан Стажеры Microsoft Garage базируется в Ванкувере, Канада.

Наша команда в Майкрософт Лаборатория искусственного интеллектав сотрудничестве с Microsoft ИИ технический директор команда вывела Snip Insights на новый уровень, предоставив инструменту новый интуитивно понятный пользовательский интерфейс, добавив кросс-платформенную поддержку (для MacOS, Linux и Windows) и предложив бесплатную загрузку и использование по лицензии MSA.

Snip Insights подключается к API-интерфейсам Microsoft Azure Cognitive Services и помогает повысить производительность пользователей, автоматически предоставляя им интеллектуальную информацию о снимках экрана.

Обзор решения

Snip Insights подключается к облачным службам искусственного интеллекта и — в зависимости от изображения, которое было снято с экрана — может преобразовывать его в переведенный текст, автоматически обнаруживать и помечать изображения, а также предлагать интеллектуальные предложения изображений, которые улучшают рабочий процесс пользователя. Это простое действие по объединению знакомого повседневного настольного инструмента с Azure Cognitive Services помогло нам создать универсальный магазин для анализа изображений.

Например, представьте, что вы отсканировали учебник или рабочий отчет. Вместо того, чтобы вручную вводить информацию в нем, вырезание теперь предоставит вам редактируемый текст благодаря мощи OCR. Или, возможно, вы просматриваете свою ленту в социальных сетях и натыкаетесь на кого-то, кто носит крутую пару обуви — теперь вы можете отрезать ее, чтобы узнать, где их купить. Snip Insights может даже помочь вам идентифицировать известных людей и популярные достопримечательности.

В прошлом вам приходилось делать снимок экрана, сохранять изображение, загружать его в поисковую систему изображений, а затем делать выводы и выводы оттуда.

Это намного умнее, не так ли?

Ключевые возможности

1. Поиск знаменитостей: Отрежьте изображение знаменитости, и инструмент предоставит вам актуальную информацию о них.

   

2. Обнаружение объектов и визуальный поиск Bing: Вы нашли футболку, которую носит ваш друг, в своем последнем посте в социальной сети и хотите узнать, где ее можно купить. Без проблем! Просто используйте Snip Insights, и вы увидите подходящие изображения продуктов и места, где их можно купить — и все это за считанные секунды!

   

3. OCR, языковой перевод и кросс-платформенная поддержка: Вы нашли цитату или фразу на английском языке и хотите перевести ее на французский или другой язык. Просто используйте Snip Insights, и вы сможете сделать это без особых усилий. Более того, этот инструмент бесплатный и работает на Windows, Linux и MacOS, так что он подходит всем!

Поддерживаемые платформы

Snip Insights доступен на следующих трех платформах:

• Универсальная платформа Windows (UWP)
• Mac OS
• линукс

Ксамарин

Xamarin.Forms позволяет создавать собственные пользовательские интерфейсы для iOS, Android, macOS, Linux и Windows из единой общей базы кода.

Вы можете погрузиться в разработку приложений с помощью Xamarin.Forms, следуя нашим бесплатное самостоятельное обучение от Xamarin University. Xamarin.Forms поддерживает предварительную версию приложений GTK#. GTK# — это набор инструментов для графического пользовательского интерфейса, который связывает набор инструментов GTK+ и различные библиотеки GNOME, позволяя разрабатывать полностью собственные графические приложения GNONE с использованием Mono и .NET. Дополнительные сведения см. здесь: Xamarin.Forms GTK#.

Монтаж

Окна

1. Загрузите zip из здесь.
2. Установите сертификат (файл “.cer”) в соответствии с инструкциями в Установить сертификат раздел.
3. Установите Snip Insights, дважды щелкнув файл пакета .appx.

линукс

1. Установите Mono, выполнив соответствующие шаги в зависимости от вашего дистрибутива Linux, https://www.mono-project.com/download/stable/#download-лин.
2. Установите пакет .deb из здесь.
3. Запустите приложение из раздела приложений.

Mac OS

1. Загрузите и установите Mono (стабильный канал): https://www.mono-project.com/download/stable/. Сюда входит GTK#, набор инструментов пользовательского интерфейса, на который опирается Xamarin.Forms для этого проекта.
2. Установите .pckg как обычное приложение macOS из здесь.
3. Приложение Snip Insights доступно в разделе приложений на macOS.

Требования

Использование собственной подписки

Чтобы добавить ключи в Snip Insights, проект Microsoft Garage, запустите приложение. После запуска нажмите / коснитесь значка «Настройки» на панели инструментов. Прокрутите вниз, пока не найдете переключатель «Когнитивные службы, включить помощь ИИ», и переключите его в положение «Вкл.». Теперь вы должны увидеть раздел Ключи службы Insight.

• Поиск сущностей: создайте новую когнитивную службу поиска сущностей. После создания вы можете отобразить ключи. Выберите один и вставьте в «Настройки».
• Анализ изображения. В Azure создайте Cognitive Service **Computer Vision API** и используйте ее ключ.
• Поиск изображений. В Azure создайте когнитивную службу Bing Search v7 API Cognitive Service и используйте ее ключ.
• Распознавание текста: вы можете использовать тот же ключ, что и в анализе изображений выше. И анализ изображений, и распознавание текста используют API компьютерного зрения.
• Переводчик: используйте Cognitive Service Translator Text API.
• Модератор контента: используйте Cognitive Service API модератора контента.

Для идентификатора и ключа приложения LUIS вам потребуется создать приложение распознавания речи на портале распознавания речи по адресу https://www.luis.ai. Выполните следующие действия, чтобы создать приложение LUIS и получить идентификатор приложения:

• Нажмите кнопку «Создать новое приложение».
• Укажите имя приложения. Оставьте культуру (английский) и описание по умолчанию.
• Нажмите Готово.
• На левой панели навигации щелкните Объекты.
• Щелкните Управление объектами предварительной сборки.
• Выберите datetimeV2 и адрес электронной почты.
• Нажмите Готово.
• Нажмите кнопку «Поезд» в верхней части страницы.
• Щелкните вкладку «Опубликовать».
• Нажмите кнопку «Опубликовать в производственном слоте».
• В нижней части экрана вы увидите список с полем Key String. Нажмите кнопку «Копировать» и вставьте это значение ключа в поле «Ключ LUIS» в настройках Snip Insights.
• Перейдите на вкладку «Настройки» (вверху).
• Скопируйте показанный идентификатор приложения и вставьте его в поле «Идентификатор приложения LUIS» в настройках для Snip Insights.

Теперь вы можете вставить каждый ключ в панель настроек приложения. Не забудьте нажать кнопку «Сохранить» после ввода всех ключей.

ПРИМЕЧАНИЕ. Для каждого введенного ключа существует соответствующая конечная точка службы. Включены некоторые конечные точки по умолчанию (вы можете использовать их в качестве примера), но при копировании каждого ключа также проверяйте и заменяйте конечную точку службы для каждой службы, которую вы используете. Вы найдете конечную точку службы для каждой службы Cognitive на странице обзора. Не забудьте нажать кнопку «Сохранить» после обновления всех конечных точек службы.

В итоге

Если вы дошли до этого момента и выполнили описанные выше шаги, у вас будет полностью работающее приложение для начала работы. Поздравляем! Мы надеемся, что вы получите удовольствие от тестирования проекта, и заранее благодарим вас за ваш вклад! Вы можете найти код, процесс разработки решения и другие подробности на Гитхаб.

Мы надеемся, что этот пост вдохновит вас начать работу с ИИ сегодня и побудит вас стать разработчиком ИИ.

Тара