Поскольку варианты использования ИИ распространяются в разных отраслях, многие организации работают с партнерами и поставщиками услуг ИИ над разработкой моделей машинного обучения или систем обработки естественного языка (NLP). В этом стремлении им нужны данные для поддержки проектов искусственного интеллекта. За последние несколько лет услуги обработки данных ИИ стали популярными (рис. 1). Amazon Mechanical Turk — одна из таких компаний, которая удовлетворяет потребности бизнеса в данных.
Однако последние новости пролили свет на некоторые проблемы в компании.1поэтому лидеры бизнеса могут захотеть переоценить компанию, прежде чем инвестировать в нее.
В этой статье предлагается углубленная оценка Amazon Mechanical Turk, которая поможет вам принять обоснованное решение. Если вы уже заинтересованы в получении информации об альтернативах Amazon Mechanical Turk, ознакомьтесь с этой статьей, предлагающей 3 альтернативы MTurk.
Рисунок 1. Глобальный трафик по ключевому слову «услуги данных AI».
Последние новости об Amazon Mechanical Turk
Прежде чем мы углубимся в мельчайшие детали, давайте сначала ознакомимся с последними новостями и обновлениями о компании.
1. Тяжелые условия труда
Недавняя новостная статья2 в интервью Кристал Кауфман, ведущий организатор Turkopticon, подчеркнул тяжелые условия труда работников Amazon Mechanical Turk. Это может вызвать обеспокоенность у клиентов, которые пытаются внедрить практику справедливой торговли.
2. MTurkers используют автоматизированные инструменты
Согласно недавнему исследованию3Примерно от 33 до 46% работников платформы Amazon Mechanical Turk или MTurkers используют большие языковые модели (LLM) для автоматизации задач, которые специально предназначены для выполнения людьми. Это может создать проблемы для моделей ИИ клиентов, которые требуют обучения на данных, созданных человеком.
3. Работникам платят меньше минимальной заработной платы в США.
Еще одно недавнее исследование
Университет Массачусетса сообщил, что рабочая сеть MTurk, которая в основном базируется в Соединенных Штатах (~75%), получает в среднем <3 доллара в час, что примерно на 40% меньше, чем установленная федеральная минимальная заработная плата, составляющая> 7 долларов в час. час.
4. Значительно меньший размер толпы, чем заявлено
MTurk утверждает на своем веб-сайте, что его сеть сотрудников насчитывает более 500 000 человек.4но согласно недавнему отчету, их всего около 100 0005 работники доступны для работы на платформе.
Оценка производительности Amazon Mechanical Turk
Прежде чем заключать договоры с каким-либо технологическим партнером, важно узнать о его эффективности с точки зрения клиента. Один из наиболее прямых способов сделать это — через рейтинги, которые он получает от сторонних платформ. Эти рейтинги дают ценную информацию о качестве задач, уровне одобрения и надежности предложений компании.
В этом разделе мы выделяем некоторые рейтинги и отзывы клиентов, собранные с платформ обзора B2B, чтобы помочь вам получить общее представление о производительности MTurk.
Пользовательский рейтинг MTurk
Чтобы оценить пользовательские рейтинги MTurk, мы рассматривали только платформы, имеющие более 20 отзывов.
Таблица 1. Сравнение оценок пользователей MTurk
| Платформа | Пользовательские рейтинги из 5 |
Количество обзоры |
|---|---|---|
| G2 | 4.1 | 29 |
| Трастпилот | 1,9 | 55 |
| Сайтджаббер | 2.6 | 63 |
| Средний балл: | 2,8 |
Отзывы клиентов
В этом разделе представлены некоторые положительные и отрицательные отзывы клиентов о MTurk, полученные на сторонних платформах обзора B2B, перечисленных в предыдущей таблице. Мы проанализировали все отзывы и выбрали актуальные.
Положительные отзывы о MTurk
1. Что касается службы сбора данных
Клиент, который использует Mturk для сбора данных, считает, что платформа быстрая, эффективная и удобная для пользователя.6.
2. По поводу проведения опросов через MTurk
Клиент нашел платформу более профессиональной, чем другие платформы для проведения опросов.7.
Отрицательные отзывы о MTurk
1. Совокупность отзывов о MTurk от сотрудников Trustpilot
Мы проанализировали около 55 отзывов работников MTurk и установили, что, хотя есть работники, которые довольны платформой, большинство из них — нет. Опасения были связаны с низкими ставками заработной платы, блокировкой учетных записей, мошенничеством на платформе и плохим управлением компанией.8. Вот визуальное резюме отзывов:
2. Низкое качество работников
Один клиент отметил, что качество работ, выполняемых MTurkers, иногда бывает низким.9.
3- Опасения по поводу общения с MTurkers
Клиент подчеркнул, что может быть сложно связаться с сотрудниками MTrukers, которые завершили ваши HIT, для последующего наблюдения.10.
Что такое Amazon Mechanical Turk?
Amazon Mechanical Turk, или MTurk, — это краудсорсинговая площадка, которая позволяет предприятиям передавать процессы и рабочие места распределенной рабочей силе. Эти задачи, известные как задачи человеческого интеллекта (HIT), хорошо подходят для людей, но сложны для компьютеров. Примеры варьируются от проверки данных и ответов на опросы до экспериментальных исследований и написания описаний продуктов.
MTurk служит ресурсом для различных пользователей, в том числе академических исследователей, представителей бизнеса, разработчиков технологий, исследователей рынка и т. д. Разработчики технологий, например, часто используют платформу для сбора/генерации данных обучения ИИ и получения услуг аннотаций.
Услуги и предложения Amazon Mechanical Turk
В этом разделе представлены некоторые предложения MTurk.
1. Задачи человеческого интеллекта (HIT)
Хлеб с маслом MTurk — это задачи человеческого интеллекта. Эти задачи могут быть любыми: от ответов на вопросы опроса до аннотирования изображений соответствующей информацией. Подавляющее большинство этих задач рассчитано на быстрое выполнение, поскольку они представляют собой микрозадачи.
2. Сбор данных
Платформа MTurk также работает как служба сбора данных для обучения искусственному интеллекту, где разработчики могут собирать соответствующие данные, созданные человеком, по запросу.
3. Экспериментальные исследования
Одно из предложений Mechanical Turk — экспериментальные исследования. Академические исследователи могут использовать Mechanical Turk в качестве платформы для проведения экспериментов, требующих аннотированных человеком данных или ответов участников.
4. Бизнес-процессы
Компании также могут использовать MTurk для улучшения своих бизнес-процессов. Платформа предлагает такие услуги, как ввод данных, отзывы клиентов и написание описаний продуктов. MTurk также предлагает интеграцию API, позволяющую предприятиям напрямую работать с платформой.
5. Оплата и компенсация
Mechanical Turk предлагает систему оплаты, которая позволяет заказчикам платить работникам либо фиксированную сумму, либо в зависимости от качества и количества выполненной работы.
Альтернативы Amazon Mechanical Turk
Прежде чем инвестировать в MTurk, может быть полезно рассмотреть его альтернативы. В этом разделе описаны некоторые ключевые альтернативы Amazon Mechanical Turk, которые вы можете рассмотреть.
- Кликворкер: Clickworker — поставщик услуг обработки данных искусственного интеллекта. который работает по модели краудсорсинга с глобальной сетью, насчитывающей более 4,5 миллионов сотрудников.
- Приложение: Этот популярный поставщик услуг обработки данных ИИ предлагает услуги обработки данных ИИ через краудсорсинговую платформу с глобальной сетью, насчитывающей более 1 миллиона сотрудников.
- Телус Интернэшнл: Предлагайте услуги обработки данных искусственного интеллекта через глобальную сеть, насчитывающую более 1 миллиона сотрудников.
Дальнейшее чтение
Внешние ресурсы
- Колдьюи, Д. (2023). Механические рабочие-турки используют искусственный интеллект, чтобы автоматизировать свою человечность. TechCrunch. Доступ: 19 сентября 2023 г.
- Скелтон, С.К. (2023). Интервью AI: Кристал Кауфман, ведущий организатор Turkopticon. ComputerWeekly.com. Доступ: 20 сентября 2023 г.
- Веселовский В., Рибейро М.Х. и Уэст Р. (2023). Искусственный искусственный интеллект: краудсорсеры широко используют большие языковые модели для задач по производству текста. Доступ: 20 сентября 2023 г.
- Добро пожаловать в руководство пользователя пользовательского интерфейса Amazon Mechanical Turk. Доступ: 20 сентября 2023 г.
- Дифаллах Д., Филатова Э. и Ипейротис П. (2018). Демография и динамика турецких рабочих-механиков. В материалах одиннадцатой международной конференции ACM по веб-поиску и интеллектуальному анализу данных (стр. 135–143). Доступ: 20 сентября 2023 г.
- Сбор данных отзывов клиентов Mturk. Г2. Доступ: 20 сентября 2023 г.
- Опросы отзывов клиентов MTurk. Г2. Доступ: 20 сентября 2023 г.
- Совокупность отзывов работников. Трастпилот. Доступ: 20 сентября 2023 г.
- отрицательный отзыв об услуге сбора данных. Г2. Доступ: 20 сентября 2023 г.
- Негативный отзыв об общении с работниками. Г2. Доступ: 21 сентября 2023 г.