Введение

Цель этой статьи — продемонстрировать, как работает обучение с учителем и как его можно использовать для создания высокоточных моделей машинного обучения.

Контролируемое обучение

Алгоритм контролируемого глубокого обучения позволяет системе учиться на примере с помощью наблюдателя (который может корректировать выходные данные), контролирующего весь процесс. Термин «контролируемый» означает, что алгоритм основан на наблюдении и исправлении ошибок в течение всего процесса.

Обучение с учителем — это одна из подкатегорий машинного обучения и искусственного интеллекта, которую также можно назвать машинным обучением с учителем (SML).

Для обучения алгоритмов, способных точно классифицировать данные или прогнозировать результаты, этот метод зависит от помеченных наборов данных, которые можно использовать для обучения алгоритмов.

По мере ввода данных в модель веса постоянно корректируются до тех пор, пока модель не будет подходящей, что является частью процесса перекрестной проверки, выполняемой во время и после загрузки модели данными.

Контролируемый процесс обучения включает в себя идентификацию или сопоставление входных данных с предоставленными выходными данными, по сути, контроль результата. Алгоритмы контролируемого обучения работают над поиском функции отображения между входной переменной (x) и выходной переменной (y) на основе наборов данных, на которых он обучался.

Y = f(X)

Функция отображения должна быть настолько хорошо аппроксимирована, чтобы при введении в модель (x) новых входных данных можно было предсказать выходные значения (Y).

В процессе обучения мы знаем правильные ответы, алгоритм делает прогнозы на основе обучающих данных, а затем преподаватель корректирует алгоритм по мере его продвижения. Как только алгоритм достигает уровня производительности, который мы одобряем, обучение заканчивается.

Обучение под наблюдением помогает нам решать реальные проблемы, такие как оценка рисков, классификация изображений, обнаружение мошенничества и фильтрация спама.

Этапы обучения под контролем

Первым шагом является определение типа набора обучающих данных, который будет использоваться в зависимости от желаемого результата.

Следующий шаг — сбор размеченных обучающих данных, которые помогут нам обучить алгоритм.

Создайте набор обучающих данных, тестовый набор данных и набор проверочных данных на основе собранных обучающих данных.

Входные характеристики обучающего набора должны быть определены, чтобы модель могла точно классифицировать выходные данные.

Хороший метод моделирования следует выбирать в соответствии с соответствующим алгоритмом, например SVM, DecisionTree и т. д.

Выполните алгоритм в наборе обучающих данных. Наборы проверки, которые являются подмножествами обучающих данных, иногда могут использоваться в качестве контрольных параметров в экспериментах для корректировки весов до тех пор, пока вы не получите желаемые результаты.

Оцените точность модели, предоставив тестовый набор. Если модель предсказывает правильный результат, это означает, что наша модель ближе к ожидаемому результату, поскольку вы видите желаемый результат. Возможно, потребуется несколько корректировок.

Как работает контролируемое обучение

Чтобы научить модель выдавать желаемый результат, обучение с учителем использует обучающий набор с размеченными данными для обработки неразмеченных данных для прогнозирования результата. Он включает в себя входные данные и правильные выходные данные, которые позволяют ему учиться с течением времени. Чтобы улучшить прогнозирование, алгоритм корректирует веса на основе функции потерь и оценивает точность.

Обучение с учителем можно разделить на два типа проблем при интеллектуальном анализе данных — классификацию и регрессию:

Классификация использует алгоритм для распределения тестовых данных по определенным категориям. Используя алгоритм классификации, тестовые данные можно разделить на различные категории. Алгоритм распознает конкретные объекты в наборе данных и пытается определить, как эти объекты следует классифицировать. В следующих разделах мы более подробно обсудим линейные классификаторы, машины опорных векторов (SVM), деревья решений, k-ближайших соседей и случайные леса.

Регрессия Анализ помогает нам изучить взаимосвязь между зависимыми и независимыми переменными. Он обычно используется для прогнозирования, например, доходов от продаж для данного бизнеса. Линейная регрессия, логистическая регрессия и полиномиальная регрессия — популярные алгоритмы регрессии.

Алгоритмы контролируемого обучения

В процессах контролируемого машинного обучения используются различные алгоритмы и методы вычислений. Ниже приведены краткие объяснения некоторых наиболее часто используемых методов обучения, обычно рассчитываемых с помощью таких программ, как R или Python: Нейронные сети.

Имитируя взаимосвязанность человеческого мозга через слои узлов, нейронные сети обрабатывают обучающие данные. Узлы в сети состоят из входов, весов, смещений (или порогов) и выходов. Узлы активируются или срабатывают, когда выходное значение превышает определенный порог, и данные передаются на последующие уровни. Градиентный спуск позволяет нейронным сетям корректироваться на основе функции потерь. Изучая контролируемое обучение функции отображения, мы можем быть уверены, что модель точна, если функция потерь близка к нулю.

Наивный Байес

Согласно теореме Байеса, наивный байесовский классификационный подход подчеркивает условную независимость классов. Каждый предиктор оказывает одинаковое влияние на результат, поэтому наличие одного признака не влияет на наличие другого. Этот метод используют системы, которые идентифицируют спам, классифицируют тексты и системы рекомендаций. Классификаторы Байеса по Наву бывают трех типов: многочленный Байес по Неву, Байес по Бернулли и Байес по Гауссу.

Линейная регрессия

Обычно линейная регрессия используется для прогнозирования будущих результатов путем определения взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Регрессия называется простой линейной регрессией, когда имеется только одна независимая переменная и одна зависимая переменная. Когда имеется больше независимых переменных, это называется множественной линейной регрессией. Для каждого типа линейной регрессии она пытается построить линию наилучшего соответствия, которая рассчитывается с помощью метода наименьших квадратов.

Логистическая регрессия

В то время как линейная регрессия используется, когда зависимые переменные являются непрерывными, логистическая регрессия выбирается, когда зависимая переменная является категориальной, что означает, что они имеют двоичные выходные данные, такие как «истина» и «ложь» или «да» и «нет». Хотя обе модели регрессии направлены на понимание взаимосвязей между входными данными, логистическая регрессия в основном используется для решения проблем двоичной классификации, таких как идентификация спама.

Машина опорных векторов (SVM)

Машина опорных векторов, разработанная Владимиром Вапником, представляет собой эффективную модель обучения с учителем как для классификации данных, так и для регрессии. В результате он обычно используется для решения задач классификации путем установления гиперплоскости, в которой существует наибольшее расстояние между двумя классами точек данных. На границе решения точки данных разделены с обеих сторон.

K-ближайший сосед

Алгоритм K-Nearest Neighbor, основанный на близости точек данных друг к другу и их связи с другими данными, представляет собой метод непараметрической классификации. Таким образом, в этом алгоритме предполагается, что похожие точки данных находятся близко друг к другу. Это достигается путем расчета расстояния между точками данных, обычно с использованием евклидова расстояния, и присвоения категории или среднего значения на основе этого расстояния. Он прост в использовании и требует небольших вычислений, что делает его любимым алгоритмом среди специалистов по обработке данных. Однако по мере роста наборов тестовых данных KNN становится менее полезным для задач классификации.

Случайный лес

Помимо классификации и регрессии, алгоритм случайного леса является еще одним гибким алгоритмом контролируемого машинного обучения. Для создания более точных прогнозов данных «лес» относится к набору некоррелированных деревьев решений, которые объединяются вместе, чтобы уменьшить дисперсию и улучшить прогнозирование.

Примеры контролируемого обучения

Модели контролируемого обучения можно использовать для создания и развития ряда бизнес-приложений, в том числе следующих:

Распознавание изображений и объектов: Алгоритмы контролируемого обучения можно использовать для обнаружения, изоляции и классификации объектов на видео или изображениях, что делает их полезными при применении к различным методам компьютерного зрения и анализу изображений.

Прогнозная аналитика: Модели обучения с учителем широко применяются для разработки систем прогнозного анализа. Бизнес-лидеры могут использовать эти модели для обоснования принятия решений или прогнозирования будущих результатов.

Анализ настроений клиентов: Используя контролируемые алгоритмы машинного обучения, организации могут извлекать и классифицировать важные фрагменты информации из больших объемов данных, включая контекст, эмоции и намерения, с минимальным вмешательством человека. Это может быть невероятно полезно для лучшего понимания взаимодействия с клиентами и может быть использовано для улучшения взаимодействия с брендом.

Обнаружение спама: Еще одним примером контролируемого алгоритма обучения является фильтрация электронной почты. Обучение набору правил для выявления спама позволяет организациям блокировать его попадание к предполагаемым получателям.

Проблемы контролируемого обучения

Разработка устойчивых моделей контролируемого обучения может представлять некоторые проблемы для бизнеса, несмотря на свои преимущества, включая глубокий анализ данных и улучшенную автоматизацию. Ниже приведены некоторые из этих проблем:

Для поддержания моделей структурированного обучения может потребоваться определенный уровень знаний и опыта.

Обучение моделям обучения с учителем может занять очень много времени.

Вполне возможно, что алгоритмы могут обучаться неправильно, если наборы данных подвержены человеческим ошибкам или предвзятости.

Невозможно автоматически улучшить или классифицировать данные.

Заключение

Обучение с учителем, как доминирующая парадигма в машинном обучении, играет решающую роль в разработке интеллектуальных систем, способных делать прогнозы или решения на основе исторических данных. Благодаря использованию помеченных обучающих данных алгоритмы контролируемого обучения способны распознавать закономерности и взаимосвязи внутри наборов данных, которые они позже могут применить к невидимым данным. Его приложения разнообразны и обширны: от распознавания изображений и обработки естественного языка до финансового прогнозирования и диагностики здравоохранения. Ожидается, что по мере развития технологий контролируемое обучение будет продолжать развиваться, становясь более эффективным и точным. Однако крайне важно решить такие проблемы, как переоснащение, качество данных и этические соображения, чтобы гарантировать, что контролируемое обучение продолжает оставаться надежным и полезным инструментом в более широком спектре искусственного интеллекта.

Рекомендации

C, Гнана Лакшми Т. и Мадлен Шанг. Практическое обучение с учителем с помощью Python: узнайте, как решать проблемы машинного обучения с помощью алгоритмов обучения с учителем с использованием Python (английское издание). Публикации БПБ, 2021.

Джо, Тэхо. Основы машинного обучения: контролируемое, неконтролируемое и углубленное обучение. Спрингер Природа, 2021.

Джонстон, Бенджамин и Ишита Матур. Прикладное обучение с учителем с помощью Python: используйте Scikit-Learn для создания прогнозных моделей на основе реальных наборов данных и подготовьтесь к будущему машинного обучения. ООО «Пакт Паблишинг», 2019.

Смит, Тейлор. Контролируемое машинное обучение с помощью Python: разработайте богатые методы кодирования Python, изучая контролируемое машинное обучение. ООО «Пакт Паблишинг», 2019.