Введение

Чтобы решить проблему независимости атрибутов популярного наивного байесовского классификатора, был разработан алгоритм средней оценки с одной зависимостью (AODE). При очень незначительном увеличении вычислительных возможностей он разрабатывает классификаторы, точные, чем наивный Байес.

Определение

Усредненные оценки одной зависимости — это метод обучения классификации, который формирует ансамбль определенной формы классификатора байесовской сети, называемого классификатором n-зависимости (в данном случае 1-зависимости). Каждый классификатор с n-зависимостью (в данном случае с 1-зависимостью) делает более слабое предположение о независимости атрибута, чем наивный байесовский метод, позволяя каждому атрибуту зависеть от класса и одного общего неклассового атрибута. AODE работает над классификацией путем агрегирования всех прогнозов классификатора с 1-й зависимостью, где все атрибуты зависят от единственного родительского элемента, а также от класса, пока минимальное ограничение частоты.

Что такое усредненные оценки с одной зависимостью?

Усредненные оценки с одной зависимостью или алгоритм AODE — это метод обучения вероятностной классификации, аналогичный наивному байесовскому классификатору. Он был разработан для решения проблемы независимости атрибутов, с которой сталкивается наивный байесовский классификатор. Он допускает взаимную зависимость между парами значений внутри каждого вектора признаков, но игнорирует дальнейшие сложные отношения, включающие три или более признаков. Алгоритм снижает «наивность» классификатора Наивного Байеса и часто превосходит по производительности наивный байесовский классификатор за счет увеличения вычислительной мощности.

AODE лучше всего работает с большим количеством функций. Однако существует ограничение, поскольку он исследует взаимосвязи между объектами комбинаторным способом: обычно невозможно использовать AODE со многими значениями данных, поскольку это приводит к получению многомерных векторов, которые быстро поглощают доступную вычислительную память. Чтобы обрабатывать множество входных значений, рекомендуется обрезать объекты, чтобы включать только зависимые объекты, если известно или предполагается, что эти объекты имеют взаимосвязь.

Кроме того, также можно добавлять веса к конкретным усредненным функциям оценщиков с одной зависимостью. Этот метод известен как WAODE, где «W» означает «взвешенный», и было показано, что он дает значительно лучшие результаты, чем простой AODE.

Читайте также: Что такое Argmax в машинном обучении?

Классификация с помощью AODE

AODE — лучший подход для решения проблемы нарушения наивного предположения байесовской зависимости, согласно которому один атрибут зависит от других атрибутов, не относящихся к классу. Для поддержания производительности и эффективности может оказаться желательным использовать TAN (классификатор с 1-й зависимостью), где зависимость сопоставляется с другим атрибутом или классом. Большинство других подходов, работающих с классификаторами с 1-зависимостью, могут вызвать значительные вычислительные затраты и увеличить вероятность дисперсии по сравнению с наивным байесовским подходом.

Усредняя прогнозы классификаторов с 1-зависимостью, AODE избегает выбора модели. Атрибут SuperParent используется для выбора родительского атрибута для каждого классификатора с 1 зависимостью. Этот классификатор 2-го типа с 1-зависимостью называется классификатором SuperParent с 1-зависимостью.

Поскольку он делает более слабое предположение об условной независимости, чем наивный Байес, алгоритм AODE не требует выбора модели, но имеет значительно меньшую погрешность и очень небольшое увеличение дисперсии по сравнению с наивным Байесом.

Согласно исследованиям, он часто имеет значительно меньшие потери «ноль-единица», чем наивный Байес, когда временная сложность умеренная. В этих исследованиях AODE был статистически значительно лучше, чем многие другие полунаивные байесовские алгоритмы, за исключением LBR и SP-TAN, в отношении потерь, равных нулю.

По сравнению с SP-TAN и LBR, этот алгоритм чаще достигает меньших потерь «ноль-единица», чем обратный, а также имеет значительно меньшую сложность времени обучения по сравнению с SP-TAN и значительно меньшую сложность времени тестирования по сравнению с LBR.

Согласно исследованию, AODE обеспечивает точность классификации, сравнимую с точностью улучшенных деревьев решений — современного дискриминационного алгоритма. Когда доступен новый экземпляр, например, наивный Байес, AODE нужно только обновить оценки вероятности нового экземпляра. Таким образом, алгоритм AODE является хорошим выбором для поэтапного обучения, поскольку он обладает рядом желательных свойств, которые делают его ценной альтернативой наивному Байесу для широкого круга задач классификации.

Разбираемся в математике, лежащей в основе AODE

Как объяснялось выше, AODE стремится оценить вероятность каждого класса y с учетом заданного набора признаков x1, … xn, P(y | x1, … xn). Для этого он использует формулу ниже:

В формуле представляет собой оценку P аналогично классификации Наивного Байеса. Разница заключается в указанном F(xi), который представляет собой частоту появления аргумента в выборочных данных, и м, это заданная пользователем минимальная частота, с которой должно появляться значение независимой переменной, чтобы его можно было использовать во внешнем суммировании. Для AODE это

м обычно устанавливается равным 1.

Как и наивный байесовский метод, AODE не выполняет выбор модели и не использует настраиваемые гиперпараметры. В результате он имеет низкую дисперсию. Он также поддерживает постепенное обучение, благодаря чему классификатор может эффективно обновляться информацией из новых примеров по мере их появления. Формула прогнозирует вероятности классов, а не просто прогнозирует один класс, позволяя пользователю определить порог уверенности, с которым может быть выполнена каждая классификация. Кроме того, она не ограничена недостающими данными, поскольку вероятностная модель имеет обходной путь, который мы не будем рассматривать в этой статье, но дополнительную информацию можно найти в следующей ссылке.

Оценщики усредненной зависимости и пропуски.

Читайте также: Что такое глубокое обучение? Это то же самое, что и ИИ?

Алгоритм AODE на Python

Алгоритм AODE на Python

Алгоритм AODE на Python

Алгоритм AODE на Python

Алгоритм AODE на Python

Обобщения

После того, как AODE был разработан, он был обобщен до средств оценки средней зависимости от N (ANDE). В этом обобщении изучается ансамбль моделей, в котором каждая модель представляет собой классификатор байесовской сети, основанный на наборе из n выбранных родительских атрибутов в дополнение к классу. По мере увеличения значения n смещение уменьшается, что дает возможность настроить компромисс между смещением и дисперсией в зависимости от размера обучающего набора.

Заключение

Алгоритм усредненных оценок с одной зависимостью (AODE) представляет собой примечательное улучшение по сравнению с традиционным классификатором Наивного Байеса в сфере машинного обучения. Принимая во внимание ограничительное предположение о независимости признаков, присущее модели Наивного Байеса, AODE продемонстрировала повышенную точность и надежность в различных задачах классификации. Основная предпосылка алгоритма, заключающаяся в рассмотрении среднего значения оценщиков с одной зависимостью, позволяет ему фиксировать взаимосвязи между функциями, что приводит к более сложным возможностям моделирования и обобщения.

Крайне важно помнить о повышенных вычислительных требованиях, которые может предъявлять AODE из-за его более сложной структуры по сравнению с наивным байесовским алгоритмом. Поскольку машинное обучение продолжает развиваться и применяться во все более сложных областях, алгоритм AODE, вероятно, найдет свое место в наборе инструментов практиков, ищущих компромисс между производительностью и эффективностью вычислений, особенно в сценариях, где важно фиксировать взаимосвязи между функциями. . РекомендацииЛамонтань, Люк и Марио Маршан.

Достижения в области искусственного интеллекта: 19-я конференция Канадского общества вычислительных исследований интеллекта, Canadian AI 2006, Квебек, Квебек, Канада, 7–9 июня, материалы . Спрингер, 2006.Пернер, Петра.

Машинное обучение и интеллектуальный анализ данных в распознавании образов: 13-я Международная конференция, MLDM 2017, Нью-Йорк, штат Нью-Йорк, США, 15-20 июля 2017 г., Материалы . Спрингер, 2017.Саммут, Клод и Джеффри И. Уэбб.