Этот пост был первоначально опубликован мной на Блог Фортскейла.
Продукт Fortscale помогает организациям устранять внутренние угрозы, обнаруживая аномальное поведение пользователей.

Выявить аномальное поведение пользователей сложно. Действительно трудно. Здесь, в Fortscale, мы показываем, что с правильными инструментами это выполнимо. Наша команда по обработке и анализу данных разработала набор самонастраивающихся алгоритмов машинного обучения, которые нацелены именно на это. Хотя алгоритмы могут быть сложными для понимания, их основной механизм понять несложно.

Продукт fortscale содержит множество моделей, каждая из которых отражает разные аспекты поведения пользователя, такие как типичные рабочие часы, машины, к которым пользователь обычно подключается, города, из которых он подключается, и т. д. Если пользователь совершает аномальные действия в некоторых аспектах, соответствующие модели будут вызвать высокую оценку риска для этой деятельности. Эти оценки риска используются в качестве основы для создания предупреждений высокого уровня, указывающих на подозрительную активность.

Наивно мы могли бы сказать, что оповещение создается для определенного действия, если сумма оценок риска, инициированных во время этого действия, достаточно высока. Но что такое «достаточно»? Оценка риска 80? 90? Если мы установим слишком низкий порог, появится слишком много предупреждений, и большинство из них будут ложными срабатываниями. С другой стороны, если порог слишком высок, мы упустим настоящую аномальную активность, скрывающуюся в организации. Этот пороговый эффект известен как ROC-кривая.

Мы могли бы попытаться оценить, каким должен быть порог, но это безнадежно; поскольку каждая организация имеет свой подходящий порог в зависимости от уровня осуществляемой деятельности.

Более того, даже если бы мы знали, каков порог «лучшего» данной организации, мы столкнулись бы с проблемой: есть пользователи, которые склонны менять свое поведение чаще, чем другие. Таким образом, каждый раз, когда кто-то что-то изменяет (и пересекает порог), появляется предупреждение. К сожалению, аналитик безопасности не уделит должного внимания пользователь который кричал волк. Вы видите проблему? Мы хотели бы, чтобы порог автоматически адаптировался для каждого пользователя, чтобы пользователи, склонные к подозрительным действиям, выдавали предупреждение только тогда, когда совершали что-то нежелательное. на самом деле аномальный.

Чтобы решить эту проблему, мы решили создать второй уровень обучения и использовать аспекты машинного обучения для динамического, автоматического и прозрачного определения этих пороговых значений. В частности, мы берем сумму этих отдельных оценок и даем ей имя — значение SMART (значимые множественные аномалии, использующие R-угрозы). Значение SMART преобразуется в высокий балл, если оно превышает изученный порог, что в ответ вызывает предупреждение.

Единственная дыра в истории — как автоматически придумать порог пользователя? Я оставлю технические детали для будущего поста, а пока просто дам тизер.

Допустим, Джеррард из отдела продаж совершал какие-то аномальные действия в прошлом, или, другими словами, у него были высокие значения SMART для нескольких периодов активности. Мы можем визуализировать прошлые значения SMART Джеррарда с помощью гистограммы:

По горизонтальной оси мы видим значения SMART, а по вертикальной — их количество. Порог Джеррарда создается путем подгонки зеленой кривой к гистограмме. Легко заметить, что, поскольку Джеррард совершал подозрительные действия в прошлом, его кривая тянется вправо. Новое значение SMART вызовет оповещение только в том случае, если оно находится достаточно далеко справа от графика и не находится под его зеленой кривой. Для большинства пользователей этот персонализированный адаптивный порог работает очень хорошо, но есть и проблемные пользователи. Давайте рассмотрим Джо из отдела маркетинга. Джо действительно скучный парень. Он приходит в офис каждый день в один и тот же час и занимается одной и той же деятельностью… Ну, его гистограмма значений SMART выглядит так:

Довольно скучно, правда? Но сегодня воскресенье, и у Джо действительно большая кампания, которую он должен закончить к завтрашнему дню. Поэтому он решает подключиться к VPN компании, чтобы закончить. Так как это воскресенье (что нетипично для скучного Джо), одна из моделей дает высокий балл, что приводит к более высокому значению SMART. Это значение SMART будет справа от зеленой кривой, поэтому будет активировано предупреждение.

Можно спорить, действительно ли это подозрительная деятельность и следует ли сообщать об этом аналитику. В небольших скучных организациях может быть целесообразно активировать оповещение. В организациях с более острой деятельностью мы хотели бы, чтобы аналитик инвестировал свое драгоценное время в изучение пользователей с наибольшим риском, а не в скучного Джо.

Мы можем сделать вывод, что личный адаптивный порог также должен адаптироваться к общему количеству аномальной активности организации: если аномальных действий много, порог Джо должен повышаться таким образом, чтобы он вызывал тревогу только в том случае, если он совершает радикальные аномальные действия. Если в организации не так много предупреждений, Джо может стоить времени аналитика (либо это, либо игра Пасьянс). Итак, как мы это делаем?

Давайте проверим прошлые ценности SMART организации:

Мы видим, что в организации произошло много интересного…

Так что работу Джо в воскресенье следует явно считать непредусмотренной. Это делается путем объединения синей кривой организации с зеленой кривой Джо:

Зеленая кривая Джо превратилась в желтую (поэтому его порог чувствительности увеличился), чего мы и хотели.

В следующих постах я продолжу и обсужу технические детали реализации этого адаптивного порога; как кривая пользователя соответствует его значениям SMART; как кривая организации соответствует поведению организации; и как они объединены в одну кривую.