Введение: что такое геометрическое глубокое обучение?

Глубокое обучение вызывает повышенный интерес в нескольких отраслях. Это поле образует часть машинного обучения. Идея глубокого обучения заключается в том, чтобы улавливать сигналы о том, как функционирует мозг. Структура также имитирует структуру мозга. Полученная система представляет собой искусственную нейронную сеть.

Глубокое обучение имеет множество ответвлений, обычно измеряемых размерами поля. В то время как евклидовы данные состоят из представлений в 1D и 2D глубинах, геометрическое глубокое обучение основано на принципе 3D. Мы рассмотрим, что такое геометрическое глубокое обучение и как оно будет играть роль в будущем.

Читайте также: ИИ в открытии лекарств

Превосходство методов глубокого обучения

В прошлом большая часть исследований и разработок в области глубокого обучения была связана с первым и вторым измерениями. Используемые евклидовы методы накладывают определенные ограничения на возможность расширения глубокого обучения. Это связано с тем, что в реальном мире есть третье измерение, на которое не нацелены эти модели глубокого обучения.

Геометрическое глубокое обучение направлено на то, чтобы превзойти существующие методы глубокого обучения, в первую очередь за счет включения этого третьего измерения в искусственные нейронные сети, созданные с помощью этой технологии.

Сосредоточив внимание на 3D-модели вместо стандартных 1D- и 2D-мерных подходов, можно приблизиться к сетям человеческого уровня, поскольку это измерение, которое проявляется в реальном мире.

В последние годы модели евклидовых данных фокусировались на следующих предметах:

• Компьютерное зрение
• Распознавание речи
• Языковой переход
• Генерация изображений

Хотя евклидовы данные уже давали успешные результаты в прошлом, ограничения, с которыми столкнулись остановили прогресс в некоторых областях.

Сложные данные обрабатываются в таких областях, как биология и физика, а также в сетевых науках. Используя евклидовы данные, сложные данные невозможно эффективно обрабатывать из-за простых измерений, используемых в процессе.

Обратившись к геометрическому глубокому обучению, эти ограничения можно эффективно преодолеть. Исследователи обнаружили, что неевклидовы данные способны обрабатывать сложные данные быстрее и эффективнее, обеспечивая при этом результаты, более близкие к человеческому уровню.

Читайте также: Искусственный интеллект в робототехнике: ассимиляция для следующего этапа развития технологий.

Неевклидовы типы данных

Есть несколько примеров того, как неевклидовы типы данных используются в современном мире. Среди всех типов данных исследователи и ученые обычно чаще всего обращаются к графикам.

Платформу социальных сетей можно представить в виде графика. Граф состоит из узлов. Социальная платформа, такая как Facebook, будет иметь миллионы узлов, поскольку каждый узел представляет пользователя в сети. Однако графы в неевклидовых моделях состоят не только из узлов. Ребра используются в качестве соединителей между различными узлами сети. На такой платформе, как Facebook, края будут обозначать действия, выполняемые пользователями.

В этом примере два человека образуют узлы, и разговор, происходящий между двумя пользователями, создает ребро, проходящее между двумя узлами.

Геометрическое глубокое обучение также может включать использование многообразий в качестве типа данных. В этой модели данных используется многомерная система, и именно здесь в игру вступает трехмерная среда геометрического глубокого обучения. Многомерное пространство, наблюдаемое в типе данных многообразия, представлено трехмерной формой. Пространство будет иметь огромное количество точек, которые помогут в создании формы.

По мере развития глубокого геометрического обучения мы видим, как эта технология внедряется в различные отрасли. Хорошим примером может служить фармацевтическая промышленность, где геометрическое глубокое обучение может помочь в процессе открытия лекарств.

При открытии лекарств используется трехмерная модель графовых типов данных. На графике моделируются существующие и ранее обнаруженные молекулы. Узлы графа представляют атомы, которые можно использовать при разработке молекул, а ребра графа представляют связи между атомами.

Благодаря геометрическому глубокому обучению технологии могут сравнивать миллионы атомов и молекул, чтобы найти новые варианты лекарств для лечения существующих заболеваний. Это может быть особенно полезно в тех случаях, когда хронические заболевания трудно поддаются лечению. Новые комбинации молекул и атомов можно идентифицировать с помощью глубокого геометрического обучения. Эти открытия затем могут быть проанализированы учеными, что позволит им определить, смогут ли молекулы потенциально помочь пациентам с этим заболеванием.

Есть еще несколько примеров неевклидовых пространств и типов данных, которые можно использовать в реальных сценариях. Социальные науки, например, создадут 3D-модель социальных сетей, чтобы получить более глубокое понимание человеческого поведения. Это выведет базовую графовую модель социальных сетей на новый уровень.

Читайте также: Роль искусственного интеллекта в медицинской документации.

Категории геометрического глубокого обучения

Геометрическое глубокое обучение (GDL) — это развивающаяся область машинного обучения, которая обобщает модели глубокого обучения на неевклидовы области, такие как графы и многообразия. Эти модели имеют широкий спектр приложений, включая компьютерное зрение, нейробиологию и анализ социальных сетей.

Категории геометрического глубокого обучения обычно делятся на три широкие области в зависимости от структуры данных, которые они обрабатывают: графовые нейронные сети, сверточные нейронные сети и рекуррентные нейронные сети.

Графовые нейронные сети (GNN) предназначены для работы с данными, структурированными в виде графов, что обеспечивает более естественное представление различных систем реального мира, таких как социальные сети, биологические сети или Всемирная паутина. Они превосходно справляются с обработкой реляционных или структурных данных, используя присущие свойства графов.

Распространяя и агрегируя информацию через узлы и ребра графа, GNN могут фиксировать сложные закономерности и взаимодействия, часто скрытые от традиционных моделей машинного обучения.

Сверточные нейронные сети (CNN) в контексте GDL относятся к геометрическим CNN. В отличие от традиционных CNN, которые обычно применяются к данным в виде сетки (например, изображениям), геометрические CNN обобщают свертки на неевклидовы области. Они выполняют геометрические преобразования и анализируют многообразные или графически структурированные данные, оказываясь особенно эффективными в анализе 3D-данных и задачах компьютерного зрения.

Рекуррентные нейронные сети (RNN), еще одна категория, были обобщены в геометрическом контексте для обработки структурированных последовательных данных, находящихся в неевклидовых областях, что повышает их способность фиксировать динамические закономерности с течением времени.

Приложения геометрического глубокого обучения

Компьютерное зрение

Геометрическое глубокое обучение играет решающую роль в распознавании и интерпретации закономерностей в визуальных данных, включая обработку изображений и видео, анализ трехмерных форм и понимание сцены.

Анализ социальных сетей

Графовые нейронные сети, тип модели GDL, используются для прогнозирования поведения пользователей, обнаружения аномалий и определения влиятельных узлов в графах социальных сетей.

Открытие наркотиков

GDL используется для прогнозирования молекулярных свойств и эффективности лекарств, представляя молекулы в виде графов, где атомы являются узлами, а связи — ребрами.

Прогнозирование трафика

Рассматривая транспортные сети как графы, модели GDL могут прогнозировать будущие условия дорожного движения, способствуя эффективному планированию и управлению маршрутами.

Белково-белковое взаимодействие

GDL используется для прогнозирования сетей белок-белковых взаимодействий, которые имеют решающее значение для понимания биологических процессов и заболеваний.

Рекомендательные системы

Модели GDL используются в рекомендательных системах для анализа данных взаимодействия пользователя с элементом, которые часто представляются в виде двудольного графа.

Информационная безопасность

Модели GDL используются для обнаружения аномалий или вредоносных действий в сетевых данных, где узлы представляют компьютеры, а ребра представляют собой коммуникации.

Нейронаука

Мозговые сети можно анализировать с помощью моделей GDL, чтобы понять функции мозга и диагностировать неврологические расстройства.

Распознавание 3D-объектов

Геометрические CNN, тип модели GDL, используются для распознавания и сегментации трехмерных объектов в таких областях, как автономное вождение и дополненная реальность.

Физика

Модели GDL используются для понимания сложных систем в физике, таких как системы частиц или космологические явления, путем моделирования их в виде графов или многообразий.

Код Примеры геометрического глубокого обучения

Вот упрощенный пример того, как сверточные сети графов (GCN), тип GDL, можно использовать в PyTorch с PyTorch Geometric, библиотекой расширения геометрического глубокого обучения для PyTorch. Этот пример не имеет прямого отношения к кибербезопасности, но дает представление о том, как GDL используется на практике. В кибербезопасности принципы будут теми же, но входной граф будет представлять сетевые данные, и задача может состоять в том, чтобы предсказать, может ли узел (например, компьютер в сети) стать частью кибератаки.

import torch
import torch.nn.functional as F
from torch_geometric.nn import GCNConv
from torch_geometric.datasets import Planetoid

# Load the CORA dataset (a common citation network benchmark dataset)
dataset = Planetoid(root='/tmp/Cora', name='Cora')

class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = GCNConv(dataset.num_features, 16)
        self.conv2 = GCNConv(16, dataset.num_classes)

    def forward(self, data):
        x, edge_index = data.x, data.edge_index

        x = self.conv1(x, edge_index)
        x = F.relu(x)
        x = F.dropout(x, training=self.training)
        x = self.conv2(x, edge_index)

        return F.log_softmax(x, dim=1)

# Training
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net().to(device)
data = dataset(0).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)

model.train()
for epoch in range(200):
    optimizer.zero_grad()
    out = model(data)
    loss = F.nll_loss(out(data.train_mask), data.y(data.train_mask))
    loss.backward()
    optimizer.step()

В этом примере создается модель GCN для задачи классификации узлов с полуконтролем в сети цитирования Cora. Узлы представляют собой документы, а края представляют собой ссылки на цитаты. Цель состоит в том, чтобы классифицировать каждый документ в один из нескольких классов на основе его связей с другими документами. В контексте кибербезопасности документы могут быть заменены компьютерами или сетевыми объектами, а задача может заключаться в обнаружении вредоносных узлов на основе их соединений с другими узлами.

Помните, это очень упрощенный пример. В реальном сценарии вам также необходимо будет рассмотреть предварительную обработку данных, проверку модели, оценку результатов и многие другие шаги. Вам также следует убедиться, что вы соблюдаете все соответствующие правила конфиденциальности данных при работе с реальными сетевыми данными.

Заключение: что такое геометрическое глубокое обучение?

Геометрическое глубокое обучение (GDL) знаменует собой сдвиг парадигмы в искусственном интеллекте, позволяя нам расширить возможности архитектуры глубокого обучения на неевклидовы данные. Это открывает множество возможностей в самых разных областях. С точки зрения архитектуры нейронных сетей, GDL использует индуктивные смещения для эффективной обработки сложных структур данных, повышая восприимчивость и адаптируемость этих моделей.

В области квантовой химии, химической теории и вычислений GDL показал себя многообещающе для решения таких задач, как предсказание молекулярных свойств и помощь в разработке лекарств. Кодируя проективную геометрию молекул в нейронные сети, GDL помогает более точно исследовать химическое пространство. Он повышает производительность и точность задач, требующих понимания сложной геометрической структуры молекул.

Применение GDL не ограничивается научными вычислениями. В мире искусственного интеллекта его потенциал виден в таких областях, как распознавание речи, где существуют сложные временные зависимости. Обрабатывая неевклидовы данные, GDL продвигает эту область, улучшая обработку и понимание входных сигналов и делая системы распознавания речи более устойчивыми и надежными.

По сути, инновации в GDL открывают захватывающие возможности для различных приложений, где геометрические и топологические свойства играют важную роль. От небольшого рецептивного поля во входном изображении до обширного ландшафта молекулярных структур, влияние GDL будет продолжать ощущаться по мере того, как он продолжает развиваться, совершая прорывы в области искусственного интеллекта, вычислительной химии и не только.

Рекомендации

Да, Чон Чхоль. Геометрия глубокого обучения: перспектива обработки сигналов. Спрингер Природа, 2022.