Недавний Бумага DeepMind по этическим и социальным рискам языковых моделей выявлены крупные языковые модели утечка конфиденциальной информации об их данных обучения как о потенциальном риске, который организации, работающие над этими моделями, обязаны устранить. Другой недавняя статья показывает, что аналогичные риски конфиденциальности могут возникнуть и в стандартных моделях классификации изображений: отпечаток каждого отдельного обучающего изображения может быть встроен в параметры модели, и злоумышленники могут использовать такие отпечатки пальцев для восстановления обучающих данных из модели.

Технологии повышения конфиденциальности, такие как дифференциальная конфиденциальность (DP), могут быть развернуты во время обучения для снижения этих рисков, но они часто приводят к значительному снижению производительности модели. В этой работе мы добились существенного прогресса в обеспечении высокоточного обучения моделей классификации изображений в условиях дифференциальной конфиденциальности.

Дифференцированная конфиденциальность была предложенный в качестве математической основы для учета требований защиты отдельных записей в ходе статистического анализа данных (включая обучение моделей машинного обучения). Алгоритмы DP защищают людей от любых выводов о характеристиках, которые делают их уникальными (включая полную или частичную реконструкцию), путем введения тщательно калиброванного шума во время вычисления желаемой статистики или модели. Использование алгоритмов DP обеспечивает надежные и строгие гарантии конфиденциальности как в теории, так и на практике и стало де-факто золотым стандартом, принятым рядом общественный и частный организации.

Самый популярный алгоритм DP для глубокого обучения — это дифференциально-частный стохастический градиентный спуск (DP-SGD), модификация стандартного SGD, полученная путем обрезки градиентов отдельных примеров и добавления достаточного количества шума, чтобы замаскировать вклад любого человека в каждое обновление модели:

К сожалению, предыдущие работы показали, что на практике защита конфиденциальности, обеспечиваемая DP-SGD, часто достигается за счет значительно менее точных моделей, что представляет собой серьезное препятствие на пути широкого внедрения дифференциальной конфиденциальности в сообществе машинного обучения. Согласно эмпирическим данным из предыдущих работ, это ухудшение полезности в DP-SGD становится более серьезным на более крупных моделях нейронных сетей, включая те, которые регулярно используются для достижения наилучшей производительности в сложных тестах классификации изображений.

Наша работа исследует это явление и предлагает ряд простых модификаций как процедуры обучения, так и архитектуры модели, что приводит к значительному повышению точности обучения DP по стандартным критериям классификации изображений. Самое поразительное наблюдение, сделанное в ходе нашего исследования, заключается в том, что DP-SGD можно использовать для эффективного обучения гораздо более глубоких моделей, чем считалось ранее, при условии, что градиенты модели работают правильно. Мы считаем, что существенный скачок производительности, достигнутый в результате нашего исследования, может открыть практические возможности применения моделей классификации изображений, обученных с формальными гарантиями конфиденциальности.

На рисунке ниже суммированы два наших основных результата: улучшение CIFAR-10 примерно на 10% по сравнению с предыдущей работой при частном обучении без дополнительных данных и точность топ-1 86,7% на ImageNet при частной точной настройке предварительной модели. обучались на другом наборе данных, почти сокращая разрыв с лучшими нечастными показателями.

Эти результаты достигаются при ε=8 — стандартном параметре для калибровки уровня защиты, обеспечиваемой дифференциальной конфиденциальностью в приложениях машинного обучения. Мы обращаемся к статье для обсуждения этого параметра, а также дополнительных экспериментальных результатов при других значениях ε, а также на других наборах данных. Вместе с статьей мы также открываем исходный код нашей реализации, чтобы другие исследователи могли проверить наши выводы и использовать их. Мы надеемся, что этот вклад поможет другим, заинтересованным в том, чтобы практическое обучение DP стало реальностью.

Загрузите нашу реализацию JAX на GitHub.