Кэти Уорр - Надежность нейронных сетей: укрепляем устойчивость ИИ к обману

значимость
В разделе «Что “думают” ГНС» на с. 114 введено понятие карт значимости,
позволяющих графически представить те аспекты входных данных, которые
играют наиболее важную роль при расчете предсказаний ГНС. Эта концеп­
ция применяется не только в сфере нейросетевой обработки; такие карты
уже много лет используются для графического представления пикселей (или
групп пикселей), имеющих наибольшую важность для конкретной задачи
машинного распознавания образов.
Расчеты значимости также можно использовать при генерации вредоносных
образов. Знать, какие признаки играют наиболее важную роль при опреде­
лении класса, полезно в том случае, когда нам нужно ограничить искажение
теми областями, изменение которых в наибольшей мере способствует сме­
щению неопасных входных данных в сторону вредоносности. Такой подход,
в частности, демонстрирует метод якобианских карт значимости (Jacobian
Saliency Map Approach, JSMA)1.
Метод JSMA сводится к вычислению показателя вредоносной значимости
для каждого элемента входных данных. В случае изображений такой показа­
тель вычисляется для каждого пиксельного значения (для трех значений на
каждый пиксель для цветных изображений) и отражает его относительную
важность для достижения вредоносной цели. При этом изменение пикселей
с более высоким показателем в большей мере способствует превращению
изображения во вредоносное, чем изменение пикселей с более низким по­
казателем.
Показатель вредоносной значимости конкретного пикселя учитывает сле­
дующие два момента.
‰‰ Влияние изменения пикселя на увеличение вероятностного показателя
для целевой категории (при целевой атаке).
‰‰ Влияние изменения пикселя на уменьшение вероятностных показателей,
выдаваемых для всех других категорий.
Поскольку достижению вредоносной цели в наибольшей мере способству­
ют те изменения входных данных, которые оказывают большое влияние
1

Papernot N. et al. The Limitations of Deep Learning in Adversarial Settings // 1st IEEE
European Symposium on Security & Privacy, 2016. bit.ly/2ZyrSOQ.

Глава 6. Методы генерации вредоносных искажений   149

и в первом и во втором случае, именно такие изменения следует вносить
в первую очередь.
Метод JSMA отбирает те пиксели, которые оказывают наибольшее влияние,
и сдвигает их на заданную величину в актуальном направлении (то есть либо
увеличивает, либо уменьшает их значение). Фактически это смещение на
заданное расстояние вдоль тщательно выбранного направления в многомер­
ном входном пространстве в надежде на то, что изображение попадет в точку
ландшафта предсказаний, удовлетворяющую критериям вредоносности.
Если не удается достичь этой цели, данный процесс повторяется.
Метод JSMA минимизирует количество изменяемых пиксельных значений,
что говорит о том, что для оценки величины изменений на этот раз исполь­
зуется L0-норма.
Математические основы метода JSMA
Для вычисления показателя значимости нужно выяснить, какое относитель­
ное влияние оказывает небольшое изменение каждого входного значения на
каждое выдаваемое предсказание.
Допустим, что у нас есть n входных значений и m выходных категорий. Все
эти относительные изменения можно представить в виде большой матрицы —
так называемой матрицы Якоби — размером m × n. Для каждой комбинации
из пиксельного значения и предсказания эта матрица содержит значение,
указывающее, в какой мере изменение пиксельного значения влияет на со­
ответствующее предсказание.
Каждое из этих значений является производной от функции ГНС f для пред­
сказания j относительно изменения конкретного значения i:1

.
Соответственно выражение для всей матрицы будет выглядеть так:

.

1

Опять же, как и при обратном распространении, эти производные вычисляются
с использованием цепного правила — математического метода, позволяющего рас­
считывать производную от функции f(x) путем представления этой функции в виде
составляющих ее функций каждого слоя ГНС.

150  Часть II. Генерация вредоносных входных данных

На основе этих производных матрицы Якоби, вычисленных для каждой пары
из пиксельного значения и предсказания, мы можем рассчитать значимость
каждого пикселя по отношению к целевой категории, используя следующую
логику.
Значимость увеличения входного значения i для вредоносной целевой кате­
гории t рассчитывается следующим --">