Кэти Уорр - Надежность нейронных сетей: укрепляем устойчивость ИИ к обману

образом:
yy если увеличение этого входного значения ведет к уменьшению целевого
показателя вероятности, то производная:

будет меньше 0. В таком случае данное входное значение не является
вредоносно значимым и просто приравнивается нулю:

;
yy подобным образом, если увеличение входного значения ведет к общему
увеличению предсказаний, выдаваемых для всех других (нецелевых) ка­
тегорий, это не способствует достижению вредоносной цели. Это сумма
всех производных относительно входного значения для всех предсказа­
ний, отличных от целевого. Если эта сумма больше 0, то входное значение
опять же не считается вредоносно значимым и приравнивается 0:

;
yy в противном случае входное значение является вредоносно значимым
и нам остается лишь количественно оценить эту значимость, чтобы ее
можно было сравнивать со значимостью других входных значений. Это
можно сделать путем умножения частной производной, полученной на
первом шаге, на сумму частных производных, полученную на втором
шаге. В силу упомянутых ранее ограничений первый множитель всегда
будет положительным, а второй — отрицательным; поэтому, чтобы сделать
результат положительным, нам следует снабдить это произведение знаком
минус:

.

Глава 6. Методы генерации вредоносных искажений   151

Сведя воедино все вышесказанное, мы можем создать карту значимости s+,
показывающую, в какой мере увеличение каждого входного значения спо­
собствует получению желаемого предсказания:

;
.
Эта карта значимости отражает вредоносную значимость входных значений
в случае их увеличения. Метод JSMA также подразумевает определение того,
какие пиксельные значения в наибольшей мере способствуют обеспечению
неправильной классификации в случае их уменьшения. Лишь немного изменив
логику, мы получим еще одну карту значимости, s−:

;
.
(Обратите внимание, здесь поменялись местами знаки > и --">