STRIP: A Defence Against Trojan Attacks on Deep Neural Networks 笔记

刺骨的言语ヽ痛彻心扉 2022-09-10 02:24 3阅读 0赞

**Code: https://github.com/garrisongys/STRIP?utm\_source=catalyzex.com**

*  本文提出的 detect 方法如下图所示：  
    ![在这里插入图片描述][38dc3094e5cd41ef9c6eec09594caac5.png]

说明：（图 中 input x 是待检测的样本，这里示例的是一张加入了 trigger（右下角的小方块） 的样本，作者将验证集中的干净图片依次作为水印添加到 x 上，得到多张添加了水印的 perturbed inputs（比如作者用了 100 张干净图片做水印，那么依次添加后就得到 100 perturbed inputs），随后这多个 perturbed inputs 都输入到模型并得到预测 label（比如这里是 100 个 label），最后计算这多个 label 的熵，如果计算得到的熵值小于设定的阈值，则判定 x 带有trigger，即 x 是受污染的，且说明当前使用的模型是backdoor-attack-compromised。

*  个人理解：  
    1）backdoor attack 属于 poisoning attack 的一种，但是不同于以往的 poisoning attack 的是，backdoor attack 攻击后的模型在干净的验证集上依然能得到较高的准确率，而在带有 trigger 的样本上则会产生特定的误分类。这里个人理解其实就是一种对 trigger 这一特征过拟合的表现，因此 trigger 也只能对 backdoor 攻击过的模型有用。（这是背景）  
    2）图 1 中由于 x 是带有 trigger 的，并且可以看到添加的水印并没有覆盖/破坏 trigger，因此得到的多个 perturbed inputs 中都有清晰的 trigger，因此这些 inputs 的分类结果都是特定的由攻击者指定的 target label，相同的（或者只有几个不同）label 计算得到的熵必然很小。  
    3）这里我们假设 x 不带有 trigger，那么多个 perturbed inputs 其实内容就十分混乱了，对于模型而言是在训练时没有出现过的样本，那么模型就会随机分类，因此多个分类结果比较不一致，这是计算得到的熵就会较大。  
    4）从 2 & 3 的分析中，就可以知道干净的样本和不干净的样本的熵差别会很大，因此可以利用这一点进行检测。  
    5）剩下一个待解决的问题：阈值怎么设定？作者假定自己手上是有一个验证集的（这样的假定可以说是较合理的），验证集都是干净的图片，可以用验证集的图片来进行测试，看得到的熵的值大概都多大，然后设定一个阈值，这个阈值可以牺牲掉部分的干净图片，看检测的时候会有多少毒样本没有检测到（FRR-FAR，false reject rate - false accept rate）。
 *  个人分析：  
    1）这个方法还是比较 novel，较好地利用了 trigger is powerful 这一特点。  
    2）这个方法难以 generalize，因为大部分的数据集，当使用干净样本作为水印添加到 under-detecttion 的 x 上的时候，trigger 很容易被破坏（比如设计一个在图片中间的 trigger，或者采用的数据集是整张图都有东西的彩色图），也就是说，这个方法对 trigger 的位置、颜色会比较敏感。

[38dc3094e5cd41ef9c6eec09594caac5.png]: /images/20220829/62a0f841f4624ec395583181d898debc.png