0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

有效防御基于查询分数的攻击

CVer 来源:CVer 作者:CVer 2022-10-11 14:34 次阅读

上海交通大学自动化系图像处理与模式识别研究所黄晓霖副教授团队,与鲁汶大学、加州大学圣克鲁兹分校的研究者合作,关注真实场景的防御,提出主动对攻击者实施攻击,在保证用户正常使用模型(无精度/速度损失)的同时,有效阻止黑盒攻击者通过查询模型输出生成对抗样本。经Rebuttal极限提分(2 4 4 5 -> 7 7 4 7),该研究已被机器学习顶级会议 NeurIPS 2022 录用,代码已开源。

研究背景

基于查询分数的攻击(score-based query attacks, SQAs)极大增加了真实场景中的对抗风险,因为其仅需数十次查询模型输出概率,即可生成有效的对抗样本。

然而,现有针对worst-case扰动的防御,并不适用于真实场景中,因为他们通过预处理输入或更改模型,显著降低了模型的推理精度/速度,影响正常用户使用模型。

2f553260-4924-11ed-a3b6-dac502259ad0.png

2f6421a8-4924-11ed-a3b6-dac502259ad0.png

因此,本文考虑通过后处理来防御,其自带以下优点

·有效防御基于查询分数的攻击

· 不影响模型精度,甚至还能使模型的置信度更加准确

· 是一种轻量化,即插即用的方法

可是在真实的黑盒场景中,攻击者和用户得到的,是相同的模型输出信息如何在服务用户的同时,防御潜在攻击者?

本文方法

我们的核心思路是,测试阶段主动误导攻击者进入错误的攻击方向,也就是对攻击者发动攻击(adversarial attack on attackers, AAA)。如下图所示,若我们将模型的(未经防御的)蓝色损失函数曲线,轻微扰动至橙色或绿色的曲线,那么当攻击者贪婪地沿梯度下降方向搜索对抗样本时,将会被愚弄至错误的攻击方向。

2f77ad90-4924-11ed-a3b6-dac502259ad0.png

2f89c0d4-4924-11ed-a3b6-dac502259ad0.png

具体的,我们的算法分为4步,对应上图中的4行

1. 计算未经修改的原损失函数值,也就是上图中的蓝色曲线

2. 根据原损失函数值,计算出目标损失函数值,即橙色或绿色曲线

3. 根据预先标定的温度T,计算出目标置信度

4.优化输出的logits,使其同时拥有目标损失函数值目标置信度

实验结果


如下左图所示,对比蓝线和橙线,我们的方法AAA,最小程度地扰动输出,却最大限度保留精度(Acc ↑),提升置信度的准确度(expected calibration error, ECE ↓)。如右图和下表所示,AAA相比现有方法,能有效地防止真实场景攻击下的精度损失

2fab3642-4924-11ed-a3b6-dac502259ad0.png

2fd70e7a-4924-11ed-a3b6-dac502259ad0.png

同时,AAA能简单地与现有防御结合,如对抗训练。

2fe7ecf4-4924-11ed-a3b6-dac502259ad0.png

AAA是极其轻量化的防御,因为后处理操作的计算量很小,如下图所示。

3000a5be-4924-11ed-a3b6-dac502259ad0.png

尽管攻击者可以对AAA设计自适应攻击(adaptive attacks),但在真实场景中,自适应攻击的成本非常高。因为黑盒场景下,攻击者完全没有模型的信息,更不用说其防御策略了。探索模型防御策略以设计自适应攻击,需要大量额外的查询。更重要的是,自适应攻击者也很好愚弄,比如使用正弦类的目标损失函数曲线以迷惑攻击者,因为其策略更难被猜测。如下表所示,反向搜索和双向搜索的自适应攻击,都可以被AAA-sine很好的防御。

3026c988-4924-11ed-a3b6-dac502259ad0.png

文章总结

我们指出在真实场景下,一个简单的后处理模块,就可以形成有效,用户友好,即插即用的防御。为了专门防御基于查询分数的攻击,我们设计了对攻击者的攻击,通过细微的输出扰动干扰攻击者。广泛的实验表明我们的方法在抵御攻击,精度,置信度准确度,速度上,显著优于现有防御。

值得注意的是,抵御其他类型的攻击并非本文关注的重点。我们的方法并不提升worst-case robustness,故不能防御白盒攻击。我们也几乎不改变模型决策边界,故不能防御迁移攻击和基于决策的查询攻击(decision-based query attacks)。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 函数
    +关注

    关注

    3

    文章

    4329

    浏览量

    62586
  • 模型
    +关注

    关注

    1

    文章

    3236

    浏览量

    48823

原文标题:NeurIPS 2022 | Rebuttal起死回生!对攻击者的攻击:一种真实场景下的防御

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    最新防攻击教程

    最新防攻击教程 别人攻击的使用方法 传奇防御攻击 传奇攻击方法超级CC 超级穿墙CC 穿金盾CC 穿墙CC
    发表于 09-06 20:42

    SCDN的抗CC攻击和抗DDoS攻击防护是什么?

    正常的数据包,攻击的请求全都是有效的请求,无法拒绝的请求。服务器可以连接,ping也没问题,但是网页就是访问不了,也见不到特别大的异常流量,但是持续时间长,仍能造成服务器无法进行正常连接,危害更大
    发表于 01-05 14:45

    面对外部恶意攻击网站,高防服务器如何去防御攻击

    。网络恶意攻击其中一个形式就有带宽消耗型攻击,我们常见的服务器带宽堵塞就是大量的攻击数据包堵塞导致的,这就需要高防服务器所在机房带宽冗余充足,服务器的处理速度快,这些都可以有效
    发表于 05-07 17:00

    防御无线传感器网络中虫洞攻击是什么?

    ,IAODV协议增加了源节点路由跳数判断机制和随机选择路由的虫洞攻击防御方案。用NS2仿真平台实现虫洞攻击模块的仿真和改进协议的仿真,结果证明了改进协议的有效性。
    发表于 04-15 06:24

    公司服务器遭受CC攻击防御的应急记录

    记一次公司服务器遭受CC攻击防御的应急记录
    发表于 06-17 16:29

    cc攻击防御解决方法

    。使用防护软件个人认为使用防护软件的作用是最小的,只能拦住小型攻击,很多软件声称能有效识别攻击手段进行拦截,而大部分cc攻击能伪装成正常用户,还能伪装成百度蜘蛛的ua,导致被
    发表于 01-22 09:48

    基于主动网的SYN攻击防御

    针对目前传统网防御TCP同步泛滥攻击的服务器主机、路由器过滤、防火墙方法的局限性,利用主动网的动态特性,提出一种基于主动网的同步泛滥防御机制,并通过仿真实验将它
    发表于 02-28 10:30 23次下载

    一种基于SYN 漏洞的DDoS攻击防御算法的实现

    本文通过分析分布式拒绝服务攻击DDoS 原理和攻击方法,给出了一种防御DDoS 攻击的算法。关键词:DDoS 攻击;TCP/IP;SYN;I
    发表于 06-17 10:17 40次下载

    一种全面主动的防御DDoS攻击方案

    DDoS 攻击防御是当前网络安全研究领域中的难点。文章提出的方案能够全面、主动预防DDoS 攻击。使用蜜罐技术能够预防已知类型的DDoS 攻击;使用基于RBF-NN 能够实时检测DD
    发表于 06-20 09:04 13次下载

    CRT-RSA的连分数算法攻击的分析

    Wiener 于1989 年提出对小解密指数RSA 的连分数攻击[1],并留下一个开放性问题,即是否存在对小解密指数CRT-RSA(中国剩余定理RSA)的攻击。本文分析了连分数
    发表于 09-07 09:03 24次下载

    基于攻击防御树和博弈论的评估方法

    信息安全评估是保障SCADA系统正常工作的基础性工作。现有各类评估方法都未考虑攻击者与防御者双方之间的相互影响及经济效益。为了解决这一问题,提出了一种基于攻击防御树和博弈论的评估方法。
    发表于 11-21 15:43 2次下载
    基于<b class='flag-5'>攻击</b><b class='flag-5'>防御</b>树和博弈论的评估方法

    浅谈DDoS攻击的类型和防御措施

    DDoS攻击五花八门,防不胜防,DDoS攻击也有多种途径,拒绝服务曾经是一种非常简单的攻击方式。如何保护自己的网络?最笨的防御方法,就是花大价钱买更大的带宽。
    发表于 02-10 12:29 1956次阅读

    深入浅出DDoS攻击防御——攻击

    DDoS(Distributed Denial of Service,分布式拒绝服务)攻击的主要目的是让指定目标无法提供正常服务,甚至从互联网上消失,是目前最强大、最难防御攻击之一。
    的头像 发表于 06-20 09:46 2303次阅读

    关于GNSS欺骗技术,哪些防御技术对哪些攻击技术有效

    攻击方法和防御方法,并记录了哪些防御技术对哪些攻击技术有效。最后,本文给出了一个攻击/
    发表于 01-27 11:56 2511次阅读
    关于GNSS欺骗技术,哪些<b class='flag-5'>防御</b>技术对哪些<b class='flag-5'>攻击</b>技术<b class='flag-5'>有效</b>

    Linux越来越容易受到攻击,怎么防御

    在数字化时代,网络安全已成为企业不可忽视的重要议题。尤其是对于依赖Linux服务器的组织,面对日益复杂的网络攻击,传统安全措施已显不足。Linux服务器面临着哪些新型网络威胁,有哪些有效防御策略呢
    的头像 发表于 12-23 08:04 1123次阅读
    Linux越来越容易受到<b class='flag-5'>攻击</b>,怎么<b class='flag-5'>防御</b>?