0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人脸识别路漫漫:清华、北大等提出AT3D人脸识别系统攻击方法

3D视觉工坊 来源:我爱计算机视觉 2023-03-31 09:47 次阅读

向大家分享一篇新出的CVPR 2023论文,研究方向是人脸识别系统的对抗攻击。看了这篇文章你可能会立刻关闭你手机里和人脸识别相关的敏感应用,比如支付。

▌Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition

1cdd541a-cf56-11ed-bfe3-dac502259ad0.png

论文作者:Xiao Yang,Chang Liu,Longlong Xu,Yikai Wang,Yinpeng Dong,Ning Chen,Hang Su,Jun Zhu

作者单位:清华大学;北京大学; RealAI; Zhongguancun Laboratory

论文链接:http://arxiv.org/abs/2303.15818v1

人脸识别,安全吗?

目前人脸识别技术的应用越来越广了,门禁、监控、手机解锁、移动支付让我们享受到了人脸识别技术带给我们的便利性。

即使是最名不见经传的人脸识别解决方案提供商,也声称人脸识别准确率99%以上,但它真的足够安全吗?

对人脸识别系统的攻击,可以分为两大方面:

逃避识别:张三不想在视频中被识别出来;

引导系统误识别:张三故意让系统把自己识别为李四。

一种直观的想法是,我就打印一张人脸图片贴在脸上,嗯,做黑产的人就是这么想的,这就是人脸识别系统的物理攻击。

不过现有的人脸识别系统均配有人脸活体检测等反欺诈技术,低端的物理攻击已经不太奏效。

1cf2dea2-cf56-11ed-bfe3-dac502259ad0.png

2D和3D攻击对比

如上图中打印一张人脸纹理纸贴脸上,这种人看起来怪怪的操作,早期也是可以让人脸识别系统陷入错误的,但在有类似深度信息红外信息的反欺诈系统面前,特征就太明显了。

所以3D攻击就出现了,通过打印制作一个遮盖”眼鼻“的面罩,迷惑系统。如下图:

1d089382-cf56-11ed-bfe3-dac502259ad0.png

这就是今天介绍的论文Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition的研究内容:如何设计更好的3D面罩,攻破人脸识别系统,实验结果显示,现有的人脸识别系统在这种物理攻击面前”溃不成军“。

特别需要注意的是,清华、北大的这篇论文,不是仅仅在实验室里自己搭建了一套人脸识别系统,自己的矛攻自己的盾,而是对商用系统进行攻击。

攻击原理

通过上面的介绍,我们已经知道,攻击的技术核心变为,打印什么样的3D面罩了。

无论是上面的哪一种攻击,其实最终都是要迷惑系统,让系统把攻击者误识别为他人。直接打印一张包含其他人(我们称他/她为”受害者“吧)的人脸纹理的面罩?这看起来好像可以试一试,但复杂的光照、变化的姿态表情是影响身份识别的。

这篇论文提供了更”好“的方法,总结起来就是:针对人脸识别系统,端到端”设计“3D面罩,然后3D打印出来。

请看下图:

1d1c9350-cf56-11ed-bfe3-dac502259ad0.png

”攻击者“和”受害者“的人脸图片首先使用3DMM算法进行人脸重建,其得到的系数,定义了人脸的形状、姿态、纹理等,即一套系数就是一张特定的人脸。训练的时候是调整这套系数对人脸特定区域(眼鼻部位)进行建模,得到一个3D网格,这个3D网格渲染后”戴到“攻击者的人脸图像上,然后把这张图片和受害者的图片输入给人脸识别系统,人脸识别部分的loss反向指导系统参数的更新。

很明显这个3D网格就是端到端设计出来的3D面罩。

论文中称,训练时所有步骤都是端到端可微的,包括渲染。

当然,我们是否可以不用对人脸进行3D重建,不在这套系数上更新参数呢?当然是可以的,但论文中称,在3DMM空间中进行参数更新,相当于正则化,而且实验证明,效果是又快又好!(有没有更好的,针对人脸系统攻击的人脸3D重建方法,也许是值得探索的方向)

另外,为什么选择的是人脸的”眼鼻“部位呢?其实作者分析并试验了眼睛、眼鼻、整个脸下半部,发现眼鼻是攻击效果最好的。这好像也不难理解,眼鼻部位受人脸表情影响比较小,而且几乎没有什么局部变化。

1d46960a-cf56-11ed-bfe3-dac502259ad0.png

实验结果

实验结果是惊人的。

作者们公布了其在主流的公开的人脸识别算法(ArcFaceMobileFace等)上的攻击结果,几乎全部都能实现80%攻击成功率,部分情况100%攻击成功。

1d60cb7e-cf56-11ed-bfe3-dac502259ad0.png

1d74a298-cf56-11ed-bfe3-dac502259ad0.png

在商用系统上的攻击结果依然”触目惊心“。包括三个识别API、四个反欺诈API、两个流行的手机和两个自动门禁系统。

1d8f5278-cf56-11ed-bfe3-dac502259ad0.png

1df59baa-cf56-11ed-bfe3-dac502259ad0.png

1e0ff4f0-cf56-11ed-bfe3-dac502259ad0.png

1e228fde-cf56-11ed-bfe3-dac502259ad0.png

1e351b18-cf56-11ed-bfe3-dac502259ad0.png

1e6a4c34-cf56-11ed-bfe3-dac502259ad0.png

因为比较敏感,本文不会提及作者选择的商用系统的名字,感兴趣的朋友可以去读读论文。

希望这样的研究,能被更多技术开发人员了解,促进人脸识别技术的应用成熟,看来要走的路还很长!

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • API
    API
    +关注

    关注

    2

    文章

    1499

    浏览量

    61985
  • 网格
    +关注

    关注

    0

    文章

    139

    浏览量

    16015
  • 人脸识别
    +关注

    关注

    76

    文章

    4012

    浏览量

    81877
收藏 人收藏

    评论

    相关推荐

    基于labview的人脸识别系统的设计………………

    我现在做的是基于labview的人脸识别系统的设计与实现,现在已经开始在做,但是在算法这一块被卡到了,不知道改用什么样的算法和如何实现这个算法,可能是水平低了点把,请高人指点一下啊!!!谢谢…………
    发表于 03-17 09:56

    【LeMaker Guitar申请】基于LeMaker Guitar的人脸识别系统

    学习对嵌入式应用层开发有一个更深入的认识。项目描述:基于LeMaker Guitar的人脸识别系统设计思路是把 OpenCV移植到嵌入式操作系统中,然后将人脸
    发表于 01-18 16:23

    浅谈人脸识别系统在智慧社区方面的应用

    的建设方面,人脸识别技术已经应用到了智能家居、智能楼宇、智慧社区管理领域。 目前的门禁系统以卡类设备、指纹设备或数字密码解锁为主,这些识别
    发表于 09-26 14:03

    LabVIEW人脸识别设计

    :4月30-5月2日24:00根据课程内容学习,自己完成一个LabVIEW人脸特征提取、录入及识别系统设计第三步:5月3日 发放测试题作业第四步:5月4日24:00前提交作业,达到80分以上即算合格即
    发表于 04-28 10:00

    人脸识别系统的安装

      1、接线  当你购买厂家岀售的人脸识别门禁设备回来的时候,首先要做的就是接线,让设备可以控制开关门。  不管是哪一家的设备,大体分为3种类型的线,分别是:电源线、开门线、网线,其中网线可接可不接
    发表于 12-02 15:34

    基于嵌入式LInux的人脸识别系统

    1,基于嵌入式LInux的人脸识别系统
    发表于 10-27 07:02

    基于CBIR技术的手机人脸识别系统设计

    基于CBIR技术的手机人脸识别系统设计 狭义的人脸识别(Face Recognition)特指通过人物面部进行身份确认或身份查找。目前,人脸
    发表于 11-18 10:21 1043次阅读
    基于CBIR技术的手机<b class='flag-5'>人脸</b><b class='flag-5'>识别系统</b>设计

    人脸识别系统定位功能剖析

    经常被网友问到“人脸识别系统是如何找到人的?”,本文将通过实际案例具体分析人脸识别系统的组成、人脸识别系
    发表于 08-29 14:46 5748次阅读

    人脸识别系统的四大优势_人脸识别系统需要攻克的难题

    人脸识别系统是一项新兴技术,随着市场的发展,技术水平的提高,越来越多的行业和领域都需要这样的系统,可以提高工作效率,加快行业发展,下面来介绍一下人脸
    发表于 08-28 10:26 3353次阅读

    人脸识别系统应用范围_选择人脸识别系统的关注点

    随之科学手段的快速发展,人脸识别系统被应用到了众多领域,人脸识别系统目前主要应用于身份识别,可以利用快速
    发表于 08-31 14:56 1399次阅读

    人脸识别系统的工作原理及应用范围

    作为当今国际科技领域里高精尖技术的代表技术,人脸识别系统被广泛的应用在门禁,考勤,安防,报警领域当中。那么,人脸识别系统到底是如何实现
    发表于 09-03 15:47 3547次阅读

    人脸识别系统使用的攻击方法有哪些

    技术,银行则采用eKYC解决方案进行入职流程。人脸识别研究的主要目的是提高验证和识别任务的性能,在过去,对人脸识别系统的安全漏洞的研究是比较
    发表于 11-18 11:28 5589次阅读

    人脸识别攻击技术和反欺骗技术

    技术,银行则采用eKYC解决方案进行入职流程。人脸识别研究的主要目的是提高验证和识别任务的性能,在过去,对人脸识别系统的安全漏洞的研究是比较
    的头像 发表于 11-18 18:15 2654次阅读

    人脸识别系统本身的安全疑问

    众多小区开始安装人脸识别系统,甚至有小区强推人脸识别系统,导致很多不愿意接受人脸识别系统的住户不
    发表于 12-30 10:17 1050次阅读

    人脸识别系统相片能识别

    人脸识别技术目前大致分为2D3D识别技术。2D是通过2D
    发表于 10-07 16:17 4725次阅读