0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

移动应用隐私合规检测简介及目标检测技术的应用

科技怪授 来源:科技怪授 作者:科技怪授 2022-10-13 09:09 次阅读

1 移动应用隐私合规检测背景简介

移动应用的隐私合规检测,从技术形态上可以分为静态检测方案与动态检测方案。以下分别作简要介绍。

1.1 静态检测

静态检测方案通过对移动应用的安装包进行反编译,进而通过静态数据流、控制流分析等技术,检测移动应用中可能存在的隐私泄露问题。在该领域中,常用到以下工具:

• Apktool [1]: 反编译安卓Apk,可以反编译资源,并在进行修改之后重新打包Apk

• dex2jar [2]: 将Apk反编译成Java源码(classes.dex转化成jar文件)

• Soot [3]:Soot最初是Java优化框架,发展至今已广泛应用于分析优化和可视化Java和Android应用程序。

• Flowdroid [4]: 基于IFDS算法实现的针对Android的静态污点分析框架

利用上述工具,开发者可以制定相应的规范检测项,从而检测到应用中存在的隐私泄露隐患。

1.2 动态检测

动态检测方案通过运行待检测应用于真实手机或者模拟器沙箱,通过监控移动应用对系统内敏感资源的访问,结合移动应用的隐私政策声明分析,检测移动应用是否包含隐私违规行为。应用运行则可以由人工进行或者UI自动化。

1.2.1 敏感行为监测

运行时敏感行监测实时监控应用对用户隐私敏感数据的访问。在实现上分为两种:一种是直接在源码中添加监控代码。如在AOSP代码中的getLastLocation中直接添加代码,记录API访问行为。另一种则是通过hook方案,不直接修改源码,而是在系统运行APP时添加逻辑钩子,在APP调用特定敏感API时,先跳转至hook函数,最后再返回调用原敏感API。其中,hook函数负责记录应用的API访问行为。

1.2.2 UI自动化

移动应用自动化即通过程序控制移动应用UI交互。该领域典型的工具有: monkey [5],进行UI界面随机点击以及系统级事件。第三方UI自动化工具:uiautomator2 [6]和AndroidViewClient [7], 基于系统工具uiautomator实现,能够实现基本的自动化UI测试功能编程

2 目标检测技术在隐私合规检测领域的应用

深度学习中的目标检测,主要用于在视图中检测出物体的类别和位置,如下图所示。目前业界主要有YOLO [7],SSD [8]和RCNN [9]三类深度学习算法。

image.png

以Faster RCNN为例,该算法是RCNN算法的演进。在结构上,Faster RCNN将特征抽取(feature extraction),proposal提取,bounding box regression(rect refine),classification都整合在了一个网络中,使得综合性能有较大提高,在检测速度方面尤为明显。Faster RCNN主要分为4个主要内容:

  1. Conv layers。作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。
  2. Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于positive或者negative,再利用bounding box regression修正anchors获得精确的proposals。
  3. Roi Pooling。该层收集输入的feature maps和proposals,综合这些信息后提取proposal feature maps,送入后续全连接层判定目标类别。
  4. Classification。利用proposal feature maps计算proposal的类别,同时再次bounding box regression获得检测框最终的精确位置。

image.png

2.1 应用点

在UI自动化中,常常存在基于uiautomator的工具无法识别的UI布局。主要有两种原因导致这种情况:1、UI内容由整张图片渲染而成;2、UI控件原因,某些用户编写的UI控件没有支持无障碍服务,导致uiautomator无法获取UI布局。此时,使用UI图片目标识别,可以判断可点击的有效区域。

image.png

.jpg)

如上图所示,在Sechunter的UI自动化中,我们需要获取应用的隐私声明文件链接,以及相应的“同意”、“不同意”的位置。在uiautomator无法获得UI布局的情况下,可以进行目标识别,通过图像获得可点击位置,从而推进UI自动化测试的继续执行。

2.2 目标检测技术的应用

在模型训练中,主要困难在于数据集收集。Sechunter的解决方案是,先通过传统的图片处理方案获取初步的数据集,这里我们使用了图片处理领域的显著区域识别。这个过程的关键是要有一个验证模块,对隐私声明链接而言,即验证该区域点击跳转后内容的确是隐私声明。我们使用了LDA主题模型来判断文本内容是否是隐私政策。通过验证的样本都收纳到数据集中,然后用这些标注数据进行第一版的目标识别模型训练。

训练出来的模型只是利用传统图像处理能够识别成功的图片进行学习。对于不成功的图片,我们进一步使用OCR。OCR能够识别出图像中的文字内容及其位置。结合第一阶段的目标识别模型进行结果融合,可以得到更为精确的可点击区域结果,并且这个时候的融合方案已经初步可以使用了。随着数据集的积累,目标检测模型的检测结果也变得更精确。最终能够只使用目标识别方案。

3 小结

移动应用隐私合规检测对保护个人信息安全有着重要作用。但目前市场上的工具自动化检测能力普遍都还比较有限。Sechunter在自动化隐私合规检测领域做了一些积极探索,进行了众多跨领域技术调研,本文介绍的目标识别技术能够帮助自动化工具更快更准地识别UI可点击区域。
审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 移动应用
    +关注

    关注

    0

    文章

    64

    浏览量

    15546
  • 目标检测
    +关注

    关注

    0

    文章

    209

    浏览量

    15612
收藏 人收藏

    评论

    相关推荐

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    以及边缘计算能力的增强,越来越多的目标检测应用开始直接在靠近数据源的边缘设备上运行。这不仅减少了数据传输延迟,保护了用户隐私,同时也减轻了云端服务器的压力。然而,在边缘端部署高效且准确的目标
    发表于 12-19 14:33

    测长机能检测螺纹环吗?

    。操作者只需装好被测螺纹环,在检测软件上选择相应标准并输入规格参数,移动头座接触被测件,调整五轴工作台找到拐点,采样完成即可得到测量数据。整个过程不超过 3 分钟,系统还可自动计算螺纹中径等各项参数,并依据内置标准数据库对被测
    发表于 11-20 17:27

    康谋分享 | 数据隐私和匿名化:PIPL与GDPR下,如何确保数据?(一)

    自动驾驶技术的快速发展伴随着数据隐私保护的严峻挑战。PIPL和GDPR为自动驾驶数据设立了高标准。本篇文章将带大家深入探讨PIPL与GDPR的异同点,期望能够帮助车企更好地理解并应
    的头像 发表于 09-29 10:28 1406次阅读
    康谋分享 | 数据<b class='flag-5'>隐私</b>和匿名化:PIPL与GDPR下,如何确保数据<b class='flag-5'>合</b><b class='flag-5'>规</b>?(一)

    图像分割与目标检测的区别是什么

    图像分割与目标检测是计算机视觉领域的两个重要任务,它们在许多应用场景中都发挥着关键作用。然而,尽管它们在某些方面有相似之处,但它们的目标、方法和应用场景有很大的不同。本文将介绍图像分割与目标
    的头像 发表于 07-17 09:53 1344次阅读

    目标检测与图像识别的区别在哪

    目标检测与图像识别是计算机视觉领域中的两个重要研究方向,它们在实际应用中有着广泛的应用,如自动驾驶、智能监控、医疗诊断等。尽管它们在某些方面有相似之处,但它们之间存在一些关键的区别。 基本概念 目标
    的头像 发表于 07-17 09:51 902次阅读

    目标检测与识别技术有哪些

    目标检测与识别技术是计算机视觉领域的重要研究方向,广泛应用于安全监控、自动驾驶、医疗诊断、工业自动化等领域。 目标检测与识别
    的头像 发表于 07-17 09:40 614次阅读

    目标检测与识别技术的关系是什么

    目标检测与识别技术是计算机视觉领域的两个重要研究方向,它们之间存在着密切的联系和相互依赖的关系。 一、目标检测与识别
    的头像 发表于 07-17 09:38 618次阅读

    目标检测识别主要应用于哪些方面

    目标检测识别是计算机视觉领域的一个重要研究方向,它主要关注于从图像或视频中识别和定位目标物体。随着计算机视觉技术的不断发展,目标
    的头像 发表于 07-17 09:34 1082次阅读

    慧视小目标识别算法 解决目标检测中的老大难问题

    随着深度学习和人工智能技术的兴起与技术成熟,一大批如FasterR-CNN、RetinaNet、YOLO等可以在工业界使用的目标检测算法已逐步成熟并进入实际应用,大多数场景下的
    的头像 发表于 07-17 08:29 505次阅读
    慧视小<b class='flag-5'>目标</b>识别算法   解决<b class='flag-5'>目标</b><b class='flag-5'>检测</b>中的老大难问题

    基于深度学习的小目标检测

    在计算机视觉领域,目标检测一直是研究的热点和难点之一。特别是在小目标检测方面,由于小目标在图像中所占比例小、特征不明显,使得
    的头像 发表于 07-04 17:25 891次阅读

    图像检测与识别技术的关系

    检测技术是指利用计算机视觉技术,对图像中的特定目标进行定位和识别的过程。它通常包括图像预处理、特征提取、目标
    的头像 发表于 07-03 14:43 656次阅读

    深入了解目标检测深度学习算法的技术细节

    本文将讨论目标检测的基本方法(穷尽搜索、R-CNN、FastR-CNN和FasterR-CNN),并尝试理解每个模型的技术细节。为了让经验水平各不相同的读者都能够理解,文章不会使用任何公式来进行讲解
    的头像 发表于 04-30 08:27 347次阅读
    深入了解<b class='flag-5'>目标</b><b class='flag-5'>检测</b>深度学习算法的<b class='flag-5'>技术</b>细节

    深度学习检测目标常用方法

    深度学习的效果在某种意义上是靠大量数据喂出来的,小目标检测的性能同样也可以通过增加训练集中小目标样本的种类和数量来提升。
    发表于 03-18 09:57 727次阅读
    深度学习<b class='flag-5'>检测</b>小<b class='flag-5'>目标</b>常用方法

    AI驱动的雷达目标检测:前沿技术与实现策略

    传统的雷达目标检测方法,主要围绕雷达回波信号的统计特性进行建模,进而在噪声和杂波的背景下对目标存在与否进行判决,常用的典型算法如似然比检测(LRT)、
    发表于 03-01 12:26 2878次阅读
    AI驱动的雷达<b class='flag-5'>目标</b><b class='flag-5'>检测</b>:前沿<b class='flag-5'>技术</b>与实现策略

    巍泰技术毫米波雷达如何助力道路车辆预警?静态目标检测是关键

    毫米波雷达可以识别静态目标,但在某些应用场景下,为了防止功能误触,会滤除静止目标的特征。然而,在车辆预警的实际应用中,静态目标检测十分必要。目前用于雾天安全行车诱导的车辆
    的头像 发表于 02-27 15:59 952次阅读
    巍泰<b class='flag-5'>技术</b>毫米波雷达如何助力道路车辆预警?静态<b class='flag-5'>目标</b><b class='flag-5'>检测</b>是关键