0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

小样本学习领域的未来发展方向

新机器视觉 来源:新机器视觉 2023-06-14 09:59 次阅读

什么是小样本学习?它与弱监督学习等问题有何差异?其核心问题是什么?来自港科大和第四范式的这篇综述论文提供了解答。

数据是机器学习领域的重要资源,在数据缺少的情况下如何训练模型呢?小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展,并提出了未来的研究方向。 这篇综述论文已被 ACM Computing Surveys 接收,作者还建立了 GitHub repo,用于更新该领域的发展。

论文地址:https://arxiv.org/pdf/1904.05046.pdf

GitHub 地址:https://github.com/tata1661/FewShotPapers

机器学习在数据密集型应用中取得了很大成功,但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习(Few-Shot Learning,FSL)方法旨在解决该问题。FSL 利用先验知识,能够快速泛化至仅包含少量具备监督信息的样本的新任务中。 这篇论文对 FSL 方法进行了综述。首先,该论文给出了 FSL 的正式定义,并厘清了它与相关机器学习问题(弱监督学习、不平衡学习、迁移学习和元学习)的关联和差异。然后指出 FSL 的核心问题,即经验风险最小化方法不可靠。 基于各个方法利用先验知识处理核心问题的方式,该研究将 FSL 方法分为三大类:

数据:利用先验知识增强监督信号

模型:利用先验知识缩小假设空间的大小;

算法:利用先验知识更改给定假设空间中对最优假设的搜索。

最后,这篇文章提出了 FSL 的未来研究方向:FSL 问题设置、技术、应用和理论。 论文概览 该综述论文所覆盖的主题见下图:

cbf9f70e-0a44-11ee-962d-dac502259ad0.png

我们选取介绍了该综述论文中的部分内容,详情参见原论文。 什么是小样本学习? FSL 是机器学习的子领域。 我们先来看机器学习的定义: 计算机程序基于与任务 T 相关的经验 E 学习,并得到性能改进(性能度量指标为 P)。

cc078108-0a44-11ee-962d-dac502259ad0.png

基于此,该研究将 FSL 定义为: 小样本学习是一类机器学习问题,其经验 E 中仅包含有限数量的监督信息。

cc11c2f8-0a44-11ee-962d-dac502259ad0.png

下图对比了具备充足训练样本和少量训练样本的学习算法:

cc1d1a72-0a44-11ee-962d-dac502259ad0.png

FSL 方法分类 根据先验知识的利用方式,FSL 方法可分为三类:

cc267a22-0a44-11ee-962d-dac502259ad0.png

FSL 方法解决少样本问题的不同角度。 基于此,该研究将现有的 FSL 方法纳入此框架,得到如下分类体系:

cc3271e2-0a44-11ee-962d-dac502259ad0.png

数据 此类 FSL 方法利用先验知识增强数据 D_train,从而扩充监督信息,利用充足数据来实现可靠的经验风险最小化。

cc3d9d6a-0a44-11ee-962d-dac502259ad0.png

如上图所示,根据增强数据的来源,这类 FSL 方法可分为以下三个类别:

cc4aff1e-0a44-11ee-962d-dac502259ad0.png

模型 基于所用先验知识的类型,这类方法可分为如下四个类别:

cc58dcce-0a44-11ee-962d-dac502259ad0.png

算法 根据先验知识对搜索策略的影响,此类方法可分为三个类别:

cc7aceec-0a44-11ee-962d-dac502259ad0.png

文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。
责任编辑:彭菁

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7010

    浏览量

    88978
  • 机器学习
    +关注

    关注

    66

    文章

    8411

    浏览量

    132599
  • 小样本
    +关注

    关注

    0

    文章

    7

    浏览量

    6821

原文标题:小样本学习最新综述

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LED灯条未来发展方向

    体积小,在造型方面更加具有灵活性与多变性,也由于这一点,受到了消费者更多的认同与喜爱。在基本的照明功能得到满足和优化的同时,大家更加注重它外型的美观,因此,LED灯条在未来发展必将走一条实用性
    发表于 03-29 16:42

    嵌入式领域的职业发展方向怎么样?

    从硬件和软件方面,各自的发展方向分别是什么?达到这些目标,需要学习哪些知识?达到哪些层次?更远一点的发展方向
    发表于 09-22 14:36

    FPGA学习方法及发展方向

    FPGA学习快一年了,感觉达到了一定的瓶颈,没人带,自学很吃力,现在只会简单地做一些小东西,想更加系统的学习一下FPGA将来从事FPGA有没有好的学习方法或者发展方向什么的?求不吝赐教
    发表于 11-24 17:58

    学习嵌入式的优势和发展方向

    ` 计算机行业逐渐被大家认可,而嵌入式也成为了IT行业的新宠儿,当然也有很多人不了解嵌入式,那么小编作为尚观教育的一员就来给大家解析下:学习嵌入式有什么优势?以及嵌入式又有哪些发展方向?学习嵌入式有
    发表于 07-30 16:57

    单片机的原理是什么?未来如何发展

    单片机的原理是什么单片机的特点/应用领域单片机未来发展方向
    发表于 04-20 06:22

    嵌入式系统开源软件的现状及未来发展方向

    嵌入式系统开源软件的现状及未来发展方向
    发表于 04-28 06:25

    学习C语言未来发展方向是怎样的?

    学习C语言未来发展方向是怎样的?
    发表于 11-11 08:04

    答疑解惑探讨小样本学习的最新进展

    至于什么样的情况需要专门设计小 样本学习算法,其实这是一个很实际或者很工业的问题,比如在医疗图像处理中解决很罕见的病变,样本量确实不够,我们想去学一个分类器就只能根据这个数据去设计小样本
    的头像 发表于 05-12 10:20 4067次阅读
    答疑解惑探讨<b class='flag-5'>小样本</b><b class='flag-5'>学习</b>的最新进展

    深度学习小样本学习下的多标签分类问题初探

    摘要 小样本学习(Few-shot Learning)近年来吸引了大量的关注,但是针对多标签问题(Multi-label)的研究还相对较少。在本文中,我们以用户意图检测任务为切入口,研究了的小样本
    的头像 发表于 01-07 14:51 7088次阅读

    融合零样本学习小样本学习的弱监督学习方法综述

    融合零样本学习小样本学习的弱监督学习方法综述 来源:《系统工程与电子技术》,作者潘崇煜等 摘 要: 深度
    发表于 02-09 11:22 2302次阅读
    融合零<b class='flag-5'>样本</b><b class='flag-5'>学习</b>和<b class='flag-5'>小样本</b><b class='flag-5'>学习</b>的弱监督<b class='flag-5'>学习</b>方法综述

    一种基于伪标签半监督学习小样本调制识别算法

    一种基于伪标签半监督学习小样本调制识别算法 来源:《西北工业大学学报》,作者史蕴豪等 摘 要:针对有标签样本较少条件下的通信信号调制识别问题,提出了一种基于伪标签半监督学习技术的
    发表于 02-10 11:37 818次阅读

    人工智能(chatGPT)未来发展方向

    人工智能(Artificial Intelligence,AI)的未来方向涉及许多领域发展方向
    的头像 发表于 06-29 15:28 1278次阅读

    电梯智能传感系统的应用前景和未来发展方向

    电梯智能传感系统的应用前景和未来发展方向
    的头像 发表于 09-18 11:50 761次阅读

    DC电源模块的未来发展方向与挑战

    BOSHIDA   DC电源模块的未来发展方向与挑战 未来DC电源模块的发展方向和面临的挑战包括以下几个方面: 高效率和节能:随着人们对环境保护的重视和能源消耗的削减要求,DC电源模块
    的头像 发表于 01-29 13:52 461次阅读
    DC电源模块的<b class='flag-5'>未来</b><b class='flag-5'>发展方向</b>与挑战

    MES未来可能的发展方向

    电子发烧友网站提供《MES未来可能的发展方向.docx》资料免费下载
    发表于 02-28 09:23 1次下载