0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员研制出人工树突器件,构建新型新神经网络

如意 来源:知社学术圈 作者:知社学术圈 2020-07-05 11:39 次阅读

受生物神经网络启发,研制出一种具有丰富动态特性的人工树突器件,构建了包含突触、树突、胞体三种基本计算单元的新型神经网络,树突功能显著提升了网络的准确率,同时大幅降低了系统的功耗,增强了网络处理复杂任务的能力。

包含树突计算的新型人工神经网络示意图生物神经网络由突触和神经元组成,而神经元又包含树突、胞体等基本结构,其中树突具有非常复杂的拓扑结构和动态过程。许多生物神经系统的研究表明树突具有十分重要的非线性时空信息处理功能,它是大脑能够在处理复杂任务的同时保持低功耗的重要原因之一。当前的人工神经网络大多将神经元用简单的点模型表示,将其计算功能简化成积分-发放(integrate-and-fire),而忽略了树突的信息处理功能。这样的简化使得人工神经网络在功耗、灵活性上与生物神经网络相比仍存在很大的差距。

6月29日,清华大学微电子所、未来芯片技术高精尖创新中心钱鹤、吴华强教授团队,联合清华大学医学院及脑与智能实验室宋森研究员、美国麻省大学杨建华教授、阿里巴巴达摩院谢源教授、加州大学圣芭芭拉分校邓磊博士,在Nature Nanotechnology上发表题为“Power-Efficient Neural Network with Artificial Dendrites”的研究论文,报道了基于动态忆阻器的人工树突器件,成功复现了生物树突对信号的非线性过滤、积分以及对时间信号的处理方式。

为了验证人工树突的计算功能,研究团队将所开发的人工树突器件与导电细丝型突触器件、Mott相变型胞体器件进行系统集成,构建了包含突触、树突、胞体三种基本计算单元的新型神经网络。实验结果显示,由于树突功能的引入,该网络在处理具有复杂背景噪声的街景门牌号(SVHN)数据集时,胞体的动态功耗降低30倍,网络的准确率提高8%以上,系统评估整体功耗比CPU降低3个数量级。来自清华大学微电子所的吴华强教授是该论文的通讯作者,李辛毅博士、唐建石助理教授和张清天博士是共同第一作者。

近年来,钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体芯片技术研究,从器件性能优化、工艺集成、电路设计及架构与算法等多层次实现创新突破,相关研究成果发表于Nature、Nature electronics、Nature Communications、Advanced Materials等顶级期刊和ISSCC、IEDM、VLSI等领域内顶级国际学术会议上。

研究人员研制出人工树突器件,构建新型新神经网络

受生物启发制备的新原理树突器件,复现了生物树突对信号的非线性过滤、积分等功能

研究人员研制出人工树突器件,构建新型新神经网络

集成了突触、树突、胞体三种计算单元的新型人工神经网络,在SVHN数据集上验证了功耗和准确率上的显著优势

该工作的主要创新之处包括:

开发出了与CMOS工艺兼容的树突器件,其丰富的动态特性复现了生物树突单元的非线性过滤、积分以及对时间信息处理等功能。

将所制备的人工树突器件和基于导电细丝的突触器件、基于Mott相变的胞体器件进行集成,首次在硬件系统上构建了包含突触、树突、胞体三种基本计算单元的新型人工神经网络。

在包含复杂背景噪声的街景门牌号数据集(SVHN dataset)上,对包含树突计算的人工神经网络功能进行了验证。树突功能的引入将胞体的动态功耗降低30倍,同时将网络准确率提高了8%以上,系统评估整体能耗比CPU降低3个数量级。

该研究基于新原理忆阻器的丰富动态过程开发了神经形态树突器件,并进一步验证了新型人工神经网络的功能。未来通过器件、算法、电路、架构的协同创新与优化,有望进一步提高包含树突计算的人工神经网络处理复杂时空任务的能力,构建更加智能化的低功耗神经网络。

该研究工作得到了国家自然科学基金委、国家重点研发计划、北京市科委、北京信息科学与技术国家研究中心等支持。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4759

    浏览量

    100450
  • 网络
    +关注

    关注

    14

    文章

    7494

    浏览量

    88567
  • 生物神经网络

    关注

    0

    文章

    3

    浏览量

    1770
收藏 人收藏

    评论

    相关推荐

    卷积神经网络的实现工具与框架

    卷积神经网络因其在图像和视频处理任务中的卓越性能而广受欢迎。随着深度学习技术的快速发展,多种实现工具和框架应运而生,为研究人员和开发者提供了强大的支持。 TensorFlow 概述
    的头像 发表于 11-15 15:20 137次阅读

    Moku人工神经网络101

    不熟悉神经网络的基础知识,或者想了解神经网络如何优化加速实验研究,请继续阅读,探索基于深度学习的现代智能化实验的广阔应用前景。什么是神经网络?“人工
    的头像 发表于 11-01 08:06 214次阅读
    Moku<b class='flag-5'>人工</b><b class='flag-5'>神经网络</b>101

    如何构建多层神经网络

    构建多层神经网络(MLP, Multi-Layer Perceptron)模型是一个在机器学习和深度学习领域广泛使用的技术,尤其在处理分类和回归问题时。在本文中,我们将深入探讨如何从头开始构建一个多层
    的头像 发表于 07-19 17:19 672次阅读

    BP神经网络人工神经网络的区别

    BP神经网络人工神经网络(Artificial Neural Networks,简称ANNs)之间的关系与区别,是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及
    的头像 发表于 07-10 15:20 748次阅读

    PyTorch神经网络模型构建过程

    PyTorch,作为一个广泛使用的开源深度学习库,提供了丰富的工具和模块,帮助开发者构建、训练和部署神经网络模型。在神经网络模型中,输出层是尤为关键的部分,它负责将模型的预测结果以合适的形式输出。以下将详细解析PyTorch中
    的头像 发表于 07-10 14:57 426次阅读

    人工神经网络的案例分析

    人工神经网络(Artificial Neural Network, ANN)作为深度学习领域的重要分支,自20世纪80年代以来一直是人工智能领域的研究热点。其灵感来源于生物
    的头像 发表于 07-08 18:20 660次阅读

    人工神经网络模型包含哪些层次

    人工神经网络(Artificial Neural Network,ANN)是一种模拟人脑神经网络的计算模型,具有自适应、自学习、泛化能力强等特点。本文将详细介绍人工
    的头像 发表于 07-05 09:17 475次阅读

    人工神经网络模型训练的基本原理

    人工神经网络(Artificial Neural Networks,简称ANNs)是一种受生物神经网络启发而构建的数学模型,用于模拟人脑处理信息的方式。它在机器学习和深度学习领域具有广
    的头像 发表于 07-05 09:16 539次阅读

    人工神经网络模型的分类有哪些

    人工神经网络(Artificial Neural Networks, ANNs)是一种模拟人脑神经元网络的计算模型,它在许多领域,如图像识别、语音识别、自然语言处理、预测分析等有着广泛的应用。本文将
    的头像 发表于 07-05 09:13 876次阅读

    人工智能神经网络的结构是什么

    人工智能神经网络是一种模拟人脑神经网络的计算模型,其结构和功能非常复杂。 引言 人工智能神经网络是一种模拟人脑
    的头像 发表于 07-04 09:37 439次阅读

    人工智能神经网络芯片的介绍

    : 概述 人工智能神经网络芯片是一种新型的处理器,它们基于神经网络的计算模型,通过模拟人脑神经元的连接和交互方式,实现对数据的高效处理。与传
    的头像 发表于 07-04 09:33 554次阅读

    神经网络人工智能的关系是什么

    神经网络人工智能的关系是密不可分的。神经网络人工智能的一种重要实现方式,而人工智能则是神经网络
    的头像 发表于 07-03 10:25 912次阅读

    使用PyTorch构建神经网络

    PyTorch是一个流行的深度学习框架,它以其简洁的API和强大的灵活性在学术界和工业界得到了广泛应用。在本文中,我们将深入探讨如何使用PyTorch构建神经网络,包括从基础概念到高级特性的全面解析。本文旨在为读者提供一个完整的、技术性的指南,帮助理解并实践PyTorch
    的头像 发表于 07-02 11:31 629次阅读

    构建神经网络模型方法有几种

    构建神经网络模型是深度学习领域的核心任务之一。本文将详细介绍构建神经网络模型的几种方法,包括前飨神经网络、卷积
    的头像 发表于 07-02 10:15 300次阅读

    人工神经网络的含义和用途是

    人工神经网络(Artificial Neural Networks,简称ANNs)是一种受生物神经网络启发而构建的数学模型,它通过模拟人脑神经
    的头像 发表于 07-02 10:07 631次阅读