沃特金斯和她的研究小组发现,连续不断的无监督学习之后,网络仿真变得不稳定。当他们将网络暴露于类似于活脑在睡眠中经历的波动的状态时,稳定性得以恢复。沃特金斯说:“好像我们在给神经网络一样,可以睡个好觉。”
这一发现是在研究团队致力于开发神经网络时得出的,该网络与人类和其他生物系统如何学习看得很近。该小组最初努力使稳定的模拟神经网络经受无监督的字典训练,该训练涉及对对象进行分类,而无需事先进行示例比较。
洛斯·阿拉莫斯(Los Alamos)的计算机科学家和研究合著者加勒特·凯尼恩(Garrett Kenyon)说:“只有在尝试利用生物学上逼真的尖峰神经形态处理器或试图了解生物学本身时,才会出现如何使学习系统变得不稳定的问题。”“绝大多数机器学习,深度学习和AI研究人员从未遇到过这个问题,因为在他们研究的非常人工的系统中,他们可以执行全局数学运算,从而具有调节系统整体动态增益的作用。”
研究人员将决定使网络暴露于人工模拟睡眠的决定是将其稳定的最后努力。他们对各种类型的噪声进行了实验,大致可与调谐收音机时在电台之间遇到的静态噪声相媲美。当他们使用所谓的高斯噪声波时,最好的结果是出现的,其中包括范围广泛的频率和幅度。他们假设该噪声模仿了慢波睡眠过程中生物神经元接收到的输入。结果表明,慢波睡眠可能在某种程度上起到了确保皮质神经元维持其稳定性而不产生幻觉的作用。
小组的下一个目标是在英特尔的Loihi神经形态芯片上实现他们的算法。他们希望让Loihi时不时地进入睡眠状态,使其能够稳定地实时处理来自硅视网膜相机的信息。如果这些发现证实了人造大脑需要睡眠,那么我们可能会期望未来可能出现的android和其他智能机器也是如此。
沃特金斯将于6月14日在西雅图的“计算机视觉中的女性”研讨会上介绍这项研究。
-
神经网络
+关注
关注
42文章
4765浏览量
100575 -
网络仿真
+关注
关注
0文章
10浏览量
7241
发布评论请先 登录
相关推荐
评论