神经网络中的遗忘

神经网络中的遗忘

两种遗忘方式的对比

查找记忆的删除是一条一条的删，而网络记忆的删除是断开连接。

学习中的遗忘

学习的过程是寻找符合所有情况的规律的过程

在这个过程中，有时候我们的大脑会断开连接，有时候又会重塑连接

假设猜想：如果我们的大脑不会断开连接，那么我们便会，只知道解决学习时已见过的情况，而不会解决未见过的情况。这样的“学习”只能是记忆，记忆所有信息，却不能找到共同的规律。（网络的过拟合）

案例验证：比如现实生活中的雨人，他看完了一本书记住了里面的所有内容，但他日常生活能力低下，四岁才会走路，现在都还不会系扣子，智力测试也只有87分。

学习后的遗忘

为什么已经被记住的内容还是会遗忘？

生存困难：寻找到普遍性的规律的生物，有大概率能存活，而只寻找到局部规律的生物，存活的概率变便很小。

演化结果：所以，大脑演化出一种该规律多次出现就强化该连接，出现次数少便弱化该连接的机制。这并不是为了忘记痛苦的记忆，或者节省能量，而是为了抑制局部规律形成的过拟合。

“ 你忘记所有的招式，就练成太极拳了”

原文：“太极拳只重其义，不重其招。你忘记所有的招式，就练成太极拳了。”

解释：“忘记”并非字面意思，而是意为不要仅记住个别招式，而失去了应对无限情况的能力。这里的招式是“已知”，“情况”是指任何情况，包括已知，也包括未知。由于人脑的长期记忆也不是查找记忆，并不会去记忆每个情况，所以练太极拳的过程并不是记忆的过程，而是学习的过程。让大脑的神经网络从这些有限的招式中泛化出普遍规律，便可自动应对无限情况。

翻译：”情况无限，招式有限，需泛化有限招式，来应对无限情况。”

总结

学习中的遗忘：由于寻找规律（学习）的过程中需要不断的断开连接，重塑连接（不断调整权重，构建模型）

学习后的遗忘：为了提高泛化能力，防止模型的过拟合，根据连接的使用频率，强化或弱化该连接的一种模型筛选机制。