神经网络通过模仿人类睡眠模式更好地学习

加州大学圣地亚哥分校的一组研究人员正在探索人工神经网络如何模仿人脑的睡眠模式以减轻灾难性遗忘问题。

该研究发表在PLOS Computational Biology上。

平均而言，人类每 24 小时需要 7 至 13 小时的睡眠。虽然睡眠以多种方式使身体放松，但大脑仍然非常活跃。

睡眠时活跃的大脑

Maxim Bazhenov 博士是加州大学圣地亚哥分校医学院的医学教授和睡眠研究员。

“我们睡觉时大脑非常忙碌，重复我们白天学到的东西，”Bazhenov 说。“睡眠有助于重组记忆并以最有效的方式呈现它们。”

Bazhenov 和他的团队之前发表了关于睡眠如何建立理性记忆的工作，理性记忆是记住物体、人或事件之间任意或间接关联的能力。它还可以防止忘记旧记忆。

灾难性遗忘的问题

人工神经网络从人脑的架构中汲取灵感，以改进 AI 技术和系统。虽然这些技术以计算速度的形式成功地实现了超人的性能，但它们有一个主要的局限性。当神经网络按顺序学习时，新信息会在一种称为灾难性遗忘的现象中覆盖以前的信息。

“相比之下，人脑不断学习并将新数据整合到现有知识中，当新训练与睡眠时间交织在一起以巩固记忆时，它通常学得最好，”Bazhenov 说。

该团队使用人工模拟自然神经系统的尖峰神经网络。信息不是连续通信，而是在特定时间点作为离散事件或尖峰传输。

在神经网络中模拟睡眠

研究人员发现，当脉冲神经网络接受新任务的训练并偶尔离线模仿睡眠时，灾难性遗忘的问题得到缓解。与人脑类似，研究人员表示，“睡眠”使网络能够在不明确使用旧训练数据的情况下重播旧记忆。

“当我们学习新信息时，神经元会按特定顺序放电，这会增加它们之间的突触，”Bazhenov 说。“在睡眠期间，我们在清醒状态下学到的尖峰模式会自发地重复。这称为重新激活或重播。

“突触可塑性，即改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触权重模式，有助于防止遗忘或使知识从旧任务转移到新任务。”

该团队发现，通过将这种方法应用于人工神经网络，它可以帮助网络避免灾难性遗忘。

“这意味着这些网络可以像人类或动物一样不断学习，”Bazhenov 继续说道。“了解人脑在睡眠期间如何处理信息有助于增强人类受试者的记忆力。增强睡眠节奏可以提高记忆力。

“在其他项目中，我们使用计算机模型来制定最佳策略，以在睡眠期间应用刺激，例如听觉音调，从而增强睡眠节奏并改善学习。当记忆力不佳时，例如当记忆力因衰老或阿尔茨海默氏病等疾病而下降时，这一点可能尤为重要。”