神经科学如何帮助推动机器学习

在构建人工系统并不一定需要复制后,飞机不拍打翅膀飞像——人工智能和机器学习的历史令人信服地表明,灵感来自神经科学和心理学可能导致重大的突破,是深层神经网络和强化学习也许是两个最突出的例子。

大脑中获取灵感,IBM的研究团队最近使用机器学习技术开发计算模型的注意力和记忆力。我们的最终目标是建立终身学习人工智能系统,能够适应新环境,同时保留他们所学到的。这一挑战可以分为短期适应,哪里有时间改变一个系统和铁路在关注什么,和长期受到如何的适应人类的大脑形成记忆和神经可塑性(例如,成年神经发生)如何影响这一过程。

我们团队开发的两个重要的创新,使短期和长期适应的结果reward-driven关注技术,使网络的“可塑性”。These will be discussed in two papers that we will be presenting at IJCAI this week.

快速适应reward-driven关注

注意是能够迅速从一个巨大的选择和处理最重要的信息的感官(视觉、听觉等)的信号。因为我们的视网膜提供非常有限的视野,我们经常需要决定哪些“一瞥”关注和快速决策。在现实生活中,选择一个子集的问题关注的重要特性,从潜在的无限多的可能性,是我们每天经历的事情。例如,面对突然看到一只狮子在灌木丛中一个羚羊必须做出一瞬间决定它所看到和采取什么行动;在另一个例子,一个医生可能只能问一个有限数目的问题决定药物或测试前开出一个病人。

在我们的论文“Context-Attentive强盗:上下文强盗与受限制的情况下,“我们开发了一个算法上面描述的情况。算法快速学会专注于正确的输入基于奖励(即反馈的环境)中获得的任务。奖励越高,更多的关注将在一定的输入。在狮子和羚羊,羚羊学习环境的一部分一眼,当检测一项不寻常的运动在灌木丛中,奖励是生存采取行动摆脱潜在的捕食者的道路。在上面的医生的例子中,可能的测试数量和治疗开很大,医生需要决定最有效的。就像一个人工智能系统,通过训练和经验,医生学会选择最有效的测试和治疗,这样的组合预期回报(即病人好转)最大化。

新颖的算法是输入的学习能力以在线的方式关注即数据集是不固定的,但不断变化,而收到奖励决策基于部分输入。在线意味着系统可以执行,因此变化具有很好的鲁棒性。

直到现在我们已经测试了我们的算法在一些在线分类任务,使用公开的数据集,我们的下一个步骤涉及我们的方法应用到更广泛的真实数据集和更复杂的环境问题。

建立长期适应的记忆:neurogenetic学习

我们正在开发的另一个技术是基于神经可塑性,即在我们的第二篇论文“Neurogenesis-Inspired字典学习:在线模型适应变化的世界”。This approach lets us enable long term learning and is inspired by the adult neurogenesis process which happens in the hippocampus, the part of the human brain responsible for forming memories.

当突触可塑性,即在学习神经连接的强度变化,是标准的神经网络训练方法,其他类型的可塑性,如神经发生,小说可以激励学习方法,网络的体系结构不断调整,以应对变化的环境在终身学习。在我们的论文中,我们提出这样一个算法,扩展和压缩隐藏层的网络,模仿神经元的出生和死亡。我们证明我们的算法不仅适应一个新环境(例如,一个新的域),但也保留了之前的记忆领域,从而使一个一步终身学习人工智能系统。

在应用图像识别和自然语言处理等,我们观察到自适应方法,扩展和收缩其隐层就像人类的大脑,大大优于非适应基线。

性质和神经科学继续激发我们的研究和探索构建自适应终身学习系统,可以增加和规模的人类的大脑已经专家。

---

---