探索或利用:我们的大脑如何做出选择

人们每天都要做无数的选择。这可能是一个困难而复杂的选择——是去一个新的城市工作还是留在现在的位置上——或者就像选择去一家新的餐馆还是去以前最喜欢的餐馆一样简单。决策塑造了我们的知识和我们对周围世界的看法。

这些简单和复杂的选择通常是在熟悉的事物(我们知道会发生什么)和尝试新事物(结果可能未知)之间进行的。但是当我们做出选择时，我们的大脑内部会发生什么呢?

心理学系助理教授杰里米·霍格文在该杂志上发表的一篇新文章中详细介绍了他对答案的研究神经元。这项研究是由新墨西哥大学和俄勒冈健康与科学大学(OHSU)合作进行的，涉及到观察的建模数据恒河猴，以及使用功能磁共振成像(fMRI)技术的人类观测数据。

这篇文章题为“探索-利用的神经计算基础”决策，研究了灵长类动物和人类在获取最大信息(探索)和优先获得已知奖励(利用)之间做出选择时的大脑活动。

“这是‘探索-利用的权衡’，尽管探索对健康的决策至关重要，但这个领域长期存在的一个谜团是，为什么动物会选择探索新事物，而放弃熟悉的奖励，”霍格文解释说。“我们希望确定有助于激发探索-利用决策的大脑计算。”

霍格文所说的“大脑计算”指的是我们的大脑通过一个复杂的神经元系统进行的计算，这个系统就像计算机主板上的电路一样相互交流。团队在问——对不确定性的容忍度是多少?这些大脑回路是看重即时和已知的奖励，还是更喜欢激活动机去研究新事物?

通过模拟测试，利用计算机模拟探索-开发决策过程，研究小组发现，对于成年人和恒河猴来说，对未来利益的估计都会促使他们选择尝试新的选择。这个多学科模型被称为POMDP(部分可观察马尔可夫决策过程)模型，可以评估许多现实世界的情境决策过程。

下一步是收集OHSU的猕猴、新墨西哥大学和心智研究网络的人类在执行决策任务时的功能磁共振成像数据。受试者有三个选择，了解每个选择价值的机会有限，并且随着时间的推移随机替换其中一个选择。不确定性总是伴随着新的选择，因为它的奖励价值无法预测，而了解选择的唯一方法就是探索它。

使用这些方法，霍格文和他的团队能够合并计算模型利用功能磁共振成像(fMRI)数据，将一个部分重叠、部分不同的网络可视化，该网络沟通并计算探索与利用的价值，有效地绘制出整个大脑的决策过程。

有趣的是，这涉及到大脑中不同价值信号的不同编码大脑区域这在灵长类动物中是高度进化的，比如外侧前额皮质，在探索过程中比利用过程更活跃，”霍奇文说。

基本上，大脑的新区域(从进化的角度来说)，比如侧脑区前额叶皮层当做出不熟悉的选择时，杏仁核和眼窝额叶皮质等较老的大脑系统在权衡探索与利用的价值时表现出更高的激活。这表明，在决策过程中，大脑中的新旧回路协同工作，而不是像之前认为的那样相互对立。

hogevenen和他的团队在这个项目中利用了新墨西哥大学高级研究计算中心(CARC)的研究和数据分析资源。CARC在提供节省时间的援助方面发挥了重要作用，包括一次运行多个数据集而不是一次运行一个数据集的能力。通过利用CARC的并行计算能力(所有新墨西哥大学的研究人员都可以使用)，霍格文博士能够在一天多一点的时间内得到他的结果，而不是在一台独立的计算机上运行数据所需要的10-25天。

该项目在跨物种灵长类动物研究以及临床环境中从床到床的干预方面具有广阔的前景。此外，根据hogevenen的说法，这种探索-利用决策研究对于理解和治疗大脑疾病至关重要，当决策过程可能受到损害时，可以使用电路特异性药物或经颅神经刺激——例如，对于患有创伤性脑损伤的人。但要了解受损的大脑是如何工作的，科学家首先必须了解典型的大脑是如何运作的。

“探索-开采决策在大脑对公共卫生有重大影响的疾病，”霍格文说。“在我看来，基于该领域许多其他人的想法，过度探索和过度剥削的决策特征可能在许多精神、神经或神经发育障碍患者面临的挑战中发挥作用。”