高数你考过了吗？学霸多巴胺神经元拿了A

原创 Veronica 神经现实 收录于话题#神经前研 | NeuroHub130个

文献：Rothenhoefer, K.M., Hong, T., Alikaya, A. et al. Rare rewards amplify dopamine responses. Nat Neurosci (2021).

DOI：https://doi.org/10.1038/s41593-021-00807-7

导读作者：Veronica | 封面：Rick Ritara

从前有一棵树叫高数，上面挂了很多人，你有没有（险些）挂在上面？《概率论和数理统计》这一本薄薄的教程，改变了无数个原本可以通宵打游戏、煲剧的大学夜晚。笔者现在还记得大学时坊间流传的段子：“二项式在密度函树下展开标准分布，布里包了两个钗钗，分别是标准钗和方钗。”

最近，一群来自匹兹堡大学和卡耐基梅隆大学的研究人员发现，我们大脑里的多巴胺神经元，其实是一群能自学成才的学霸。通过记录恒河猴多巴胺神经元的放电情况，他们发现这些神经元竟然能读懂统计学概念上的分布特征：这些学霸猴只需要很短时间的学习，就能分辨出每一种情况下的奖励频率是均匀分布，还是正态分布的，然后做出最大化奖励的选择。

研究人员给猴设计了一个“被动观看任务”（passive viewing task），让猴子在两种不同的视觉提示（cue）中做选择。这两种提示分别对应两种不同概率分布的糖水奖励，一种为均匀分布，一种为正态分布。在均匀分布的情况下，猴子喝到0.2ml，0.4ml，0.6ml糖水的概率都是1/3；而在对称正态分布下，喝到0.2ml糖水的概率是2/15，0.4ml的概率是11/15，0.6ml的概率是2/15。为了喝到最多的糖水，它们必须从每一次试验中强化学习，掌握每一个提示背后的分布秘密。

- Rothenhoefer et al., Nat Neurosci. -

猴子的表现着实令人震惊。虽然第一次试验时是随机选择其中一个视觉提示，但很快它们就学会了选择糖水更多的那一个。研究者通过标准的强化学习模型（standard reinforcement learning model）计算发现，不论是正态分布模块，还是均匀分布模块，学霸猴们都有一条刚开始不断上升（active learning phase）、到后期慢慢接近平台期的学习曲线（asymptotic phase）。有意思的是，学霸猴学会正态分布模块的时间比学会均匀分布模块的更短，表现也更好。不仅如此，如果在正态分布模块的早期学习阶段，猴子遇到概率很小的糖水奖励时，它的瞳孔大小也会随之变化，表明此时的学霸猴更警醒，唤醒水平更高。

那么多巴胺神经元在学习中的表现如何呢？研究人员在任务中同时记录了多巴胺神经元的动作电位。他们发现，如果对学霸猴来说，两种选择得到的糖水期望价值相同的时候（即期望效用相同），多巴胺神经元的放电水平在两种分布下的反应强度也是相似的。但如果正态分布中出现了小概率的0.6ml的糖水奖励时，多巴胺神经元的放电水平则会变得高于在均匀分布中出现同样多糖水时的放电水平。相反的，如果正态分布中出现了小概率的0.2ml的糖水奖励，多巴胺神经元的放电水平就会低于均匀分布中同样是0.2ml糖水时的放电水平。也就是说，多巴胺神经元的反应在正态分布中的正反两个方向都被放大了：糖水出乎意料多的时候，细胞反应更强，出乎意料少的时候，细胞反应更弱。

- Rothenhoefer et al., Nat Neurosci. -

这个研究告诉我们，多巴胺神经元有很强的数学天分，它们对不同模块的概率分布十分敏感，而不是简单地考虑过去经验中出现的平均值来做决策——它的高数成绩拿了A，绝对是实至名归。

原标题：《《自然-神经科学》：高数你考过了吗？学霸多巴胺神经元拿了A》

阅读原文