大脑是怎么读懂唇语的？

发表在《神经系统科学杂志》上的一项新研究表明，即使没有听到任何声音，通过读唇语，大脑活动也能与声波同步。

听到声音会激活我们的听觉皮层，使其与传入声波的节奏同步。读唇语是识别无声语言的一种有效工具，但我们仍然不知道它如何帮助大脑处理那些不存在的声音。

Bourguignon等研究人员用脑磁图技术测量健康的成年人在听故事、或看一段无声视频时的大脑活动。尽管视频没有任何声音，但参与者的听觉皮层仍然与视频中女性产生的声波同步了。

这种同步与真实听到故事的人相似，表明通过读唇语，大脑就可以从视觉信息中收集到听觉信息。

图自：Bourguignon et al./JNeurosci 2019

研究人员认为这种能力是由视觉皮层的活动与嘴唇运动的同步引起的。

这个信号被发送到大脑的其它区域，而这些区域将运动信息转换成了声音信息，从而产生声波同步。

读唇语能使大脑合成无声的听觉特征

在困难的环境中，读对方的唇语有助于理解对话。但是，对于大脑如何从无声的视觉语言中提取到对话的意思，则仍在争论之中。

为了理清其中的可能性，研究人员使用脑磁图技术评估28名健康成人（17名女性）在没有视觉输入（仅有音频）的情况下听一个口语故事、以及看着一个演讲者无声地讲述另一个故事（仅有视频）时，大脑皮层的活动情况。

在仅观看视频的人里，他们的听觉皮层活动以低于1hz的频率夹带到了缺失的听觉信号中。这一过程的特征是左半球的听觉-语音-大脑延迟了70毫秒，而在仅听音频的人里，则为20毫秒。

这些发现表明，大脑可以使用无声的唇读信号在早期的听觉皮层合成听觉言语表征。研究的数据则表明了以下潜在的振荡机制：看到嘴唇运动首先调节早期视觉皮质的神经元活动、频率与发音嘴唇运动相匹配；然后，右角回提取嘴唇运动的慢特征，将其映射到相应的语音特征上；接着这些信息被输入听觉皮层，或有助于语音分析。

读唇语，是根据观察说话人的发音面部手势所获得的视觉信息来解码语音。众所周知，尤其是在语音质量下降的情况下，读唇语可以提高听觉语言理解能力。有趣的是，即使参与者不知道缺少的听觉信号应该是什么，听觉皮层仍然会被激活。