2018年3月14日

研究揭示视觉在元音感知中的作用

对于所有说话的人来说，也许除了最优秀的腹语者之外，说话时都伴随着明显的面部运动。因为语音不仅仅是声音，研究人员开始确定人们在区分元音时寻找的确切视觉信息。

“在我们的研究领域，一个重要且备受争议的问题是，我们在说话时关注的是什么——感知的对象是什么?”主要作者马修·马萨阿波罗(Matthew Masapollo)说，他在布朗大学做博士后时进行了这项研究，现在在波士顿大学工作。“另一个争论的问题是，语音处理是否特殊，是否与其他类型的听觉处理不同，因为它不是纯粹的声音信号。”

Masapollo说，解决这些问题将提高对我们如何感知语言的科学理解。反过来，这可以应用于设计更容易理解的在线化身和物理机器人，甚至可以提高计算机对人类语音的识别，并增强听力受损者的通信设备。

Masapollo说，虽然大量研究已经调查了语音的听觉特征是重要的，但很少有人研究哪些视觉成分是必要的，尽管从唇读这样直观的现象中得到的证据表明，语音的视觉也很重要。

通过一系列的实验在布朗和麦吉尔大学蒙特利尔报道实验心理学杂志:人类的知觉和表现他和同事们发现，当人们感知言语时，他们会密切观察嘴唇的形态和运动。如果这两个线索中任何一个缺失了，他们区分细微差别的能力元音声音受到了明显的影响。

“研究结果表明，成年人对一个人说话时可观察到的形状和动作模式很敏感，”Masapollo说。他是布朗大学认知、语言和心理科学教授、资深作者James Morgan实验室的研究员。

利用语言感知的差异

今年早些时候，Masapollo和他的合著者Linda Polka和Lucie Ménard在杂志上发表了这项新研究认知人们在视觉上感知元音时表现出与听到元音时相同的“方向不对称”:他们更善于区分两个版本的“oo”音，比如在单词“loose”中，如果先出现不太清晰的“oo”音，然后出现更极端的“oo”音。如果顺序互换了，它们就不太可能通过视觉或声音来区分它们。虽然这些方向效应看起来像是一种古怪的本能，但它们反映了一种普遍的偏爱极端发音动作产生的元音的偏见。目前的研究主要集中在揭示极端元音的显著特征或属性导致这些感知不对称。

事实证明，这种不对称性在法语和英语之间也存在，在许多加拿大人的双语语言中表现得很明显。在说法语时，他们发出“oo”的发音比在说英语时更明显地突出嘴唇和舌头的位置。

在这项新研究中，Masapollo意识到这种元音产生和感知的不对称提供了一个很好的机会来确定哪些视觉特征在区分细微的语音差异方面起作用。他设计并领导了五个实验，以找出究竟是什么视觉信息与这种不对称有关。

在第一项研究中，在布朗大学研究生兼合著者劳伦·富兰克林的帮助下，他使用眼球追踪技术来测量布朗大学的学生志愿者在观看一名加拿大双语女性用法语和英语发出“oo”音的视频时的目光。毫无疑问，人们会更多地观察嘴巴，而不是眼睛。

但是嘴巴有什么关系呢?为了确定运动(而不是简单的特定位置)是否重要，下一个实验向学生们展示了静止的帧而不是视频。在实验二中，麦吉尔大学的志愿者试图用同一说话人的静态图像来区分“oo”的发音。结果显示，在没有运动提示的情况下，法语-英语或英语-法语顺序的不对称性不再出现，这表明运动是元音感知本能的关键组成部分。

在接下来的三个实验中，研究小组继续调查在布朗大学和麦吉尔大学的学生志愿者中，语言感知的视觉方面是重要的。在第三个实验中，受试者看到的不是一张脸，而是一个由四个菱形点组成的数组，这些点的移动就像说话者的嘴唇一样。例如，当说话者噘起嘴唇发出“oo”的声音时，这些点就会靠得更近。Masapollo的假设是，位置和运动可能一起起作用，即使脸实际上没有被表现出来。在这个实验中，人们重新展示了不对称，这表明他走在正确的轨道上。

实验四完全相同，但圆点图案是顺时针旋转45度，显示出更多的是正方形而不是菱形。在这里，这种不对称没有发生，这表明这些点的方向代表了一个演讲的嘴巴。在实验五中，这个动作用一个侧面的8字形来表示，它的移动方式类似于说话者的嘴唇。在那里，甚至没有嘴巴的基本形式，人们也没有表现出他们的本能不对称元音感知。仅仅是运动，没有嘴巴的形状和位置是不够的。