金秋送爽，丹桂飘香，南昌大学公共政策与管理学院应用心理学系诚邀华南师范大学心理学院特聘副研究员董晨杰博士于9月26日下午2点在法学楼A201开展学术讲座。讲座主题为“视听言语感知的认知神经机制”，由赵岭老师主持，心理学系的老师，以及本科生、研究生共40余人参与了本次讲座。

讲座伊始，董晨杰博士围绕多模态感知的核心概念，首先通过生动形象的事例，比较多模态信号与多模态信息的不同，指出多模态信号是信息传递的物理载体，如语音信号、面部运动信号等，多模态信息是视听信号中解析的抽象内容。多模态的感知过程也就是对多模态信号的多模态整合与分离，这一过程体现了人类交流系统的基本属性，也是人类交流系统的最优设置，有助于提高交流的准确性、连贯性与稳健性；多模态整合缺损会严重影响人的认知功能和生活质量。而视听言语感知负责处理声音信号和与之对应的面孔发声运动信号，承担着最重要的且极其复杂的多模态交流任务。

随后董老师引入经典的McGurk错觉（也称麦格克效应），是一种视听言语感知现象，表现在言语感知过程中听觉和视觉之间的相互作用。人类的听觉会过多受到视觉的影响，从而产生误听的现象。当视觉看到的一种声音与耳朵听到的另一种声音不匹配时，会让人感知到第三种声音。其效应发生率作为视听整合强弱的指标。

为探索McGurk错觉与视听一致信号的关键加工机制，董老师从贝叶斯推断的视角，说明多模态感知是概率推断的过程，即通过自下而上环境信号的估计与自上而下先验知识的动态交互作用，实现对环境信息的最优推断；因受到内外部噪音的干扰，对环境信号的估计具有知觉的不稳定性。董老师又进一步以冲突解决视角以及功能磁共振成像技术，呈现错觉在冲突检测、认知控制脑区的活动。通过脑成像结果说明McGurk错觉和视听一致语音信号具有不确定性的视听信号的因果推断过程，且两者涉及共同的大脑加工通路。

在研究错觉的个体差异的反映过程中，董老师通过跨时间、跨任务、跨刺激材料的实验设计，考察错觉率与单模态精确性的关系。实验结果反映，错觉率与单模态精确性具有稳定的跨时间、跨任务、跨刺激材料的关联；且错觉率越高的个体，单模态感知越不精确。由此说明错觉的个体差异不仅反映了视听整合能力的个体差异，还反映了单模态感知精确性的个体差异。董老师的研究报告颇具学术前沿，采用了科学实验设计和功能磁共振成像技术，体现出扎实的学术功底，为我们奉献了一道“学术大餐”。

报告结束，董老师在座师生进行了热情的互动交流，耐心解答了大家的提问。其中就视觉信息如何影响言语感知（如对面孔的熟悉度、面孔情绪、面孔吸引力等）、个体对视觉或听觉信息的依赖差异以及老年人与年轻人的McGurk效应发生率的差异等问题展开了热烈的讨论。

此次讲座不仅促进了学院学术交流，营造了学院良好的学术氛围，还拓宽了同学们的学术视野，加深了对视听言语感知认知神经机制的理解，也为同学们的学习与研究提供了新的思路和启示。

主讲人简介：

董晨杰，华南师范大学心理学院特聘副研究员（青年英才），于华南师范大学获心理学博士学位，博士期间赴麻省理工学院联合培养。研究领域为多感觉模态感知、交流，以及学习的认知神经机制，研究成果发表于Psychological medicine、Human Brain Mapping等国际知名期刊参与多项省部级科研项目。

出品/公道传媒全媒体运营中心

供稿/陈川 徐佳斐

摄影/章亚兰 佟梦宇

值班编辑/张睿桐 樊思玲 李涵

责编/熊可

终审/周德忠