语言与思维的关系一直是哲学、语言学、心理学等学科关注的一个重要课题。20世纪中叶,本杰明·李·沃尔夫(Benjamin Lee Whorf)提出了著名的沃尔夫假说(Whorf hypothesis),认为语言会影响使用者的思维与行为
[1⁃2],并引发研究热潮。
关于范畴知觉(categorical perception, CP)的研究是检验与深化沃尔夫假说中最活跃、成果最丰硕的系列研究
[3⁃14]。CP是在物理差异相当的情况下,辨别属于不同语言范畴(范畴间)的刺激比辨别属于同一语言范畴(范畴内)的刺激成绩更优的一种现象,其最早在颜色知觉中被发现
[15]。在一项代表性研究中,Davidoff等
[3]比较了伯瑞摩语(Berinmo)和英语人群的颜色知觉差异。伯瑞摩语无“蓝”和“绿”词汇,但有“Nol”和“Wor”词汇,英语则相反。研究者为被试显示一个色块,要求被试从随后显示的两个色块中选出与之相同的目标色块。结果发现英语被试辨别蓝色和绿色要快于辨别两种蓝色或两种绿色,而辨别“Nol”色和“Wor”色则无这种范畴间优势;伯瑞摩语被试的情况正好相反。CP现象的发现,为沃尔夫假说提供了有力证据。
Gilbert等
[4]进一步发现,CP具有偏侧化的特点。以深绿、浅绿、深蓝、浅蓝 4种渐变颜色为材料,让被试完成视觉搜索任务,在由12个色块组成的色环中找出不同的1个目标色块。结果发现当目标色块与背景色块属于不同范畴颜色时,被试的辨别反应时更短,且这一效应更显著出现在右视野呈刺激的情况下。进一步还发现,在语言干扰的情况下,偏右视野颜色CP消失,而在图形干扰的情况下,偏右视野颜色CP则不受影响。该研究进一步有力地表明语言影响个体知觉过程。
相较颜色知觉,面部表情知觉(以下简称表情知觉)是更复杂、更具社会学意义的知觉现象,包括了面部结构、表情、语言编码等7类信息的加工
[16]。因此,不少研究关注了语言是否影响表情知觉,以进一步验证沃尔夫假说。如Etcoff和Magee
[17]以ABX辨别任务范式探讨了个体表情辨别特点。实验依次呈A、B、X三个表情面孔,要求被试判断X与A、B哪个相同。结果发现,被试在AB分属不同语言范畴(如快乐和悲伤)时的判别成绩显著优于AB属于同一语言范畴(如高兴)的。考虑到被试在ABX辨别任务中的表现可能会受记忆负荷的影响,Calder等
[18]引入异同匹配任务(same⁃different matching task)对问题进一步探讨,结果也发现了表情CP。这两项研究初步表明语言影响个体表情知觉。
为进一步揭示语言与表情知觉的关系,众多研究深入探讨了表情CP
[19⁃25]。研究进一步提示语言会参与表情知觉过程,影响个体表情知觉模式。
目前学术界对语言与表情知觉的关系较一致认为,语言会影响表情知觉。然而,由于先前研究在方法上存在一些不足,且近年有一些研究结果对主流观点形成了挑战,本研究认为语言是否影响表情知觉仍有待进一步明确。研究方法不足主要表现在两方面。第一,偏侧化表情CP是语言影响表情知觉的重要指标,但关注这一现象的研究却未能排除记忆负荷影响实验效应的可能。例如,Burt等
[26]的研究,让被试先看一张表情图片,之后从随后同显示的两张表情图片中选出与之相同的目标图片,其实验处理可能会使得被试的图片判断受到记忆负荷的影响。第二,Rorberson等
[20]通过考察语言干扰任务是否影响表情CP来检验语言是否参与了表情知觉,并得出肯定性的发现。但语言干扰任务所用词语为表情词,而根据知觉符号理论(perceptual symbol systems;该理论认为语言理解是通过对语言表达的事物或事件进行知觉仿真实现的)
[27⁃28],表情词的加工会激活表情形象表征,因此实验结果中出现的干扰效应有可能是源于表情形象表征而非语言加工本身,因此实验结果可能难以说明表情CP是语言参与表情知觉的结果。另一方面,近年有关颜色CP的研究发现,颜色CP可能是范畴而非语言影响颜色知觉的结果,语言只是作为一种特殊范畴影响颜色知觉
[29]。钟伟芳等
[30]发现,在范畴干扰(判断当前物体与前一个物体是否同类)的情况下,颜色CP并未完全消失,提示颜色CP至少部分源自语言的特异性影响。但是,该研究范畴干扰任务所用的范畴信息是常见范畴,如鸟、兽等,激活这些范畴时很可能激活了其语言标签,因此其结果并不能排除颜色CP源于范畴影响颜色知觉的可能性。如果语言范畴会影响表情知觉,那么是以范畴还是以语言的“身份”影响表情知觉?未来的研究有必要就此展开探讨,以进一步明确语言是否影响表情知觉。
综上,本研究在前人的基础上,进一步探讨语言是否影响表情知觉,同时关注语言范畴作为语言还是范畴影响表情知觉,以更清晰揭示语言与表情知觉的关系。研究将以H1、H2、F1、F2四个从快乐到恐惧渐变的面部表情图片(前两个为快乐表情,后两个为恐惧表情)为实验材料,招募3组大学生为被试。实验中,第一组被试完成无干扰视觉搜索任务,从水平方向排列的3个表情图片中辨别出与中间图片不同的1个目标图片并按键反应;第二组被试完成语言干扰视觉搜索任务,先判断当前词语是否跟上一个词语相同,之后进行表情辨别;第三组被试完成范畴干扰视觉搜索任务,先判断当前物体是否跟上一个物体同类,之后进行表情辨别。同时,为使语言干扰产生语言加工而非表情表征的影响效应,语言干扰任务中采用颜色词而非表情词作为干扰语言信息,而为使范畴干扰产生的是范畴而非语言(语言标签)的影响效应,先让被试习得无语言标签范畴,之后以这些范畴知识作为干扰范畴信息。本研究预期无干扰组的表情辨别中将出现偏右视野表情CP,如果语言干扰组的表情辨别中不出现偏右视野表情CP,就说明语言范畴会影响表情知觉过程,支持沃尔夫假说,否则就说明语言范畴不影响表情知觉。进一步,如果语言干扰组的结果支持语言范畴影响表情知觉,分析范畴干扰组表情辨别的表现,如果出现了偏右视野表情CP,说明语言范畴以语言的“身份”影响表情知觉,支持沃尔夫假说;如果不出现偏右视野表情CP,则至少说明表情CP并非完全是语言影响表情知觉的效应。
1 研究方法
1.1 被试
被试数量通过G* power的功效分析结果确定,选取了80名在校大学生。分析结果表明,45名被试将提供95%的功效,达到中等效应量大小(f=0.25)。所有被试母语均为汉语,右利手,视力正常,无精神疾病和长期药物使用史。其中,无干扰组28名(男生12名),平均年龄20.32岁(SD=1.52);语言干扰组24名(男生9名),平均年龄20.29岁(SD=1.63);范畴干扰组28名(男生12名),平均年龄19.82岁(SD=1.36)。卡方检验和方差分析结果表明,3组被试的性别结构(χ2 (2)=0.20, P=0.91)和年龄均无显著差异(F(2,79)=0.99, P=0.38)。
1.2 材料
视觉搜索任务材料。H1、H2、F1、F2四张从快乐到恐惧渐变的人物面部表情图片如
图1所示。4张图片(使用FacegenModeller软件制作)快乐和恐惧的比例如下:H1为75%和25%,H2为55%和45%,F1为35%和65%,F2为15%和85%。4张表情图片均去除耳朵、头发等特征,仅保留脸颊、眼、鼻、口等面孔信息。
干扰任务材料。语言加工干扰材料为13个颜色词,包括红、橙、黄、金、土、紫、棕、褐、黑、白、灰、银及米色。范畴加工干扰材料为9个新异物体图片(cM.J.Tarr提供; www.tarrlab.org),如
图2所示。
1.3 设计与程序
采用三因素混合设计:2(刺激呈现视野:左视野或右视野)×2(表情对范畴关系:范畴内或范畴间)×3(实验组别:无干扰组、语言干扰组或范畴干扰组)。其中,前两个因素为被试内因素,最后一个为被试间因素。因变量为被试在视觉搜索任务中的正确率和反应时。
实验将被试分为无干扰组、语言干扰组和范畴干扰组。三组被试均先完成无或有干扰视觉搜索任务,再完成表情边界测试。范畴干扰组则还需在完成此两项任务之前进行新异物体分类学习。
参照Holmes等
[29]的范式训练范畴干扰组进行新异物体分类。训练时,屏幕中央先以
图2所示,同时呈现9个新异物体,并告知被试上中下三行物体分属三个不同类别(范畴),让被试进行2 min的学习。之后,让被试完成类别判断任务。任务中,以19英寸显示器,在黑色背景的屏幕中央给被试呈现新异物体图片,图片大小为 8 cm×8 cm,呈现时间为1 200 ms,被试需在图片出现后快又准地判断其与上一个新异物体是否同类,并在判断为同类时按下空格键。电脑自动反馈被试反应的正误。每个新异物体图片呈现10次,共90个试次。所有试次随机进行。
3组被试先完成无或有干扰视觉搜索任务。按
图3所示程序,以19英寸显示器,在黑色背景上给出试次。首先,屏幕中央出现注视点“+”1 000 ms,接着给无干扰组、语言干扰组和范畴干扰组分别呈现注视点、一个颜色词或一张新异物体图片1 000 ms。此时,无干扰组无须作反应,干扰组则需完成1⁃back任务,语言干扰组和范畴干扰组需判断当前干扰刺激与上一个干扰刺激是否相同或类别相同,判断为相同时按空格键。相同的试次占总试次数的10%。之后,屏幕中央依次呈现注视点200 ms、视觉搜索界面2 000 ms。视觉搜索界面由3个表情图片组成,其中一个图片位于屏幕中央,另外两个分列其水平位置的左右两侧。表情图片大小为1.6 cm×2 cm,图片间隔为1 cm。被试直视注视点时观察两侧图片中央的视角均为3°。被试的任务是始终注视屏幕中央,在视觉搜索界面出现时快又准地判断三张表情图片中不同的一张在左侧还是右侧,并相应地按F或J键。4张渐变表情图片相邻两者组合形成3个表情对,即H1H2、H2F1和F1F2。3个表情对的两种表情交替作目标和干扰,形成6个“目标⁃干扰”表情对。目标表情图在左或右两个位置中的一个出现,因此组成12种刺激模式。每个被试均接受两个刺激组块(block),每个组块中12种刺激模式各有10个试次,共120个试次。
视觉搜索任务结束后,让被试接受表情边界测试。每个试次中,黑色屏幕中央出现H1、H2、F1、F2中一个图片400 ms,接着空屏800 ms。被试的任务是快又准地判断图片表情是快乐还是恐惧,并对应按下F或J键。H1、H2判断为快乐,F1、F2判断为恐惧记作正确。4种图片各出现15次,共60个试次。
1.4 数据分析
采用SPSS 20.0软件对被试在表情边界测试和视觉搜索任务中的正确率和/或反应时数据进行分析。
参照颜色CP相关研究,通过分析视觉搜索任务的反应时数据揭示被试表情知觉特点。分析时删除错误的反应及超过两个标准差的极端数据,且参照Gilbert等
[4]删除两个有干扰组1⁃back任务中需被试按键反应的试次。对视觉搜索任务的反应时数据做2(刺激呈现视野)×2(颜色对范畴关系)×3(实验组别)重复测量的方差分析。如前述,预期无干扰组的表情辨别将出现偏右视野表情CP,主要表现为范畴内表情在不同视野呈现时的反应无显著差异,范畴间表情在右视野呈现时的反应显著更短。如果语言干扰组的表情辨别不出现偏右视野表情CP,很可能是范畴内表情在不同视野呈现时的反应无显著差异,范畴间表情在右视野呈现时的反应不比在左视野呈现时的显著更短,说明语言范畴会影响表情知觉,反之则不影响;进一步,预期数据将支持语言范畴影响表情知觉,如果范畴干扰组的表情辨别出现了偏右视野表情CP,说明语言范畴以语言的“身份”影响表情知觉,否则至少说明表情CP并非完全是语言影响表情知觉的效应。
2 结果分析
对3组被试在表情边界测试和视觉搜索任务测试中的反应正确率进行分析。结果显示,所有被试在表情边界测试中的正确率均高于90%,在视觉搜索任务测试中的正确率均高于80%,说明被试均分别将标识为H和F的表情知觉为高兴和恐惧,且均能分辨实验表情。
对被试在视觉搜索任务中的反应时数据进行2(刺激呈现视野)×2(颜色对范畴关系)×3(实验组别)重复测量的方差分析(不同组别被试的表情辨别反应时见
表1)。从
表1可知,视野主效应不显著,
F(1,77)=0.43,
P=0.51,
ŋ2p =0.01;范畴关系主效应显著,
F(1,77)=20.03,
P0.001,
ŋ2p =0.21;组别主效应显著,
F(2,77)=3.88,
P=0.025,
ŋ2p =0.09;视野与组别交互作用不显著,
F(2,77)=2.00,
P=0.14,
ŋ2p =0.05;范畴关系与组别交互作用不显著,
F(2,77)=0.45,
P=0.64,
ŋ2p =0.01;视野与范畴关系交互作用不显著,
F(1,77)=0.03,
P=0.869,
ŋ2p 0.01;三因素交互作用显著,
F(2,77)=5.22,
P=0.008,
ŋ2p =0.12。
为更清晰地揭示关注的问题,进行交互效应分析,分析不同组别被试在视觉搜索任务的反应时数据模式。
对于无干扰组,视野主效应不显著,
F(1,27)=0.87,
P=0.359,
ŋ2p =0.03;范畴关系主效应显著,
F(1,27)=13.96,
P0.001,
ŋ2p =0.34;两因素交互作用显著,
F(1,27)=5.55,
P=0.026,
ŋ2p =0.17。进一步的简单效应分析表明:在左视野呈现时,范畴间表情的反应时比范畴内表情的显著更长,
F(1,27)=16.15,
P0.001,
ŋ2p =0.37;在右视野呈现时,范畴间表情的反应时同样显著更长,
F(1,27)=7.39,
P=0.01,
ŋ2p =0.22;对于范畴内表情,在不同视野呈现时的反应时无显著差异,
F(1,27)=0.31,
P=0.58,
ŋ2p =0.01;对于范畴间表情,则在右视野呈现时的反应时显著更短,
F(1,27)=5.84,
P=0.02,
ŋ2 p =0.18(
图4)。这些结果说明无干扰组被试的表情知觉辨别中出现了偏右视野表情CP。
对于语言干扰组,视野主效应边缘显著,
F(1,23)=3.07,
P=0.093,
ŋ2p =0.12;范畴关系主效应边缘显著,
F(1,23)=3.31,
P=0.082,
ŋ2p =0.13;两因素交互作用显著,
F(1,23)=5.65,
P=0.026,
ŋ2p =0.20。进一步分析表明:在左视野呈现时,范畴间和范畴内表情的反应时无显著差异,
F(1,23)=0.44,
P=0.51,
ŋ2p =0.02;在右视野呈现时,范畴间表情的反应时显著更长,
F(1,23)=10.77,
P=0.003,
ŋ2p =0.32;对于范畴内表情,在不同视野呈现时的反应时无显著差异,
F(1,23)=0.13,
P=0.73,
ŋ2p =0.01;对于范畴间表情,则在右视野呈现时的反应时显著更长,
F(1,23)=8.46,
P=0.008,
ŋ2p =0.27 (
图5)。这些结果说明语言干扰组被试的表情知觉辨别中出现了“偏左视野”表情CP。
对于范畴干扰组,视野主效应不显著,
F(1,27)=0.02,
P=0.90,
ŋ2p 0.01;范畴关系主效应显著,
F(1,27)=6.36,
P=0.018,
ŋ2p =0.19;两因素交互作用不显著,
F(1,27)=0.26,
P=0.61,
ŋ2p =0.01 (
图6)。这些结果表明,范畴干扰组的表情知觉辨别中出现了无偏侧化知觉模式。
综上,无干扰组出现了偏右视野表情CP,而语言干扰组相反出现了“偏左视野表情CP”,说明语言范畴会影响表情知觉;范畴干扰组出现了无偏侧化的表情知觉模式,说明语言范畴主要以范畴的“身份”影响表情知觉。同时,由于与语言干扰的效应相比,范畴干扰的去表情CP偏右视野化程度较低,因此这些结果也提示偏右视野表情CP并非完全是范畴影响表情知觉的效应,也包含了语言的影响效应。
考虑到范畴干扰的去表情CP偏右视野化程度低还可能源于范畴干扰任务的难度更小,为明确实验结果的有效性,比较了两个干扰组在1⁃back任务中的正确率。统计结果显示,语言干扰组平均正确率为92.14% (SD=0.05),范畴干扰组正确率为86.12% (SD=0.08),前者显著高于后者,t=3.05, P=0.004, d=0.86。这表明范畴干扰任务难度小并非出现上述结果的原因,进一步支持上述关于实验结果的推论。
3 讨论
沃尔夫假说认为,语言会影响使用者的思维及行为模式。这一假设被提出后,大量研究以颜色知觉、空间知觉等为切入口进行了检验,得到支持语言影响知觉的证据
[4,7⁃8,11,31⁃32]。同时,一些研究则关注了语言与表情知觉这一较复杂知觉现象的关系,以进一步检验沃尔夫假说。与颜色知觉、空间知觉等相同,这些研究也较一致地表明语言会参与知觉过程,对知觉产生显著影响。但分析发现,这些研究在方法上或多或少存在不足,实验效度可能受到了一定影响。基于此,本研究在改进研究方法的不足后,以表情CP为指标设计实验,进一步探讨语言与表情知觉的关系并检验沃尔夫假说。实验结果显示:以视觉搜索任务范式进行表情刺激,排除了记忆负荷对表情知觉辨别的影响后,被试的表情辨别中出现了偏右视野表情CP,主要表现为范畴内表情在左右视野呈现时的辨别时间无显著差异,而范畴间表情则在右视野呈现时的辨别显著更快;进一步以非表情词汇为干扰刺激,排除了表情形象表征对表情知觉辨别的可能影响后,被试在语言干扰下的表情辨别中未出现偏右视野表情CP,而是出现了“偏左视野表情CP”。这些结果说明,语言会影响表情知觉过程,在个体表情知觉模式的形成与发展中起重要作用,进一步支持了沃尔夫假设。
偏右视野CP被许多研究者认为是反映语言影响知觉的有效指标。先前有研究,如Burt等
[26]发现,表情CP具有偏右视野特性,为沃尔夫假说提供了重要证据。但目前为止,探讨表情CP偏侧化问题的研究不多,而且先前大量研究表明大脑右半球是表情识别的优势半球,如有研究发现人们在表情识别时更多地利用左脸信息
[33⁃34],能更好地识别呈现在左视野的表情
[35],且右脑损伤者的表情识别能力会下降
[36],这提示表情CP的偏侧化问题仍需要进一步探讨。本研究结果表明,表情CP具有偏右视野的特性,这一结果在支持语言影响知觉观点的同时,也揭示了表情CP的偏右视野特性,并在一定程度上揭示了语言在表情知觉偏侧化过程中的作用。不过,想更清晰地揭示语言在表情知觉偏侧化过程中起了怎样的作用,深化对人类大脑功能偏侧化的了解,还需要开展更多的研究。
近年,有关研究指出,偏右视野CP可能是范畴而非语言影响知觉的效应
[29]。也就是说,语言范畴可能只是作为一种特殊范畴,而非语言影响知觉,并不能对知觉产生特异性的影响。为进一步揭示语言是否影响知觉,本研究对此进行了探讨。钟伟芳等
[30]已关注了这一问题,但是,该研究的范畴干扰刺激可能包含了语言范畴信息,以致并不能很好地揭示范畴知识是否参与了表情知觉过程。本研究以非语言标签范畴作为干扰刺激,排除了语言干扰表情知觉的可能性后,发现在范畴干扰的情况下,被试的表情辨别中未出现偏右视野表情CP,范畴内和范畴间表情的辨别无显著的视野差异。这一结果与之前研究的相似
[30],表明偏右视野表情CP包括了范畴知识对知觉的影响效应。同时,由于与语言干扰的效应相比,范畴干扰的去表情CP偏右视野化的程度较低,也提示偏右视野表情CP也包含了语言对表情知觉的特异性影响效应,为语言影响知觉提供了进一步的证据。当然,正如近些年研究指出的
[25],语言究竟以怎样的方式对表情知觉产生特异性影响,有必要开展进一步的探讨。此外,以偏右视野CP作为指标,揭示语言与知觉的关系似乎有一定的局限性,未来的研究需要寻找其他指标对语言与知觉的关系进行更深入的探讨。
表情知觉是一种复杂且具社会学意义的知觉现象,表情知觉能力对个体的社会适应具有重要的意义。已有研究指出,识别他人表情的能力会影响个体心理及行为
[37]。近些年,Penton-Voak等
[38]进一步发现,提升个体识别快乐表情的能力,可以减少个体愤怒和攻击性行为。本研究结果表明,语言范畴会影响个体表情辨别,而根据现有研究
[4,7],这一影响可能主要表现为提升个体对范畴间表情差异的敏感性,提示可以通过改变语言与表情的联结来改变个体对他人表情的识别模式或能力,进而改变个体心理与行为,包括矫正个体不良心理与行为。此外,结合前人关于语言与颜色知觉、空间知觉等关系的研究,本研究还提示,可以通过改变语言范畴,或非语言范畴与外界刺激的联结,改变个体对这些刺激的辨别力,包括对善恶、美丑等复杂社会现象的辨别力,从而塑造个体良好的心理与行为。未来有必要开展这一方面的研究,进一步揭示语言与知觉、思维及行为之间关系,同时也能很好地开发沃尔夫假设相关研究成果在心理发展与教育等领域中的应用价值。
需要指出的是,本研究发现在无干扰的情况下,范畴间表情的辨别有右视野优势,而范畴内表情的辨别无视野差异,可以说明语言范畴会影响表情知觉。但是实验结果同时也显示,无论在左视野还是右视野呈现目标刺激的情况下,被试对范畴间表情的辨别均显著慢于对范畴内表情的辨别,说明范畴内和范畴间表情的物理差异量是明显的,这一情况有可能在一定程度上影响了实验效度。因此,进一步的研究有必要优化表情材料,更好地对等两类表情的物理差异,同时设计因果性研究,以对关注的问题进行深入探讨。
4 结论
本研究探讨了语言范畴是否影响面部表情知觉,及其是作为语言还是范畴影响表情知觉,得到了以下结论:(1)语言范畴会影响个体面部表情知觉,且影响效应具有偏右视野的特性;(2)语言范畴可能主要作为一种范畴影响表情知觉,但其语言属性也会在一定程度上影响表情知觉。
广东省普通高校重点科研平台资助项目“监所评估与矫正技术协同创新中心”(2022CJPT012)
广东省教育科学规划资助项目“语言范畴对个体美丑辨别力的影响研究”(2021GXJK647)