感谢您关注“永大英语”！

视译过程中的模态整合效应：来自时空隐喻的心理证据

郭亚玲 朱 琳

摘要：该研究采用启动范式，通过考察语言和视觉输入对译者时间偏好的影响，探索视译的模态加工机制。刺激任务是英语虚拟运动句加左右视觉引导，目标任务是将时间句由英语译为汉语（其中的模糊词可译为“提前”或“推迟”）。结果显示：在虚拟运动句刺激下，将模糊词译为“推迟”的比例有所上升；在虚拟运动与左向视觉引导的共同作用下，将模糊词译为“提前”的比例稍有增加；在虚拟运动与右向视觉引导的共同作用下，将模糊词译为“推迟”的比例显著上升。结果表明：1）语言、视觉加工均影响译文时间意义建构；2）视译过程中存在模态整合效应，视觉模态激活的空间具身体验影响译者的时间感知，引起声音模态的时间视角的变化。视觉和语言的整合对视译具有干扰作用。受经验影响，左利手受左向、右向双向视觉干扰，右利手易受右向视觉干扰。

关键词：模态整合；视觉加工；语言加工；具身体验；时间-空间隐喻

1 引言

视译是一种独特的认知加工方式，输入通道与笔译一致，都是视觉输入；输出通道与口译一致，都是口头输出。从视觉到声音，视译过程存在模态转换（Angelelli 1999; Lee 2012；Havnen 2019）。这种模态转换是否增加翻译的认知代价，学界意见不一。研究表明，视译过程中，译者需耗费更多的认知资源才能抑制原文信息噪音的干扰（Agrifoglio 2004; Shreve et al. 2010, 2011；万宏瑜、钱仪雯 2020）。但也有研究显示，原文不会形成干扰（Lee 2012），反而发挥促进作用，有效提高视译质量（Lambert 2004）。视译过程中是否存在模态转换代价，需要进一步研究证实。

关于模态转换代价的成因，学界也存在分歧，主要有三种观点：一是语言干扰（Gile 1997；万宏瑜、钱仪雯 2020）；二是视觉干扰（Brady 1989; Agrifoglio 2004）；三是语言和视觉的共同干扰（Shreve et al. 2010, 2011）。视译原文是否构成干扰，以何种形式构成干扰，尚无定论。而且，以往研究多关注干扰造成的后果，对干扰的运作机制未予深入解释，不利于解决分歧。因此，本研究以时空隐喻翻译为切入点，通过心理实验考察视译过程中视觉、语言的工作原理，进而探索模态加工机制。

2 相关研究

2.1 视译过程中的多模态信息加工

模态转换代价说认为，在不同模态间转换，译者需要付出更多的认知资源。究其原因，每种模态都有自己独特的意义潜势（potential for meaning-making）,一种模态的符号资源在另一种模态下不一定存在对等（Kress 2010）。从视觉输入到听觉产出，视译面临的认知代价主要来自原文的语言干扰、视觉干扰或语言视觉共同干扰。Gile（1997）认为, 在视译过程中，以书面文字呈现的源语文本一直可见，从语言上干扰了译者对译文的建构。万宏瑜、钱仪雯（2020）通过眼动追踪法对学生译者的研究发现，原文句法复杂度干扰视译加工，导致注视、回视增加，证实了原文的语言干扰效应。Agrifoglio（2004）比较了职业译者在视译、同传、交传三种模态下的翻译表现，发现在视译任务中，受试受到原文的干扰，难以在默读与口译产出之间做好协调，需要付出更多的记忆努力，因而在词汇、语法、句法等语言表达方面出现的错误多于同传、交传。她认为视觉比听觉干扰性更强，与同传相比，视译需要耗费更多的认知资源，因而译文不够流利；另外，视觉信息形成的噪音影响译者提取意义，还会诱导译者使用错误的同源词。Shreve et al.（2010, 2011）用眼动追踪法和击键记录法，考查学生译者在视译和笔译之间的差异，发现原文的句法复杂度影响视译表现，但对笔译没有影响。他们认为，视译任务中，原文从视觉、语言上都对译者形成干扰，影响整个认知过程。视译过程中，原文的视觉和语言形式存储在短期记忆中，以备翻译之用（Viezzi 1990：58），这种临时的储备是引起视觉、语言双重干扰的原因。

模态转换增益说认为，译者在不同模态间转换，所使用的加工通道相互独立，杜绝干扰，因而对译语产出更有裨益。只有输入、输出属于同一模态时才会出现干扰（Moser-Mercer 1995）。视译的输入、输出通道分别是视觉、听觉通道，通道不同，不会形成干扰。Lambert（2004）比较了视译、带稿同传和无稿同传三种任务，发现视译和带稿同传的译文质量相当，均高于无稿同传。这意味着视译的原文发挥了易化作用。研究者指出，译者只要采取合理的阅读策略，就不会受到原文视觉输入的干扰（Lambert 2004；Lee 2012）。

综上，以往实证研究存在以下问题：1）结果存在分歧。视译过程中是否存在模态转换代价、原文是否构成干扰，尚需进一步研究证明；干扰的运作机制为何，尚未得到解答。2）方法上亟待改进。以往研究笼统地认为视觉或语言或二者共同影响认知过程，没有在视译任务中将视觉和语言分开观察。3）对变量控制不够严格。影响视译过程的因素众多，没有详细指定自变量与因变量，无法确定原文信息噪音与译文偏误之间的因果关系。

为弥补以上不足，我们借助心理学启动研究的引导范式，以时空隐喻为切入点，将视觉形象和语言表述分开显示，观察二者对译者的影响是否导致译文意义改变，从而确定视译过程中是否存在模态转换代价，并进一步探查视译的模态加工机制。

2.2 时空隐喻

隐喻是通过具体事物来理解抽象概念的认知方式（Lakoff & Johnson 1980）。人类借助空间来表征时间的认知方式即为时空隐喻。人们常常以自我为参照点，通过自我移动图式和时间移动图式来感知时间（Clark 1973；Lakoff 1993)。在自我移动图式中，时间静止不动，观察者从过去走向未来，如“喜迎新春”；在时间移动图式中，观察者静止不动，时间从未来走向过去，如“新年很快过去了”。

心理学研究发现，人类头脑中同时存在自我移动图式和时间移动图式。McGlone & Harding (1998)向受试呈现自我移动句，如“我们已经超过期限两天了”，或者时间移动句，如“ 期限已经过了两天了”，然后要求受试对周三招待会模糊问题 “The reception scheduled for next Wednesday has been moved forward two days”做出选择。结果表明：激活了自我移动图式的受试认为招待会将在周五举行；激活了时间移动图式的受试认为招待会将在周一举行。把两种句子混合呈现时，受试选择周一、周五的比率大致相当，各占一半。

语言理解影响人们对两种时间图式的选择。阅读虚拟运动句更能激活自我移动图式，影响人们对时间的认知（Matlock et al. 2005)。虚拟运动（fictive motion）是文字暗示的运动，现实中静止的物体在语言中被描述为可动，比如“道路穿过沙漠”(Talmy 2000；Matlock 2004)。Matlock 等人(2005)让受试先阅读虚拟运动句或静止句，然后回答模糊时间问题。结果显示：在阅读虚拟运动句之后，更多的受试选择了会议在周五举行；而阅读静止句之后，对周一、周五的选择没有差异。

视觉线索影响人们对两种时间图式的选择。图片描绘的运动能够激活与之方向一致的时间视角（Boroditsky 2000)。隐含时间关系的图片与左右空间存在对应关系，较早与左空间相关，较晚与右空间关联（宋宜琪、张积家 2014)。汉语母语者在视觉通道中和运动通道中存在“左为过去，右为将来”的偏好现象（宋宜琪等 2013)。

视译任务中，在语言与视觉共同影响下，人们如何选择时间图式？对此问题的探索将拓宽时空隐喻研究的范围，也能巧妙解答模态转换代价问题，管窥视译的模态加工机制。因此，我们采用虚拟运动句考察源语对译文的影响，即虚拟运动是否激活自我移动图式和相应的未来时间概念；采用左右方向的注视点考察视觉对译文的影响，即视觉运动方向是否会映射到译文，激活同方向的时间概念。

3 研究设计

以左、右运动的视觉与语言描述的虚拟运动为自变量，译文时间视角的比率为因变量，我们来考察视译的模态转换代价与模态加工机制。具体探究以下问题：

1）虚拟运动句是否影响译者加工，从而改变译文的时间视角？

2）视觉引导能否改变译文的时间视角？

3）虚拟运动和视觉如何运作？

本研究由两个启动实验组成，均为受试间设计。在实验1中，我们把虚拟运动句和静止句设为刺激，时间模糊句设为目标。自变量是运动属性,包括两个水平:虚拟运动与静止，译文时间视角为因变量。刺激句与目标句存在时空上的内隐联系，如果虚拟运动从语言上影响了目标句，译文时间视角中“推迟”的比例就会增加。实验2的自变量是引导方式, 包括两个水平:右向与左向，因变量是译文时间视角。如果右向视觉引起“推迟”视角的增加，左向视觉对时间视角影响不大，就说明视觉影响受试的时间认知，视译过程中存在模态转换代价。

3.1 受试

河北省某高校翻译拓展项目本科生共270人参加实验，男生130人, 女生140人（平均年龄M=20.43，标准差SD=1.3)，文科135人，理科135人。受试全部通过大学英语四级考试，经过翻译技能选拔后，进入翻译拓展课程学习。按文科、理科1:1的比例，随机将受试分为两组：基线实验组98人；启动实验组172人，其中82人参加实验1，只完成语言任务，另外90人参加实验2， 完成语言加视觉引导任务。考虑到利手可能是左右时空隐喻的潜在影响因素（吴铃、李恒 2012），我们记录了受试的利手信息。在270名受试中，左利手有37人。

3.2 实验材料

刺激材料选自Kaschak et al.(2005)的实验，虚拟运动句和静止句各占一半，每一个虚拟运动句都对应一个类似的静止句，句长上没有太大差别。如：

目标句为周三会议歧义问题：The conference scheduled for next Wednesday has been moved forward 2 days (McGlone & Harding 1998; Boroditsky 2000)。目标句既可以翻译为“原定于下周三的会议提前了两天”，也可以翻译为“原定于下周三的会议推迟了两天”。目标句后添加了9个无关时间或运动的填充句，形成语义松散的段落。

3.3 实验程序

3.3.1 基线实验

为观测受试在无启动条件下的时间偏好，我们先对98名受试进行了基线实验。实验在语言实验室进行，采取随堂小测试的形式。受试每人一台电脑，屏幕上显示10个句子，第1个为周三会议模糊句，其余均为填充句。实验限时，受试要在不影响准确率的前提下，尽快完成视译。录屏软件BB Flashback记录受试的译文。

3.3.2 启动实验

为了解虚拟运动刺激下的翻译情况，我们进行了实验1。实验采用E-Prime 2.0软件事先编好的程序，注视点设为41号字。实验人员要求受试在保证翻译质量的同时，注意翻译速度。为熟悉实验程序，受试在正式实验前进行了练习，内容与实验材料不同。正式实验开始，一半受试的屏幕中央呈现注视点“+++”，500毫秒后注视点消失，随后在屏幕中央呈现一个刺激句，描述虚拟运动。按同样方式，另一半受试在注视点消失后看到的是静止句。每阅读完一句话，受试按空格键进入下一句。阅读结束后，受试立即将目标句和9个填充句译为汉语。

实验2采用启动实验的引导范式，旨在利用注视点的运动方向激活被试头脑中左、右空间概念。受试熟悉实验程序后，随机进入左向或右向引导条件。一半受试在屏幕右侧看到注视点“+++”，500毫秒后注视点向左运动，持续500毫秒，注视点继续向左，到达屏幕左侧，停留500毫秒后消失，在视觉上形成向左运动之感。随后在屏幕中央呈现一个刺激句，描述虚拟运动。另一半受试在屏幕左侧看到注视点 “+++”，500毫秒后注视点向右运动，持续500毫秒，注视点继续向右，到达屏幕右侧，停留500毫秒后消失，在视觉上形成向右运动之感。随后在屏幕中央呈现虚拟运动句。受试阅读完毕后，按空格键切换到下一句。刺激句呈现结束，受试进入视译环节，口头翻译目标句和 9个填充句。

用E-Prime进行实验的同时，受试的译文被录屏软件BB Flashback记录下来，由人工转写为文字。E-Prime数据经过合并、过滤，导出为表格形式。我们把目标句译文转写，添加在表格中，准备进行统计。

4 实验结果

4.1 基线实验的结果

在对译文进行统计时，首先剔除未译和误译两种数据，再删除译文时间意义依然模糊的数据，如“移动了两天”，共占15.1%。在统计时间视角时，提前视角包括“提前”的近义词以及“改到周一”等译法，推迟视角包括“推迟”的近义词以及“改到周五”等译法。比较“提前”和“推迟”两种情况，卡方拟合检验结果显示：两种视角之间差异显著，χ2（1）=17.64, p<0.001, “提前”的比率（71%）远远高于“推迟”的比率（29%）。

4.2 启动实验的结果

我们按照基线实验的标准，标注了启动实验的时间视角。将启动实验1的数据读入Rstudio，对“提前”和“推迟”两种视角进行统计。卡方独立检验结果显示：虚拟运动与时间视角交互作用不显著，χ2（1）=2.120, p=0.146。简单效应分析显示：虚拟运动启动条件下，时间视角比率差异不显著，χ2（1）=1.256, p=0.262，将模糊词译为“提前”的比率（59%）略高于译为 “推迟”的比率（41%）；静止启动条件下，时间视角比率差异显著，χ2（1）=11.308, p＜0.01，将模糊词译为“提前”的比率（77%）显著高于译为“推迟”的比率（23%）。

将启动实验2的结果导入Rstudio进行统计分析。卡方独立检验结果显示：视觉引导与时间视角交互作用显著，χ2（1）=6.708, p=0.009；视觉引导主效应显著，χ2（1）＝5.714，p=0.0168，时间视角主效应显著，χ2（1）=6.914，p=0.008。简单效应分析显示：左向引导条件下，时间视角比率差异显著χ2（1）=13.889, p＜0.001；右向引导条件下，时间视角比率差异不显著，χ2（1）=0.36, p=0.549，将模糊词译为“推迟”的比率（56%）与译为“提前”的比率（44%）相差不大。

为统计视觉的作用，我们对启动实验2和实验1的结果进行了综合分析。结果显示：左向引导、右向引导、虚拟运动无引导三种条件下，时间视角的比率差异显著，χ2（2）＝14.976, p＜0.001。为计算语言和视觉的共同作用，我们把启动实验２的结果与基线实验的结果做了对比，卡方检验结果显示差异显著，χ2（2）＝48.948，p＜0.001。左向引导条件下，提前与推迟的分布与基线条件基本一致，χ2（1）=1.004, p＝0.316；右向引导与基线差异显著，χ2（1）=8.851, p＝0.003。

为计算启动量，我们统计了“提前”“推迟”视角的比率，然后以基线条件为起点，每增加一个百分点，计为1个启动量，每减少一个百分点，记为-1（见表1）。

为测量利手对时间视角的影响，我们以利手为自变量进行二次统计。卡方独立检验结果显示：在视觉加语言条件下，利手与时间视角之间存在交互效应，X2（1）=4.066, p=0.043。简单效应分析显示：左向、右向视觉引导下，左利手受试将模糊词译为“提前”“推迟”的比率没有显著差异，X2（1）=2.208, p=0.137，左向引导下“提前”视角占93%，“推迟”占7%；右向引导下 “提前”视角占92%，“推迟”占8%。右利手受试在左向、右向视觉引导下将模糊词译为“提前”“推迟”比率差异显著，X2（1）=7.052, p=0.008，左向引导下“提前”视角的比率为74%，“推迟”的比率为26%；右向引导下“提前”的比率为33%，“推迟”的比率为67%。在左向引导条件下，左、右利手的时间视角比率差异不显著，X2（1）=0.044, p=0.834，在右向引导条件下，左、右利手的时间视角差异显著，X2（1）=9.573, p=0.002。与基线相比，左利手对左、右引导都很敏感，右利手对右向引导更加敏感。

5 讨论

本研究通过两个启动实验和基线实验的对比，考察视译过程中语言、视觉对译文时间视角的影响。结果显示：单独的虚拟运动语言启动条件下，将模糊词译为“推迟”的比率上升，译为“提前”的比率下降，但“提前”的总体占比略高于“推迟”的比率。增加右向视觉引导后，将模糊词译为“推迟”的比率显著增加，且高于“提前”的比率，说明视觉影响了受试的时间感知。综合分析的结果表明：语言和视觉共同影响了受试的时间感知，在视译过程中存在模态整合效应，预读原文从视觉和语言两个方向对翻译加工过程造成共同干扰。

5.1 视译过程中的语言干扰

启动实验1结果显示：视译任务中，语言对译文造成一定程度的干扰。相比基线试验，实验1的受试阅读虚拟运动句后，将模糊词译为“推迟”的占比有所上升。究其原因，阅读虚拟运动句更能激活自我移动图式（Matlock et al. 2005)，自我移动图式与时间推迟内隐相关（McGlone & Harding 1998)。另一个可能的原因是，受试在想象虚拟运动时，运动方向为从左到右，而右空间与“将来”内隐相关。受试在翻译时间句时，虽然虚拟运动句已经不在视野范围内，但是因为空间与时间的隐喻关系，译文还是受到了之前阅读内容的影响。Gile (1997)和Shreve (2010, 2011)认为，译文产出时，译者还能看到原文，是视译受语言干扰的原因。Agrifoglio (2004)认为视译的原文在语法、词汇、文体上更复杂，译者在视译过程中不断察看原文，是造成干扰的主要原因。本研究则发现，在口译产出时，即便原文不在视觉范围内，原文的语言也会干扰译文的意义构建。

语言的干扰从预读时就已经开始了。译者的加工包括心理模拟和在线映射两个部分（郭亚玲、鲁忠义 2020:768）。译者通过心智模拟来理解虚拟运动句，获得意义。然后将已获得的信息进行预存储（Viezzi 1990；万宏瑜、钱仪雯 2020），在口译产出时，译者将这个信息的加工结果映射到译文中。但是，仍需看到，语言干扰的强度不大。经过虚拟运动句刺激，将模糊词译为“提前”的比率依然大于译为“推迟”的比率。在本实验中，虚拟运动句不以人为运动主体。运动主体的属性决定了观察者的代入感（蔡淑美 2012）。虽然部分受试激活了自我移动图式，但更多的受试很难将自我带入以物体为主语的运动中，相反，他们采用观察者角色，认为物体在动，自我不动，所以采用时间移动视角。

5.2 视译过程中的视觉干扰

视译过程中，受试将视觉信息融入译文的时间意义，实现了模态整合。启动实验2中，在右向视觉引导后，受试将模糊词译为“推迟”的比率显著增加，说明在注视点运动的影响下，更多的人感觉时间在向右运动，而右空间与“推迟”内隐相联。译者在线的具身体验在很大程度上决定了他们的时间感知。这一发现支持Agrifoglio（2004）的结论，即视觉信息对译者来说是一种噪音，影响译文的认知构建过程。

视觉输入干扰声音输出，这与Moser-Mercer（1995）和Lambert（2004）的结论不一致。这两位研究者认为输入、输出不在同一模态时，不会构成干扰。分歧的产生主要来自理论假设和方法上的差异。从理论上，我们认为，视译过程中不存在单一模态加工，各模态之间不是相互剥离的。视译通过视觉模态输入信息，激活的是译者多模态的具身体验。文本理解是调动感知运动系统重演文本所述经验体验的认知过程，涉及多个感觉通道（Barsalou 1999）。译者对虚拟运动的想象不只调动了视觉资源，还激活了感知运动、声音等其他模态。从方法上，我们将视觉与语言有效分离，更加直观地显示视觉对译文意义构建的干扰作用。

5.3 语言干扰和视觉干扰的整合

启动实验2时间视角的比率与基线条件差异显著，将模糊词译为“推迟”的比率显著上升，译为“提前”的比率显著下降，说明语言和视觉的共同作用引起了时间视角的变化。视译是一个具身认知加工过程，语言和感知运动系统协同运作，相互影响，共同构建译文意义。

注视点运动方向与语言的叠加与冲突是引起时间视角显著变化的主要原因。向右运动的注视点激活向右的感知觉经验，在左右横轴上，右侧指向更晚的时间(Boroditsky 2000; 顾艳艳、张志杰 2012)，即“推迟”。虚拟运动句激活受试的自我移动图式，这与“推迟”内隐一致。因为隐喻类型一致性效应（周榕 2001），受试将模糊词译为“推迟”的比例大大提升。这同时说明，视觉辅助信息的一致程度越高，对翻译过程越有利（郎玥等 2019）。视觉与语言一致程度越高，越容易整合。向左运动的注视点激活左空间的感知觉体验，左侧指向更早的时间 (Tillman 2017)，即“提前”。紧随其后的虚拟运动句激活受试的“推迟”视角，二者产生矛盾。从实验结果来看，语言对时间认知的影响并未完全抵消视觉的作用，视觉的强度似乎更大一些，左向引导条件下，“提前”视角的比率稍有增加。

本研究支持Shreve et al.（2010, 2011）的结论，视译过程存在语言干扰和视觉干扰。本研究将其结论推进一步，认为视觉和语言的干扰可以整合。受试将先后呈现的视觉和语言进行了整合加工。注视点触发受试的感知觉加工，虚拟运动句激活受试的心理模拟，包括感知觉模拟，而感知觉在先前加工中已处于活跃状态，这将加快语言加工，使语言和知觉形成协同加工。多模态意义转换不是将一种模态的意义转换为另一种模态，而是将多种资源作为一个系统重新组合起来，再次构建意义（王建华、任岳涛 2020：101）。各个感觉通道输入的信息在译者的大脑中经过综合加工，语言信息经过有意识解码，视觉信息经过下意识解码，但最终都会被大脑整合为一个整体，加以解读。

视觉和语言的整合加工受过去具身经验的影响。左利手受试长期使用左手的经验使他们对左侧更加敏感；文化的浸染，如阅读顺序是从左到右，图表的数字从左到右排列等惯例的习得，让他们对右侧也很熟悉。左利手的具身经验与文化经验使他们形成了相互矛盾的时空观（Casasanto et al. 2022）。对他们来说，左、右同时代表过去与未来，视觉线索向左或向右没有差别，都是时间在动，于是采用“提前”视角。相反，右利手受试对右侧更加敏感，语言、右向视觉加上长期以来对右侧的熟悉感，激活他们“右为未来”的内隐联想，更多的人选择“推迟”视角。可见，翻译的心理机制是身体经验转变为思想的机制（Zhu 2022)。

语言和视觉的整合受时间压力影响。实验要求受试在有限的时间内边看边译，默读原文和产出译文的时间距较小，接近同步。在有时间压力的情况下，视觉干扰强度增加（Ivars 2008）。这也是视觉信息能与语言信息整合在一起的重要推动力。

视觉干扰与语言干扰在一定程度上支持模态转换代价说，即译者需要额外的认知资源来抑制信息干扰，否则会影响译文产出。但本研究发现，模态转换部分解释视译的认知过程，译者对多模态表征的整合加工才是视译的核心认知机制。

6 结论

本研究聚焦视译过程中不同模态信息的加工机制，通过实验研究语言描述的虚拟运动结合视觉线索是否影响受试的时间偏好，发现视译中存在不同模态信息转换与多模态信息整合加工现象。实验结论显示：1）语言、视觉均可对视译加工过程构成干扰，虚拟运动句和视觉引导都能够影响译者的时间感知，从而改变译文时间视角；2）语言、视觉形成的信息噪音经过译者的整合，映射进听觉模态的译文中，这是模态转换代价的成因，也反映了视译不同模态信息整合的加工机制。本研究在一定程度上支持了视译过程中的模态转化代价说，但同时也表明了视译中多模态信息整合而形成意义的认知机制。

（参考文献 略）

（本文首次发表在《外国语》2023年第4期）