为什么人类能实现从行动到意义的无缝转换？

还记得上次有人翻过你的推特吗？无论这样的举动是否伴有语言上的表达，你都知道它究竟是什么意思。

从行动到意义的转换能够无缝而直接，是因为我们被赋予了不用交谈和倾听就能表达和理解的能力。我们可以通过指向、模仿来增强叙事，通过有节奏的比划强调并通过简单的手指组合来传达整个反应，从而引导对方的注意力。

虽然实际呈现的细微差别略有不同，但是通过肢体动作来辅助沟通的趋势是普遍的。例如，在巴布亚新几内亚，人们会指着他们的鼻子和头，而在老挝，人们有时会用嘴唇。在加纳，左手指向可能是禁忌，而在希腊或土耳其，用食指和拇指形成一个环以表示一切都OK可能会让你陷入困境。

尽管手势（gestures）多种多样，但我们可以将其粗略地定义为用于重复或强调消息的动作（无论该消息是否被明确说出）。手势是“代表行动”的动作，但它也可以传达抽象或隐喻信息。它是我们从很小的时候就开始使用的工具，即使先天性失明的孩子在演讲期间也会在某种程度上用肢体语言来进行表达。每个人都会这样做。然而，我们很少有人停下来考虑将手势视为一种研究现象——去思考它的神经生物学原理，它的发展，以及它在帮助我们理解他人行为方面的作用。随着研究人员对神经网络的探索逐步深入，人们发现手势会引导我们的感知，就像感知会指导我们的行为。

01

手势：先天倾向

Susan Goldin-Meadow在人类肢体语言领域做出了突出的贡献，虽然，正如她所说，在20世纪70年代她首次对手势产生兴趣时，“手势还没有成为人们关注的领域。”少数人曾做过手势方面的研究，但是几乎完全是非言语行为研究的一个分支。此后，她开始研究手势在学习和语言创造中的作用，包括聋儿在不接触手语时创建的手势系统。（手语不同于手势，因为它构成了一个完全发展的语言系统。）目前，她是芝加哥大学的一名教授，管理着一个最著名的实验室，研究手势的产生和感知。

“这是一个关于未说出口的想法的美妙窗口，而且未说出口的想法往往是最有趣的。”她这样说道，同时用了很多手势来辅助表达。

（图：芝加哥大学心理学教授Susan Goldin-Meadow协助创建了现代手势研究领域。她的职业生涯始于探索手势在学习和语言创造中的作用。）

许多接受过Goldin-Meadow培训的研究人员现在正在芝加哥大学以外探索类似的问题。Miriam Novack在2016年攻读了Goldin-Meadow的博士学位，作为西北大学的博士后，她研究的问题是手势在人的一生中如何发展和演变。

根据大多数报道，Novack解释说，没有其他物种可以用“指向（point）”来传达意义，甚至黑猩猩或猿类也不可以，除非它们是由人类饲养的。相比之下，人类婴儿在说话之前经常这样做，我们产生和理解符号行为的能力与语言同步发展。手势也是课堂上的一个有价值的工具，它可以帮助幼儿将动词延展到新的语境或解决数学方程式。“但是，当孩子们开始明白我们的手部动作是用于交际时，并不一定清楚它们是信息的一部分。”

当孩子们找不到表达自己的词语时，他们会通过双手来“交谈”。Novack发现，婴儿从肢体行动中获得意义的能力随着年龄的增长而增加。成年人如此自然地做到这一点，因而很容易忽略——将比划的形状和轨迹的映射意义放在一起并不是一件容易的事。

手势可能是简单的动作，但它们不是孤立地运作。研究表明，手势不仅可以增强语言，还有助于语言的习得。事实上，两者可能共享一些相同的神经系统。人们在一生中接触到的手势体验也可以帮助我们从别人的动作中汲取意义。但是，单个细胞或整个神经网络是否能够调解我们破译他人行为的能力，这一点仍有争议。

02

大脑：体验认知

Noam Chomsky是语言学和认知科学领域的著名学者，长期以来一直认为语言和感知行为系统是不同的实体—— 其不需要在手势交流中协同工作，即使它们都是传达和解释象征思想的手段。研究人员尚未完全理解大脑中语言的组织方式，因而这个问题尚未得到解决。但许多科学家，如Anthony Dick认为这两个功能依赖于一些相同的大脑结构。

（图：佛罗里达国际大学的神经科学家Anthony Dick发现手势和语言依赖于某些相同的大脑结构。）

Dick及其同事使用功能磁共振成像（fMRI）扫描大脑活动，证明了手势与语言处理能够协同工作。所涉及的具体领域和激活程度随年龄而变化，这表明年轻的大脑仍在磨练其手势 - 语言整合技能并改善区域之间的联系。用Dick的话说，“手势本质上是更广泛的语言系统中的一个尖顶”，它集成了语义处理区域和感知行为区域。但是，语言本身在多大程度上是一种感知行为经验，一种了解依赖于感官印象和动作的世界的方式？

Manuela Macedonia最近刚取得了语言学硕士学位，她注意到一个学习意大利语学生群体中反复出现的模式：无论他们重复多少次同样的话，他们仍然无法结结巴巴地说出一个连贯的句子。在教学过程中，她让学生听，写，练习和重复，正如Chomsky所倡导的那样，但这还不够。有些东西缺失了。Macedonia正在接近一个听起来很像Dick的假设：这种语言不过是模块化。

（图：Manuela Macedonia表示，通过将手势与运动和感官体验联系起来，手势体验可以丰富人们对言语知识的理解。）

Macedonia认为，当孩子们学习第一语言时，他们会用整个身体吸收信息。例如，“洋葱”这个词与所有五种感官紧密相连：洋葱具有球根状，纸质皮层沙沙作响，苦味以及切片时产生催泪的气味。甚至像“喜悦”这样的抽象概念也有多重感官成分，比如微笑，欢笑和欢乐。在某种程度上，认知是“呈现（embodied）”——大脑的活动可以通过身体的行为和经验来改变，反之亦然。因此，如果学生只是倾听、写作、练习和重复，那么学习外国词语就不会成功，因为这些口头经验被剥夺了他们的感官联想。

Macedonia发现，通过执行语义相关手势来强化新单词的学习者能够改善记忆。不要简单地重复“桥”这个词：在你背诵时用双手做一个拱门，这样做可以使大脑保留更深的记忆，因为单词是一生中获得的经验集群的标签。

多感官学习允许像“洋葱”这样的词语生活在大脑中的多个位置 - 它们分布在整个网络中。如果一个节点由于忽略而衰减，则另一个活动节点可以恢复它，因为它们都已连接。“每个节点都知道其他节点知道什么。”Macedonia说。

03

神经：体验连接

用手势来丰富语言的力量仅代表手势与感官体验相结合的一种方式，行为产生和感知也是如此。Elizabeth Wakefield认为，手势和理解背后的神经系统受到我们过去产生相同动作的经验的影响。

（图：芝加哥Loyola大学的神经科学家Elizabeth Wakefield是最早使用脑部扫描研究儿童和成人手势感知发展的人之一。）

Wakefield研究日常行动如何帮助学习和影响认知。在深入研究这些问题之前，她需要了解手势处理是如何发展的。为此，她进行了一项fMRI研究，该研究是首批检查儿童和成人手势感知的研究之一。

参与者观看一则视频，视频中一位女演员在说话的同时做手势，研究发现，参与者的视觉和语言处理区域并不是唯一的活跃区域，与动作相关的脑区域也是活跃的。区别在于，成年人在这些地区表现出比儿童更多的活动，Wakefield认为这是因为成年人在做出类似动作方面有更多经验（儿童在说话时倾向于减少姿势）。

Wakefield的研究并不是唯一证据。无数实验证明，芭蕾、篮球、弹吉他等动作都有类似的动作“镜像”现象。在这种情况下，当技术人员观察他们的工艺由他人执行时，其感觉运动区域较普通人而言更活跃。（矛盾的是，一些实验观察到完全相反的效果：专家的大脑反应比非专家少。但研究人员认为，在这些情况下，经验使得他们的大脑在处理动作方面更有效率。 ）

Gallaudet大学的助理教授Lorna Quandt研究了聋人和听力障碍者中的这些现象。她使用脑电图（EEG）将手势分解为感觉运动组件，以显示某些行为的记忆会改变我们预测和感知他人手势的方式。