本文是针对论文《追踪看不见的人的情感状态（Tracking the Affective State of Unseen Persons）》的一篇论文解析，该论文于2019年2月发表于《美国国家科学院院刊（PNAS）》杂志上。该研究作者是Zhimin Chen和David Whitney。

【研究背景】

情绪识别是人类的一种基本且核心的能力，对理解他人、驾驭社会情境、指导决策和行动非常重要。其中，识别面部表情是情绪识别中的关键，且情绪识别主要是关注静态、非自然条件下的面部和身体特征。而一个人的面部和身体通常是在一个有意义的情境（meaningful context）下被感知的，而不是孤立的。已有研究表明：从面部表情中感知情绪易受来自感觉形式（modalities）（如表达者的语调、周围的人的面孔、现场的主要信息和感知者的个人特质）的情境化影响（contextual influences），在视觉领域，最近研究发现，从面部表情中进行情绪识别受到身体姿势和场景的调节，这种调节似乎是日常的、自动发生的。而情境的作用一直难以系统地研究和量化。目前，对情境在情感识别中的作用进行量化研究一直是一个难题，这使得本研究将情境作为情绪感知的粗糙调节变量（coarse modulator）。其中，情感感知被认为是情绪感知的一个原始组成部分。有观点认为，情绪识别本质上是一个基于情境的过程，即情境对情绪感知具有重要而直接的作用，且具有时空性。因此，本文假设情绪识别可能由动态的视觉情境驱动，独立于面部表情和身体姿势的信息。

【研究内容】

本文开发了一种称为情感追踪的方法，来揭示和量化视觉情境在情感感知（包括效价和唤醒度）中的作用。本文实验主要集中在效价（从积极到消极）和唤醒度（是能量的一种量度，可以通过从困倦到高度兴奋或从低激活到高激活来评估，如微笑，大笑，狂笑，歇斯底里）上，因为它们是情感评分中能够造成差异的主要维度。本文研究在没有人脸和身体信息的情况下，单独的视觉情境对识别看不见的人的情绪是否充分且必要。
为了量化动态情境是否驱动情绪感知，本文开发了一种3D鼠标追踪方法来测量观察者实时动态推理和追踪情绪的能力：“推理性情感追踪”（inferential affective tracking: IAT）（如图1）。这是“推理性的”，因为其测试了完全根据情境线索而不是直接从面部表情推理他人情绪状态的能力且因为本文在动态视频中测量情感（效价和唤醒度）的实时报告，而不是在静态图像中。

本文使用不同来源的无声视频剪辑，包括好莱坞电影，家庭录像，以及纪录片，总计5593秒的实验素材。这些视频剪辑包括角色与其他人或情境的互动，研究中去掉了所有的听觉和文本信息，只关注视觉内容。实验1中的视频剪辑特别展示了两个主要角色之间的互动。实验2和实验3将此扩展到单个或多个角色和非好莱坞电影剪辑。

【实验过程和结果】

实验1

第一步，要求33名参与者在推理条件（inferred condition）下，实时推理和追踪看不见目标角色的情感。为测量这一点，本文采用一个二维的效价-唤醒度情感评分网格。具体来讲，在实验中，观察者在情感评分网格中移动鼠标指针，持续报告一个看不见角色的效价和唤醒度。将情感评分网格叠加在视频上方，要求参与者在第一次观看视频时，实时连续对角色的情感进行评分（如图2）。目标角色的情感评分主要分布在情感评分网格中心（即较多的中性和中等情感评分，较少的极端情感评分），且显示视频中的情感不是特别具有情感冲击力的而是那些真实世界的场景。使用单受试者皮尔逊相关系数来量化受试者之间的一致性。

结果显示，参与者对看不见角色的推理情感评分一致。结果表明，观察者同意彼此的看不见角色情感评分，但无法说明这种一致性在角色可见时的准确性。 

第三步，为了排除上面这种可能性，本文收集了充分知情情况下，在另外的实验中对可见的伙伴角色的情感评分。如果参与者推理看不见角色的情感而不是简单地追踪可见的伙伴角色，本文将推断看不见的角色的推理情感显著偏离充分信息的可见伙伴角色情感（图4 H和I），同时密切跟随充分信息的可见角色情感（图3D和E）。为了量化这一点，本文计算了在控制充分知情的伙伴角色的情感评分时，角色的推理的情感评分和充分知情的情感评分之间的部分相关性。结果表明，当参与者被要求推理并追踪看不见的角色时，他们并不是简单地追踪可见的伙伴角色。角色的情感不仅仅是伙伴情感的线性变换：视觉场景的情境信息也很重要。

实验2

以上研究证明，在动态和自然的情境中，情境对感知情感是充分的。然而，为了最准确地感知和追踪情感，即使面部和身体的信息已经存在，情境是必要的吗？除了面部和身体特征本身之外，情境本身是否具有显著的解释力？
为了回答这些问题，本文设计了实验2，从人脸和身体信息中分离出背景情境信息的贡献。为包含两个互动角色之外的更大范围的场景，研究中像以前一样编辑了一系列来自不同好莱坞电影的独立视频，共计1214秒。参与者被要求在四种不同的情况下追踪和评价所选择的角色的情感：（1）充分知情情况下，即剪辑中的所有都是可见的（图5A）；（2）只有角色的情况，即情境被掩盖、看不见，但角色的脸和身体是可见的（图5C）；（3）情境条件，即角色的脸和身体被掩蔽、看不见，但情境可见（图5D）；（4）纯模糊条件，即角色是模糊的，情境被黑色像素替代（图5E），这个条件是控制从模糊角色获得的剩余动作或肤色信息。平均而言，在这四种情况下，每一种情况下的视频片段都由50名参与者组成的独立小组进行评分。研究使用线性回归模型来测量情感追踪中的差异在多大程度上由角色（图5D）、情境（图5C）或模糊掩盖（图5E）来解释。

结果显示，与实验1相似，推理的和充分知情的情感评分之间有很强的相关性，即实验2中的参与者准确地推理出了看不见角色的情感，一致性较高。

实验3

为了测试情境的贡献对于好莱坞电影剪辑或个体间互动之外的场景是否至关重要，本研究用一组新的视频剪辑素材进行3a和3b实验。实验3a的场景中只有一个目标角色而没有其他角色的视频。观察者只能依靠情境信息而不是伙伴的面部表情来推断看不见的角色的情感。实验3b只使用纪录片或家庭录像中的非电影视频剪辑。因为有人可能会担心，实验1和2中的好莱坞电影剪辑包括了电影摄影师或导演创造的情感环境，这些情感环境可能夸大了情境的作用。在实验3b中，使用家庭录像和纪录片来控制这一点。本文收集了25名独立观察员对三种情况（充分知情、只看情境和只看角色）的情感评分，共75名新观察员。

研究结果显示，实验3的参与者准确地推断出了看不见角色的情感，并具有很高的一致性。还发现推断的情感评分和充分知情的情感评分之间存在很强的相关性。即表明，视觉情境很可能在一系列不同的场景中对情感感知产生广泛影响。

【研究结论】

结果显示，当角色的脸和身体在无声的视频中被蒙住时，观众仅根据视觉情境就能成功地、高度一致地推理出看不见的角色的情感。本文进一步证明，随着时间推移准确地感知人类的情感，在这当中情境不仅是充分的，而且是必要的，因为情境提供了一个具有实质性的且独一无二的信息，且这一贡献超出了面部和身体方面信息的贡献。本文揭示出，情绪识别的核心是情境，就像情绪与面部表情的关系那样。具体来讲，在自然场景中，参与者使用关于情境的独特信息，独立于任何面部信息，来准确地评价和追踪情感。即使没有面部信息，视觉情境也足以推理出一段时间后的效价和唤醒度，不同的观察者对情境提供的情感信息的看法是一致的。即背景情境信息是我们每时每刻情感体验的重要组成部分。它对不同的基本情感类别具有同等的预测作用。

【贡献】

第一，情境通常被认为具有调节作用，尽管最近的研究表明情境可能塑造和影响情感信号的实际感知。本研究结果提供了明确的证据：情境本身对于准确判断感知情感是充分且必要的，即使在有面部和身体信息的情况下，也会使用情境信息。第二，这种基于情境的动态情感识别的机制可能是什么？本研究发现：情境并不处于情感识别的边缘，而是可以塑造和转化情感为一种新的整体解读。未来如果纳入和衡量有关键作用的情境信息，可以更好地理解情感感知的感知机制和神经机制。

【未来研究】

第一，虽然效价和唤醒度表征了情绪的维度，但它们并不能完全解释离散的情感类别，如愤怒和恐惧之间的差异等。未来的研究可以详细描述情境信息可能在哪些条件或类别中权重最大。第二，实验表明，可能存在一种独特的视觉机制来提取情境信息，从而得出对人们的情感判断。还表明，任何包含情绪识别或情绪理解感知测量的情绪智力测试都需要修改，以考虑情绪识别中独立但几乎同样重要的情境因素。第三，实验结果表明，人类对情感的识别远远超出了对人脸图像层面特征的识别，相反，情感识别强烈地依赖于特定的情境。即情感识别的核心是一个情境问题，同面部表情和身体信息同样重要。考虑到这一点的话，未来的计算机视觉、神经和社会认知模型以及情绪智力心理测量等研究将会受益。

【意义】

人们普遍认为，情绪识别是由面部和身体特征决定的，而情绪感知的测量通常使用非自然的、静态的或去情境化的面部刺激。通过本文的“情感追踪”方法，发现观察者可以根据视觉空间情境来推理、识别和追踪一个看不见的人的情感。研究进一步表明，视觉情境对人类的情感感知产生一个实质的和独特的作用，超出了从面部和身体获得的信息。这种方法揭示了情绪识别的本质是：一个基于情境的过程。

参考文献：Zhimin Chen, David Whitne. (2019, February 27).Tracking the Affective State of Unseen Persons. Proceedings of the National Academy of Sciences of the United States of America, 10.1073/pnas.1812250116.