文献分享|情绪人工智能的锚定效应、算法公平性和信息透明度限制

研究背景

    情绪人工智能用于自动识别情绪，是面部分析一个不断发展的子领域。它已经被用于筛选求职者、控制风险，并被纳入虚拟会议软件，以测量参与者的参与程度，正在向心理健康应用程序、呼叫中心和广告效果反馈方向扩展。尽管情绪人工智能具有许多优势，但它可能根据被测试者的人口特征，在识别面部表情和情感的质量上存在差异，这表明存在算法偏见。终端用户监督，对情绪人工智能是一个有价值的辅助工具。然而，由于锚定效应，人类评估员看到的任何数字输入都可能影响他们的判断。依赖最终用户来抵制算法偏见的组织可能发现，这些终端用户自己具有认知偏见，因此会受到情绪人工智能输出的影响，披露有关人工智能公平措施的信息可能不会产生更高质量的个体选择。基于此，情绪人工智能是研究算法公平性、信息透明度和锚定效应相互作用的良好背景。

理论背景

    认知偏差和锚定效应：信息透明度对算法公平性的有效性取决于人类易受认知偏见影响的程度，例如锚定效应。情绪人工智能的评分预计会影响人类标注者，因为在人类进行判断之前呈现的任何信息都可能成为该判断过程的锚，即使这些锚是随机的和非规范的。

研究问题

    个体是否能够抵消情绪人工智能中的算法不一致和差异，并得出一致的分数。

研究假设

H1a：在推理不一致的情况下，对于更容易的任务，例如被错误标记为非微笑的笑脸(FNII假阴性)，锚定效应较弱。

H1b：在推理不一致的情况下，对于较难的任务，例如错误标记为微笑的非微笑脸(FPII假阳性)，锚定效应更强。

H2a：在更容易的任务中，有关人工智能公平性的信息透明度将对人类标注者的评分产生较小的影响。

H2b：在更困难的任务中，有关人工智能公平性的信息透明度将更加影响人类标注者的评分。

H3a：关于人工智能公平性措施的信息透明度对人类标注者评分的影响受到人口特征的调节。

H3b：关于人工智能公平性措施的信息透明度导致人类标注者评分的不一致性。

数据

工具和变量定义

    该分析使用了三种不同且常见的情绪人工智能工具：Face++、 Microsoft Azure Face应用程序编程接口(API)和Amazon Rekognition。

    3个情绪人工智能判断人脸图片的情绪的逻辑几乎一致。对于每张人脸图片，情绪人工智能会就“悲伤”、“恐惧”、“快乐”等不同情绪维度进行打分，分数总和固定。最终选取分数最高的情绪进行标记。此外，Face++和Microsoft可以识别人脸图片的“微笑”程度并标记为一个分数，Amazon Rekognition则提供了一个二元指标，用于指示面部表情是否含有微笑。在本研究中，所有分数的阈值被重新调整为0-10。

图片数据集

    为了解决有关数据集组成的问题，本文使用了两个图像数据集。

    NBA数据集：第一个数据集是从《篮球参考》中截取的2016–2017赛季471名NBA球员的职业照片。这些照片姿势相对标准。所有玩家正面对着摄像机，这是进行精确面部分析的最佳位置。这些球员的年龄、性别和身体素质相对同质，但主要分为两类：非裔美国人(75%)或白人(25%)。这些图片是在2017年使用所有3种情绪人工智能工具进行评分的。

    BFW数据集：第二个数据集是BFW数据集。该数据集旨在创建一个用于面部识别的性别和种族平衡的数据集。BFW提供了100张面孔，代表了4个种族(东亚人、非裔美国人、南亚人和白人)和2种性别(男性和女性)。对于每张脸，他们都提供了多张图片。为了缩小数据集，我们选择了每张人脸中尺寸最大的图像。最终，每个类别有100张图片，总共有800张图片。其中，有14张图片存在异常，最终数据集中共有786张图片。这些图片于2020年使用了所有3种情绪AI工具进行评分。

情绪AI模型得分：不一致

    每个数据集的情绪AI得分的平均值和标准误差显示在表1中。与NBA数据集(一组专业头像)相比，BFW数据集(由不同姿势和面部表情的图片汇编而成)中的平均情绪得分变化略大。

    同时，对于NBA和BFW的数据集，3种情绪AI模型之间的得分差异很大。情绪人工智能模型在种族差异倾向上也有所不同。Microsoft在情绪得分方面表现出较低的种族差异。Face++在NBA数据集中展现出了情绪分数方面最广泛的种族差异，与之前的研究结果一致。该研究显示，Face++在辨识深色皮肤人群性别的准确率方面也存在较高的差异。

    尽管种族差异较低，Amazon的“快乐”情绪评分与其他情绪AI模型的评分不一致。这3个情绪AI模型为相同的面孔产生了显著不同的评分。图1说明了这种评分分歧的一个例子。

表1 情绪识别模型对快乐和愤怒的情绪评分

图1 示例图片

情绪AI模型：推理不一致

    情绪人工智能模型在两个方向上证明了推理不一致：“快乐”情绪的假阴性(FNII)或假阳性(FPII)。因为微笑和不微笑的脸都可能被视为中性，所以中性情绪从未出现不一致性。图2显示了来自NBA和BFW数据集以及Face++和Amazon情绪AI模型的内部不一致性的示例。由于Microsoft报告的微笑分数与快乐情绪分数相同，所以Microsoft没有任何推断不一致性。Amazon将BFW数据集中的所有面孔都识别为平静或中性，因此在BFW数据集中Amazon没有推断不一致性。

图2 FNII和FPII的例子

实证分析

实验设计及汇总

    在本文的嵌套实验设计中，要求人类标记者从两个数据集中的面部表情中识别情绪。有两个实验条件，(1) 在锚定条件下，给人类标记者提供其中一个情绪AI生成的分数(满分10分)，(2)在透明条件下，给人类标记者提供由其中一个情绪AI生成的得分，并且还提供关于该情绪AI的平均种族差异。对照组的人类标记者被要求对一张没有任何情绪AI得分信息的人脸图片进行评分。NBA和BFW数据集的实验略有不同。

(1)NBA数据集

    NBA数据集中的每张图片都由3个独立的人类标记者评分。在锚定条件下，标记者可以接触到3个平台中的一个(Microsoft、Amazon或Face++)，也可以不接触(对照组)。标记者根据快乐、愤怒和悲伤等情绪，在0-10的评分尺度上对面部表情进行评分。图3展示了对照组、锚定组和透明度条件的样本。

图3 NBA数据集的样本条件

    表2显示了在实验条件下的平均分数和标准误差。锚定确实影响了人类标记者的平均分数。例如，暴露于Microsoft锚定的标记者平均评分比暴露于Face++和Amazon锚定的标记者更高，这与锚定效应一致。在所有条件下，接触了情绪AI的标记者的愤怒评分都降低了。情绪AI似乎会为同一组面孔产生不同的评分，这与锚定效应一致。

表2 标注者的平均情绪得分(NBA数据集)

(2)BFW数据集

    对于BFW数据集，锚维度包括提供Microsoft或Amazon的情绪AI分数，或者没有(对照组)。然后，标注者根据快乐感、愤怒感和中立感对面部表情进行0-10分的评判。每张照片都得到了2个不同的标记者的评分，并取平均数。本文选择专注于Microsoft和Amazon，因为这两家公司的差异最小，在2020年最有可能被公司使用。表3显示了标记者得分的汇总统计数据。

表3 标注者的平均情绪得分(BFW数据集)

锚定效应

    为了了解人类标记者的评分如何受情绪AI评分的影响，本文比较了在不同锚定条件下对相同对象的评分。本文使用了混合效应模型以控制每个对象的面部表情的差异。以下是NBA和BFW数据集的模型：

    其中，LabelerScores是标记者给主体i在条件j下分配的面部表情评分，AIScore是情绪AI模型j对主体i的情绪AI评分，Race是主体i的种族类别。对于NBA数据集，Race是一个二元变量，表示主体i是否是非洲裔美国人。对于BFW数据集，Race是一组二元变量，表示主体i是否属于四个种族群体之一(白人、东亚人、非洲裔美国人和南亚人)。在该分析中，本文排除了透明度条件，因为关于AI公平性的信息会在分析中产生噪音。

    表4-5分别属于NBA数据集以及BFW数据集，正如预期的一样，人类标记者的打分受到情绪AI评分的影响，标记者的“快乐”和“愤怒”情绪打分与相应的情绪AI得分呈正相关。研究结果还表明了一些选择性锚定，因为标注者更有可能将非裔美国人的愤怒的情绪AI评分纳入其中，且情绪AI评分对亚洲人脸图片的影响较小。

表4 标注者的快乐和愤怒得分(NBA数据集)

表5标注者的快乐和愤怒得分(BFW数据集)

情绪AI推理不一致

    接下来，为了阐明锚定效应和算法干扰的不一致性，我们重新对仅在先前阶段产生这种不一致性的对象进行了分析。

(1)NBA数据集

    本文将NBA数据集限制在情绪AI出现FNII或FPII推断不一致性的情况下。这一限制产生了4种不同的分析数据集：Face++(FNII);Face++(FPII);Amazon(FNII);以及Amazon(FPII)。Microsoft不会产生推断不一致性。

    表6显示了结果，在FPII存在的情况下，以及推断不一致性来自Amazon的情况下，锚定效应对标记者的评分影响更为显著。

表6 推理不一致的人像图片标注者的快乐和愤怒得分(BFW数据集)

(2)BFW数据集

    本文没有报告BFW数据集中的推断不一致性的结果，因为根据前文所述Microsoft和Amazon在该数据集上都没有任何推断不一致性。

    进行这些任务的人类标记者确实显示了锚定效应，并且这种效应受到人脸图片的种族群体的调节，表明了一种选择性的锚定效应。锚定效应在存在推断不一致性和更容易的任务实例中似乎较弱，并在存在更难的任务实例中更为显著，与H1a和H1b一致。

信息透明度与推理不一致

(1)信息透明度

    本文估计了一个混合效应模型：

    其中，LabelerScores是标记者对透明度条件k中主体i分配的得分(快乐或愤怒)，而Transparency是一个二元指示变量，表示标记者是否接收有关AI公平性的信息。在该分析中，本文研究了在每种情绪AI的透明度条件下，人类标记者的反应如何。

    NBA数据集：表7显示了标记者得分的回归结果。透明度对“快乐”情绪并不显著(列2-6)，但在大多数条件下，透明度的系数估计在“愤怒”情绪方面是显著的(列7-12)。根据情绪AI的不同，系数方向有所不同。被提供Face++或Microsoft生成的愤怒分数的标记者给出较低的愤怒分数(β=-0.10和β=-0.15)，而被提供Amazon的标记者给出较高的愤怒分数(β=0.21)。因此，对于H2a和H2b有一定的支持。三方交互不显著，暗示着没有证据支持H3a。

表7 带有信息透明度的标注者的快乐和愤怒得分(NBA数据集)

    BFW数据集：表8显示，透明度的系数估计在“快乐”情绪方面显著性不一(列1-4)，但在大多数条件下对“愤怒”情绪是显著的(列5-8)。对于被提供Amazon的“愤怒”分数的透明度系数估计是正的(β=0.31)，而对于被提供Microsoft的“愤怒”分数的透明度系数估计为负(β=-0.24)。存在有限的选择性锚定的证据;唯一显著的估计是Transparency-Race-African American之间的交互作用(β=0.31)，表明在标记者遇到非洲裔美国人的面孔时，透明度会增加“愤怒”分数。该分析支持H2a和H2b，但不支持H3a。

表8 带有信息透明度的标注者的快乐和愤怒得分(BFW数据集)

(2)人类推理的不一致性

    与算法一样，人类判断也可能产生推理上的不一致性。为了评估标记者得分的质量，本文研究透明度对人类推理不一致性的影响以及显示推理不一致性的标记者评分百分比。

    对于NBA数据集，微笑基于标记者的感知;对于BFW数据集，微笑基于研究者的编码。表9显示了情绪AI条件下标记者推理不一致性。我们观察到，人类标记者犯了与模型相同的错误(FNII和FPII)，但有证据表明，当为他们提供情绪AI评分时，人类标记者更不太可能犯这些错误。

表9 标注者推理不一致

    这个初步分析强调了锚定效应的潜在好处，即为人类标记者提供情绪AI评分可以减少这些标记者的推理不一致性。然而，当标记者面对非洲裔美国人和南亚人的照片时，虚阴性率可能更高，这表明标注的质量受到人口统计特征的影响。为了进一步分析这些人类推理的不一致性，我们采用以下模型：

    HumanInfIncons是一个二元指标，用于指示标注者对主体i的得分是否存在推理不一致性，即FPII或FNII。其他变量与已定义的类似。数据集限制在锚定和透明度条件下，以比较每个情绪AI条件下AI公平性的信息透明度。

    NBA数据集：表10显示信息透明度可能会增加标注者的推理不一致性。对于Amazon和Microsoft情绪AI得分，信息透明度条件会导致FNII的概率显着增加(Amazon的列1-2，Microsoft的列3-4)。系数估计范围从β = 0.56到β = 1.09，表明透明度可能出人意料地导致较低质量的评分。相比之下，关于AI公平性的信息透明度对于Face++情绪AI或FPII状况，大多数情况下并不显著(列5-12)。透明度和非裔美国人之间的交互作用对于提供Amazon情绪AI下的FNII状况(β = -0.69)是显著的;然而，它在不同条件下并不一致。因此，本研究对H3b的支持有限。

表10信息透明度和推理不一致性(NBA数据集)

    BFW数据集：表11显示，透明度的系数大多数情况下并不显著。类似地，对于提供Amazon情绪AI下的FNII状况，透明度×种族-非裔美国人和透明度×种族-南亚人之间的交互作用有显著的正系数估计，这表明与极低情绪AI得分相关的透明度会导致质量较差的决策。总体而言，并不支持H3b。

表11信息透明度和推理不一致性(BFW数据集)

    这项分析中的一个混淆因素是情绪AI得分的显著变化，这可能阻碍了标注者提供一致的得分。尽管有锚定效应的证据，但没有证据表明标注者可以有意义地调整差异或减少其总体推理不一致性的概率。

结论

1、本文证实了锚定效应的存在，并指出推理不一致性的调节影响，支持H1a和H1b。

2、在人类标注者面对较容易的情绪识别任务时，信息透明度的影响较小;而在面对更难的任务时，信息透明度的影响较大，符合H2a和H2b。

3、即使个体获得了有关AI公平性的信息透明度，这也不足以帮助他们克服锚定效应并充分调整他们的行为。实验结果未支持H3a。

4、对于某些人脸图片，信息透明度会增加标注者的不一致性，为H3b提供了有限的证据。

研究贡献

1、本文对信息系统相关文献作出诸多贡献，并通过探索信息透明度对个体决策的限制来扩展了算法公平性文献。本文指出认知偏见限制了个体对算法偏见进行抵消的潜力。

2、本文还与人工智能与人类协作的研究相关。这项研究观察到标注者在更困难的任务中更多地依赖情绪人工智能的评分，与先前的研究结果一致。这项研究还表明，为人类标注者提供有关人工智能公平性的信息对这类任务是有益的。

3、这项研究还引发了对情绪人工智能的疑问。这项研究发现，人工智能在情绪解读方面存在不稳定性，这一观察结果与其他质疑情绪普遍性的研究一致。

4、这项研究具有多重管理意义。这项研究表明，期望个体通过自己的选择产生公平结果可能是不切实际的，尽管关于公平信息在总体上对于追究人工智能开发者的责任是有价值的。

文献引用

Lauren Rhue (2023) The Anchoring Effect, Algorithmic Fairness, and the Limits of Information Transparency for Emotion Artificial Intelligence. Information Systems Research.

-END-

文本|宋佩璐

编辑|宋佩璐

校对|卢花、黄明月

指导教师|马双

来源|数字经济服务创新研究所