如今，GenAI在客户服务领域无处不在，它驱动着聊天机器人、虚拟助手、智能帮助中心，甚至还能为客服人员起草电子邮件，在大多数情况下，它的表现都很出色。
然而，有一个重大问题却常常被忽视——AI幻觉。
当AI生成的答案看似合理，但实则与事实不符或完全是凭空捏造时，就会产生幻觉，在实时客服对话中，这些幻觉会引发严重问题，错误的答案会削弱客户信任、损害品牌信誉，还会给整个客服团队带来额外的工作负担。
过去一年，随着GenAI成为模型开发的核心，我频繁遇到这类幻觉问题。我想分享一下我的观察结果，解释为什么常规的安全检查并不总能发现这些问题，以及客户体验负责人可以采取哪些措施来降低此类风险。
AI幻觉在客户服务中可能引发的严重后果
客户服务工作充满变数。我在支持场景中使用AI已有较长时间，深知这些工具需要实时处理棘手、情绪化且紧急的对话。在这种情况下，如果AI编造信息，那就不仅仅是出现故障那么简单了，它可能会触犯法律、引发安全问题，或让客户感到沮丧。
麦肯锡2025年的一份报告发现，50%的美国员工认为不准确(包括幻觉问题)是GenAI面临的最大风险，这种担忧不无道理，在一起法律案件中，一位联邦法官发现，一款GenAI工具编造了引用内容，导致涉案律师受到制裁。
在客户服务领域，也有类似案例，一位开发者在使用Cursor的AI客服聊天机器人时发现，该系统编造了一项订阅政策，限制每个账户的设备数量，而这项政策实际上并不存在，这引发了用户的不满和公众的强烈反对。
在我开展第一个GenAI项目——构建AI电子邮件起草工具时，也遇到了同样的问题，偶尔，AI会自信地提出一些看似合理，但实际上在我们官方知识库中并不存在的解决方案或政策，这迫使我们在将该工具部署到面向客户的应用程序之前，重新设计流程和保障措施，以应对幻觉风险。
为什么AI幻觉问题会频繁出现?
客户服务AI出现幻觉的根本原因
行业专家认为，AI幻觉问题通常由以下几个常见原因引起：
训练数据问题
• 数据不足或质量低下：AI模型通过大量数据集进行学习，如果数据有限、存在偏差或不完整，模型就会生成不可靠的回复，谷歌云指出，训练数据质量不佳是导致幻觉问题的一个重要因素。
• 过度拟合：当模型过于依赖训练数据时，就难以适应新情况，IBM解释说，过度拟合会导致模型“记住噪声”，而非理解模式。
• 数据过时：如果AI系统从陈旧的知识库中获取信息，可能会用错误的假设来填补信息空白。
模型局限性
• 生成式特性：GenAI通过预测序列中的下一个单词来生成内容，而不会主动验证事实。
• 上下文窗口限制：大语言模型(LLM)的上下文窗口有限，可能导致其遗漏对话细节。
• 模型架构缺陷：设计不佳的AI系统，若存在有缺陷的注意力机制或假设，就容易产生幻觉，Data.world指出，过于复杂或配置不当的AI模型可能会生成不准确的回复。
• 数据检索能力弱(在检索增强生成模型中)：在检索增强生成模型中，检索到的信息不完整或不相关，可能会产生幻觉答案。
外部因素
• 对抗性攻击：恶意用户可以通过操纵输入内容，故意诱发AI产生幻觉。
• 语言微妙性：模糊的表述或俚语常常会让AI模型产生误解。
明智的公司如何应对这一问题
好消息是，多家公司正在积极完善其AI安全实践：
• 人工反馈循环：CVS Health在AI偶尔提供可疑的医疗建议后，增加了人工审核环节，这凸显了在关键场景中保持人工参与的重要性。
• 检索增强生成(RAG)：DoorDash采用了检索增强生成技术，该技术包含三个要素——检索增强生成系统、大语言模型防护栏和大语言模型评估器，以确保AI回复基于经过验证的知识库、设置防护措施并持续监控性能，从而提高准确性。
• 无缝人工交接：专家强调，要为AI何时应将对话转交给人工客服制定明确的操作手册，特别是对于敏感或复杂的咨询。
客户体验负责人现在应关注哪些方面
如果你负责管理客户体验，可以考虑采取以下措施来降低幻觉风险：
• 优先使用高质量的实时数据：使用准确、最新且与产品和服务相关的数据来训练GenAI模型。建立定期更新数据的流程，确保AI获取到最新信息。
• 采用人机协同方式：将人工客服纳入AI工作流程，对敏感回复进行审核和批准。编程设定AI在置信度低于预设阈值时，将对话转交给人工处理。
• 明确AI的目标和限制：限定AI的回答范围，明确其可以回答和不应尝试回答的问题。
• 进行全面测试和评估：使用假设的客户场景定期测试AI系统，并监控客户满意度(CSAT)得分和转交率等指标。
• 持续监控和迭代：像监控服务中断或数据泄露一样，跟踪幻觉案例。利用这些洞察来优化模型。
• 对客户保持透明：告知用户AI的参与情况，并提供便捷的选项，以便他们联系人工客服。
AI正迅速成为客户体验运营的核心，虽然幻觉问题看似罕见，但一旦发生，就可能造成持久损害，负责任地处理这一问题的公司认识到，AI系统需要持续监督、主动防护措施，以及技术团队与人工团队之间的紧密协作。
关键在于：AI不应被视为“一劳永逸”的解决方案，它需要持续关注、调整，以及一套将棘手案例转交给人工处理的智能流程，这不是弱点，而是优秀领导力和智能系统设计的体现。
