大咖谈：防范ChatGPT和旅行AI工具中的偏见

数月来，人工智能（AI）被誉为是应对所有困扰企业问题的灵丹妙药，旅行公司也不例外，纷纷涉足其中以利用其潜力。

现在，甚至是在2022年11月发布ChatGPT的初创企业OpenAI的CEO，也在美国国会警告称有必要对他的公司以及谷歌和微软等类似公司正在开发的这一技术进行监管。

AI及其赋能的工具会让旅程互联（connected trips）像订购披萨一样简单并消除旅行中的摩擦吗？或者，它们会加剧不良信息的传播、抢走人类的工作或甚至是完全摧毁人类吗？

作为酒店平台Placemakr的数据科学主管，Jyotika Singh对AI以及自然语言处理工具能够带来的好处拥有广阔的视角。作为在男性主导领域中正在冉冉升起的一名女性，她还理解甚至是无意识的偏见会给个人和系统造成怎样的伤害。

Singh近日与PhocusWire就AI技术呈现的好处与缺陷进行了对话，该对话内容经浓缩和编辑如下。

答：与AI相伴的风险和担忧主要分为三个不同的类别。其中一个就是通用人工智能--AI接管世界、AI奇点以及人们担心AI会变得比人类更加强大。另外一个就是数据隐私，即如何使用您的数据来实际构建这些模型。第三个就是偏见，它与数据或模型本身更加相关。

一般而言，自然语言处理或AI中的偏见有两个主要来源。一个是用于构建和训练这些模型的数据。第二个是开发模型过程中使用的假设或构建模型的人员。

我给您举个例子。就数据来说，由于ChatGPT已经变得如此流行，我们更加意识到这些工具的作用。一个值得注意的事情就是，这些工具是建立在大量取自于互联网的数据基础上的：文章和社交媒体以及书籍，还有所有东西--许多不同的数据来源。现在，这些数据中存在着偏见。在社交媒体上，人们可以自由发表意见，对吧？不存在过滤器，不存在障碍。存在的问题就是，一旦有东西在社交媒体上变得流行，这些东西就会获得更多的分享。它会略微偏向于那些会变得流行的东西。

如果这些就是用来训练模型的数据，那么模型不可避免地会学习到这些模式。向模型投喂所有此类数据，模型就会从中学习到模式或是真正吸收它。这就是ChatGPT如何知晓所有这些话题并且能够解答与广泛类别相关的问题的。

答：有一个我总是能够看到的偏见示例。您打开"谷歌翻译"，然后输入英文"She is a doctor. He is a nurse."（她是一名医生。他是一名护士。）。如果您将它从一种更加性别中立化的语言翻译成匈牙利语或旁遮普语等语言，然后您再将它翻译回来，它就会变成"Hes a doctor. Shes a nurse."（他是一名医生。她是一名护士。）。这是关于此类偏见的一个非常热门的示例，特别是当它涉及到性别偏见时。更令人担忧的是，还存在暴露于人们面前的不正确或不安全信息的例子，而这些本来是不应暴露的。好在当这些报道公布时，几乎是立即采取了纠正行动。

答：这正是AI如何在一般程度上帮助企业的很大一部分。要能够理解您的客户的消息，或许还有他们询问的问题，并努力让它们更多地实现自动化，以便减少对真人的负担，这是一个巨大的领域。它不仅减少了真人客服代表的工作负担，还让组织能够灵活地对资源作良好的分配。

这并不是新东西。我们正在利用多个模型，包括大语言模型和一些其他技术，比如自然语言处理，来接收客户反馈并理解他们真正在谈论的内容。他们喜欢到达体验而不是技术吗？锁是否好用？或许，他们有一个维护问题没有解决。我们正在尝试以自动化方式捕获这点。

当您收到的评价数量较小时，比如说，或许数周内收到了20条评价，您不需要AI来帮助您处理它们。您只需要一定合理的时间就能看完这些评价，了解情况并采取纠正行动。当这一数量从20条扩大到像500条或一千条，甚至更多条，这时候，要人来全部手动查看这些用户消息以了解投诉领域和知晓需要采取哪些行动就极其耗费时间了。在Placemakr，AI到目前为止已节省了过去所需时间的大约53%，并且我们预计在这方面未来还会有更多的节省。

答：第一点就是意识：知道这个问题的存在。AI从业人员在构建模型时并非都是从头做起。如今有许多源可用，您可以拿一个经过预先训练的模型，用您的数据来进行调校。如果您真的关注于构建一个无偏见的系统，您或许能够处理您数据中的偏见，但是对于您正在使用的可能是开源的底层模型，就没有办法了。

答：当我们思考AI偏见及其发生的原因还有需要采取哪些措施时，常见的讨论点之一，主要解决因素之一，就是构建这些模型的团队的多样性。每个人都有不同的经验和经历，所以我们都会以某种方式发挥着某些偏见。不仅要有广泛代表的数据集，还要有实际构建这些模型、研究这一数据并确定如何测试这些模型或甚至应当存在怎样的测试用例的多样性的AI团队，您需要在那些构建这些产品的人员中也要有这样程度的代表。

答：是的。随着时间的推移，数据也会发生变化。随着您更新模型，这是否会带入新的偏见？这会对结果有怎样的影响？当您构建一些东西并且不确定偏见程度时，一个常见办法就是，您进行测试，现在又该怎么办呢？许多公司有时会向一组有限的个人开放它们的产品并收集反馈意见。借助于这些反馈，或许有些问题能够被立即发现并纠正。