关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Bedrock， Responsible Ai Implementation， Generative Ai Challenges， Model Evaluation Techniques， Ai Guardrails Configuration， Automated Reasoning Checks]
导读生成式人工智能的快速发展带来了令人期待的创新，但同时也引发了关于其安全和负责任开发与使用的新挑战。虽然偏见和可解释性等问题在生成式人工智能出现之前就已存在，但大型语言模型带来了诸如幻觉和有害内容等新的挑战。参加本次讨论，了解您的组织如何开始负责任的人工智能之旅。获取与生成式人工智能相关挑战的概览，并了解亚马逊云科技在实践中如何负责任地使用人工智能，包括亚马逊云科技提供的工具。同时还将听取思科分享其在生成式人工智能方面负责任创新的方法。
演讲精华以下是小编为您整理的本次演讲的精华。
在人工智能领域，生成式AI模型的出现开启了一个前所未有的能力新时代，但同时也揭示了无数风险和挑战，需要谨慎考虑。本次演讲深入探讨了亚马逊云科技和思科在负责任AI方面所做的努力，阐明了他们在这一变革性技术的复杂环境中的应对方法。
故事从亚马逊云科技人工智能/机器学习全球技术负责人Denis Batalov开始，他介绍自己的角色是协助客户在亚马逊云科技平台上构建AI/ML应用程序。他的职责延伸到在生成式AI模型出现之前就开始领导亚马逊云科技的负责任AI计划。与他同台的是思科软件工程总监Matt Fray，他将后来分享思科在负责任AI实践方面的历程。
Denis承认生成式AI具有巨大的潜力，将其描述为机器学习能力的一个飞跃。然而，他也强调了相关的风险和挑战，包括幻觉——与现实偏离的错误输出，如手指数量不正确的图像。尽管在缓解这些问题方面取得了重大进展，但偶尔仍会出现这种情况，即使数字方面是准确的。
传统AI/ML与生成式AI之间的一个关键区别在于模型本身的性质。传统模型专门用于特定任务，而生成式AI模型则广泛适用于各种现成的用例。然而，这种通用性也带来了新的风险和挑战。
Denis举例说明了生成式AI的潜在陷阱。律师使用这些工具搜索案例法时遇到了幻觉，导致生成了虚构的案例。聊天机器人误解政策可能会给用户带来昂贵的错误。在医疗领域，如果未被发现和纠正，AI在病人总结中的转录错误可能会带来严重后果。
然而，Denis承认，在某些创意应用中，如生成想象力丰富的艺术作品或讲故事时，幻觉可能是可取的。
为了解决生成式AI带来的新风险和挑战，Denis介绍了亚马逊云科技负责任AI的八大支柱:可控性、隐私和安全性、安全性、偏差和公平性、真实性和稳健性、可解释性、透明度和治理。
Denis强调，在着手AI项目之前评估AI风险至关重要。这涉及确定利益相关者、确定潜在有害事件的严重程度级别，并评估其发生的可能性。亚马逊云科技一直通过研讨会和博客文章积极协助客户进行这种风险评估，提供指导，帮助他们应对AI风险管理的复杂性。
解决偏差和公平性是负责任AI的一个关键方面。虽然检测传统机器学习中偏差的技术已经成熟，如Amazon SageMaker Clarify提供了21种不同的偏差指标，但挑战在于选择合适的公平标准。Denis解释说，公平没有单一定义，追求一种标准可能会无意中导致另一种标准下的不公平。在准确性和公平性之间权衡取舍需要谨慎考虑和决策。
在生成式AI领域，测量偏差带来了额外的挑战。Denis提倡基于结果评估公平性，评估系统在决策过程中是否存在偏差，如贷款审批或退款请求。
可解释性是负责任AI的另一个关键方面，与透明度不同。可解释性侧重于理解模型是如何得出特定输出的，而透明度则涉及对AI系统的整体架构和算法的理解。
对于传统机器学习，已采用了LIME和SHAP等模型无关的方法，通过扰动输入并观察相应的输出变化，从而构建对不透明系统行为的心理模型。Denis举了SageMaker Canvas的例子，其中使用了特征归因和分布来解释模型对结直肠癌存活率的预测。
然而，生成式AI的可解释性仍然是一个活跃的研究领域。虽然有一些方法涉及分析转换器架构的内部工作原理，但将这些方法转化为模型无关的情况仍然具有挑战性。Denis承认，对于生成式AI可解释性，现成且易于使用的工具仍然缺乏。
可控性，即监控和引导AI系统的能力，是另一个关键方面。Denis强调了亚马逊云科技提供的可观察性功能，包括监控API活动和故障排查的工具。他还介绍了基岩代理的概念，允许用户干预并批准或拒绝某些可能产生副作用的操作，提供了额外的控制层。
隐私和安全性是负责任开发和部署AI系统的重中之重。亚马逊云科技对数据隐私的承诺是坚定不移的，明确承诺永远不会使用客户数据来改进亚马逊云科技模型或基岩平台上提供的第三方模型。提示和完成情况默认不会被存储，如果需要，客户可以选择将日志配置到自己的S3存储桶中。
此外，亚马逊云科技确保数据在处理过程中保持在所选区域内，除非明确配置了跨区域推理。加密、访问管理和合规制度进一步加强了现有的隐私和安全措施。
解决安全性、有害内容和真实性问题至关重要，尤其是在生成式AI的背景下。Denis介绍了亚马逊云科技的模型评估功能，包括使用标准数据集进行自动评估和针对特定用例的人工评估。最近推出的Amazon Bedrock Evaluations功能将大型语言模型(LLM)作为评判员，以较低的成本实现可扩展的人工评估。
为了减轻潜在风险，亚马逊云科技推出了Amazon Bedrock Guardrails，允许对应用程序进行定制的防护措施。这些防护措施包括针对仇恨言论、侮辱、性内容、暴力和不当行为的内容过滤，以及拒绝主题配置，以防止聊天机器人参与与品牌无关或不相关的对话。
此外，情境植根和相关性检查可确保生成的输出植根于所提供的上下文，并与所提出的问题相关，从而防止幻觉的出现。最近宣布的自动推理检查更进一步，利用用自然语言定义的逻辑规则，将语言模型的输出与策略进行明确的推理和验证。
透明度是亚马逊云科技负责任AI的另一个关键支柱。生成的图像中嵌入了不可见的数字水印和数字签名，可以验证其AI生成的性质。亚马逊云科技还发布了AI服务卡和技术报告，提供了有关其模型的训练、基准测试和预期用例的透明度。
随后，思科的Matt Fray上台分享了思科的负责任AI之旅。他首先解释了思科构建连接人与人的桥梁的愿景，强调该公司专注于网络解决方案和协作软件套件，如Webex和Contact Center。
在思科的协作业务部门内，云AI团队扮演着核心角色，为寻求将AI功能集成到其产品中的产品团队提供AI功能。Matt的团队处于产品经理、工程团队和管理AI开发的集中式思科政策的交叉点。
Matt概述了思科三大类AI用例:具有AI功能的供应商产品或服务、思科内部用例，以及将AI集成到思科为客户提供的产品中。以负责任的方式满足这些不同需求需要各个团队之间的密切合作，包括法律、隐私、采购、IT、工程、营销和销售。
教育在克服误解并建立评估AI用例的健全流程方面发挥了关键作用。Matt强调了解用于推理、训练和评估的现成模型之间的差异，以及这些差异如何影响客户数据和安全数据使用实践的重要性。
思科的负责任AI计划被比作一座桥梁，以安全、可靠和道德的方式将用户与AI连接起来。Matt将评估过程分为三个部分:基础(模型本身)、基础设施(平台和供应商)以及端到端的用户体验。
对于模型，思科评估预期用途、训练数据来源、已知偏差、边缘案例和许可条款。这包括与商业供应商和开源社区接触，了解他们的数据采集和注释实践，并就法律合同进行谈判。
在评估供应商和平台时，思科会考虑数据隐私和安全措施、可用性和支持、内容审核能力以及生成内容的所有权。模型的生命周期也是一个关键考虑因素，因为模型可能会被弃用，需要一个过程来过渡到新模型，同时保持一致的客户体验。
对于终端使用案例，思科公司会审查使用人工智能的适当性、潜在的负面影响、数据风险、终端用户的授权和赋权、防护措施以及整体系统概览，以减轻错误累积的风险。
Matt举例说明了思科公司为呼叫中心提供的主题分析功能，该功能可以提取客户来电原因并将其归类为不同主题。最初，该功能完全依赖人工智能进行处理，但思科公司意识到了错误累积的潜在风险，因此调整了用户体验，引入人工监督，允许用户审查、编辑和重新生成主题分类，在人工智能辅助和人工控制之间达到平衡。
透明度是思科公司的一个重点关注领域，他们为每个基于人工智能的功能引入了透明度说明。这些说明使客户能够快速识别与数据流程和处理相关的潜在问题，从而让他们能够就人工智能功能是否适合自己的业务做出明智决策。
Denis随后介绍了亚马逊云科技的自动推理检查功能，这是一项突破性的功能，它采用自然语言定义的逻辑规则进行明确的推理。这些规则被应用于验证语言模型的输出是否符合相关政策，通过突出违反的具体规则和无效原因，提供了一种可解释性。
自动推理检查利用一阶逻辑和从文本中提取变量，实现对提取的变量进行推理。Denis强调了这一功能的行业首创性，并鼓励与会者申请访问受限预览版，探索其在各种使用案例中的潜力。
总之，这篇演讲深入探讨了亚马逊云科技和思科公司在负责任人工智能方面所做的努力，解决了与生成式人工智能模型相关的挑战和风险。它强调了评估风险、评估模型、实施防护措施、引入人工监督以及促进透明度的重要性，以确保人工智能系统的道德和负责任的开发与部署。通过遵循这些原则，组织可以利用人工智能的变革力量，同时减轻潜在的风险，赢得利益相关方和客户的信任。
下面是一些演讲现场的精彩瞬间：
亚马逊强调了生成式人工智能带来的新兴风险和挑战，包括真实性、知识产权、数据隐私、有害内容和安全问题。
强调了在人工智能系统中可控性和可观察性的重要性，能够通过Bedrock智能体中的行动组等功能来监控和干预潜在的有害行为。
强调在制定负责任的人工智能政策时，了解训练、评估和推理之间的差异的重要性。
Webex的人工智能功能，包括背景虚化、手势识别、重新照明、背景噪音消减和语音识别，增强了虚拟会议体验。
思科讨论了人工智能生成内容所有权和知识产权的复杂性，强调了涉及多个利益相关方，需要明确的指导方针。
演讲者解释了自动化推理检查的工作原理，使用逻辑和提取的变量根据特定规则验证提交内容，为某些内容被视为无效提供了可解释性。
亚马逊的Denis Batalov是一位全球人工智能/机器学习技术领导者，他讨论了公司在负责任人工智能方面的方法，强调了评估风险、解决偏差、确保可解释性以及维护对人工智能系统的控制的重要性。他强调了SageMaker Clarify用于偏差检测、模型评估用于评估质量和安全性，以及Bedrock Guardrails用于定制保护措施等工具。
Batalov强调了透明度、数据隐私和安全措施的必要性，并重申了亚马逊对客户数据控制权的承诺。他还介绍了亚马逊的新自动化推理检查，该检查使用逻辑规则来验证人工智能输出是否符合定义的政策，从而提高了安全性和合规性。
思科的Matt Fray随后分享了他们在负责任人工智能方面的经历，详细介绍了他们对模型、平台和最终用例进行的评估。他强调了教育、理解模型局限性以及通过透明度和控制权赋予最终用户权力的重要性。Fray展示了思科的透明度说明，这些说明为客户提供了关于人工智能驱动功能的见解，从而增进了信任并促进了知情决策。
最后，Batalov重申了自动化推理检查的重要性，它能够根据政策文件中明确的规则来验证人工智能输出，从而提高了人工智能应用中的安全性和合规性。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。返回搜狐，查看更多
