原创 于天昊 央视网
关于AI的冷思考之二
当看到AI给自己整理的法条错误百出后，律师助理郑一涵出了一身冷汗。
“《中华人民共和国行政诉讼法》原文第三十三条是证据类型的规定，AI 却告诉我的是证据收集的要求——AI在乱编。”郑一涵说。
起初，她只是试着将整理法条的工作交给AI来做，却意外地“开启了新世界的大门”：大部分情况下AI的回答全面细致，省去了大量时间。
后来，郑一涵开始习惯性地先交给AI做一遍。
图源：视觉中国
这次，AI提供的法条信息来自一个完全不知名的个人账号。郑一涵发现，“很多所谓的‘普法’账号，提供了很多法律条文和解释，但大部分都是错的。”
郑一涵说，自己“把AI当助理”的幻想破灭了。
2024年，AI进入爆发之年，AI从概念变成大众工具，进入各行各业。
截至2024年6月，我国生成式人工智能产品的用户规模达到2.3亿人，更有数据显示，我国AI企业的应用率已经达到68%。截至2024年11月，我国生成式AI产品完成备案的数量达到309个。
但AI高速普及的另一面，AI幻觉给使用者带来的困扰，已经初现端倪。
AI有时耽误事
黄丽婷是山东潍坊的一位个体工商户，经营一家热带植物商店。
去年，黄丽婷接入了AI客服，以便24小时在线回复买家咨询。然而，刚接入2天，黄丽婷就被投诉了——一位用户在收货前申请退货，AI客服无法拦截快递，只能回复一些标准化的话术，惹恼了买家。
“它甚至会提供给买家错误的养护方法，比如不能接受阳光直射的植物，却建议买家放在阳台暴晒。”试用一个月后，黄丽婷放弃了AI客服，找了亲戚来帮忙。
社交平台上，不少用户抱怨AI客服不能准确理解意图、无法产生感情共鸣、无法处理部分操作，呼吁“和真人对话”。
图源：视觉中国
在一些大众接触得到的领域，AI也在大范围应用——以医疗为例，据不完全统计，国内有超200个医疗大模型，涉及场景广泛。
三甲医院主治医师李德新对AI的态度却相对谨慎，经常告诫新手医生切勿依赖AI。
李德新发现AI提供的一些参考文献在知网、PubMed等数据中并不存在。因此，诊疗过程中对医生的参与要求依然很高。
应用开发程序员郑启汉用上AI后同样“喜忧参半”。“一些会写但是写起来费时的代码，AI可以快速完成。以前要用2小时，现在只要5分钟。”
但这并不意味着高枕无忧：在DeBug（程序检测和故障排除）过程中，AI写的代码反而会成为一种负担。
图源：视觉中国
“以前的代码都是自己写的，对逻辑和结构都很熟悉。AI写的代码，我需要花更多的时间，先去理解AI逻辑结构。我也遇到过‘幻觉代码’，比如AI捏造不存在的库或者方法，出现没有被定义的变量、错误的语法结构，甚至出现数据库中不存在的字段。”
应对之道
无论是律师助理、个体商户，还是医生、程序员，他们在应对AI“幻觉”问题时，都给出了相同的解决办法——“人”。
“AI大模型存在‘算法黑箱’，使用者无法了解大模型是如何得出的结论，只能‘自己注意，自己审查’。”从事AI开发工作的程序员小路表示。
一些将AI技术应用到业务中的公司，则有着更为系统、全面的应对措施——特别是接触AI较早的企业，对AI的能力边界早已有认知和应对。
自动驾驶是AI应用的重要场景之一。“相对于人类而言，AI犯错的概率更低，但并不意味着它不会犯错。自动驾驶场景中，AI幻觉同样存在，比如感知错误等。”小马智行的技术人员说。
受访者供图
“投喂”更多数据、进行交叉验证，是目前除人工方法外减少幻觉产生的措施。
这位技术人员表示，“我们很早就开始了AI在自动驾驶领域的应用研究。因此，在AI使用的过程中，除了设立专门的人工团队来为遇到的各种可能情况兜底之外，也有多模型、多传感器的应用，在AI出现问题时进行相互融合和交叉验证。”
此外小马智行建立了一套仿真系统，收集大量的真实道路数据，经过处理放置在仿真系统中。
而从事产品回收再利用的企业爱回收，在2011年就引入了AI技术。目前在二手产品质检、智能价格引擎（电子产品实时定价系统）、供应链算法等方面都广泛应用了AI技术。
通过X光射线拍摄手机内部，运用AI图像算法精准识别配件维修、缺件、非原装、焊点等问题，节省人工质检岗位30%的拆机验机成本。受访者供图
“AI失误是一定存在的。人工质检也会出现偶尔失误的现象。在业务流程上，我们设计了人工兜底的方案，同时也会对AI模型的数据进行监控。”爱回收技术中心产品经理王泽俊说。
AI自身无法发现自己的失误。爱回收同样采取了类似“交叉验证”的方法，降低AI的失误率。在质检环节，业务流程中，设计了人工抽检环节，用户发起复核等环节，对数据异常情况进行复核，通过标准化流程控制AI模型的准确率。
“在企业决定‘拥抱AI’的时候，一定要破除对AI的全能滤镜——享受AI带来的成本压缩、效率提高的同时，也要对AI可能出现的错误有准备。”小路说。
怎么用才放心？
对于使用者而言，如何让AI变得更加可靠、可信，不仅需要使用者想办法。
“开发者应当与用户建立深度联系。”小路提出，“使用者的反馈非常重要。开发者能够通过使用者提供的数据优化、调整算法，从而降低幻觉出现的概率。”
但小路说这样的沟通机制目前仍比较缺乏。在一些AI产品页面，唯一的互动就是使用者对答案的“赞”或者“踩”，甚至没有反馈页面，有些大模型甚至只有应用商店的评价里才有用户的声音。
在一些重要领域，监管的必要性日益凸显。
“在医疗领域，对待AI不仅需要医生谨慎，更重要的是制度的监管。目前AI诊病的模型有非常多，但没有统一的、细化的监管标准。”李德新表示。
监管正在逐步跟进：除了《互联网诊疗监管细则（试行）》，一些地方也开始做出要求，比如湖南省医保局发布通知，禁止使用AI自动生成处方；北京成立了互联网诊疗监管平台等。
“还有一些所谓的咨询公司，恶意在互联网上搞‘信息污染’，大量编造错误信息，从而达到用户必须付费咨询的目的——这样污染信息的不法行为，应当出台法律法规予以严惩。”郑一涵说。
目前《网络暴力信息治理规定》《互联网信息服务管理办法》《中华人民共和国网络安全法》对暴力信息、不良信息等监管进行了明确规定，但针对一些事实错误信息、特别是不构成谣言的不实信息错误信息的监管治理仍然存在空缺。
“国家可以设立一个信息清理平台，定期聘请专业人士对网络上的错误和不实信息进行清理整治。”小路建议，但如何实现、保障长效运作，需要包括我们开发者和使用者在内的各方都参与共建。
相关阅读：
乙巳年
三月十三
2025-04-10
监制：李绍飞
编辑：于天昊
审校：孟夏
原创声明：本文为央视网原创作品，未经许可，禁止转载、复制、摘编、改写及进行网络传播等一切作品版权使用行为，违者将依法追究其相关法律责任。
继续滑动看下一个轻触阅读原文
央视网向上滑动看下一个
原标题：《AI助手为何变成了“猪队友”？》
