基准通常被简化为媒体报道中的排行榜排名，但他们在人工智能开发中的作用要重要得多。它们是模型评估的支柱——指导改进，实现可复制性，并确保现实世界的适用性。无论您是开发人员、数据科学家还是业务领导者，了解基准对于有效驾驭人工智能景观都至关重要。
基准的核心是旨在衡量人工智能能力的标准化评估。早期的例子，如GLUE（一般语言理解评估）和SuperGLUE，侧重于使用选择题或基于跨度的格式的自然语言理解任务，如句子相似性、问题回答和文本含义。今天的基准要复杂得多，反映了人工智能系统在生产中面临的复杂需求。现代评估不仅评估准确性，还评估代码质量、稳健性、可解释性、效率和特定领域的合规性等因素。
当代基准测试高级能力：保持长上下文连贯性，跨文本和图像进行多模态推理，并解决物理、化学和数学等领域的研究生级问题。例如，GPQA（研究生级谷歌证明问答基准）用生物学、物理和化学方面的问题挑战模型，即使是人类专家也觉得困难，而MATH（启发式数学能力测试）需要多步符号推理。这些基准越来越多地使用细微差别的评分标准，不仅要评估正确性，还要评估推理过程、一致性，在某些情况下，还要评估解释或思想链的一致性。
随着人工智能模型的改进，它们可以“饱和”基准——获得近乎完美的分数，限制了测试区分强模型和特殊模型的能力。这种现象造成了一场基准军备竞赛，促使研究人员不断开发更具挑战性、可解释性和公平的评估，以反映现实世界的用例，而不倾向于特定的建模方法。
跟上不断发展的模式
这种演变在人工智能编码代理领域尤为嚴峻。从基本代码完成到自主软件工程的飞跃推动了基准设计的重大变化。例如，OpenAI于2021年推出的HumanEval从提示中评估了Python函数的合成。快进到2025年，像SWE-bench这样的较新的基准评估人工智能代理是否可以解决从广泛使用的开源存储库中提取的实际GitHub问题，涉及多文件推理、依赖管理和集成测试——这些任务通常需要几个小时或几天的人工努力。
除了传统的编程任务外，新兴的基准现在还测试devops自动化（例如，CI/CD管理）、安全感知代码审查（例如，识别CVE），甚至产品解释（例如，将功能规范转化为实施计划）。考虑一个基准，人工智能必须将完整的应用程序从Python 2迁移到Python 3——一项涉及语法更改、依赖性更新、测试覆盖范围和部署编排的任务。
轨迹是明确的。随着人工智能编码代理从副驾驶者演变为自主贡献者，基准将变得更加关键和类似凭证。与法律领域进行比较是恰当的：法律学生可以毕业，但通过律师考试决定了他们的执业权。同样，我们可能会看到人工智能系统经过特定领域的“律师考试”，以赢得部署信任。
这在高风险部门尤为紧迫。从事金融基础设施工作的编码代理可能需要展示在加密、错误处理和遵守银行法规方面的能力。为医疗设备编写嵌入式代码的代理需要通过符合FDA标准和ISO安全认证的测试。
人工智能的质量控制系统
随着人工智能代理在软件开发中获得自主权，用于评估他们的基准将成为门卫——决定哪些系统值得信任来构建和维护关键基础设施。这种趋势不会止步于编码。期待人工智能在医学、法律、金融、教育等领域的认证基准。这些不仅仅是学术练习。基准被定位为人工智能世界的质量控制系统。
然而，我们还没到那里。创建真正有效的基准是昂贵、耗时的，而且困难得令人惊讶。考虑构建像SWE-bench这样的东西需要什么：策划数千个真实的GitHub问题，设置测试环境，验证问题是否可解决，以及设计公平评分系统。这个过程需要领域专家、工程师和几个月的改进，所有这些都是为了一个基准，随着模型的快速改进，基准可能会变得过时。
目前的基准也有盲点。模型可以在不开发真正能力的情况下进行游戏测试，而且性能通常不会转化为现实世界的结果。测量问题是根本性的。你如何测试人工智能是否能够真正“理解”代码，而不是仅仅匹配模式来纠正答案？
对更好的基准的投资不仅仅是学术性的，而是人工智能驱动的未来的基础设施。从今天的有缺陷的测试到明天的认证系统的道路将需要解决围绕成本、有效性和现实世界相关性的难题。了解基准的承诺和当前局限性对于导航人工智能最终如何被监管、部署和信任至关重要。
Abigail Wall是Runloop的产品经理。
