中国青年报客户端北京6月23日电(中青报·中青网见习记者 王璟瑄 记者 李瑞璇)在AI技术快速迭代的今天,毫无外语基础的人,似乎拿起手机就能和外国人交流;看不懂的外国文字,通过简单“扫一扫”就能无障碍阅读。不过,数智化的大语言模型能完全代替人工进行外语翻译吗?今天,北京第二外国语学院发布《大语言模型翻译质量评测报告 BISU-AiTQA(v1.0)》。该评测突破国际现有评测以英语为核心的现状,构建了以汉语为核心,覆盖多语种、多领域的大语言模型翻译质量评测体系。
报告中提到,虽然AI大语言模型在多语种的翻译任务中已达到接近人类译者的水平,但仍然存在无法理解复杂语言结构和深层语义、专业领域知识薄弱等问题。
北二外集中英语、日语、俄语、法语、阿拉伯语五个语种的师生力量,面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型,从当代文学、党政文献和外事新闻三个领域开展翻译质量测评研究。
语言不仅是沟通工具,更是人类思维方式的构建者。据了解,评测报告以汉语为核心、以中国特色文本为基础,从语言特征维度、神经网络维度构建了包括词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系,着重关注译文的语言使用特性,可有效识别模型在词法、句法和篇章衔接方面的能力,同时考察模型对语义的理解与语言表达能力。
从评测结果来看,即使生成式人工智能,目前也不完全具备处理复杂语言的能力,在借助人工智能技术时,使用者必须具有判断力,培养这种判断力正是外语教育重要的育人功能之一。
相关负责人表示,报告不仅实现了对大语言模型译文的多维分析,更以实证方式检验了模型对中国话语、文化意涵与政策表述的处理能力,填补了“以汉语为核心”的多语种评测空白。
来源:中国青年报客户端