金融界 2024 年 12 月 26 日消息，国家知识产权局信息显示，中译语通科技（昆明）有限公司申请一项名为“一种基于 MoE 体系架构的超大规模多语言神经机器翻译方法”的专利，公开号 CN 119180290 A，申请日期为 2024 年 8 月。
专利摘要显示，本发明涉及自然语言处理技术领域，且公开了一种基于 MoE 体系架构的超大规模多语言神经机器翻译方法，S1、编码器与解码器采用基于 Transformer 的架构，并在其中嵌入 MoE 层；S2、MoE 层包含多个针对特定语言对或语言特性优化的专家模型；S3、设计动态门控机制，根据输入数据特征选择最合适的专家模型进行预测；S4、引入负载均衡机制，确保所有专家模型得到均衡训练和使用；S5、采用数据并行与 MoE 并行的组合策略进行模型训练；S6、应用知识蒸馏和量化技术对模型进行压缩和优化。基于 MoE 体系架构的超大规模多语言神经机器翻译方法是一种具有创新性和挑战性的技术。通过合理设计和优化模型结构、门控机制以及训练策略，可以显著提升多语言机器翻译的性能和效率。
