本文源自:金融界
金融界 2025 年 5 月 16 日消息，国家知识产权局信息显示，山东浪潮科学研究院有限公司申请一项名为“一种联邦大语言模型的训练方法、装置、设备及介质”的专利，公开号 CN119990367A，申请日期为 2025 年 1 月。
专利摘要显示，本说明书实施例公开了一种联邦大语言模型的训练方法、装置、设备及介质，方法包括：对预置大语言模型蒸馏获得对应的小型语言模型，并将其下发至各个客户端；根据各客户端的本地私有数据对小型语言模型进行训练获得对应的模型权重参数矩阵，上传到服务器端；基于奇异值分解对各模型权重参数矩阵进行分解，以筛选关键奇异值与对应奇异向量并基于此更新模型权重参数；对更新后的模型权重参数进行加权，获得客户端汇总模型，以基于客户端汇总模型与小型语言模型进行加权，获得服务器端的当前小型语言模型；将当前小型语言模型基于预置大语言模型与当前小型语言模型的公共数据集进行知识迁移，实现对于预置大语言模型的训练更新。
天眼查资料显示，山东浪潮科学研究院有限公司，成立于2021年，位于济南市，是一家以从事研究和试验发展为主的企业。企业注册资本20000万人民币。通过天眼查大数据分析，山东浪潮科学研究院有限公司共对外投资了1家企业，参与招投标项目99次，财产线索方面有商标信息22条，专利信息2197条，此外企业还拥有行政许可5个。
