金融界2025年2月13日消息，国家知识产权局信息显示，平安科技（深圳）有限公司申请一项名为“基于LoRA的注意力对齐微调方法、装置、设备及介质”的专利，公开号CN 119398103 A，申请日期为2024年10月。
专利摘要显示，本申请涉及人工智能及深度学习技术领域，提出了一种基于LoRA的注意力对齐微调方法、装置、设备及介质，该方法包括：获取已训练的初始预训练模型；冻结所述初始预训练模型的参数，并在所述预训练模型的每层设置LoRA模型，得到中间预训练模型；在所述中间预训练模型上加入注意力机制，得到最终预训练模型，其中，所述注意力机制的参数可训练；获取第一数据集，并使用所述第一数据集对所述最终预训练模型进行微调，得到微调后的目标模型。通过本申请的技术方案，加快卷积神经网络的微调速度，不增加推理时的计算量，微调时训练参数少，占用GPU内存少，训练速度加快。
天眼查资料显示，平安科技（深圳）有限公司，成立于2008年，位于深圳市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本531031.58万人民币，实缴资本531031.58万人民币。通过天眼查大数据分析，平安科技（深圳）有限公司共对外投资了4家企业，参与招投标项目276次，知识产权方面有商标信息75条，专利信息5000条，此外企业还拥有行政许可19个。
