金融界2025年4月29日消息，国家知识产权局信息显示，上海奇思信息技术有限公司申请一项名为“一种基于混合深度的transformer计算优化方法”的专利，公开号CN119883647A，申请日期为2025年1月。
专利摘要显示，本发明涉及一种基于混合深度的transformer计算优化方法，包括以下步骤：动态计算预算设定，每个Transformer块设定一个计算预算阈值；通过路由器模块计算每个token的动态重要性权重，使用Top‑K机制选择权重高的token进入自注意力计算路径，剩余token将进入残差路径；重要性较高的token将参与完整的自注意力机制和MLP层的计算，重要性较低的token则将绕过这些计算，通过残差路径直接进入下一层；在最终输出时两者合并；根据不同阶段的计算需求，动态调整计算预算和路由策略；将该Transformer模型应用于处理长序列任务。解决了现有Transformer模型在处理长文本序列时存在计算资源浪费和效率低下的问题，实现了灵活分配计算预算，从而减少不必要的计算开销，并保持模型的整体性能。
天眼查资料显示，上海奇思信息技术有限公司，成立于2011年，位于上海市，是一家以从事其他金融业为主的企业。企业注册资本20000万人民币。通过天眼查大数据分析，上海奇思信息技术有限公司共对外投资了2家企业，参与招投标项目143次，财产线索方面有商标信息24条，专利信息8条，此外企业还拥有行政许可7个。
本文源自金融界
