本文源自:金融界
金融界2025年6月28日消息，国家知识产权局信息显示，天翼云科技有限公司申请一项名为“大语言模型的推理服务部署方法、装置、设备和存储介质”的专利，公开号CN120218257A，申请日期为2025年05月。
专利摘要显示，本申请涉及一种大语言模型的推理服务部署方法、装置、设备和存储介质，涉及人工智能技术领域。所述方法包括：获取大语言模型的参数数量、多个待分配设备各自的显存容量、计算核心数量以及网络信息，并确定多种待分配设备的设备组合，每种设备组合由用于预填充阶段的第一设备和用于解码阶段的第二设备组成；针对每种设备组合，基于参数数量、多个待分配设备各自的显存容量以及单个输入文本单元对应的占位空间，确定文本单元处理能力；基于文本单元处理能力、多个待分配设备各自的计算核心数量，及网络信息，确定当前设备组合下的推理延迟；在多个设备组合中确定推理延迟符合预设延迟条件的目标设备组合。采用本方法能够提高大语言模型推理效率。
天眼查资料显示，天翼云科技有限公司，成立于2021年，位于北京市，是一家以从事互联网和相关服务为主的企业。企业注册资本476399万人民币。通过天眼查大数据分析，天翼云科技有限公司共对外投资了4家企业，参与招投标项目2129次，财产线索方面有商标信息15条，专利信息4449条，此外企业还拥有行政许可15个。
