×

谷歌公布 Titans 系列模型架构：融合长短期记忆与注意力机制

AI

谷歌公布 Titans 系列模型架构：融合长短期记忆与注意力机制

hqy hqy 发表于2025-02-24 浏览10 评论0

IT之家 1 月 20 日消息，谷歌研究院发文，公布了“Titans”系列模型架构，相应模型架构最大的特点是采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过 200 万个 Token 的上下文长度，目前相关论文已发布在 arXiv 上（点此访问），谷歌计划未来将 Titans 相关技术开源。

AI

宏图智能物流申请种园区安全风险预警及响应预案生成方法专利，利用相关技术得出园区风险评分比烟酒更难戒的是“糖瘾”！一旦沾染，该如何敲响退“糖”鼓？

hqy hqy 发表于2025-02-24 浏览14 评论0

金融界2024年11月28日消息，国家知识产权局信息显示，宏图智能物流股份有限公司申请一项名为“种园区安全风险预警及响应预案生成方法”的专利，公开号CN 119026905 A，申请日期为2024年8月。

AI

国网江苏省电力申请基于两阶段注意力机制融合卷积神经网络和长短期记忆网络的公共建筑空调负荷分解分析专利，实现公共建筑空调负荷分解入侵微信头像的Hello Kitty，到底什么来头？

hqy hqy 发表于2025-02-24 浏览10 评论0

金融界2024年11月27日消息，国家知识产权局信息显示，国网江苏省电力有限公司镇江供电分公司申请一项名为“基于两阶段注意力机制融合卷积神经网络和长短期记忆网络的公共建筑空调负荷分解分析方法、装置及电子设备”的专利，公开号 CN 119026291 A，申请日期为2024年8月。

AI

武汉互创联合申请基于双向分类长短期记忆网络的时序细胞计数方法专利，可实现细胞图像序列中每个时间步的细胞状态和计数82年日本篡改侵华历史，香港鬼才黄霑愤慨写下神作，如今依然爆火

hqy hqy 发表于2025-02-24 浏览12 评论0

金融界2024年10月29日消息，国家知识产权局信息显示，武汉互创联合科技有限公司申请一项名为“基于双向分类长短期记忆网络的时序细胞计数方法”的专利，公开号CN 118823028 A，申请日期为2024年9月。

长短期记忆网络(LSTM)

AI

长短期记忆网络(LSTM)

hqy hqy 发表于2025-02-24 浏览12 评论0

      循环神经网络(Recurrent Neural Network,RNN)最早被提出用来寻找序列数据之中的内部关联。不同于传统神经网络模型，上一层的输出直接作为输入传输到下一层，之间完全没有任何关联。循环神经网络的特点就是可以利用的内部记忆功能处理依据时序排列的输入序列。其具体表现为可以将前一时刻的隐藏信息同当前信息一同考虑，并生成下一刻的输出，这样就将本来割裂的信息变得有联系。RNN 的结构图如图 1 所示，一个细胞内的输出 H 由 X 和 X 前一序列的值通过 tanh 函数后共同决定。可以看到经过 RNN 网络之后，原本三个不同序列的 X 值产生了关联。因此 RNN 的提出为解决序列问题提供了很好的思路，其也常常被应用在文字语义分割，语音情感分析等方面。