AI小科普 | 长短期记忆神经网络

长短期记忆神经网络（Long Short-Term Memory），简称LSTM，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，它是一种循环神经网络的特殊类型。传统的循环神经网络有一个问题是后面时间的节点对于前面时间的节点感知力下降，而长短期记忆神经网络可以解决这个问题。

长短期记忆神经网络不同于循环神经网络的地方，在于它在算法中加入了一个判断信息有用与否的处理器，放置三扇门：输入门、遗忘门和输出门。一个信息进入长短期记忆神经网络当中，根据规则可以判断此信息是否有用。只有符合规则的信息才会被留下，不符合规则的信息则通过遗忘门被遗忘。就前传递而言，输入门学习来决定何时让激活传入存储单元，而输出门学习何时让激活传出存储单元。相应的，关于后传递，输出门是在学习何时让错误流入存储单元，而输入门学习何时让它流出存储单元，并传到网络的其余部分。

长短期记忆神经网络于1997年首先被Sepp Hochreiter和Jurgen Schmidhuber提出。在许多问题中，它的表现要比传统的递归神经网络出色，在多种多样的手写识别和图像加字幕任务上非常成功。微软、亚马逊、谷歌、百度都在使用基于长短期记忆神经网络的系统，它可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等。