这节课介绍Attention (注意力机制)。Attention第一篇论文发表在2015年,用于改进Sequence-to-Sequence (Seq2Seq) 模型,可以大幅提高机器翻译的准确率。Attention可以避免RNN遗忘的问题,而且可以让RNN关注最相关的信息。这节课详细讲解Attention如何与Seq2Seq模型结合。Attention的用途远不止Seq2Seq模型。之后课程会介绍Self-Attention、以及Transformer模型。
课件:https://github.com/wangshusen/DeepLea...