logo
Loading...

RNN模型与NLP应用(9/9):Self-Attention (自注意力机制) - Shusen Wang - 深度學習 Deep Learning 公開課 - Cupoy

这节课介绍Self-Attention (自注意力机制)。Self-Attention也叫做intra-attention,与Attention非常类似。但是Self-Attention不局限于S...

这节课介绍Self-Attention (自注意力机制)。Self-Attention也叫做intra-attention,与Attention非常类似。但是Self-Attention不局限于Seq2Seq模型,可以用在任何RNN上。实验证明Self-Attention对多种机器学习和自然语言处理的任务都有帮助。Transformer模型的主要原理就是Attention和Self-Attention。 课件:https://github.com/wangshusen/DeepLea...