Transformer Bert总结不错的文章

矫情吗；* 2022-02-03 18:41 171阅读 0赞

普通的attention，例如BahdanauAttention，LuongAttention  
query为encoder的状态  
memory为Encoder的output作为（没有key\_m,value\_m这么一说，或者说key\_m和value\_m是相同的）

self attention  
可以看做是一种query机制，即用一个query来检索memory区域  
query表示为key\_q  
memory由一个键值对组成，<key\_m,value\_m>

Transformer论文  
Attention Is All You Need [https://arxiv.org/abs/1706.03762][https_arxiv.org_abs_1706.03762]

Bert论文  
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [https://arxiv.org/abs/1810.04805][https_arxiv.org_abs_1810.04805]

转载几篇总结得很不错的文章  
1.2017 Transformer  
[图解Transformer][Transformer]  
[“变形金刚”为何强大：从模型到代码全面解析Google Tensor2Tensor系统][Google Tensor2Tensor]  
2.2018 Bert  
[【论文笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（BERT模型理解）][BERT_ Pre-training of Deep Bidirectional Transformers for Language Understanding_BERT]

[https_arxiv.org_abs_1706.03762]: https://arxiv.org/abs/1706.03762
[https_arxiv.org_abs_1810.04805]: https://arxiv.org/abs/1810.04805
[Transformer]: https://blog.csdn.net/qq_41664845/article/details/84969266#commentBox
[Google Tensor2Tensor]: https://segmentfault.com/a/1190000015575985
[BERT_ Pre-training of Deep Bidirectional Transformers for Language Understanding_BERT]: https://www.jianshu.com/p/4cb1f255cd7c

发表评论取消回复

表情：

评论列表（有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读

相关 transformer及BERT深入理解

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

川长思鸟来/ 2023年07月24日 12:00/ 0 赞/ 182 阅读

相关超细节的BERT/Transformer知识点

随着NLP的不断发展，对BERT/Transformer相关知识的研(mian)究(shi)应(ti)用(wen)，也越来越细节，下面尝试用QA的形式深入不浅出BERT/Tra

矫情吗；*/ 2022年11月25日 13:14/ 0 赞/ 228 阅读

相关 Bert提取句子特征(pytorch_transformers)

[英文文本][Link 1] [中文文本][Link 2] [Link 1]: https://blog.csdn.net/weixin_41519463/ar

﹏ヽ暗。殇╰゛Y/ 2022年11月15日 12:55/ 0 赞/ 194 阅读

相关理解BERT Transformer：Attention is not all you need！

> BERT是谷歌近期发布的一种自然语言处理模型，它在问答系统、自然语言推理和释义检测（paraphrase detection）等许多任务中都取得了突破性的进展。在这篇文章中

朱雀/ 2022年02月22日 11:52/ 0 赞/ 276 阅读

相关理解BERT Transformer：Attention is not all you need！

> BERT是谷歌近期发布的一种自然语言处理模型，它在问答系统、自然语言推理和释义检测（paraphrase detection）等许多任务中都取得了突破性的进展。在这篇文章中

本是古典何须时尚/ 2022年02月22日 05:36/ 0 赞/ 284 阅读

相关理解BERT Transformer：Attention is not all you need！

> BERT是谷歌近期发布的一种自然语言处理模型，它在问答系统、自然语言推理和释义检测（paraphrase detection）等许多任务中都取得了突破性的进展。在这篇文章中

ゞ浴缸里的玫瑰/ 2022年02月22日 01:55/ 0 赞/ 357 阅读

相关 Transformer Bert总结不错的文章

普通的attention，例如BahdanauAttention，LuongAttention query为encoder的状态 memory为Encoder的outp

矫情吗；*/ 2022年02月03日 18:41/ 0 赞/ 172 阅读

相关不错的c++文章

Effective C++：面向对象与继承 http://blog.jobbole.com/24641/[点击打开链接][Link 1] 有趣的 Linux 命令 [h

我会带着你远行/ 2022年01月16日 12:37/ 0 赞/ 184 阅读

相关几篇不错的 Web Service 入门文章

1、[http://www.15seconds.com/Issue/010430.htm][http_www.15seconds.com_Issue_010430.htm]

朴灿烈づ我的快乐病毒、/ 2021年12月01日 17:26/ 0 赞/ 223 阅读

相关 Transformer 和 Transformer-XL——从基础框架理解BERT与XLNet

目录写在前面 1. Transformer 1.1 从哪里来？ 1.2 有什么不同？ 1.2.1 Scaled Dot-Product Attention

﹏ヽ暗。殇╰゛Y/ 2021年10月19日 03:28/ 0 赞/ 906 阅读