G1D27-deberta&右键创建md文档

回家啦！！！中午的炒饭太好吃了！！吃的好撑！！回家后和mm去了超市，买了冰淇淋、薯片和水果，好开心！！！
下午睡了一会觉，真的好舒服！但是没睡醒！要起来做一些比赛相关的东西

一、Deberta

又看了一下deberta的视频，作总结如下：
文章主要强调下面两个点

1、disentangled position info

（1）注意力机制缺少的位置信息，用table解决

​ table中装了位置向量

（2）原来处理位置向量

​ 相加

（3）现在位置处理方法

C-C:我是C,我该关心什么内容

C-P：我是C，我该关心哪个相对位置

P-C：我在位置P，我该关心什么内容

P-P：我在位置P，我该关心什么位置。

2、Relative position

（1）不考虑具体的位置信息，只考虑词语间的相对信息，就像cnn和全连接。

我在位置2，我喜欢3；我在位置5，我喜欢6；我在位置7，我喜欢8；

我喜欢我后面的那个。

（2）使用window

（3）最后一层用absolute position

二、NLP

（一）文本生成模型问题定义

这个定义真的好棒！！！最大化P即可

N、杂

（一）右键创建typora

参照这个链接改注册表，成功啦！
https://www.zhihu.com/question/267616299

（二）注册表

好像是windows独有的诶，存放系统和应用程序的设置信息