G1D28-hinge loss fuction-RAGA pre总结-DeBERTa-杂七杂八visio&mathtype&excel

一、hinge loss和交叉熵对比

(一 )hinge loss主要思想

让正确分类和错误分类的距离达到λ。λ用于控制两种分类样本之间的距离。

（二）对比学习

自监督学习的一种，不依赖标注数据进行学习。蛮有意思的，但是今天没时间了！！有时间再细看！

二、deberta

（一）作图

（二）segment embedding

1、segment embedding
https://segmentfault.com/a/1190000021817185
Bert可以完成两个句子级别的任务。segmentembedding是为此设计的一种嵌入方法。
是bert里的一种标记方法，告诉模型，这是两个句子。
具体方法为，分别标记0、1

2、token embedding
对于token embedding来说，
（1）先要分词
（2）插入[CLS]和[SEP]
（3）做词级别的embedding

3、position embedding
初衷是因为transformer不能像rnn一样学习到顺序。
对于同一个词（在不同位置），学习得到的东西是一样的，所以得给一些位置信息的提示

(三)relative position embedding

自己看着公式想了一会，发现上网查查就懂啦
https://jaketae.github.io/study/relative-positional-encoding/

这个relative position matrix，每一行代表注意力看的是哪个token，每一个index代表不同token距离attention发出者的位置。

https://zhuanlan.zhihu.com/p/364828960

（四）scale

scale是batch_norm中的。主要是做缩放的。

三、presentation

(一)总结

今天终于做了RAGA的pre，自己讲的时候感觉不太清楚，没有提纲挈领的感觉。
1、下次pre要提前明确每一页slide要完成什么目的，写下来
2、讲完做些总结。

（二）同学建议

emm，做图的同学给了还不错的评价。记录下来叭，还蛮开心的，至少有点contribution~
1、“师姐太强了，深入浅出，第一个全听懂的。 ----------
我觉得都讲到位了”
2、

N、杂

（一）文件查杀

下载文件，被拦了，可以查杀一下，新思路欸！！
看不懂emmm

（二）给友友装mathtype

（三）取色器

（四)visio到处pdf公式变形

用打印存为pdf就不会变形啦~
另外svg就是可缩放矢量图

ps：在家坐着真的后背好痛啊

(五）excel绘制柱状图

emm好像是插入数据？挺方便的~