Self -Supervised Learning

Self -Supervised Learning

Self -Supervised Learning

个人学习笔记：
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ymikMXEp-1663393512177)(D:\Typora\images\image-20220916155913401.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-93qNWsfc-1663393472882)(D:\Typora\images\image-20220916162900210.png)]$

$![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-spULKcBO-1663393472883)(D:\Typora\images\image-20220916163456739.png)]]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZAJp9s47-1663393472884)(D:\Typora\images\image-20220916163942086.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rlcbtIeT-1663393472885)(D:\Typora\images\image-20220916164947343.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IRJ9LV99-1663393472885)(D:\Typora\images\image-20220916165625071.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6SOsc9JU-1663393472888)(D:\Typora\images\image-20220916170407119.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-79a6NIh8-1663393472889)(D:\Typora\images\image-20220916171140840.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d1QyneZg-1663393472889)(D:\Typora\images\image-20220916171729983.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DSSeMCmC-1663393472890)(D:\Typora\images\image-20220916172355167.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-650nRQBj-1663393472891)(D:\Typora\images\image-20220916172441176.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YdQEf3oI-1663393472891)(D:\Typora\images\image-20220916173458697.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yzeXvuZi-1663393472892)(D:\Typora\images\image-20220916173639210.png)]$

BART使用了MASS中的所有方法（五种），结果表现更好

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IAtSJmlc-1663393472892)(D:\Typora\images\image-20220916182910180.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bna41Csb-1663393472893)(D:\Typora\images\image-20220916183211174.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-55Sna0xN-1663393472893)(D:\Typora\images\image-20220916183626089.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AesIRkrl-1663393472894)(D:\Typora\images\image-20220916184110629.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p1syWPPW-1663393472894)(D:\Typora\images\image-20220916190603426.png)]$

实验：将DNA表示中的A、T、C和G随机赋英文单词，将每个类别组成一个文本，利用BERT进行分类。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pIhb9wOf-1663393472895)(D:\Typora\images\image-20220916191332887.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sxRb5MJl-1663393472895)(D:\Typora\images\image-20220916191431374.png)]$

实验结论：就算给BERT一个乱七八糟毫无逻辑的句子，对其进行分类，也可以得到一个较好的结果。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uRKT8n1v-1663393472895)(D:\Typora\images\image-20220916191659546.png)]$

多语言BERT

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X3F9mf4s-1663393472896)(D:\Typora\images\image-20220917102418087.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LvDuBFtf-1663393472896)(D:\Typora\images\image-20220917102554599.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W1i7ZOjN-1663393472897)(D:\Typora\images\image-20220917112325114.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c44zsHi8-1663393472897)(D:\Typora\images\image-20220917112613102.png)]$

以下是资料量为200K时的：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3eNjb0ER-1663393472898)(D:\Typora\images\image-20220917112854044.png)]$

资料量为1000K时：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4AD3hkKF-1663393472898)(D:\Typora\images\image-20220917112956883.png)]$

**实验：**输入英文时，输出仍为英文；输入中文输出也为中文。输入英文若有空格时，并没有输出中文，以此推论中文和英文向量间仍然具有差距。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o9ZZCEIy-1663393472899)(D:\Typora\images\image-20220917113549524.png)]$

**想法：**得出中文和英文向量间的平均差距，令得到的英文向量加上差距向量，使其转化为中文向量。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ESsSKy0B-1663393472900)(D:\Typora\images\image-20220917114227839.png)]$

测验例子：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q7tLl8j8-1663393472900)(D:\Typora\images\image-20220917114738260.png)]$

GPT系列

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CkXGiktf-1663393472901)(D:\Typora\images\image-20220917122243907.png)]$

GPT经过大量数据的训练后，提供一个句子（很短的信息），他可预测出之后的数据。（可不断向后预测，形成一个文本）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cXQKIH28-1663393472901)(D:\Typora\images\image-20220917124135459.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a8OR9QsD-1663393472902)(D:\Typora\images\image-20220917124519287.png)]$

实验结果：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CkoAKfu0-1663393472904)(D:\Typora\images\image-20220917124613598.png)]$

Beyond Text

不仅应用于文本上，还可应用于语音、视频上。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4vW3RYnS-1663393472906)(D:\Typora\images\image-20220917124925823.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eAp3vc2H-1663393472906)(D:\Typora\images\image-20220917125328881.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ASVFBaQU-1663393472907)(D:\Typora\images\image-20220917125731319.png)]$
相关阅读:
docker运行并进入MySQL容器
 工业4.0的安全挑战与解决方案
 ORA-09925 Unable to create audit trail file
js JSON.stringify() 的简单了解之函数的转换
 常用数学分布
 生产者消费者模型
 Kubernetes(31):kubeasz安装三主两从高可用集群
 Ubuntu Linux 24.04 安装apache web server操作记录
 海龟作图的简单介绍
 JVM 参数
原文地址：https://blog.csdn.net/qinnt/article/details/126904522

Self -Supervised Learning

多语言BERT

GPT系列

Beyond Text