实体对齐模型训练知识储备

实体对齐模型训练知识储备

• 1、对比学习
• 2、跨语言模型
• • 2.1、为什么要预训练
  • 2.2、PTMs两大范式
  • • 2.2.1、浅层词嵌入
    • 2.2.2、预训练编码器
  • 2.3、PTMs两大任务
  • • 2.3.1、基于上下文（Context Based）
    • 2.3.2、基于对比（Contrastive Based）
  • 2.4、跨语言模型
  • • 2.4.1、XLM（Cross-lingual Language Model Pretraining ）
    • 2.4.2、XLM-R（Unsupervised Cross-lingual Representation Learning at Scale）
    • 2.4.3、mBART（Multilingual Denoising Pre-training for Neural Machine Translation ）
    • 2.4.4、XLM-E（Cross-lingual Language Model Pre-training via ELECTRA）
    • 2.4.5、LaBSE（Language-agnostic BERT Sentence Embedding）
• 3、图注意力网络
• • 3.1、评价指标