NLP 学习之：2022.10.27 阶段性文章总结和筛选

Transformer

文章

• Transformer是如何实现机器翻译的？
• log_softmax与softmax的区别
• Transformer理论源码细节详解
• Transformer 代码复现+详解
• Transformer 中的 attention 原理
• Attention-is-all-you-need (github)

视频

• 源码实现细节视频教程（非常详细）
• 源码实现细节教程（不那么详细）

BERT

• huggingface 加载预训练模型
• pytorch-bert github完整实现
• 在自己的数据集上重新训练BERT（附代码）
• Bert 从头预训练

• Tricks:用自己的数据对Bert模型进行增量预训练

• 超细节的BERT/Transformer知识点

• 男朋友给女朋友讲的BERT实现，两个小时很细致的代码讲解
• 男朋友给女朋友讲 BERT 知识蒸馏
• PDF 形式的Bert 源码分析，很长，超详细

pytorch 课程

• 深度学习进阶——pytorch

其他

• 获取神经网络中不同中间层的输出（三种方法）
• Pytorch 进行知识蒸馏
• Hugging Face 中文预训练模型使用介绍及情感分析项目实战
• Jieba分词词性标注以及词性说明
• pytorch Embedding 层中的 pad_index 的作用
• 那个屠榜的T5模型，现在可以在中文上玩玩了
• 关键词提取方案（知乎）
• docx 后缀文件读取

Prompt learning

• 很好的 prompt learning 概述

文本风格迁移论文列表

• github链接

GPT2

• 中文 GPT2 预训练实战（博客）
• minGPT （github）

• GPT2-NewsTitle

• GPT-2：结构、数据和字节对编码

为什么 GPT2 要使用 bpe 编码的方式

数据集

• 中文摘要数据集汇总（介绍文章）
• 中文摘要数据集汇总（数据集github网址）

预训练模型

• T5 PEGASUS （github 地址）

深度学习

• 李宏毅 2022 深度学习教程（更新版）
• 李沐：动手学深度学习v2 机器翻译与数据集