BERT 相关资源整理

文章

NLP文档挖宝(3)——能够快速设计参数的TrainingArguments类
使用 PyTorch 进行知识蒸馏
调节学习率
Huggingface简介及BERT代码浅析
使用huggingface的Transformers预训练自己的bert模型+FineTuning
BERT 预训练
预训练模型：从BERT到XLNet、RoBERTa、ALBERT

Bert如何使用预留的[unused*]
BERT 详解
Pytorch 保存模型与加载模型
BERT相关面试题（不定期更新）
【Pytorch】【torchtext(二)】Field详解
BERT模型蒸馏完全指南（原理/技巧/代码）
2021年如何科学的“微调”预训练模型？

topk 精度
BERT如何在小数据上finetune更稳
HuggingFace-Transformers系列的介绍以及在下游任务中的使用
从零实现BERT网络模型

视频

计算性能-如何让你的pytorch代码高效（torchscript）.mp4
基于BERT模型的文本分类实战和情感分析实战教程！华理博士半天就教会了我BERT模型！（唐宇迪）

from __future__ import print_function, absolute_import

__all__ = ['accuracy']

def accuracy(output, target, topk=(1,)):
    """Computes the precision@k for the specified values of k"""
    maxk = max(topk)
    batch_size = target.size(0)

    _, pred = output.topk(maxk, 1, True, True)
    pred = pred.t()
    correct = pred.eq(target.view(1, -1).expand_as(pred))

    res = []
    for k in topk:
        correct_k = correct[:k].view(-1).float().sum(0)
        res.append(correct_k.mul_(100.0 / batch_size))
return res
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

github

bert_cn_finetune

BERT-pytorch
Chinese-Text-Classification

https://github.com/ymcui/Chinese-BERT-wwm