解决Error(s) in loading state_dict for *** :

完整报错信息是：
Missing key(s) in state_dict:Unexpected key(s) in state_dict：
如下图所示：

可以利用debug来解决。使用ide（这里是vscode）的debug功能，查看一下newckpt中的内容，如下。

可以看出内容和报错信息极其相似，然而字典中每个键前面都多了一个"module"。如下对比。

因此，抓住本质，只需要修改一些checkpoint中键的名字就好了。
代码片段如下：

ckpt = checkpoint["model"]
newckpt = {}
for k,v in ckpt.items():
    k = (".").join(k.split(".")[1:])
    newckpt[k] = v

model.load_state_dict(newckpt)
1
2
3
4
5
6
7

这段代码就完成了字典中键的批量修改。

希望读者可以举一反三，通过debug，依据自己的报错信息来进行对应的修改。

---

这里有两篇相关的文章。

加载模型报错Missing key(s) in state_dict:
该篇提出使用

self.bert.load_state_dict(ckpt[“bert-base”]， False)
1

也就是加了个False。（strict=)True的话就要求训练权重层数的键值与新构建的模型的权重层数名称完全符合，(strict=)False就没有这个要求了。
这样可能会影响模型预测的效果。

Missing key(s) in state_dict

这篇与我类似，但他是少了个"module"，所以要补上。