对llama扩充中文词表后直接增量预训练,忘记设置--modules_to_save embed_tokens,lm_head,所以导致向量维度不一致,出现下面的错误。
--modules_to_save embed_tokens,lm_head
出现这个错误的原因可能是因为维度或标签不一致。可以仔细排查一下。
京公网安备 11010502049817号