大语言模型面试心路历程【0 offer版】

10月记录自己大语言模型面试的经历，旨在可以帮助更多想要从事此方面的小伙伴。

北银金科

1.InstructGPT的训练过程
2.critic网络的作用
3.LSTM的原理，GRU与LSTM有什么不同
4.讲一下Bert的结构
5.讲一下自己的论文【KBQA相关】
6.GLM的结构和微调了哪些参数
7.LoRA和P-tuning的原理分别是什么
8.还了解哪些参数微调的方法
9.GLM和baichuan之间的比较
10.检索增强式大模型的理解
11.快速排序
12.计算单词的编辑距离

好未来

1.算法题977. 有序数组的平方
2.算法题 快速排序
3.算法题 按字典中value数组中第一个值进行排序
4.Transformer中self-attention的计算公式 为什么除以dk
5.为什么用多头注意力机制
6.大模型在多头注意力机制方面有哪些改进
7.微调过什么大模型
8.self-instruct如何根据种子数据集生成数据
9.P-tuning、Prefix tuning、LoRA的原理 隐式token向量是什么 怎么产生的
10.SGD的原理 一阶导数二阶导数

微奇点

1.微调ChatGLM的数据集，微调的效果，评价指标，训练了多长时间
2.baichuan与ChatGLM的比较
3.P-tuning、LoRA的原理
4.为什么大模型的输入文本会有限制
5.检索增强式大模型的了解
6.讲讲自己的论文
7.大语言模型结合向量数据库的了解
8.能来多长时间 每周几天 balabala~

1月记录自己大语言模型面试的经历，旨在可以帮助更多想要从事此方面的小伙伴。

快手

百川智能

百度

京北方

vivo

时间有些久远，慢慢回忆出来再更。