山东大学软件学院深度学习期末回忆版

（大数据，2021级，老师是gys和cm，贝多芬，但是略微会有10% 的考试内容不在背诵范围内，看个人理解）

一、名词解释(8 * 3 = 24)

1、超参数
2、梯度确认
3、分布式表示
4、共现矩阵
5、Attention机制
6、Truncated BPTT
7、epoch
8、困惑度

二、简答题(6 * 8 = 48)

1、简述神经网络学习的过程。
2、为什么不能使用线性函数作为激活函数？
3、简述BatchNormalization的三个优点。
4、为什么Dropout能够抑制过拟合？
5、简述卷积神经网络的三个特点。
6、简述word2vec存在的问题以及其优化策略。

三、计算题(28)

1、（1）计算下面的全连接层的参数：输入图像是256*256的RGB图像，只有一个隐藏层，没有偏置，隐藏层的大小是10，输出层的大小是1000。
（2）简述随机梯度下降法低效的本质，并给出其他的三种不同的参数更新方法。
2、（1）请给出LSTM的内部计算结构图。
（2）简述三种门控单元的作用。
（3）简述对RNNLM的至少三种改进措施。