深度学习-AlexNet论文精读

• 论文相对于博文是第一手资料，并且如果研究的东西比较前沿是搜不到相关的博文。
• 谷歌学术论文名：ImageNet Classification with Deep Convolutional Neural Networks。
• 论文下载
• 论文阅读
  • 一篇论文读三遍，不一定需要读完。
  • 第一遍读题目，摘要，结论来判断当前文章和手头工作是否相关。读不懂没关系，后面会有说明。
  • 第二遍通读，网络参数、细节可以忽略，弄明白整个算法，流程，背景
  • 如果想复现论文，读第三遍，关注细节，网络的大小，参数设置，优化器等，去复现论文。
  • 一般论文读两遍就够了，很少论文需要去复现。
• 专有名词
  • top-1：常说的准确率
  • top-5：把准确率最大的5张拿出来，如果有一张预测正确了，就说明预测正确了
  • state-of-the-art(SOTA)：最优
  • prior knowledge：先验知识
• 论文写作：
  • 写作思路：先提出现状，再提出问题，再提出解决方案
  • 注意词汇contribution：表示之前没有，这篇论文的创新点。
  • 第二遍读的时候Dataset模块可以略读，ImageNet严格意义上是很大的，常说的或比赛中用的一般是它的子集，比较小。
  • 因为有神经网络的存在，所以模型只能接收固定尺寸的输入。
  • 论文模型结构图非常重要，如果图明白了，下面文字甚至都可以不看
  • 写作思路：列举清楚之前的工作，然后和自己的工作对比
  • 笔记本显存好一点一般8g或12g，中端服务器32g，高端服务器更大
  • 论文里会有博文里一些没有的细节
  • 如果看到better than the previous state-of-the-art，说明文章很前沿，值得阅读
  • 摘要中读不懂没关系，后面肯定有解释，先撂在那
  • 写作技巧：自己的错误率先摆出来，然后再把第二名的错误率摆出来对比。
  • 看论文要有批判性思维，论文里讲的不一定100%正确，也是大家的研究成果，要有能力去怀疑他们的正确性，如果没给源代码，怀疑的可能性更大。
  • 提升精度的技巧：对一张图片不一定只做一次预测，可以把一张图片分成5部分，然后对图片进行5次预测，然后求平均。
  • 我们写论文的时候不要避讳前人的工作，要注意对比，我的工作和前人工作有哪些不一样的地方。
  • PPT可以画出非常好的图