深度学习笔记Week3

1.归一化是将数据“拍扁”统一到区间（仅由极值决定），而标准化是更加“弹性”和“动态”的，和整体样本的分布有很大的关系

• 归一化：把数变为（0，1）之间的小数；缩放仅仅跟最大、最小值的差别有关。
• 标准化：将数据按比例缩放，使之落入一个小的特定区间；缩放与每个点都有关

2.如果在Linux下需要遍历访问某文件夹下的所有文件或子目录该怎么办？

解决：写个遍历脚本

1. 切换工作目录至/tmp

2. 依次向/tmp目录中的每个文件或子目录问好（Hello,log）

3. 统计/tmp目录下共有多少个文件，并显示出来

#!/bin/bash
cd /tmp
for i in /tmp/*
do
    echo "Hello , $i"
done
count=`ls -l|grep '^-'|wc -l`
echo "====file_count:$count===="
1
2
3
4
5
6
7
8

3.vim怎样快速替换字符串

:s/str1/str2/ 替换当前行第一个 str1 为 str2
:s/str1/str2/g 替换当前行中所有 str1 为 str2
:m,ns/str1/str2/ 替换第 n 行开始到最后一行中每一行的第一个 str1 为 str2
:m,ns/str1/str2/g 替换第 n 行开始到最后一行中所有的 str1 为 str2
(注：m和n 为数字，若m为 .，表示为当前行开始；若n为$，则表示到最后一行结束)
如果使用 # 作为分隔符，则中间出现的 / 不会作为分隔符，比如：
:s#str1/#str2/# 替换当前行第一个 str1/ 为 str2/
:%s+/oradata/apras/+/user01/apras1+ (使用+ 来 替换 / )： /oradata/apras/替换成/user01/apras1/
2. 其他:%s/str1/str2/（等同于 :g/str1/s//str2/） 替换每一行的第一个 str1 为 str2
:%s/str1/str2/g（等同于 :g/str1/s//str2/g 和 :1,$ s/str1/str2/g ） 替换文中所有 str1 为 str2
从替换命令可以看到，g 放在命令末尾，表示对搜索字符串的每次出现进行替换；不加 g，表示只对搜索
1
2
3
4
5
6
7
8
9
10
11

4.vim按键说明

vim的键盘图

5.全连接神经网络的原理和结构上的缺陷，正好是卷积的优势。

(1) 首先是学习原理上的改进，卷积神经网络不再是有监督学习了，不需要从图像中提取特征，而是直接从原始图像数据进行学习，这样可以最大程度的防止信息在还没有进入网络之前就丢失。

(2) 另一方面是学习方式的改进。前面说了全连接神经网络一层的结果是与上一层的节点全部连接的，100×100的图像，如果隐藏层也是同样大小（100*100个）的神经元，光是一层网络，就已经有 10^8 个参数。要优化和存储这样的参数量，是无法想象的，所以经典的神经网络，基本上隐藏层在一两层左右。而卷积神经网络某一层的结点，只与上一层的一个图像块相连。

用于产生同一个图像中各个空间位置像素的卷积核是同一个，这就是所谓的权值共享。对于与全连接层同样多的隐藏层，假如每个神经元只和输入10×10的局部patch相连接，且卷积核移动步长为10，则参数为：100×100×10×10，降低了2个数量级。

6.CIFAR10数据集也有60000张图像，不过图像为彩色。图像大小是32×32，分为10个类，每类6000张图。其中50000张用于训练，另外10000用于测试。CIFAR100则分为100个类，每一类600张图像。
ImageNet 数据集总共有1400多万幅图片，涵盖2万多个类别
Flickr-25K 有 2,5000 张图，每张图有对应的 tags 和 annotation。
tags 可作为文本描述（text），其中至少出现在 20 张图片中的 tags 有 1386 个；
annotation 作为 label，一共 24 个。
NUS_WIDE 是一个多标签数据集，其中包含的有81个标签。拥有图片269648万张。
MS COCO的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集。
330万张图像（超过20万张已标注图像），80个目标类别，91个物体类别，每张图片有5段描述。
MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：http://yann.lecun.com/exdb/mnist/
MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是28*28