(A,B)---2*4*2---(1,0)(0,1)
用神经网络分类A和B,A和B的训练集各有两张图片,并且让训练集和测试集的构成相同,训练集有4999张图片,测试集有900张图片。观察分类准确率的变化。
第一组
( 01,11 ; 10,11 )---2*4*2---(1,0)(0,1),A由01,11组成,B由10,11组成。进样顺序是
A | 0 | 1 |
B | 1 | 0 |
A | 1 | 1 |
B | 1 | 1 |
这4张图片不断循环往复,直到收敛,观察分类准确率的变化。
0 | 1 | 1 | 0 | |||||
1 | 1 | 1 | 1 | |||||
a | 01-11+10-11 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 |
0.428588 | 0.571413 | 6796.216 | 0.75 | 0.954774 | 0.545226 | 0.01 | 15.69347 | 3123 |
0.477432 | 0.522568 | 45628.83 | 0.75 | 1 | 0.5 | 0.001 | 67.32161 | 13413 |
0.547653 | 0.452347 | 49851.83 | 0.75 | 0.997487 | 0.502513 | 9.00E-04 | 72.43719 | 14415 |
0.527594 | 0.472406 | 55710.39 | 0.75 | 0.997487 | 0.502513 | 8.00E-04 | 79.80402 | 15896 |
0.467383 | 0.532618 | 63311.03 | 0.75 | 1 | 0.5 | 7.00E-04 | 90.47236 | 18004 |
当收敛误差为7e-4的时候,1-0位的分类准确率是1而0-1位的分类准确率是0.5.因为训练集只有两张图片而各有一张11,因此如果网络认为11属于A则B仅有一张图片分类正确,所以B的分类准确率是0.5.
做第二组实验
( 01,11 ; 11,10 )---2*4*2---(1,0)(0,1)
0 | 1 | 1 | 1 | |||||
1 | 1 | 1 | 0 | |||||
b | 01-11+11-10 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 |
0.532021 | 0.467993 | 10374.25 | 0.75 | 0.937186 | 0.562814 | 0.01 | 20.94975 | 4169 |
0.517553 | 0.482447 | 68104.57 | 0.75 | 0.914573 | 0.585427 | 0.001 | 96.82915 | 19269 |
0.477428 | 0.522573 | 75148.91 | 0.75 | 0.932161 | 0.567839 | 9.00E-04 | 106.0905 | 21112 |
0.557697 | 0.442303 | 83542.08 | 0.75 | 0.939698 | 0.560302 | 8.00E-04 | 118.5025 | 23582 |
0.522581 | 0.477419 | 94255.19 | 0.75 | 0.909548 | 0.590452 | 7.00E-04 | 133.3216 | 26531 |
这两组训练集里依然有一张图片是相同的11,但这个网络的分类准确率却与前一个并不一致,B的分类准确率远大于0.5。观察这组数据当收敛误差为7e-4的时候0-1位有163次分类准确率是0.5,有36次分类准确率是1.有18%的可能11被认为是B的而不是A的。但总的分类准确率依然是3/4,4张图片里有1张被错误分类。
做第三组
( 01,11 ; 10,01 )---2*4*2---(1,0)(0,1)
得到数据
0 | 1 | 1 | 0 | |||||
1 | 1 | 0 | 1 | |||||
c | 01-11+10-01 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 |
0.009978 | 0.990018 | 14609.35 | 0.75 | 1 | 0.5 | 0.01 | 26.44221 | 5262 |
9.98E-04 | 0.999001 | 78443.18 | 0.75 | 1 | 0.5 | 0.001 | 112.2161 | 22346 |
8.99E-04 | 0.999102 | 83567.58 | 0.75 | 1 | 0.5 | 9.00E-04 | 119.7437 | 23829 |
7.99E-04 | 0.999201 | 94927.44 | 0.75 | 1 | 0.5 | 8.00E-04 | 134.4925 | 26764 |
6.99E-04 | 0.999301 | 109732.8 | 0.75 | 1 | 0.5 | 7.00E-04 | 154.1859 | 30683 |
由于两个训练集中有一张图片重合,分类准确率是1和0.5,由于两个训练集的图片数量是一致的,因此1*0.5+0.5*0.5=0.75
做第四组
( 01,11 ; 01,10 )---2*4*2---(1,0)(0,1)
得到数据
0 | 1 | 0 | 1 | |||||
1 | 1 | 1 | 0 | |||||
d | 01-11+01-10 | |||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 |
0.009982 | 0.990018 | 14638.1 | 0.75 | 1 | 0.5 | 0.01 | 26.13065 | 5200 |
9.99E-04 | 0.999001 | 83059.51 | 0.75 | 1 | 0.5 | 0.001 | 122.1709 | 24312 |
8.99E-04 | 0.999101 | 93098.78 | 0.75 | 1 | 0.5 | 9.00E-04 | 133.4774 | 26562 |
7.99E-04 | 0.999201 | 103777.9 | 0.75 | 1 | 0.5 | 8.00E-04 | 147.9095 | 29434 |
6.99E-04 | 0.999301 | 117799.9 | 0.75 | 1 | 0.5 | 7.00E-04 | 167.4271 | 33318 |
第四组的分类准确率依然是0.75.
所以通过这一实验可以发现,虽然重合图片相对位置不同对1-0,和0-1位的分类准确率有影响。但总的分类准确率都是3/4. 这组重合的图片一张被分类正确,一张被分类错误,因此共有3张分类正确,因此总的分类准确率为3/4. 所以至少对这个实验,网络的分类准确率反比于两个训练集重合图片的数量。