图神经网络 图像处理,为什么用图神经网络

神经网络训练过程中图片像素对训练结果有什么影响，由于GPU内存太小，将224*224改成了120*120

。

有影响像素越高相对需要的网络结构更复杂优化技术更好训练时间更长超参数的设置等就好比CIFAR数据集和ImageNet数据集面对的数据集不同上述的组件都要相应发生变化GPU太小的话可以考虑图像降采样、batch_size设置小一点、网络结构适当压缩等。

如何通过人工神经网络实现图像识别

rfid。

人工神经网络（ArtificialNeuralNetworks）（简称ANN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

尤其是基于误差反向传播（ErrorBackPropagation）算法的多层前馈网络（Multiple-LayerFeedforwardNetwork）(简称BP网络)，可以以任意精度逼近任意的连续函数，所以广泛应用于非线性建模、函数逼近、模式分类等方面。

目标识别是模式识别领域的一项传统的课题，这是因为目标识别不是一个孤立的问题，而是模式识别领域中大多数课题都会遇到的基本问题，并且在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而目标识别的研究仍具有理论和实践意义。

这里讨论的是将要识别的目标物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，用神经网络识别图像的问题。

一、BP神经网络BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所规定的。

backpropagation就是指的为非线性多层网络计算梯度的方法。一个典型的BP网络结构如图所示。我们将它用向量图表示如下图所示。

其中：对于第k个模式对，输出层单元的j的加权输入为该单元的实际输出为而隐含层单元i的加权输入为该单元的实际输出为函数f为可微分递减函数其算法描述如下：（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。

（2）提供训练模式，训练网络，直到满足学习要求。（3）前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行（4）；否则，返回（2）。

（4）后向传播过程：a.计算同一层单元的误差；b.修正权值和阈值；c.返回（2）二、BP网络隐层个数的选择对于含有一个隐层的三层BP网络可以实现输入到输出的任何非线性映射。

增加网络隐层数可以降低误差，提高精度，但同时也使网络复杂化，增加网络的训练时间。误差精度的提高也可以通过增加隐层结点数来实现。一般情况下，应优先考虑增加隐含层的结点数。

三、隐含层神经元个数的选择当用神经网络实现网络映射时，隐含层神经元个数直接影响着神经网络的学习能力和归纳能力。

隐含层神经元数目较少时，网络每次学习的时间较短，但有可能因为学习不足导致网络无法记住全部学习内容；隐含层神经元数目较大时，学习能力增强，网络每次学习的时间较长，网络的存储容量随之变大，导致网络对未知输入的归纳能力下降，因为对隐含层神经元个数的选择尚无理论上的指导，一般凭经验确定。

四、神经网络图像识别系统人工神经网络方法实现模式识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许样品有较大的缺损、畸变，神经网络方法的缺点是其模型在不断丰富完善中，目前能识别的模式类还不够多，神经网络方法允许样品有较大的缺损和畸变，其运行速度快，自适应性能好，具有较高的分辨率。

神经网络的图像识别系统是神经网络模式识别系统的一种，原理是一致的。一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。

神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：①有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。

特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。

②无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。

此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。当BP网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。

其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。另一方面可以大幅度提高训练速度，避免网络陷入局部最小点。

由于BP网络不具有不变识别的能力，所以要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。

例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

构造神经网络分类器首先要选择适当的网络结构：神经网络分类器的输入就是图像的特征向量；神经网络分类器的输出节点应该是类别数。隐层数要选好，每层神经元数要合适，目前有很多采用一层隐层的网络结构。

然后要选择适当的学习算法，这样才会有很好的识别效果。

在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。

神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。

在图像识别阶段，只要将图像的点阵向量作为神经网络分类器的输入，经过网络的计算，分类器的输出就是识别结果。五、仿真实验1、实验对象本实验用MATLAB完成了对神经网络的训练和图像识别模拟。

从实验数据库中选择0～9这十个数字的BMP格式的目标图像。图像大小为16×8像素，每个目标图像分别加10％、20％、30％、40％、50％大小的随机噪声，共产生60个图像样本。

将样本分为两个部分，一部分用于训练，另一部分用于测试。实验中用于训练的样本为40个，用于测试的样本为20个。随机噪声调用函数randn(m,n)产生。

2、网络结构本试验采用三层的BP网络，输入层神经元个数等于样本图像的象素个数16×8个。隐含层选24个神经元，这是在试验中试出的较理想的隐层结点数。

输出层神经元个数就是要识别的模式数目，此例中有10个模式，所以输出层神经元选择10个，10个神经元与10个模式一一对应。

3、基于MATLAB语言的网络训练与仿真建立并初始化网络% ================S1 = 24;% 隐层神经元数目S1 选为24[R,Q] = size(numdata);[S2,Q] = size(targets);F = numdata;P=double(F);net = newff(minmax(P),[S1 S2],{'logsig''logsig'},'traingda','learngdm')这里numdata为训练样本矩阵，大小为128×40，targets为对应的目标输出矩阵，大小为10×40。

newff(PR,[S1S2…SN],{TF1TF2…TFN}，BTF,BLF,PF)为MATLAB函数库中建立一个N层前向BP网络的函数，函数的自变量PR表示网络输入矢量取值范围的矩阵[Pminmax];S1~SN为各层神经元的个数；TF1~TFN用于指定各层神经元的传递函数；BTF用于指定网络的训练函数；BLF用于指定权值和阀值的学习函数；PF用于指定网络的性能函数，缺省值为‘mse’。

设置训练参数net.performFcn = 'sse'; %平方和误差性能函数net.trainParam.goal = 0.1; %平方和误差目标net.trainParam.show = 20; %进程显示频率net.trainParam.epochs = 5000;%最大训练步数net.trainParam.mc = 0.95; %动量常数网络训练net=init(net);%初始化网络[net,tr] = train(net,P,T);％网络训练对训练好的网络进行仿真D=sim(net,P);A = sim(net,B);B为测试样本向量集,128×20的点阵。

D为网络对训练样本的识别结果，A为测试样本的网络识别结果。实验结果表明：网络对训练样本和对测试样本的识别率均为100％。如图为64579五个数字添加50%随机噪声后网络的识别结果。

六、总结从上述的试验中已经可以看出，采用神经网络识别是切实可行的，给出的例子只是简单的数字识别实验，要想在网络模式下识别复杂的目标图像则需要降低网络规模，增加识别能力，原理是一样的。

CNN神经网络给图像分类（Matlab）

你要看你的图像是什么。如果是彩色数字，先转成灰度。用MNIST训练网络。如果是各种主题，用彩色的imageNET训练。如果你的数据量大到足以与数据集媲美，那么直接用你的数据训练网络即可。

在流行的数据集上训练完，你需要固定卷积池化层，只训练后面的全连接层参数，用你自己的数据集。CNN一是调整网络结构，几层卷积几层池化，卷积的模板大小等。

而是在确定结构上调整参数，weightscale，learningrate，reg等。

你用CNN做图像分类，无非是把CNN当成学习特征的手段，你可以吧网络看成两部分，前面的卷积层学习图像基本-中等-高层特征，后面的全连接层对应普通的神经网络做分类。

需要学习的话，首先你去看UFLDL教程。然后cs231n与其问别人，首先你看了imageNet数据集了吗？对于把流行数据集与自己数据混合训练模型的方法。如果两种数据十分相似，也未尝不可。

但是对于流行数据集而言，自己的标注数据量一般不会太大，如果是1：1000，1:100这种比例，那么可能不加自己的数据，完全用数据集训练的模型就能得到一个还好的结果。

如果自己的数据和数据集有些差别，那混在一起我认为自己的是在用自己的数据当做噪声加到数据集中。

cnn认为图像是局部相关的，而欺骗CNN的方法则主要出于，自然图像分布在一种流形结构中，训练的模型需要这种流形假设，而人工合成的图像由于添加非自然噪点，不满足模型假设，所以能用肉眼难分辨的噪声严重干扰分类结果。

如果二者相差过大，数据集是一种分布，你的数据是另一种，放到一起训练，我没试过，但我认为结果不会太好。这时候只能把数据集用来训练cnn的特征提取能力。而后用于分类的全连接层，视你的数据量调整规模。

如何快速学习神经网络算法识别验证码

验证码都是服务器生成的图片，如果是动态的，就是调用servlet生成的，怎么提取我还不太清楚，不过我想网络上应该会有很多资料。

我现在看的是识别验证码的东西，在截取到验证码图片之后，针对这个黑白背景，只有干扰线的验证码。

机器学习之识别简单验证码时间2016-10-1522:46:31随风'SBlog主题数据挖掘关于验证码识别的文章网上很多图像识别的大神教程也比较多，不过大多数专业性太强了，对非专业人士读起来简直是天书，不过随着机器学习的普及，一大批机器学习的开源工具出现了，这也算对大多数像我一样的学渣的福音，由于最近项目中牵扯到了一些机器学习相关的东西，所以自己最近也一直在学习机器相关的东西，这篇验证码的识别也算是练手了，本文也算是学习中的笔记，所以文章中难免有一些错误，欢迎各路大神指点。

由于本人不是相关专业的，对于文中相关算法就不会具体去讨论了，主要以实战为目的。准备工作主要是用到了一些机器学习开源的框架以及一些辅助工具。

Scikit-Learn比较有名的Python机器学习模块,主要是操作简单。PybrainPython机器学习模块，主要以神经网络为核心，所有的训练方法都以神经网络为一个实例。

pytesseract图像识别小工具，本文主要是用来预处理训练样本的。PILPython图像处理库。

问题分析首先在进行具体工作之前，我们得看看我们需要解决的是什么问题，那么对于验证码识别来说，可以看作一个分类问题，对于数字的图片验证码来说的话，其实就是0-9数字分类的问题，验证码识别最难的部分在于怎么去将验证码进行切割成单个字符图片，当然对于图片裁剪也就是特征提取有很多办法，例如垂直投影法，等距切割法等等，其中等距切割也是比较简单的，但是对于稍微复杂一点的验证码识别时准确率非常低，因为等距切割时将验证码按照相同的宽度进行裁剪，对于那些字符宽度大小不一的，就算裁剪出来也不能很好的表示字符的特征，所以有时候需要先对图片进行一系列的预处理，例如字符矫正等等，然后再用垂直投影法在x轴和y轴上按照投影的大小进行裁剪。

对于垂直投影法来说的话，最后我们还得考虑训练集在维度上都同意，由于是非等级切割，所以每个图片的像素肯定不一样，所以为了维度统一还得进行填充，总之稍微麻烦一点。

这里主要是以等距切割为例子，因为在操作起来比较简单，那么掩码也是选用0-9的纯数字验证码来进行识别，验证码如下这样的图片看起来的话间距基本上都差不多大，所以在分割时也比较容易，将图片切成四块后，就可以拿每一块去进行训练识别了。

使用机器学习来进行训练和识别的话，我们就得考虑特征选取了，一般验证码识别有一套标准的流程，图片对于验证码识别来说我们关注的不是验证码的颜色，而是字符代表的含义，所以在图片处理时进行灰度化和二值化以及去噪，比如说去掉干扰线，那么去噪也有相应的算法来实现，这里不做具体讨论，二值化其实就是将图片呈现出两种颜色，即非黑即白，这样的好处是在特征处理时可以使用0和1来代表黑色和白色，0和1代表什么颜色取决于个人喜好。

这样的话将二值化和其它步骤处理后的图片进行特征提取，将黑色像素点标记成1，白色像素点标记成0，这样就可以得到图片的数值表示，那么特征维度就等于图片像素的大小，最终将图片按照X轴或者Y轴表示，即将像素的所标记的值合并到一行，例如11111000000000000101110000000000000000表示成11111000000000000101110000000000000000，这样每张图片就可以使用一行0和1的数值来表示。

进行特征提取之后，我们得到了图片在数学上的表示，那么下一步就需要进行模型训练了，由于如上文所述，图片识别是一个分类问题，所以在机器学习中，我主要采用了两种模型来进行训练，SVM支持向量机和BP神经网络来进行模型训练，SVM使用scikit-learn机器学习包里面的实现来做，神经网络使用Pybrain来进行实现。

有关SVM和BP神经网络的算法部分，大家最好还是去网上搜下相关的Paper，这样你才能知道什么算法能解决什么问题，以及它大概的原理是什么样子的，有能力的同学可以去对推导下这两个算法。

实践在问题分析部分我们已经对验证码识别的大概思路有了一个了解，那么这部分则主要正对上面所述部分进行具体实现。

首先，我们应该明白SVM和神经网络模型算法是属于有监督学习，即需要对样本进行标注，也就是标记每张图片表示的是那个数字，但是实际遇到的问题是，如果数据量小的话，我们可以进行人工标注，那么在数据量比较大的情况下，人工标注可能就不太现实了，所以对于图片来说的话也一样，你进行切割完成之后你必须得标注这个数字是几，所以我们需要对切割的图片进行预处理，也就是打标记，我比较懒，所以我也不会一个个去打标签，所以这里使用ocr来对切割的图片进行预分类，ocr在单文字识别上的效果正确率还是可以的，在ocr进行预分类之后，我们只需要去纠正那些分类错误的图片即可，这样就能大大的减少工作量。

这里实现主要有以下几个步骤：图片采集图片预处理（包括图片切割，二值化以及图像增强）图片的预分类标注以及手动纠错标注特征提取模型训练以及预测图片采集图片采集就比较简单，不过多的阐述，如下图代码所示将下载到了图片按照时间戳存到指定位置图片预处理以及图片裁剪对图片进行预处理后采用等距切割法对图片进行切割裁剪后的图片如下图片预分类图片预分类采用pytesseract来对分割的图片进行预分类，减轻工作量。

具体代码如下ocr的分类效果正确率应该在50%以上，剩下的就是对预分类的图片进行人工纠错了。ocr的分类效果图人工纠错和标记后的结果每个目录表示一个类别标签。

特征提取特征提取的具体内容请参考问题分析中，里面有详细的说明。

关键代码如下最终图片的数学上表示会以记录在/Users/iswin/Downloads/yzm/traindata/train_data.txt中，数据的格式如下图所示红色线框表示一张图片数值上的表示，最后一个数字0表示该图片的类型，我是为了方便把标签追加到最后一行。

SVM模型分类这里svm的实现使用了scikit-learn来实现，关于scikit-learn的使用去官网看Tutorial就好了，这里需要说一下SVM关于参数选择的问题，我们都知道SVM支持多个核函数，例如高斯核、线性核、poly以及sgmoid核函数，但是选择那么核函数一开始对于不太熟悉的同学怎么选择的确是个问题，所以这里使用了scikit-learn的GridSearchCV来对参数进行最优化选择，经过参数寻优，这里高斯核的最终效果还是不错的，所以训练的时候直接使用高斯核来进行训练。

为了方便预测时的使用，这里对训练结果使用了joblib模块来进行持久化。为了简单对评价模型进行，这里使用了5折交叉验证来对结果进行检验。

最终结果的准确率在：Accuracy:0.96(+/-0.09)具体代码如下：举个预测的例子，看看效果BP神经网络模型分类BP神经网络也称负反馈神经网络，即按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一，在BP神经网络之后，又出现了在深度学习中应用最广泛的CNN即卷积神经网络，这几天也正在学习。

本文使用了三层BP神经网络来对训练集进行训练，即输入层+2层隐含层+输出层，关于BP神经网络本身这里需要注意的是激活函数的选择以及对于多分类问题输出层函数选择的问题，激活函数主要有sigmod、tanh以及relu，关于怎么选取激活函数，这块没有进行深入了解，一般都是每个激活函数都跑一次，看最终效果。

这里的神经网络模型分类主要是对Pybrain用法的学习以及BP神经网络的基本认识，输入层使用了LinearLayer即线性输入层，隐含层使用了SigmoidLayer即激活函数为sigmod的隐含层，输出层由于是多分类问题，所以使用了SoftmaxLayer，最终在神经网络计算的结果中选取数值最大的那个索引位置就是预测的验证码类别，也就是0-9之间的数值。

关于Pybrain的资料除了官方文档不是特别多，关于构建神经网络的方式提供了两种方式，一种是buildNetwork函数来进行构建，另外一种就是使用FeedForwardNetwork函数来进行构建，这里需要注意的是如果使用FeedForwardNetwork来进行构建的话，注意要手动给各层加上Bias偏置项，否则结果可能可能非常差，当时我实验时没加，半天计算结果不对，最后看了下buildNetwork函数的源代码才发现没加Bias项，还有就是需要注意迭代至收敛的步数即函数中的*maxEpochs=500，这个根据情况调整，Pybrain有自己的数据集格式，所以在使用时必须按照它的格式来进行数据的初始化。

这里除了输入层的维度（即验证码的训练集维度）和输出是固定的之外，其中隐含层的神经元个数也是可以调整的，具体的感兴趣的同学自己去调然后再看下结果。

对模型使用10折交叉验证进行了简单评估，错误率在Totalerror:0.062左右，效果比SVM的差一点，应该通参数调优应该可以提高准确率，不过重在学习。

训练集样本：/Users/iswin/Downloads/yzm/traindata/train_data_uniq.txt主要代码如下：举个例子，来看看预测效果总结通过这个小实验，至少让我对机器学习和相关算法大致有了一个了解，同时作为安全人员来说至少知道了如何使用开源的机器学习框架来构架自己的模型，笔记中难免会有错误之处，欢迎大家提出意见。

bp神经网络训练能支持100张图片吗？

神经网络技术有什么功能？

神经网络技术对完成对微弱信号的检验和对各传感器信息实时处理，具有自适应自学习功能，能自动掌握环境特征，实现自动目标识别及容错性好，抗干扰能力强等优点。

神经网络技术特别适用于密集信号环境的信息处理、数据收集目标识别、图像处理、无源探测与定位以及人机接口等方面，因而在作战指挥方面有广泛的应用前景。

rbf神经网络的训练样本要多大

因课题而异。1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。

我们从生产现场采得的样本数据中有不少可能是坏样本，例如由于测量仪器故障导致测量数据误差较大等，这样的样本会干扰你的神经网络训练。

通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况。

例如某化工生产中某反应炉的温度主要分布在350度—400度，且出现在380度的情况较多，那么你的样本数据最好也是在350-400度各种情况都有，并且也是在380度左右的样本较多些，这样可以极大可能的照顾到系统在各个情况下的规律特征。

通常我们对系统的内在规律不是很了解，所以我们希望通过尽可能大的样本规模来“地毯式”覆盖对象系统的方方面面。3、再次就是样本数据的规模，也就是你要问的问题。

在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。

还用刚才的例子，假如反应炉的温度主要均匀分布在375-385度之间，那么你用100个均衡分布在375-385度的训练样本去训练，经过无限次或者说是足够多次迭代之后，理论上你的神经网络的精度就是0.1度。

如果你觉得0.1度足够细腻了，那么样本规模为100也就可以接受了。由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。

补充说明一下，不论是径向基（rbf）神经网络还是经典的bp神经网络，都只是具体的训练方法，对于足够多次的迭代，训练结果的准确度是趋于一致的，方法只影响计算的收敛速度（运算时间），和样本规模没有直接关系。