什么是用来评估神经网络,神经网络的数据预处理

在模式识别、人工神经网络方法中，为什么要进行数据预处理呢？

1.原数据可能数据量很大，维数很，计算机处理起来时间复杂度很高，预处理可以降低数据维度。2.数据的很多特性非常影响神经网络等分类模型的效果。

比如数据值得分布不在一个尺度上，当地气温值与当地月工资显然不在一个数量级上，这时，需要数据规范化，把这两个特征的数据都规范到0到1，这样使得它们对模型的影响具有同样的尺度。

3.当然，数据预处理还有很多，比如中心化，去噪，降维，平滑，变换等等，各有各的目的，总之都是为了最终分类器的效果服务，由于原数据可能含有大量的噪声，去除噪声是有必要的。

谷歌人工智能写作项目：神经网络伪原创

数据预处理的主要方法有哪些

1.墓于粗糙集(RoughSet)理论的约简方法粗糙集理论是一种研究不精确、不确定性知识的数学工具写作猫。目前受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。

我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性，如高矮;数据的不确定性，如噪声引起的;知识自身的不确定性，如规则的前后件间的依赖关系并不是完全可靠的。

在KDD中，对不确定数据和噪声干扰的处理是粗糙集方法的2.基于概念树的数据浓缩方法在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。

概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。

3.信息论思想和普化知识发现特征知识和分类知识是普化知识的两种主要形式，其算法基本上可以分为两类:数据立方方法和面向属性归纳方法。

普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性，在归纳过程中，当供选择的可归纳属性有多个时，通常是随机选取一个进行归纳。

事实上，不同的属性归纳次序获得的结果知识可能是不同的，根据信息论最大墒的概念，应该选用一个信息丢失最小的归纳次序。

4.基于统计分析的属性选取方法我们可以采用统计分析中的一些算法来进行特征属性的选取，比如主成分分析、逐步回归分析、公共因素模型分析等。

这些方法的共同特征是，用少量的特征元组去描述高维的原始知识基。5.遗传算法〔GA,GeneticAlgo}thrn})遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。

遗传算法的基本思想是:将问题的可能解按某种形式进行编码，形成染色体。随机选取N个染色体构成初始种群。再根据预定的评价函数对每个染色体计算适应值。

选择适应值高的染色体进行复制，通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体，形成新的种群。这样一代一代不断繁殖进化，最后收敛到一个最适合环境的个体上，从而求得问题的最优解。

遗传算法应用的关键是适应度函数的建立和染色体的描述。在实际应用中，通常将它和神经网络方法综合使用。通过遗传算法来搜寻出更重要的变量组合。

预处理是什么 包括哪两种方法

数据库基础分析为什么要进行预处理数据收藏做数据预处理很重要，但是如何做好数据预处理似乎是件更困难的事。。。。。

-----------------------------------------------------------------------------------------------------------------------当今现实世界的数据库极易受噪声、丢失数据和不一致数据的侵扰，因为数据库太大（常常多达数千兆字节，甚至更多），并且多半来自多个异构数据源。

低质量的数据将导致低质量的挖掘结果。“如何预处理数据提高数据质量，从而提高挖掘结果的质量？如何预处理数据，使得挖掘过程更加有效、更加容易？”有大量数据预处理技术。

数据清理可以用来去掉数据中的噪声，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库。也可以使用数据变换，如规范化。例如，规范化可以提高涉及距离度量的挖掘算法的准确率和有效性。

数据归约可以通过聚集、删除冗余特征或聚类等方法来减小数据规模。这些技术不是互斥的，可以一起使用。例如，数据清理可能涉及纠正错误数据的变换，如将日期字段变换成共同的格式。

这些数据处理技术在挖掘之前使用，可以显著地提高挖掘模式的总体质量和/或减少实际挖掘所需要的时间。介绍数据预处理的基本概念，介绍作为数据预处理基础的描述性数据汇总。

描述性数据汇总帮助我们研究数据的一般特征、识别噪声或离群点，对成功的数据清理和数据集成很有用。数据预处理的方法组织如下：数据清理、数据集成与变换和数据归约。

概念分层可以用作数据归约的一种替换形式，其中低层数据（如年龄的原始值）用高层概念（如青年、中年或老年）替换。这种形式的数据归约，在那里我们讨论使用数据离散化技术，由数值数据自动地产生概念分层。

为什么要预处理数据想像你是AllElectronics的经理，负责分析涉及你部门的公司销售数据。

你立即着手进行这项工作，仔细地审查公司的数据库和数据仓库，识别并选择应当包含在分析中的属性或维，如item,price和units_sold。啊！你注意到许多元组在一些属性上没有值。

为了进行分析，希望知道每种购进的商品是否作了销售广告，但是发现这些信息没有记录下来。此外，你的数据库系统用户已经报告某些事务记录中的一些错误、不寻常的值和不一致性。

换言之，你希望使用数据挖掘技术分析的数据是不完整的（缺少属性值或某些感兴趣的属性，或仅包含聚集数据），含噪声的（包含错误或存在偏离期望的离群值），并且是不一致的（例如，用于商品分类的部门编码存在差异）。

欢迎来到现实世界！存在不完整的、含噪声的和不一致的数据是现实世界大型的数据库或数据仓库的共同特点。不完整数据的出现可能有多种原因。有些感兴趣的属性，如销售事务数据中顾客的信息，并非总是可用的。

其他数据没有包含在内只是因为输入时认为是不重要的。相关数据没有记录可能是由于理解错误，或者因为设备故障。与其他记录不一致的数据可能已经删除。此外，记录历史或修改的数据可能被忽略。

缺失的数据，特别是某些属性上缺少值的元组可能需要推导出来。数据含噪声（具有不正确的属性值）可能有多种原因。收集数据的设备可能出故障；人或计算机的错误可能在数据输入时出现；数据传输中的错误也可能出现。

这些可能是由于技术的限制，如用于数据传输同步的缓冲区大小的限制。不正确的数据也可能是由命名约定或所用的数据代码不一致，或输入字段（如日期）的格式不一致而导致的。重复元组也需要数据清理。

数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。如果用户认为数据是脏的，则他们不会相信这些数据的挖掘结果。

此外，脏数据造成挖掘过程陷入混乱，导致不可靠的输出。尽管大部分挖掘例程都有一些过程处理不完整或噪声数据，但它们并非总是鲁棒的。相反，它们着重于避免建模函数过分拟合数据。

因此，一个有用的预处理步骤是使用一些清理例程处理数据。2.3节讨论清理数据的方法。回到你在AllElectronics的任务，假定在分析中包含来自多个数据源的数据。

这涉及集成48多个数据库、数据立方体或文件，即数据集成。代表同一概念的属性在不同的数据库中可能有不同的名字，这将导致不一致性和冗余。

例如，顾客标识属性在一个数据库中可能是customer_id，而在另一个中为cust_id。命名的不一致还可能出现在属性值中。

例如，同一个人的名字可能在一个数据库中登记为“Bill”，在第二个数据库中登记为“William”，而在第三个数据库中登记为“B”。此外，你可能会觉察到，有些属性可能是由其他属性（例如年收入）导出的。

含大量冗余数据可能降低知识发现过程的性能或使之陷入混乱。显然，除数据清理之外，在数据集成时必须采取步骤，避免数据冗余。通常，在为数据仓库准备数据时，数据清理和集成将作为预处理步骤进行。

还可以再次进行数据清理，检测和删去可能由集成导致的冗余。回到你的数据，假设你决定要使用诸如神经网络、最近邻分类法或聚类这样的基于距离的挖掘算法进行分析。

如果待分析的数据已经规范化，即按比例映射到一个特定的区间[0.0,1.0]，这些方法能得到更好的结果。例如，你的顾客数据包含年龄和年薪属性。年薪属性的取值范围可能比年龄大得多。

这样，如果属性未规范化，距离度量对年薪所取的权重一般要超过距离度量对年龄所取的权重。此外，分析得到每个客户区域的销售额这样的聚集信息可能是有用的。这种信息不在你的数据仓库的任何预计算的数据立方体中。

你很快意识到，数据变换操作，如规范化和聚集，是导向挖掘过程成功的预处理过程。随着你进一步考虑数据，你想知道“我选择用于分析的数据集太大了，肯定降低挖掘过程的速度。

有没有办法压缩我的数据集而又不损害数据挖掘的结果？”数据归约得到数据集的简化表示，它小得多，但能够产生同样的（或几乎同样的）分析结果。

有许多数据归约策略，包括数据聚集（例如建立数据立方体）、属性子集选择（例如通过相关分析去掉不相关的属性）、维度归约（例如使用诸如最小长度编码或小波等编码方案）和数值归约（例如使用聚类或参数模型等较小的表示“替换”数据）。

使用概念分层泛化也可以“归约”数据。泛化用较高层的概念替换较低层的概念，例如，对于顾客位置，用region或49province_or_state替换city。概念分层将概念组织在不同的抽象层。

数据离散化是一种数据归约形式，对于从数值数据自动地产生概念分层是非常有用的。下图总结了这里讨论的数据预处理步骤。注意，上面的分类不是互斥的。

例如，冗余数据的删除既是一种数据清理形式，也是一种数据归约。概言之，现实世界的数据一般是脏的、不完整的和不一致的。数据预处理技术可以改进神经网络和最近邻分类法在第6章介绍，聚类在第7章讨论。

数据的质量，从而有助于提高其后的挖掘过程的精度和性能。由于高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。

检测数据异常、尽早地调整数据并归约待分析的数据，将在决策过程得到高回报。

数学建模里人工神经网络到底是什么流程，数据预处理，隐层数，权值，传输函数是什么关系。这个模型的作用 60

关系实际上就是关系模式在某一时刻的状态或内容。也就是说，关系模式是型，关系是它的值。关系模式是静态的、稳定的，而关系是动态的、随时间不断变化的，因为关系操作在不断地更新着数据库中的数据。

但在实际当中，常常把关系模式和关系统称为关系，读者可以从上下文中加以区别。

神经网络中对输入数据的预处理包括哪些步骤方法？最好能说得详细些，谢谢！

机器学习中的数据集合

机器学习中的数据集合数据集分类在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(trainset)验证集(validationset)测试集(testset)。

训练集用来估计模型，验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选择最优的模型的性能如何。

Ripley,B.D（1996）在他的经典专著PatternRecognitionandNeuralNetworks中给出了这三个词的定义。

Trainingset:Asetofexamplesusedforlearning,whichistofittheparameters[i.e.,weights]oftheclassifier.Validationset:Asetofexamplesusedtotunetheparameters[i.e.,architecture,notweights]ofaclassifier,forexampletochoosethenumberofhiddenunitsinaneuralnetwork.Testset:Asetofexamplesusedonlytoassesstheperformance[generalization]ofafullyspecifiedclassifier.显然，trainingset是用来训练模型或确定模型参数的，如ANN中权值等；validationset是用来做模型选择（modelselection），即做模型的最终优化及确定的，如ANN的结构；而testset则纯粹是为了测试已经训练好的模型的推广能力。

当然，testset这并不能保证模型的正确性，他只是说相似的数据用此模型会得出相似的结果。

但实际应用中，一般只将数据集分成两类，即trainingset和testset，大多数文章并不涉及validationset。

选择训练集和测试集其中一个典型的划分是训练集占总样本的50％，而其它各占25％，三部分都是从样本中随机抽取。样本少的时候，上面的划分就不合适了。常用的是留少部分做测试集。

然后对其余N个样本采用K折交叉验证法。就是将样本打乱，然后均匀分成K份，轮流选择其中K－1份训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。

特别的K取N，就是留一法（leaveoneout）。数据归一化问题数据归一化属于数据的预处理。

因为sigmoid函数根据不同的变换，输出在0到1或者－1到1之间，因此如果不做归一，就会出现样本输出超出神经网络输出的范围。

选择最大的值max和最小值min，做如下变换x＝(x－min)/(max-min)就是归一化。需要注意的是max和min不应该直接选择为x中的最大值和最小值。

原因是样本只是有限的观测，有可能还有更大或者更小的观测，因此合适的选择应该max选取xmax大一些和min比xmin小一些的。

归一化并不总是合适的预处理，因为它不能使分布不对称的样本变得更对称一些，标准化要好一些。另外，有时候主成分分析也能起到降维的作用。

在用bp神经网络时,需要输入数据,但有些数据是定性数据,如何将定性数据定量化

。

你所说的应该是输入数据的预处理即pre-processing,你使用STNueralNetworks的话,里面有自动的预处理,你输入定性数据(nominalvariable)后,软件可以自动预处理后转化为神经网络可以识别的数值.或者你自己设置例1根据年鉴记载的某些地区经度,纬度与台风类型的关系预测任意经纬度下台风类型(台风A或者台风B),台风类型就属于定性数据在STNN中你可以现将输出变量设置为nominalvariable,然后设置输出变量的数目为2,分别是V1和V2,构建网络的时候经纬度对应台风A的,设置输出值为V1,为台风B的设置为V2,预测时,网络可以给出结果V1或者V2,你就知道是哪种台风了.例2根据现有的水质标准以及数种污染物的采样值预测该河流的水质级别输出值为水质级别,同样为nominalvariable,你可以将输出值作一个标准化处理,设总共有五个水质级别,你可以将输出变量区间化分为0-0.2,0.2-0.4,0.4-0.6,0.6-0.8,0.8-1,设置第一级别水质对应的输出值为0.2第2级水质对应0.4,等等,第5级水质对应1。

Matlab问题 神经网络中将所有向量都量化到[-1,1]的范围内是哪种数据预处理方法？

。

premnmx是matlab神经网络工具箱里专门将原始数据归一化到[-1，1]之间的命令这个在网页上很容易得到验证它的具体做法是：2*（p-pmin）/（pmax-pmin）-1p是原始数据，pmax，pmin分别是原始数据的最大值和最小值具体原理我不知道，但我知道这个公式就是matlab神经网络工具箱里使用的，将原始数据归一化到[-1，1]之间的专有命令。

数据挖掘的定义是什么？有哪几种挖掘技术

您好，我是研究数据挖掘的，给予简易完整的回答，希望能帮到你。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。

它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。数据挖掘的技术，可粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。

统计方法，可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、CBR、遗传算法、贝叶斯信念网络等。

神经网络方法，可细分为：前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是基于可视化的多维数据分析或OLAP方法，另外还有面向属性的归纳方法。