第一篇：关于神经网络归一化的讨论
数据归一化处理
1.我有一个问题不太明白，神经网络在训练时，先对数据进行归一化处理，按照常理训练完之后应该对数据再进行反归一化啊，可是再很多资料上根本就看不出有反归一化这个步骤，而且很多时候训练效果不是很好。请问，哪个大侠能帮帮我啊
2.看一下MATLAB里的premnmx函数和postmnmx函数.它们一个是归一一个是反归一
3.并不是归一化的数据训练效果就好
4.我也遇到过类似的问题,有篇论文就是用postmnmx函数.效果不好可能是样本数据不太准.5.可以采用标准化PRESTD，效果很好。
6.样本数据和测试数据是否放在一起归一化？
7.应该将样本数据和测试数据放在一起归一化，不然如果测试数据中有的值比样本数据最大值还大，岂不是超过1了？
神经网络训练的时候，应该考虑极值情况，即归一化的时候要考虑你所需要识别参数的极值，以极值作分母，这样可能效果更好一点。
8.激发函数如果选用的是倒s型函数，应不存在归一化的问题吧
9.我想问大家一下:在神经网络中,只有一个函数即:purelin这个函数对训练的输出数据不用归一化,而象logsig 和tansig函数都要归一化(如果数据范围不在[-1,1]或[0,1]之间).那既然用purelin函数可以不用归一化,为何又是还用归一化呢?
用神经网络里的PRESTD, PREPCA, POSTMNMX, TRAMNMX等函数归一化和直接用purelin这个函数有什么区别啊? 我作负荷预测时,象不用归一化的效果很好呀!
10.purelin没有作归一化啊,你用logsig 和tansig作为神经元激励函数,输出范围自然限制在[-1,1]或
[0,1]之间了
11.我所知道的关于归一化：
归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。在matlab里面，用于归一化的方法共有三中，（1）premnmx、postmnmx、tramnmx（2）prestd、poststd、trastd（3）是用matlab语言自己编程。premnmx指的是归一到[－1 1],prestd归一到单位方差和零均值。
（3）关于自己编程一般是归一到[0.1 0.9]。具体用法见下面实例。
为什么要用归一化？
为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于 其他输入样本特别大或特别小的样本矢量。
下面举例：
m=[0.11 0.15 0.32 0.45 30;
0.13 0.24 0.27 0.25 45];
其中的第五列数据相对于其他4列数据就可以成为奇异样本数据（下面所说的网络均值bp）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。
具体举例：
close all
clear
echo on
clc
%BP建模
%原始数据归一化
m_data=[1047.92 1047.83 0.39 0.39 1.0 3500 5075;
1047.83 1047.68 0.39 0.40 1.0 3452 4912;
1047.68 1047.52 0.40 0.41 1.0 3404 4749;
1047.52 1047.27 0.41 0.42 1.0 3356 4586;
1047.27 1047.41 0.42 0.43 1.0 3308 4423;
1046.73 1046.74 1.70 1.80 0.75 2733 2465;
1046.74 1046.82 1.80 1.78 0.75 2419 2185;
1046.82 1046.73 1.78 1.75 0.75 2105 1905;
1046.73 1046.48 1.75 1.85 0.70 1791 1625;
1046.48 1046.03 1.85 1.82 0.70 1477 1345;
1046.03 1045.33 1.82 1.68 0.70 1163 1065;
1045.33 1044.95 1.68 1.71 0.70 849 785;
1044.95 1045.21 1.71 1.72 0.70 533 508;
1045.21 1045.64 1.72 1.70 0.70 567 526;
1045.64 1045.44 1.70 1.69 0.70 601 544;
1045.44 1045.78 1.69 1.69 0.70 635 562;
1045.78 1046.20 1.69 1.52 0.75 667 580];
%定义网络输入p和期望输出t
pause
clc
p1=m_data(:,1:5);
t1=m_data(:,6:7);
p=p1';t=t1';
[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)
%设置网络隐单元的神经元数(5~30验证后5个最好）
n=5;
%建立相应的BP网络
pause
clc
net=newff(minmax(pn),[n,2],{'tansig','purelin'},'traingdm');
inputWeights=net.IW{1,1};
inputbias=net.b{1};
layerWeights=net.IW{1,1};
layerbias=net.b{2};
pause
clc
% 训练网络
net.trainParam.show=50;
net.trainParam.lr=0.05;
net.trainParam.mc=0.9;
net.trainParam.epochs=200000;
net.trainParam.goal=1e-3;
pause
clc
%调用TRAINGDM算法训练BP网络
net=train(net,pn,tn);
%对BP网络进行仿真
A=sim(net,pn);
E=A-tn;
M=sse(E)
N=mse(E)
pause
clc
p2=[1046.20 1046.05 1.52 1.538 0.75;
1046.05 1046.85 1.538 1.510 0.75;
1046.85 1046.60 1.510 1.408 0.75;
1046.60 1046.77 1.408 1.403 0.75;
1046.77 1047.18 1.403 1.319 0.75];
p2=p2';
p2n=tramnmx(p2,minp,maxp);
a2n=sim(net,p2n);
a2=postmnmx(a2n,mint,maxt)
echo off
pause
clc
程序说明：所用样本数据（见m_data）包括输入和输出数据，都先进行归一化，还有一个问题就是你要进行预测的样本数据(见本例p2)在进行仿真前，必须要用tramnmx函数进行事先归一化处理，然后才能用于预测，最后的仿真结果要用postmnmx进行反归一，这时的输出数据才是您所需要的预测结果。
个人认为：tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法。
12.“tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法”,说的有问题,若用premnmx将输入输出归一化,其输出值在[-1,1]之间,若输出层传函为logsig 则无论怎么训练,输出值都不可能在[-1,1]之间.13.我感觉如果激发函数是S型函数，应该不用规一化处理，但是效果不如规一化处理的好，不知道为什么？
14.我认为有可能是数据太大或太多，将其归一化之后，有利于快速的调整神经网络的网络结构，或者如同terry2008所说存在奇异值也肯定有影响。
当然，效果好就选谁！
15.如果输入数据中含有频率、幅值、相位以及其他一些不同类型的数据，需要对他们进行什么处理，才能用于网络的训练？只是简单的归一化就行吗？
16.如果数据的维数太多，可以考虑用prepca进行主元分析，不知道silvercx所说的简单的归一化是什么意思？我现在还不知道其他预处理方法？什么事都得试一下，试过了就知道，你可可以拿出具体问题一起讨论！
17.我认为讨论之前要搞清一个数学问题，就是每种激励函数的定义域和值域，我们都知道tansig的定义域是任意实数，值域为（－1，1）、purelin定义域和值域都是任意实数、logsig定义域任意实数，值域是（0，1）。
所以在具体实际中使用用事先考虑好这个问题，logsig的值域是（0，1），当然不可能使输出在（－1，1）
了。
我所说的：“tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法”,我并没说没有间接关系。
18.如果输入样本的数据组成为In=[频率;幅值;相位]
我只用premnmx对In进行归一化，训练BP网络，得到一个目标输出Out，其数据组成也为Out=[频率;幅值;相位]。这样子可以吗？总觉得把不同类型的数据放一起有点不妥。
19.完全可以，不过在输入数据和输出数据啊安排上可能要以时间序列的方式来安排。例如，用第1，2，3，4时刻的数据预测第5时刻的数据，用第2，3，4，5时刻的数据预测第6时刻的数据，依次类推，可以组成一定的输入输出对，以上只是举个例子，只是说明这种数据组织方法，silvercx 在实际中可以根据自己的要解决的问题，自己确定，我只是提供一个参考方法。
有问题再讨论！
20.目前在我的项目中，我是这样子来训练BP网络的。
在变频器输出频率为45~50Hz之间，采集电机的转矩(T)、转速(n)和另外一个目标量(RL)。
然后我对这些数据进行FFT变换，得到他们前几次谐波的幅值和相位。归一化。然后我利用两个网络分别训练幅值和相位。（下面Am表示幅值，Ph表示相位，即AmT45，表示在45Hz时电机的转矩前几次谐波幅值）
网络1：
in=[AmT45 AmT46 AmT47 AmT48 AmT49 AmT50;
Amn45 Amn46 Amn47 Amn48 Amn49 Amn50;];
out=[AmRL45 AmRL46 AmRL47 AmRL48 AmRL49 AmRL50];
网络2：
in=[PhT45 PhT46 PhT47 PhT48 PhT49 PhT50;
Phn45 Phn46 Phn47 Phn48 Phn49 Phn50;];
out=[PhRL45 PhRL46 PhRL47 PhRL48 PhRL49 PhRL50];
然后利用所训练的网络去测试其他频率下的数据RL。
这样进行网络的训练行不行，还是把幅值和相位放在一个网络内训练的效果好？
21.在神经网络BP网的预测中，对数据进行归一化处理，完了输出再反归一化。如果是单入单出系统好办，如果是多入单出系统，那么反归一化时，最大值和最小值怎么确定呢？
22.你可以自己指定，或者使用在训练网络时候确定的最大值和最小值
23.请问minmax(p),p是输入样本,它的功能是做归一化吗，在MATLAB里面.谢谢!
24.我认为，如果各维的数据不进行归一化处理，那么各维对误差函数的影响差异会很大。从而会影响学习性能。
不知道对不对？
25.那样本数据测试数据预测数据期望数据要一起进行归一化吗?
26.我所知道的关于归一化：
归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。
在matlab里面，用于归一化的方法共有三中，（1）premnmx、postmnmx、tramnmx（2）prestd、poststd、trastd（3）是用matlab语言自己编程。premnmx指的是归一到[－1 1],prestd归一到单位方差和零均值。
（3）关于自己编程一般是归一到[0.1 0.9]。具体用法见下面实例。
为什么要用归一化？
为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于 其他输入样本特别大或特别小的样本矢量。
下面举例：
m=[0.11 0.15 0.32 0.45 30;
0.13 0.24 0.27 0.25 45];
其中的第五列数据相对于其他4列数据就可以成为奇异样本数据（下面所说的网络均值bp）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。
具体举例：
程序说明：所用样本数据（见m_data）包括输入和输出数据，都先进行归一化，还有一个问题就是你要进行预测的样本数据(见本例p2)在进行仿真前，必须要用tramnmx函数进行事先归一化处理，然后才能用于预测，最后的仿真结果要用postmnmx进行反归一，这时的输出数据才是您所需要的预测结果。
个人认为：tansig、purelin、logsig是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法。
你好,我用了你的归一化方法,但当p2数据取比这些数大很多的值时，好像就不行了，出现了这样的问题，是不是数值超出了最大值的原因？我用的是GRNN网络
Warning: Divide by zero.> In normprod at 73
In calca at 119
In network.sim at 204
In xgi at 60
a2=postmnmx(a2n,mint,maxt)
a2 =
Columns 1 through 9
1602 1602 NaN NaN NaN NaN NaN NaN NaN
Column 10
NaN
29.而且预测值受样本期望输出的最大值限制，30.这个问题我提出来很多天了，为什么没有人表示意见呢，是这个问题本身就是神经网络的BUG，还是，我走的路偏了，对神经网络本质误解所致，大家多多指教阿，我在这等很久了呀！
非常不好意思，请教一问题：
31.利用归一化后的数据建了BP网络，但最后预测值在反归一化前却超出了[-1,+1]，不知问题出在哪？
32.小波神经网络对于时间序列预测在文献上报道得神乎其神，据称预测精度相对偏差平均达5%以下。鄙人尝试后认为，小波神经网络只是加快了收敛速度，而预测精度决定于问题本身，很多数据预测结果并不能达到以上效果。欢迎各位仁兄讨论改进方法。
33.有个问题：归一化的时候我认为应该考虑数据的物理含义
34.为什么我的简单的归一化程序总是错的?谢各位大虾指点
p=[1520 510 5.155 33.88;1468 521 5.321 35.79;
.......共5行]';
t=[0.7 1.9;0.6 1.798;.....共10行]';
for i=1:4
P(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));就是这行总说有错,到底是程序错还是软件不好??
end
此程序出自<神经网络理论与MATLAB7实现>,第269页,类似的归一化在我机子里都说不对,急死了,等毕业呢.35.不要用这个归一化啊，换函数premnmx试试
36.为什么要归一化？
神经网络输入的一维代表一个特征，当神经网络的输入是多维时，要识别的模式有多个特征，当这多个特征的数据相差很大，如几个数量级时，就需要归一化，变成相同数量级，以防某些数值低的特征被淹没。
第二篇：神经网络应用
神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。
The neuron
虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。
如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。
Learning
正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。
由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。
联想模式接受一组数而输出另一组。例如HIR程序接受一个„脏‟图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。
The Ups and Downs of Neural Networks
神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。
神经网络的另一个问题是对某一个问题构建网络所定义的条件不足-有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。
NN 神经网络，Neural Network
ANNs 人工神经网络，Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型
网格算法我没听说过
好像只有网格计算这个词
网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。
第三篇：神经网络心得[定稿]
人工神经网络学习心得
时间如白马过隙，很快八周的人工神经网络学习即将结束，仿佛昨天才刚刚开始学习这门课程，在这段时间的学习中，我有起初对神经网络的不了解到现在的熟悉和掌握，这其中的变化，是我知识提高的过程。我在这个过程中有一些自己的体会和感想。
我是一名学习控制科学和工程的研究生，起初对于神经网络的认识很肤浅，由于我相应知识的欠缺，想要理解神经网络的结构会很不容易。在开始的几节课中，老师给我们讲了神经网络的发展史、结构和原理，当时感觉有压力、紧张。因为我感觉和生物的神经学差不多，一开始接触觉得它不是一门智能控制学，而是一门生物学，所以只能慢慢学习和理解，最终完成课程的学习。虽然相比于其他学过的课程，我对这门学科的了解稍微逊色点，但我还不是一个害怕困难的人，越是困难我越是会迎头前进的，不会倒下，去努力掌握这些知识。
接下来的几周，是老师的授课过程，说实话老师讲的论文我听的不太懂，讲的软件的应用也是一知半解……有种痛苦的感觉，好像什么也没学到，问了其他同学，他们也有同样的感觉，哦，原来都一样啊，没事，那就继续坚持吧……
过了这个彷徨期，该是呐喊的时候了，该写期末作业了，开始做题的时候还挺紧张，害怕题很难做，找了很多资料，照葫芦画瓢，硬着头皮写，写完了之后有一点小小的成就感，我终于给做出来了，可当时我们还是不知道如RBF网络和BP网络怎么应用，只是有那么点熟悉，有那么点感觉。最重要的时刻到了，在课堂中老师提的问题，我显得是那么生疏，满脸的惆怅，对问题不知所措，迷茫与疲惫缠绕着我的身心。每次上课之前我都要花上一段时间去预习课程内容，但是每次看的都是一脸迷茫，一知半解。老师所说的每一句话，我要想半天才会明白过来。这事我猜知道，基础是多么的重要，而且我知道学习知识最重要的是要学会应用和实践。不然就只能只上谈兵，但是一到应用我就不知从何下手。因此，我知道我还有很长的路要走。
其中的辛酸与乐趣大概也只有一块学习的学友们了解。在这近两个月中我们体会到了坚持的力量。遇到问题，不能退缩，只能前进。坚持就是胜利。问题只有在不断的思考和学习中才能解决。同时，也能是自己得到提高。
经过几周的的学习我对神经网络的理解能力明显有所提高。在神经网络中我们可以用跳跃性的思维去思考问题，这锻炼了我们的跨越式思维，提高了我们的能力，增强了我们的自信心，在人生道路上选择的关键时刻起了很大的作用，让我们明白了独立思考，开阔眼界，在科研方面所发挥的重要作用，使我们“学以致用，终生受益。
在此，我们要感谢授课的李晓强老师，谢谢李老师在这近两个月来对我们的关心。通过这八周的学习，锻炼了我的能力；增加了对人工神经网络知识的了解；提高了创新意识和解决问题的能力。
第四篇：BP神经网络实验报告
BP神经网络实验报告
一、实验目的1、熟悉MATLAB中神经网络工具箱的使用方法；
2、通过在MATLAB下面编程实现BP网络逼近标准正弦函数，来加深对BP网络的了解和认识，理解信号的正向传播和误差的反向传递过程。
二、实验原理
由于传统的感知器和线性神经网络有自身无法克服的缺陷，它们都不能解决线性不可分问题，因此在实际应用过程中受到了限制。而BP网络却拥有良好的繁泛化能力、容错能力以及非线性映射能力。因此成为应用最为广泛的一种神经网络。
BP算法的基本思想是把学习过程分为两个阶段：第一阶段是信号的正向传播过程；输入信息通过输入层、隐层逐层处理并计算每个单元的实际输出值；第二阶段是误差的反向传递过程；若在输入层未能得到期望的输出值，则逐层递归的计算实际输出和期望输出的差值（即误差），以便根据此差值调节权值。这种过程不断迭代，最后使得信号误差达到允许或规定的范围之内。
基于BP算法的多层前馈型网络模型的拓扑结构如上图所示。
BP算法的数学描述：三层BP前馈网络的数学模型如上图所示。三层前馈网中，输入向量为：；隐层输入向量为：；输出层输出向量为：；期望输出向量为：。输入层到隐层之间的权值矩阵用V表示，其中列向量为隐层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，其中列向量为输出层第k个神经元对应的权向量。
下面分析各层信号之间的数学关系。
对于输出层，有
对于隐层，有
以上两式中，转移函数f(x)均为单极性Sigmoid函数：
f(x)具有连续、可导的特点，且有
以上共同构成了三层前馈网了的数学模型。
当网络输出和期望输出不相等时，存在输出误差E如下：
将以上误差定义式展开至隐层，有
进一步展开至输入层，有
由上式可以看出，网络输入误差是两层权值W和V的函数，因此调整权值可以改变误差E。
显然，调整权值的原则是使误差不断的减小，因此应使权值的调整量与误差的负梯度成正比，即：
式中负号表示梯度下降，常数表示比例系数，在训练中反映了学习速率。
容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均有3个因素决定，即：学习速率、本层误差信号和本层输入信号X/Y。其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。
三、程序
clc
clear
all
k=1;
n=10;
P=[-1:0.05:1];
T=sin(k*pi*P);
plot(P,T,＇-＇);
title(＇要逼近的非线性函数＇);
xlabel(＇输入向量＇);
ylabel(＇非线性函数目标输出向量＇);
net=newff(minmax(P),[n,1],{＇tansig＇,＇purelin＇},＇trainlm＇);
y1=sim(net,P);
net.trainParam.epochs=50;
net.trainParam.goal=0.01;
net=train(net,P,T);
y2=sim(net,P);
figure;
plot(P,T,＇-＇,P,y1,＇--＇,P,y2,＇*＇);
title(＇训练前后的网络仿真结果对比＇);
xlabel(＇输入向量＇);
ylabel(＇输出向量＇);
legend(＇目标函数输出向量＇,＇未训练BP网络输出＇,＇已训练BP网络输出＇);
仿真结果如下图：
由仿真结果图可以看出，未经训练的BP网络输出与目标函数差距很大，逼近效果不理想，而对BP网络训练之后的输出可以较精确的逼近目标函数，并且BP网络的训练迭代次数仅约1.2次，网络的输出目标误差就达到了精度要求，收敛速度很快。函数逼近效果、网络训练的收敛速度与原始非线性函数的频率、BP网络隐含层单元神经元的数目以及BP网络训练函数有关。
四、实验结论
通过编程实现使用BP网络对函数进行逼近，对BP网络的信号和误差传递的原理以及隐层、输出层权值调整的规则有了充分的理解和认识。
BP网络是一个强大的工具，它是应用最为广泛的网络。用于文字识别、模式分类、文字到声音的转换、图像压缩、决策支持等。
但是，通过实验看出，它还是存在一定的不足。由于本实验中采用的学习率是固定不变的，从而使得在函数逼近的时候在有些地方出现了偏离，如果能自适应的调整学习率，使网络在学习初期具有较大的学习率，以快速逼近函数，当已经逼近理想输出时再使用较小的学习率，来更加精准的去逼近函数，这样会得到更好的逼近效果和更小的错误率。
另外，BP网络还具有收敛速度慢、容易陷入局部极小值的问题。这些问题通过对标准BP算法的改进能得到一定程度的解决。
第五篇：BP神经网络优缺点
多层前向BP网络是目前应用最多的一种神经网络形式, 但它也不是非常完美的, 为了更好的理解应用神经网络进行问题求解, 这里对它的优缺点展开讨论: 多层前向BP网络的优点：
①网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；
②网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力； ③网络具有一定的推广、概括能力。多层前向BP网络的问题：
①BP算法的学习速度很慢，其原因主要有：
a 由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；
b 存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；
c 为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。
②网络训练失败的可能性较大，其原因有：
a 从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；
b 网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。
③难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；
④网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题；
⑤新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同； ⑥网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。优点——
神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现。具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力，因此有很大的应用市场。
缺点——
（1）最严重的问题是没能力来解释自己的推理过程和推理依据。
（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。
（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。
（4）理论和学习算法还有待于进一步完善和提高。
点击咨询 