基于OLS算法的RBF网设计方法与实现

计算机时代２０１０年第７期　・２ｌ　・　基于Ｏ　ＬＳ算法的Ｒ　Ｂ　Ｆ网设计方法与实现　刘金玲　（徐州广播电视大学铜山分校，江苏徐州２２１１１６）　摘要：在ＲＢＦ网络学习中用随机数据点作为径向基函数中心，计算神经网络的权，这样的结果往往会造成网络过大或　者结果不理想，从而无法满足要求。径向基函数中心的选择基于正交最小二乘法，逐个找出径向基函数的中心，构建出　良好的网络。该算法选择的中心最大值不会产生数字的病态问题。正交最小二乘法策略简单、有效，设计的径向基函数　网络效果很好。　关键词：基函数；最小二乘法；神经网络；回归；正交　Ｄｅｓｉｇｎ　Ｍｅｔｈｏｄ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ＲＬＢＦ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　ｏｎ　ＯＬＳ　Ａｌｇｏｒｉｔｈｍ　ＬＩＵ　Ｊｉｎ—ｌｉｎｇ　（Ｔｏｎｇｓｈａｎ　Ｂｒａｎｃｈ　Ｓｃｈｏｏｌ，Ｘ￣ｈｏｕ　Ｒａｄｉｏ　ａｎｄ　ＴＶ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２２１１１６，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ＲＢＦ　ｎｅｔｗｏｒｋ　ｌｅａｒｎｉｎｇ，ｕｓｉｎｇ　ｒａｎｄｏｍ　ｄａｔａ　ｐｏｉｎｔｓ　ａｓ　ｒａｄｉａｌ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ　ｃｅｎｔｅｒｓ　ｔｏ　ｃｏｍｐｕｔｅ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｗｅｉｇｈｔｓ，　ｔｈｅ　ｒｅｓｕｌｔ　ｉｓ　ｏｆｔｅｎ　ｌａｒｇｅ　ｎｅｔｗｏｒｋ　ｏｒ　ｕｎｓａｔｉｓｆａｃｔｏｒｙ，ａｎｄ　ｔｈｅｒｅｂｙ　ｃａｎｎｏｔ　ｍｅｅｔ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ．Ｂａｓｅｄ　ｏｎ　ｏｒｔｈｏｇｏｎａｌ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｍｅｔｈｏｄ，ｓｅｌｅｃｔｉｎｇ　ｒａｄｉａｌ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ　ｃｅｎｔｅｒｓ　ｃａｎ　ｆｉｎｄ　ｔｈｅ　ｃｅｎｔｅｒｓ　ｏｎｅ　ｂｙ　ｏｎｅ　ｔｏ　ｂｕｉｌｄ　ｇｏｏｄ　ｎｅｔｗｏｒｋ，ａｎｄ　ｔｈｅ　ｍａｘｉｍｕｍ　ｏｆ　ｔｈｅ　ｃｅｎｔｅｒ　ｓｅｌｅｃｔｅｄ　ｂｙ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｃａｎ　ａｖｏｉｄ　ｉｌｌ—ｃｏｎｄｉｔｉｏｎｅｄ　ｐｒｏｂｌｅｍ．Ｔｈｅ　ｏｒｔｈｏｇｏｎａｌ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｓｔｒａｔｅｇｙ　ｉｓ　ｓｉｍｐｌｅ　ａｎｄ　ｅｆｆｅｃｔｉｖｅ，　ａｎｄ　ｔｈｅ　ｄｅｓｉｇｎｅｄ　ｒａｄｉａｌ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ　ｎｅｔｗｏｒｋ　ｈａｓ　ａ　ｖｅｒｙ　ｇｏｏｄ　ｅｆｆｅｃｔ．　Ｋｅｙ　ｗｏｒｄｓ：ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ；ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｍｅｔｈｏｄ；ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｒｅｇｒｅｓｓｉｏｎ；ｏｒｔｈｏｇｏｎａｌ　０引言　前向神经网络已经应用在很多领域，用前向神经网络处理　复杂信号可以看成是在多维空间的曲面拟合操作。这些应用　１径向基函数网络　径向基函数网络的原理是用隐单元实现输入空间到隐含　层空间的变换，矢量不通过连接权直接映射到了隐空间，只要　这种关系也就确定了。输入层到隐含层的　从理论上讲是可行的，在网络结构足够大时，通过参数的选择　确定了ＲＢＦ的中心，可以将连续函数逼近到一定的精确值。其学习过程需要基于　变换是非线性的，而隐含层到输出层的映射是线性的，即网络　非线性优化技术，在应用梯度下降算法的时候，达到优化标准　的局部最小化。其他的优化技术，比如基因算法、学习自动机、　模拟退火，尽管可以完成扩展计算的全局最小化，但非线性参　的实际输出是单元响应的线性和。　ＲＢＦ网络如图１所示，映射　：Ｒ　Ｌ＿＋Ｒ：　ｎ．　ｆａｘ）＝　ｏ＋　。ｊ（Ｈｘ—ｃ，ｌ１）　（１）　‘ｉ　数神经网络最好的选择是径向基函数ＲＢＦ（Ｒａｄｉａｌ　Ｂａｓｉｓ　ｘ∈Ｒ　是输入，　（・）是Ｒ　到Ｒ的函数，　，（０≤ｉ≤ｎｒ）是权　Ｆｕｎｃｔｉｏｎ）。ＲＢＦ神经网络　可以作为两层网络，由线性参数拟　式中，∈Ｒ”，１≤ｉ≤ｎｒ是ＲＢＦ的中心值，ｎｒ是中心点的数目，ＲＢＦ　合所有的ＲＢＦ中心，在隐藏层是非线性的，不需要调节参数在　值，Ｃ，隐藏层的非线性转换，映射输入空间到新的空间，在新的空间　网络函数形式　（・）和中心Ｃｉ假设是固定的，权值　由线性最小　　（・）和Ｃｉ的选择要与两层神经网络相匹配。　输出层执行线性合并。ＲＢＦ神经网络之间的强连接性，使得它　二乘法决定。能够提供类似于两层神经网络的逼近能力。　基函数可以从一些典型的非线性函数中选择。一般来　讲，非线性函数的选择是无关紧要的，但是中心的选择则是关　ｙ　键的。如果中心数据任意选择，构建的网络明显无法满足要　求或效果不好，或生成的网络非常大，或数字的病态产生线性　的结果，或造成有些中心值很接近。采用正交最小二乘法ＯＬＳ　隐舍层　（Ｏｒｔｈｏｇｏｎａｌ　Ｌｅａｓｔ　Ｓｑｕａｒｅｓ），其正交性可以有效地解决上述问　题。线性回归模型中固定中心对应于已知的回归值，中心的选　择可以看作是子集建模问题，ＯＬＳ算法是从大量的候选值中选　择合适的回归中心子集，可以避免在随机中心选择时出现超规　图ｌ径向基函数网络图　函数　（・）可以选择薄板样条函数　：　（Ｖ）＝Ｖ２Ｉｏｇ（ｖ）　或高斯函数：　（ｖ）＝ｅｘｐ（一Ｖ　／ｐ　）　（３）　（２）　模和病态的情况，这样就为拟合ＲＢＦ网络提供了一个有效的学　习算法。　・　２２　・　Ｃｏｍｐｕｔｅｒ　Ｅｒａ　Ｎｏ．７　２０１０　其中Ｂ是常量。　骤：当ｋ＝ｌ时，令Ｐ的各列为ｗ的第一列，计算误差压缩比，选　择误差压缩比大的回归算子作为ｗ的第一列；当ｋ≥２时，依次　选择回归矩阵Ｐ中佘下的Ｎ＿ｋ列作ｗ的第ｋ列，用施密特正交　法（Ｇｒａｍ—Ｓｃｈｍｉｄｔ）将其与前ｋ列向量正交，计算误差压缩比，　（４）　实践表明这两个函数对于ＲＢＦ网络的逼近结果都很好。　下面用线性回归的具体例子说明ＯＬＳ算法如何选择合适　的ＲＢＦ网络中心点。　Ｍ　ｄ（ｔ）＝　百　（ｔ）０。＋Ｅ（ｔ）　选择带来误差压缩比最大的回归算子最终确定为ｗ的第ｋ列；　Ｍ、　式中，ｄ（ｔ）是目标输出，０。是参数，ｐ，（ｔ）是ｘ（ｔ）的回归值。中心Ｃ．　是已知的非线性函数　（・）对应的回归ｐ．（ｔ），选择合适的ＲＢＦ中　计算相对二次误差，如果１一∑［ｅｒｒ］　小于选定的公差则不加入　Ｊ＝ｌ　Ｍ、　心就是从给定的候选集合中选择符号回归子集。　２正交最小二乘法学习算法　ＯＬＳ方法解决了集合ｐｉ和正交基向量的转换，且可以计算　出每个基向量的影响值　，。回归矩阵Ｐ可以分解为：　Ｐ＝ＷＡ　（５）　Ａ是对角线为ｌ的Ｍ×Ｍ三角矩阵，对角线的下三角值部为０，　１　１２　ｏ【ｌ｛…Ｏ［１Ｍ　０　１　｛…　Ｍ　Ａ＝ｌ　０　ｗ是Ｎ×Ｍ矩阵，　：　’．　１　ＭｌＭ　《）　．．・　（）　【）　１　Ｗ　Ｗ＝Ｈ　（６）　Ｈ是对角阵。　Ｎ　ｈ＝ｗ　ｗ。＝Ｚｗ。ｔ＝１　（ｔ）ｗ．（ｔ），１　ｉ　Ｍ　（７）　正交基向量Ｗ．和集合ｐｉ的步距是相同的。用Ｈｏｕｓｅｈｏｌｄｅｒ转换　法可以求出Ｐ的类似正交分解。下面是用Ｇｒａｍ～Ｓｃｈｍｉｄｔ法计　算Ａ的一列和Ｐ的正交化，其过程如下：　Ｗ１　Ｐ１　ａ。ｋ＝ｗＺｐｋ／（ｗ　ｗ．），１　ｉ　ｋ　ｋ＝２，…，Ｍ　（８）　ｋ一１　Ｗｋ＝Ｐｋ－Ｚａ｜ｋＷ．　１＝１　在ＲＢＦ网络中，数据点ｘ（ｔ）的数量一般很大，中心点被选择　作为一个子集，通常所有候选回归量Ｍ也是很大的，实际需要　的关键回归量Ｍ（＜＜　，关键回归量可以用ＯＬＳ算法得到。当　ｉ≠ｊ时Ｗ，和　是正交的，ｄ（ｔ）的平方和是：　Ｍ　ｄＴｄ＝∑ｇ２．ｗ．Ｔｗ．＋Ｅ　Ｅ　（９）　ｉ＝１　如果ｄ是目标输出，在求出均值后它的值已经被改变，ｄ（ｔ）　的方差由：　Ｍ　Ｎ－Ｉｄ　ｄ＝　∑ｇ　ｗ　ｗ．　Ｅ　Ｅ　ａ　ｉ＝１　得出。ｇ２．ｗ＇１　Ｗ．是由Ｗ．引入的目标输出方差的增量，误差压缩　比可以定义为：　［ｅ　＝　ｗ　／（ｄｒｄ），１≤ｉ≤Ｍ　０１）　该式给出了采用前向回归方法查找子集关键回归量的简　单有效方法。下面是用施密特正交法　（Ｇｒａｍ—Ｓｃｈｍｉｄｔ）的步　回归算子；当１一∑［ｅｒｒｌ　大于选定的公差，则继续计算ｗ的第　Ｊ＝１　ｋ＋ｌ列。心归算子选择完毕后，即可解得权值的最小二乘解。　ＯＬＳ程序的几何意义是明显的，在第ｋ步，由回归算子张成　的空间维数从ｋ－１变成ｋ维，新添加的回归算子使得对于相关　变量的误差压缩比最大。正交性质使得这种选择步骤简单有　效。为了避免数字的病态，Ｗ　ＩＷ　＝０表明ｐｋ是Ｐ。到Ｐ　的线性　合并，因此，如果ｗ　ｒｌ　Ｗ　小于预设的阈值，回归量Ｐ　不被选择，这　对于拟合ＲＢＦ网络是重要的。如果中心是随意选择的，通常会　发现ＬＳ问题是病态的，需要更多鲁棒的技术，比如奇异值分　解，在ＯＬＳ选择算法中这样的问题很容易被克服　。　３应用实例　下面给出应用该算法对一组信号数据得到的基于ＯＬＳ算　法的ＲＢＦ网设计的结果　：　ｋ＝８　ＵｎｉｔＣｅｎｔｅｒｓ＝．１．１６４７　１　０８２６　２．１５７０　．０．１９９６　２．０８６２　—１　８４８０　－３．０２５７　—０．５５６６　Ｗ２＝２．２２２８　１．４３０９　０．４５３６　０．８４０６　０．７８０１　０．９３４０　０．１２０２　０　５１５９　Ｂ２＝０．０６０６　图２基于ＯＬＳ算法ＲＢＦ网设计测试结果　从实验结果可以看出，根据样本输入维数和最大允许隐节　点数，计算隐节点输出阵，记录每次增加隐节点后的训练误差，　再选择具有最大投影的矢量，得到相应的数据中心，然后用广　（下转第２５页）　计算机时代２０１０年第７期　（１）擞据冗余与处理速度　・　２５　・　进行反规范化。　数据冗余和规范化是相互制约的一对关系，关系模式规范　上述的单据明细表（表３）为例，假如有以下应用需求：某顾　化程度越低，则数据冗余度越大。数据冗余是指相同数据在不　客２００９年１０月２５日在某文具店购买了一些文具（如表ｌ、表２、　同表中的重复出现。必须注意的是，主键与外键在多表中的重　表３中数据所示），Ｊ１月２日，顾客才到商店索要ｌ０月２５日所买　复出现，不属于数据冗余，非键字段的重复出现，才是数据冗　物品相应发票。按第３范式要求，在存储销售单明细信息时，只　余。数据冗余有低级冗余和高级冗余两种，低级冗余是数据或　需要存储“流水号”、“商品编码”，“单据编码”和“数量”属性，　字段的重复性出现，而高级冗余是字段的派生出现。　“商品名称”、“商品型号”、“单价”等均属于低级冗余信息，可以　例如，某文具店数据库中与销售单据信息有关的表有商品　根据“商品编码”信息轻松地在商品基本信息表（表１）中获取。　基本信息表（表１）、单据信息表（表２）以及单据明细表（表３）。　额”等属性都不依赖于主码（单据编号＋商品编码，或流水号），　表明该表的设计不满足第三范式。因为“商品名称”、“商品型　但是，产品“单价”信息有可能会随着时间而改变，比如，就在ｌ０　息从商品信息基本表复制到单据明细表中，则ｌ１月２日就无法　准确地重新打印原始发票。如果顾客是按发票金额付款，问题　将非常严重。　因此，虽然规范化可以将相同的数据很好地保存在一个地　其中表３单据明细表中“商品名称”、“商品型号”、“单价”、“金　月２７日，打印纸“单价”由２２元降为２０元。如果不将“单价”信　号”、“单价”只依赖于“商品编码”属性，而“金额”可以由“单价”　乘以“数量”得到，因此“商品名称”、“商品型号”、“单价”以及　“金额”均是冗余字段。但“商品名称”、“商品型号”、“单价”是　方并能简化编辑工作，但某些情况下却不需要这样做。如果由　相同数据的重复出现，属于低级冗余，而“金额’’字段是派生属　于历史原因需要某些数据的怏照，则必须从一开始就在数据库　性（汁算列），是高级冗余。增加“金额”这个冗余字段，可以大大　中设计好。否则，一旦数据被覆盖就无法再找回。　提高查询统计的速度，这就是以空间换时问的作法。冗余的目　３结束语　数据库设计离不开业务实践过程。在７０年代末８０年代　初，人们为了研究数据库设计方法学的便利，曾主张将结构设　的是为了提高处理速度。只有低级冗余才会增加数据的不一　致性。因此，在进行数据库设计时可根据需要适当提高高级冗　余的比例，尽量避免低级冗余的情况。　表１商品表的表结构　计和行为设计两者分离，但没有成功。针对数据库设计过程实　践性强、主观性高及不断反复的特点，笔者在教学中，不但大量　搜集了原始单据资料，力争对业务环境给出详细清晰的讲解，　而且理清同一个业务在不同环境下的不同设计方法，在确认学　生和教师对业务需求的理解达到一致的前提下加深学生对数　【ａｘｘ）２　１打印纸　　ＡＲＰ　ｊＡ４　　２２ｌ　　３２ｌ　｛　表２单据信息表　单据日期　２（Ｘ）９—１０—２５　据库的设计主客观过程的理解。实践证明，理清数据库设计的　ｆ　１２６　　经办人　Ｉｌ　审核人　Ｉ　总金额　ｉ　凡　ｆ李鑫　主客观关系，强调加强主观分析及讨论的教学方式对培养学生　需求分析能力和数据库设计能力具有很好的促进作用，能取得　良好的教学效果。　参考文献：　［１１王珊，萨师煊．毅据库系统概论（第四版）［Ｍ】高等毅育出版社，２００６．　［２ｌ　Ａｂｒａｈａｍ　Ｓｉｌｂｅｒｓｃｈａｔｚ等著，杨冬青等锋．数据库系统概念（原书第５　表３单据明细表　《２Ｊ规范化与历史数据　版）【ＭＪ．机械工业出版社，２００８．　低级冗余不但浪费数据库的存储空间，而且容易导致数据　［３１　ＪｅｆｆｒｅｙＤ．Ｕｌｌｍａｎ等著，岳丽华等译．数据库系统基础教＃Ｉ［ＭＩ．机械工　不一致，因为同一数据，可能会从不同时间、地点、角色上多次　业出版社．２００６．　录入。但很多时候为了实际应用的需要，必须允许一定程度的　【４ｌ　Ｒｙａｎ　Ｋ．Ｓｔｅｐｈｅｎｓ等著，何玉洁等译．数据库设计【Ｍ】．机械工业出版　社．２００１　低级冗余，否则可能会出现严重的商业问题。这一点主要体现　在有时候需要保存可能会随时间变化的历史数据，因此需要根　据实际情况有选择地决定复制哪些数据，对设计出的关系模式　【５】王预．数字图书馆信息检索技术及其应用［ａ１．计算机技术与霞展，　２００６．１０．　（上接第２２页）　３】刘文菊，郭景．ＲＢＦ神经网络中心选取ＯＬＳ算法的研究【Ｊ】．天津工业　义逆求广义输出权值，得到输出权值，作Ｇｒａｍ—Ｓｃｈｍｉｄｔ正交　［化。从图中的测试结果可知，基于ＯＬＳ算法的径向基函数神经　文学学报，２００２．２１（２）：７１～７３　【４】Ｓ．Ｃｈｅｎ，Ｃ．Ｆ．Ｎ．Ｃｏｗａｎ，ａｎｄ　Ｐ．Ｍ．Ｇｒａｎｔ，Ｏｒｔｈｏｇｏｎａｌ　Ｌｅａｓｔ　Ｓｑｕａｒｅｓ　Ｌｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎ　Ｎｅｔｗｏｒｋｓ［Ｊ］．　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，１９９１．２（２）：３０２－３０９　网络的过程简单，实验得到的效果很好。　参考文献：　【１】魏海坤神经网络结构设计的理论与方法【Ｍ】．国防工业出版社，　２００５．　ｆ５】倪友平，姜卫东，陈曾平一种优化神经网络剐练算法及其在目标识　别中的应用［Ｊ】．现代电子技术，２００５　３：１８～２０　［６１　ｈｔｔｐ：／／ｗｗｗ．ｃｈｉｎａｖｉｂ．ｃｏｍ／ｆｏｒｕｍ／ｆｏｍｍ一３５—１．ｈｔｍｌ　【２１马永其，冯伟．ＲＢＦ神经网络在“薄管板”结构强度分析中的应用【３１．　应用力学学报，２００２．１９（２）：９１～９３