设计应用

一种基于遗忘机制的在线深度极限学习机

刘步中1,2 2018/8/6 11:30:00

0 引言

    HUANG G B等在2006年提出极限学习机(Extreme Learning Machine,ELM)[1]。极限学习机是为单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFN)设计的学习算法,该算法需要人为调整的参数只有隐藏层神经元的个数,比传统基于梯度下降的神经网络训练算法[2-4]收敛速度快,泛化性能好。

    但在实际应用中,数据往往不能一次性获取,当获取到新的数据时,又要把新的数据和旧的数据放到一起来训练网络,会浪费许多时间。在线极限学习机(Online Sequential ELM,OS-ELM)[5]可以将数据逐个或逐块地添加到网络中,当新的数据到来时,并不需要把旧的数据拿出来重新训练。但由于在线极限学习机的浅层网络结构,即使设置很多的隐藏层节点个数,仍然很难有效应对复杂的实际应用。同时,算法虽然能够逐个或逐块地学习数据,在较短的时间内达到较高的精度要求,但该算法对学习的时效性的数据不是太好,即数据在一段时间内是有效的,过一段时间后数据将失效(如天气预测或股票预测等)。

    本文结合在线极限学习机原理和深度极限学习机自动编码器(Deep ELM AutoEncoder,DELM-AE)[6-7]原理,提出无监督的在线深度极限学习机自动编码器(OS-DELM-AE),使ELM-AE具备在线学习的能力;在OS-DELM-AE的基础上进一步引入遗忘机制,提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE);并用FOS-DELM-AE做无监督的特征学习,FOS-ELM[8]做有监督的目标学习,使OS-ELM具备深层网络结构的同时,能适应很强时效性的应用。

1 深度极限学习机自动编码器原理简介

    相比浅层网络,深层网络能更好地处理高维数据;更接近人脑,对输入数据的特征进行层次化提取;能获得更多有用信息等。文献[6]用极限学习机训练深度自动编码器,每一层看作是一次极限学习机的训练,每层训练结束后将不再调整参数;上一层的输出作为下一层的输入,依次以极限学习机的训练方式训练自动编码器,从而形成深度极限学习机自动编码器。其网络模型如图1所示。

jsj4-t1.gif

    其中,自动编码器是一种无监督的学习方法,最初主要用于高维数据处理,自动编码器通过尽可能复现输入信号,学习到代表输入数据的新的特征。自动编码器由编码器和解码器组成。编码器在网络的训练和部署时使用,而解码器只在训练时使用。通过随机映射输入信号,自动编码器重构输入信号的问题就成了极限学习机问题。

2 FOS-DELM

2.1 OS-DELM-AE

    近年来,深度学习[9-12]成为研究热点,深度学习得到了极大发展,在深度学习发展的同时,在线深度学习的发展也得到了新的支撑[13-15]。本文在OS-ELM原理和深度ELM-AE原理的启发下,提出了OS-DELM-AE,将ELM-AE在线化,每一层OS-ELM-AE训练完成之后不再调整参数,上一层OS-ELM-AE的输出作为下一层OS-ELM-AE的输入,逐层训练OS-DELM-AE,通过OS-DELM-AE,将样本特征分层提取,并具备在线学习的能力。下面是OS-DELM-AE的具体算法步骤。

2.1.1 第1层特征学习

jsj4-gs1.gif

jsj4-gs2.gif

2.1.2 第p层特征学习

jsj4-gs3.gif

2.2 FOS-DELM

    遗忘机制是逐步驱除有错误可能及过时信息数据的有效方法,ZHAO J等[8]在OS-ELM算法中结合了遗忘机制,提出遗忘机制FOS-ELM算法。本文将遗忘机制引入到OS-DELM-AE中,提出了FOS-DELM-AE方法,使OS-DELM-AE能有效驱除错误信息及过时信息数据。以FOS-DELM-AE方法做无监督特征学习,以FOS-ELM做目标学习,提出基于遗忘机制的在线深度极限学习机(FOS-DELM)。

    设以前的数据块为Ωk-s+1,新添的数据块为Ωk+1,各层OS-DELM-AE输出权重的迭代计算公式为:

    jsj4-gs4.gif

    jsj4-gs5.gif

其中,Xk+1为第k+1块数据样本输入,s是每个数据块的有效单位时间。在OS-DELM-AE算法中,要计算βk+1,需要知道从N0~Nk+1的所有数据块,而FOS-DELM-AE算法计算βk+1时,只需要第k+1次添加的数据块Ωk+1和第k-s+1次添加的数据块Ωk-s+1。这是使FOS-DELM-AE算法具备有效去除有可能是错误信息的过时数据的关键。

3 实验评估

    本文算法FOS-DELM选用JINAN QINGQI MTCYCL、HUAXIN CEMENT、HAINAN AIRLINES、JINZHOU PORT等数据集,与OS-ELM、FOS-ELM算法做对比实验。评价指标为均方根误差(RMSE)(均方根误差越小效果越好)、判定系数(R-square)(判断系数越接近1代表拟合程度越高)以及训练时间作为评价指标。其中FOS-DELM采用3层结构,前两层为FOS-DELM-AE,最后一层为FOS-ELM。实验结果见表1~表6。

jsj4-b1.gif

jsj4-b2.gif

jsj4-b3.gif

jsj4-b4.gif

jsj4-b5.gif

jsj4-b6.gif

    由表1、表3、表5可知,FOS-DELM较OS-ELM、FOS-ELM降低了RMSE;由表2、表4、表6可知,FOS-DELM较OS-ELM、FOS-ELM提升了R-square。

    对水环境中DO(水中溶氧量参数指标)、NH3-N(水中氨氮含量指标)进行实验测试,如图2和图3所示,横坐标表示某个时刻,纵坐标表示某个时刻对应值。该结果图选取连续52个时刻的值作为展示,其他时刻有类似效果。从图2、图3的拟合效果看,FOS-DELM对水质指标的拟合程度比FOS-ELM更高。综合上述实验分析来看,FOS-DELM可以作为在线学习的有效方法,并具备深度学习和实效性强等优势。

jsj4-t2.gif

jsj4-t3.gif

4 结束语

    本文结合在线极限学习机原理和深度极限学习机自动编码器原理,提出无监督的在线深度极限学习机自动编码器,使ELM-AE具备在线学习的能力;在深层在线ELM-AE的基础上进一步引入遗忘机制,提出FOS-DELM-AE;并用FOS-DELM-AE做无监督的特征学习,FOS-ELM做有监督的目标学习,使OS-ELM具备深层网络结构的同时,具备在线学习能力。最后通过基于指标RMSE和R-square的实验验证了本文算法FOS-ELM的有效性。

参考文献

[1] HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:theoryand applications[J].Neurocomputing,2006,70:489-501.

[2] JIAN W,WEN Y,GOU Y,et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks,2017,89:19-30.

[3] 王洪元,史国栋.人工神经网络技术及其应用[M].北京:中国石化出版社,2003.

[4] 郁磊.MATLAB智能算法30个案例分析[M].北京:北京航空航天大学出版社,2015.

[5] LIANG N Y,HUANG G B,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1411-1423.

[6] Tang Jiexiong,Deng Chenwei,Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems,2015,27(4):1210-1213.

[7] 刘勘,袁蕴英.基于自动编码器的短文本特征提取及聚类研究[C].CCF国际自然语言处理与中文计算会议,2014:120-121.

[8] ZHAO J,WANG Z,DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing,2012,87(15):79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks:an overview[J].Neural Networks,2015,61:85-117.

[10] NODA K,YAMAGUCHI Y,NAKADAI K,et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence,2015,42(4):722-737.

[11] READ J,PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning,2014,85(3):333-359.

[12] RAHHAL M M A,BAZI Y,ALHICHRI H,et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences,2016,345(1):340-354.

[13] YAN X,JING Y,ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks,2017,93:7-20.

[14] LEI Y,ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation,2017,29(3):825-860.

[15] CHENG W Y,JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems,2015,22(2):324-337.



作者信息:

刘步中1,2

(1.江苏省中小企业电子产品工程技术研发中心,江苏 淮安223003;2.淮安信息职业技术学院,江苏 淮安223003)

神经网络 特征学习 极限学习机 遗忘机制 深度自动编码器