矩優(yōu)化Boosting算法

第28卷第12期模式識別與人工智能Vol.28 No. 122015年12月PR&AIDec. 2015矩優(yōu)化Boosting算法劉川廖士中(天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院天津 300072)摘要間隔分布是Boosting算法的關(guān)鍵,現有的間隔分布泛化誤差界難以計算,限制Boosting算法的發(fā)展.基于此問(wèn)題,文中提出直接優(yōu)化間隔分布的矩優(yōu)化Boosting算法( MOBoost).首先,推導基于間隔分布一階矩和二階矩的Boosting泛化誤差界( Boosting的矩泛化界) ,直接刻畫(huà)間隔分布對Boosting 的影響.然后,依據Boosting 的矩泛化界,給出Boosting的矩準則，在最大化間隔分布的一階矩同時(shí)最小化間隔分布的二階矩.最后,給出求解Boosting的矩準則凸二次優(yōu)化問(wèn)題的原始形式和對偶形式,為Boosting 矩準則提供有效的計算方法.理論分析與實(shí)驗表明,MOBoost有效可靠.關(guān)鍵詞Boosing, 間隔分布,矩,泛化誤差,模型選擇中圖法分類(lèi)號TP 181DOI 10. 16451/j. enki. ssn1003 6059.201512002Moment-Optimized Boosting AlgorithmLIU Chuan, LIAO Shi Zhong( School of Computer Science and Technology , Tianjin University , Tianjin 300072)ABSTRACTMargin distribution is critical to Boosting. However, the existing margin-based generalization errorbounds are too complicated to be used for the design of new Boosting algorithms. In this paper, amoment-optimized Boosting ( MOBoost ) algorithm is proposed with direct optimization of the margindistribution. Firstly, a generalization error bound for Boosting based on first and secondary moments ofthe margin distribution is derived to reveal the close relationship between margin distribution andgeneralization error. Then, a moment criterion for Boosting model selection is presented based on themoment generalization bound. The criterion maximizes the first moment and minimizes the second momentof the margin distribution simultaneously. Consequently, the primary and dual forms are formulated forsolving the convex quadratic program of the moment criterion for Boosting. Thus , an efcient computingmethod for the moment criterion is proposed. Theoretical analysis and experimental results show thatMOBoost is effective and reliable.Key Words Booting, Margin Distribution, Moment, Generalizaion Error, Model Selection*國家自然科學(xué)基金項目( No.61 170019)資助中國煤化工收稿日期:2015-05-12;修回日期:2015-07-09CNMH G作者簡(jiǎn)介劉川，男 ,1990年生，碩士研究生,主要研究方向為Boosting算法.居士+(旭以F有)，另,104年生,博士,教授,主要研究方向為人工智能應用基礎、理論計算機科學(xué). E-mail :szliao@ tju. edu. cn.1068模式識別與人工智能28卷1引言并不直觀(guān). Shen等[16] 證明Booting最大化非規范間隔期望的同時(shí),最小化間隔分布的方差,但該證明Boosting算法是當前較成功的分類(lèi)算法之一.建立在Boosting生成的弱分類(lèi)器是相互獨立這-該算法通過(guò)- - 系列弱分類(lèi)器的線(xiàn)性組合產(chǎn)生強分類(lèi)假設上.此外,Shivaswamy等17-8]受經(jīng)驗伯恩斯坦器,其中,弱分類(lèi)器由弱學(xué)習算法產(chǎn)生,僅要求分類(lèi)界的啟發(fā),提出方差正則化的Boosting 算法,但該性能強于隨機猜測. Freund 等[' -2] 提出的AdaBoost算法依賴(lài)的泛化誤差界忽略強分類(lèi)器f與訓練集s是一種實(shí)用的Boosting 算法，至今仍是常用的之間的關(guān)系,與實(shí)際情況并不相符.Boosting算法之- -.本文在Gao等(41工作的基礎上，推導Boosting學(xué)者在如何解釋Boosting算法的工作原理時(shí)關(guān)于經(jīng)驗間隔分布一階矩和二階矩的泛化誤差界,依然存有爭議,兩種最有影響力的解釋分別為統計并以經(jīng)驗間隔分布的二階矩作為正則化因子,最大解釋和間隔理論解釋. Breiman[3] 和Friedman等[4化經(jīng)驗間隔分布的一- 階矩,設計矩優(yōu)化的Boosting將Boosting算法解釋為函數空間中梯度下降的優(yōu)算法(Moment-Optimized Boosting Algorithm,化,據此Mason等[5]提出AnyBoost Boosting 框架,MOBoost).同Gao等[14]基于期望方差的泛化誤差界將Boosting擴展到回歸問(wèn)題，甚至非監督學(xué)習.統計相比,本文應用經(jīng)驗間隔分布的二階矩而不是它的觀(guān)點(diǎn)雖然對Boosting的發(fā)展做出巨大貢獻,卻無(wú)法替代統計量推導理論界,給出的理論界更能反映間解釋Boosting對于過(guò)擬合的抵抗性.Schapire等[6]隔分布的特征.實(shí)驗表明MOBoost有效可靠.提出的間隔理論是另一種通用解釋.該理論首次給出關(guān)于間隔分布的泛化誤差界,從而將Boosting算2基礎知識法的成功歸因于間隔分布的提高.Breiman[(3推導基于最小間隔的泛化誤差界,比Schapire基于間隔令訓練集分布的界更緊.由此, Breiman認為最小間隔比間隔S= {x;,y;}"分布更重要.優(yōu)化最小間隔是凸優(yōu)化問(wèn)題,易計算，獨立取自未知分布D(X x Y) ,其中,X為特征空間,這使得最大化最小間隔的策略受到廣泛關(guān)注,如Y={- 1,1}. dt為給定的假設空間,Vh∈H是將Xarg-gv[3] 和LP-AdaBoost!7]等.映射到Y的弱分類(lèi)器本文中,假設dH中分類(lèi)器的個(gè)然而，大量實(shí)驗表明，上述策略并未提高數有限,即Boosting的泛化性,甚至會(huì )降低泛化性,因此,間隔|#|=NJ <+∞.理論遭到嚴重質(zhì)疑.盡管軟間隔最大化Boosting算令C(H)為J4凸閉包的完備,即法表現出較佳性能[8-9] ,卻無(wú)益于緩解間隔理論的爭論.之后,Koltchinskii等[0-11利用拉德馬赫及高.C(#)= {|s= Eath,a.≥0,Za.=1}.斯復雜度證實(shí)可提高Schapire 的間隔分布界,但并定義預測矩陣H∈QMxNn ,其中,Hq=h,(x)是不能證明這些新的泛化界比Breiman的最小間隔弱分類(lèi)器h,(.)對訓練樣例x;的預測結果.為方便界更緊. Reyzin等[12復制Breiman的實(shí)驗,不同的起見(jiàn),記H;為H的第i行.是,他們采用決策樹(shù)樁作為弱學(xué)習器.與決策樹(shù)相Boosting 通過(guò)迭代T步建立-一個(gè)加法模型:比,決策樹(shù)樁能控制模型復雜性,實(shí)驗表明間隔分布比最小間隔更重要.f,(x)= 2 a,h,(x),近期, Wang等[13]提出均衡間隔界( Emargin),其中,h,(x)為第t步選出的“最佳”弱分類(lèi)器,a,為比Breiman的最小間隔界更緊,為間隔解釋提供新相應的權,的理論支撐,但考慮因素與Schapire及Breiman 不同. Gao等[14)利用改進(jìn)的經(jīng)驗伯恩斯坦界[5),假設a.≥0,Za,=1.在Breiman等相同的工作條件下,證明關(guān)于間隔分由前面定義可知，模型f,(x)可等價(jià)表示為J4 中所布更緊的泛化界,應對Breiman 的質(zhì)疑,再次肯定有分類(lèi)器線(xiàn)性組合的形式: .間隔分布的核心作用.并且,Gao等[4]還推導關(guān)于中國煤化工間隔分布期望及方差的泛化誤差界,為設計新的Boosting 算法指明方向.然而,盡管文獻[14]的期MYHCNMHG_對樣例(xy)，問(wèn)隔YJr(%;)反映正確分類(lèi)與望方差界中出現- -項自然反映間隔方差,但方差項誤分類(lèi)的弱分類(lèi)器的權值差異,即12期川等:矩優(yōu)化 Bosting算法1069y.f(x})=. 2 β,-_ 2 β。3Boosting的矩泛化界對訓練集S,Prs(xf+(x) <θ)可看作θ∈[-1,1]上的一個(gè)分布,即間隔分布.在Gao等(41工作的基礎上,本文進(jìn)- -步給出基于經(jīng)驗間隔分布,Cao等[4)] 給出如下泛Boosting關(guān)于經(jīng)驗間隔分布一階矩和二階矩的泛化化界.誤差界,稱(chēng)為Boosting的矩泛化界.定理1若訓練集引理對任意正整數k,示性函數S= {(x,y)}"抓x)0,投票分類(lèi)器f以至少1-8的證明分情況討論概率滿(mǎn)足1)當xf(x) < θ時(shí)，(1 +θ-xrf(x))*≥1*=1 =Mv) θ時(shí),由-1≤yf(x)≤1,0 <θ≤1,亞十了亞。聚[(3)<0]|.得3M1 +θ-xf(x)≥0,其中μ= gIn M In(2N#) + ln-QH2Ng(1 +θ-x(x))*≥0=gu0<在相同假設下，定理1給出的泛化界比綜上所述,對任意正整數k,m) 0,投票分類(lèi)器f至少以1-8的滿(mǎn)足M≥5,對Vδ > 0,投票分類(lèi)器f以至少1-8的Pr[xf(x) <0]≤Pr[x(x) <0]≤而+_ inf. |Pr([x(x) <0] +兩+. inf.θe(0,1] '(n+/籍的+亞招座),μ= fIn M ln(2Ny) + ln2N#”8證明由引理可得μ=1441n M ln(2Nn)+In(2%).Pr[xf(x) < 0]02(0)=PLu(>) <0]P[x(x) >號].ly1x) 0,Pr[xf(x)中國煤化工)=M，(1)因此，定理2表明，最大化Es[x(x)]且最小化Pr[yf(xMHCNMH Gi(.)可提高Boosting的泛化性.≤(1 +0)2-2(1 +0)Es[x(x)] + Es[(x(x))門(mén)]1070模式識別與人工智能28卷(2)s.t.2 uyh.(x)≤s.(7)將式(1)和式(2)分別代人定理1右端的Pr[xf(x) < ]可見(jiàn)，Boosting的矩準則的求解問(wèn)題是-個(gè)凸中,即得證定理.二次優(yōu)化問(wèn)題.與定理2給出的泛化界相比,定理3給出的泛化界不含Boosting的矩優(yōu)化算法Pr[xf(x) < 0]項,形式簡(jiǎn)潔且只相關(guān)于經(jīng)驗間隔的一階矩和二階本節根據Boosting的矩準則，設計Boosting 的矩.因而,定理3給出的泛化誤差界更易計算,并且矩優(yōu)化算法.可直接反映間隔分布對泛化性的影響.當弱分類(lèi)器較少時(shí)，可按式(5)"直接求解Boosting的矩準則;當弱分類(lèi)器較多時(shí)，可應用對4 Boosting的矩準則偶式(7)并采用列生成算法求解Boosting 的矩準則.依據Boosting矩泛化界給出Boosting算法的值得注意的是,式(7)也可看作是一種正則化優(yōu)化準則,稱(chēng)為Boosting 的矩準則.因子下的軟間隔LPBoostf8. 不同的是u不再是一由定理3可知,增加經(jīng)驗間隔的-階矩或減少個(gè)分布由拉格朗日對偶性,為使原問(wèn)題收斂更快，經(jīng)驗間隔的二階矩,可提高Boosting的泛化性.據僅需尋找違背式(7)約束不等式最嚴重的弱分類(lèi)此可得到如下準則:器,即max(E[)f(x)] - ηE{[(x(x)])，(3)arg max 2 uy.h(x,).(8)其中,η >0,用于給出Es[x(x)]與E([(x(x)]此時(shí)選擇的弱分類(lèi)器h與Boosting -致.的權衡.式(3)等價(jià)于綜上所述,可設計MOBoost,具體步驟如下.max(ZyH,a -點(diǎn)(y,H,a)算法MOBoost輸入訓練集S= {(x;,y,) },迭代次數T,正則s.t. 2a;=1,a;≥0,i=1,2,,M.化參數η > 0輸出F;(x)= sgn[f,(x)] ,其中ρ=[ρ,r,",pm]'∈[- 1,1]",p:=yHa,f(x)= E a,h,(x)并令1,為以y: ,y.,.. ,Yu為對角線(xiàn)元素的對角陣,有step 1初始化訓練集的權值分布ρ =I,Ha.則式(4)可改寫(xiě)為u;=一, i= 1,2,.. ,M.minηp'p - 1'p,(5)step2生成 T個(gè)弱分類(lèi)器s.t. a≥0, 1'a=1,ρ =I,Ha.whilet= 1: T上式顯然是一個(gè)凸二次優(yōu)化問(wèn)題引人變量r,s,u,可得式(5)的拉格朗日函數:由式(8)生成弱分類(lèi)器h;L(a,ρ,r,s,u)=ηρρ-1p-r"a+s(1'a-1) +增加h,到原問(wèn)題式(5),由其對u'(ρ - I,Ha),應的對偶式(6)更新u.其中r≥0,可得式(5)的對偶形式:max | -s(u- 1)"(u-1)step3根據對偶性得 到原問(wèn)題式(5)的解a,4η~(6)算法結束s.t. H'I,u ≤s1.MOBoq中國媒化工均值較大且二展開(kāi)(u-1)"(u- 1),式(6)可進(jìn)-步改寫(xiě)為階矩較小,H.CNMHG大的間隔,可給min|s-2-1'u+一u"u,出直覺(jué)上“好的問(wèn)隔分仰.在求解原始/對偶問(wèn)題的二次優(yōu)化過(guò)程中,對.12期劉川等:矩優(yōu)化 Boosting 算法1071應的矩陣通常是半正定的而不是正定的,故需在矩0.03 ,0.05 ,0.08 ,0.10,0.12,0.13 ,0.15.陣的對角線(xiàn)加上δ > 0的擾動(dòng).表2給出3種Boosting算法的誤差,最好的結果標注為黑體.由表2可見(jiàn),在大部分數據集上,6實(shí)驗及結果分析MOBoost有更好的預測性能.表1實(shí)驗數據集本節通過(guò)實(shí)驗驗證MOBoost的有效性和可Table 1 Experimental datasets靠性.數據集類(lèi)別屬性個(gè)數樣本數實(shí)驗環(huán)境如下: Intel Core2 Quad Q8200Ionosphere342.33 CHz CPU,內存4.0 GB;軟件R3. 0.0;標準數768據集選自UCI等數據庫.Banknote1371為控制分類(lèi)器的復雜性,均采用決策樹(shù)樁作為569弱分類(lèi)器,即僅包含--個(gè)節點(diǎn)的決策樹(shù)對比算法包German201000括AdaBoost和LPBoost.實(shí)驗采用13個(gè)標準數據Diabetes68Heart-c303集(見(jiàn)表1) ,按照4: 3: 3的比例隨機抽取數據作為Heart-h94訓練集、驗證集和測試集,測試迭代數為100和200Heart-statlog270時(shí)3種Boosting算法的性能每次實(shí)驗均重復10次Hepatitis55并取平均值.均衡參數Labor657Wpbe .99LPBoost的參數取值為0. 001 ,0. 005 ,0.01 ,0.02 ,Colic表2 AdaBoost、LPBoost和MOBoost的測試誤差Table 2 Testing errors of AdaBoost , LPBoost and MOBoostT= 100T= 200AdaBoostLPBoostMOBoost9.62土2.05 9.43 +1.33 7.55 +1.49 9.43 +1.89 10.57 +2.70 13.04 +2. 58Pima26.32 +2.30 31.34 +1.58 23.73 +1.2028.09 +0.79 30.00 +1.7727.22 +2. 560.63 +0.44 0.63 +0.53 0.24 +0. 171.12 +0.68 1.02 +0.90 0.58 +0.49Wdbc5.38 +1.72 5.61 +2.13 5.38 +0.765.50 +1.06 5.96 +0.494.09 +0.92 .26.27 +1.40 26.80 +3.48 26.00 +0.94 27.07 +2.88 29.33 +3.47 26.93 +1.1625.97 +4.26 27.72 2.86 25.37 +2.38 27.53 +3.07 29. 16 +4.6625.31 +2.4722.20 +5.68 21.32 +5.69 20.88 +3.01 21.76 +2.51 22.42 +5.0120.44士+4. 7019.55 +4.53 18.88 +3.59 21.57 +3.68 20.00 +3.84 21.80 +4.3220.00 +2.5721.48 +1.87 20.99 +6.42 19.51 +3.94 19.75 +5.01 18.99 +4.86 15.67 +3.4620.00 +7.15 21.70 +4.61 19.15 +3.36 20.43 +4.41 16.60 +1.7813.19 +4.6125.56 +6.33 27.56 +9.72 24.44 +8.43 19.24 +6.80 23.33 +7.3122.56 +7.52Wpbe23.00 +3.80 25.67 +1.49 24.33 +2.79 26.33 +4.62 24.67 +5.45 26.00 +3.21Colice18.20 +3.45 17.66 +1.87 16.58 +1.37 21.80 +3.90 20.36 +2.07 16.76 +3.35圖1給出均衡參數η對測試誤差的影響.當η圖2給出迭代數T =100時(shí)AdaBoost與MOBoost取值過(guò)小或過(guò)大時(shí),算法傾向于只考慮經(jīng)驗間隔分在Wdbe、German與Diabetes這3個(gè)數據集上的累布的一階矩或二階矩,都不全面,測試誤差較大.當計間隔分布對比，其他數據集上有相似結果.η=30 ,,.,30MOBoost的間隔分布曲線(xiàn)通常位于A(yíng)daBoost右下時(shí),同時(shí)兼顧經(jīng)驗間隔分布的-階矩和二階矩，給出方,這表明MOBoost比AdaBoost具有更好的間隔較好的經(jīng)驗間隔分布,此時(shí)的測試誤差較小且較分布,與之中國煤化工穩定.上述實(shí)YH |c N M H c效性和可靠性..1072模式識別與人工智能28卷.0.250.380.140.36-0.34-刪0.10糊0.32↑0.15-e 0.08路0.30-冕0.06冕0.28-0.26 t0.05 L0.24-268-log,nlog,7(a) lonosphere(b) Pima(c) Banknote0.090.36r0.36*0.08g 0.070.32[刪0.32-s 0.06↑g 0.30-當0.30-冕0.050.280.040.260.032δ246.802.468log.7(d) Wdbc(e)Germnan(f) Diabetes圖1 η對泛化誤差的影響Fig. 1 Effeet of η on generalization errors1.1.0p0.8至0.6-0.6-否0.6-于0.4本0.4-0.2-MOBoost0.. MOBoost一MOBoost |AdaBoost-- AdaBoost-0.2 0 0.2 0.4 0.6 0.81.0-0.2 0 0.2 0.4 0.6 0.8 1.0間隔(a) Wdbe(b)German(c) Diabetes圖2 MOBoost 與AdaBoost累計間隔分布的對比Fig. 2 Comparison of cumulative margin distibution between MOBoost and AdaBoost7,結束語(yǔ)一階矩和二階矩的Boosting 的矩泛化界,給出最大化經(jīng)驗間隔分布期望同時(shí)最小化經(jīng)驗間隔分布二階間隔在監督學(xué)習和非監督學(xué)習中都起著(zhù)重要作矩的Boosting的矩準則,設計基于Boosting的矩優(yōu)化用.直接應用間隔最大化的算法，如支持向量機的MOBoost算法,實(shí)驗驗證MOBoost比AdaBoost和(SVM)和譜聚類(lèi),可得到較好的泛化性.間隔分布LPBoost更有效.該項工作給出一個(gè)完整的Boosting的好壞也影響算法性能,因此,基于間隔分布的算法算法設計的經(jīng)驗間隔分布優(yōu)化理論與方法,也為進(jìn)受到廣泛關(guān)注(19-21].然而,關(guān)于間隔分布至今尚未-步研究其他學(xué)習算法的間隔分布優(yōu)化理論與方法有適用于學(xué)習算法設計的理論、準則和方法.提供有價(jià)值的參考.矩是隨機變量的重要統計特征.本文提出經(jīng)驗下一步中國煤化工定性,給出基于間隔分布矩優(yōu)化Boosting算法,推導基于經(jīng)驗間隔經(jīng)驗間隔分MHC N M H G的泛化誤差界..12期劉川等:矩優(yōu)化 Boosting算法1073參考文獻Annals of Stistis, 2002, 30(1): 1-50[11] Koltchinskii V, Panchenko D. Complexities of Convex Combina-[1] Freund Y, Schapire R E. Experiments with a New Boosting Algo-tions and Bounding the Generalization Error in Classfication. Therithm // Proc of the 13th Intemational Conference on MachineAnnals of Stistis, 2005 , 33(4): 1455 -1496Leaming. Bari, ltaly, 1996: 148-156[12] Reyzin L, Schapire R E. How Boosing the Margin Can Also Boost[2] Freund Y, Schapire R E A Decision -Theoretic Gencrlizaion of On-Cassifer Complexity /1 Proe of the 23rd Inemational Conferenceline Ieaming and an Application to Boosting. Jourmal of Computeron Machine Leaming. Pttsburgh, USA, 2006: 753-760and System Sciences, 1997, 5s(1): 119-139[13] WangL W, Sugjyama M, JingZ X, et al. A Refined Margin Ana-[3] Breiman L. Prediction Games and Arcing Algorithms. Neural Com-lysis for Boosting Algorithms via Equilibrium Margin. Joumal ofputation, 1999, 11(7): 1493-1517Machine Leaning Research, 2011, 12: 1835-1863[4] Friedman J H, Hastie T, Tibshirani R. Additive Logstic Regres- [14] Gao w, ZhouZ H. On the Doubt about Margin Explanation ofsion: A Statistical View of Boosting. The Annals of Statistics, 2000Bosting. Aricial Ieligence, 2013, 203: 1-1828(2): 337-407[15] Maurer A, Pontil M. Empincal Bernstein Bounds and Sample Va-[5] Mason L, Baxter J, Bartett P, et al. Boosing.Algorithns as Gra-riance Penalzation[ EB/OL]. [ 2015 -04 - 30]. htp://www.dient Descent // SollaS A, Leen T K, Muller K, eds. Advances inandreas -maurer. eu/svp-final. pdiNeural Inomation Processing Systems 12. Cambridge, USA: MIT[16] Shen C H, Li H X. Boosting through Optimization of Margin Disti-Press, 199: 512-518butions. IEEE Trans on Neural Networks, 2010, 21(4): 659-666[6] Schapire R E, Freund Y, BarlettP, et al. Boosting the Margin: A [17] Shivaswamy P K, Jecbara T. Empirical Bemstein Boosting // ProcNew Explanation for the Efectiveness of Voting Methods. Thof the 13th Intemational Conference on Artificial Inelligence andAnnals of Stisics, 1998, 26(5): 1651-1686Statistics. Sardinia, ltaly, 2010, IX: 733-740[7] Crove A J, Schuurmans D. Boosting in the Limit: Maximizing the [18] Shivaswamy P K, Jebara T. Variance Penalizing Adaboost //Margin of Learmed Ensembles /1 Proe of the 15th National Confe-Shawe-TaylorJ, Zemel RS, Bartlett P L, et al. eds. Adrancesrence on Arificial Ielligence. Madison, USA, 1998: 692 -699in Neural Informnation Processing Systens 24. Cambridge, USA:[8] Demiriz A, Bennett K P, Shawe-Taylor 」. Linear ProgranmingMIT Press, 2011: 1908-1916Boosting via Colunn Generation. Machine Leamning. 2002, 46(1): .[19] Garg A. Roth D. Margjin Distribution and Leaming Algorithms //225-254Proc of the 20th Intemational Conference on Machine Leaming.[9] FangY K, Fu Y, ZhouJL, et al. Selective Boosting Algorihm forWashington, USA, 2003: 210-217Maximizing the Soft Margin. Joumal of Software, 2012, 23(5):[20] Liu C, Liao s z. Boosting via Appraching Optimal Margin Distrbu-1132-1147 (in Chinese).tion /1 Proc of the 19th Pacific-Asia Coference on Knowledge Dis-(方育柯,傅彥,周俊臨,等基于選擇性集成的最大化軟間隔算covery and Data Mining. Ho Chi Minh, Vietnam, 2015: 684-695法.軟件學(xué)報, 2012, 23(5): 1132-1147)[21 ] Zhang T, Zhou z H. Large Margin Distribution Machine // Proc of[10] Koltchinski V, Panchenko D. Empincal Margin Distrbutions andthe 20th ACM SIGKDD Conference on Knowledge Discovery andBounding the Generalization Error of Combined Casfers. TheData Mining. New York, USA, 2014: 313-322中國煤化工MHCNMH G