InforBroker在國稅應用整合中的應用

CN43-1258/TP計算機工程與科學(xué)2006年第28卷第2期ISsN1007-130XComPuter enGInEERING ScieNCEVol.28,No.2,2006文章編號:1007-130X(2006)02-0010103Infor broker在國稅應用整合中的應用Application of InforBroker in State AdministrationTaxation Application Integration王東1,李若梅2,譚慶平2,陳大峰2WANG Dong, LI Ruo-mei, TAN Qing-ping, CHEN Da-feng(1.東南融通公司,福建廈門(mén)361005;2.國防科技大學(xué)計箅機學(xué)院,湖南長(cháng)沙410073)(1. Longtop Group, Xiamen 361005; 2. School of Computer ScienceNational University of Defense Technology, Changsha 410073, China)摘要:本文分析了發(fā)布/訂閱消息中間件 InforBroker的核心機制,并在此基礎上針對國稅應用整合項目的特點(diǎn),設計了—個(gè)基于 Inforbroker的核心數據交換平臺,并對其進(jìn)行了詳細闡述。該平臺支持動(dòng)態(tài)的數據集成,并使系統具有松耦合性和易擴展性,較好地滿(mǎn)足了系統的需求。Abstract: This paper analyzes the core mechanism of the publish/ subscribe-based message-oriented middleware(MOM)product Infor Broker, and discusses the design of the Data Exchange Platform of the state administration taxation applicationntegration project, which is built upon InforBroker to support dynamic data integration and improve flexibility and scalability to meet the specific requirements of the project關(guān)鍵詞:發(fā)布/訂閱;消息中間件;應用整合Key words: publish /subscribe; message-oriented middleware; application integration中圖分類(lèi)號:TP311;F812.4文獻標識碼原有系統的影響和配置管理的復雜性。1引言(2)存在數據復制需求。省數據中心抽取全部21個(gè)業(yè)務(wù)系統數據,而市數據中心只從其中的11個(gè)業(yè)務(wù)系統抽取數據目前,計算機軟件已經(jīng)在國稅系統中得到了廣泛的應這就要求將兩級數據中心重復抽取的數據做數據復制處理用,全省(山東省)十多個(gè)市局都已分別應用數十個(gè)業(yè)務(wù)系并在兩者不同時(shí)在線(xiàn)的情況下,保證數據更新的一致性統,實(shí)現了對眢自下轄縣級局和分局中大量涉稅數據的集(3)苛刻的數據傳輸要求。省國稅項目需整合的數據分中管理?，F在,為解決業(yè)務(wù)系統間的數據共享問(wèn)題,省局希布在十多個(gè)地市中,每個(gè)地市都包括金稅工程等數十個(gè)業(yè)務(wù)望通過(guò)國稅應用整合項目,在原有的各業(yè)務(wù)系統之上進(jìn)系統,項目要求對這些分布的、異構的大規模數據進(jìn)行批量、實(shí)步建立全省統一的數據處理分析和應用平臺,利用數據倉時(shí)和異步的數據傳輸,并保證數據傳輸的性能和可靠性庫技術(shù)實(shí)現對全省各類(lèi)涉稅數據的加工、統計和分析,以便針對項目的特點(diǎn),傳統的數據ETL技術(shù)在實(shí)現上都存對全省的稅務(wù)情況進(jìn)行宏觀(guān)決策和分析在開(kāi)發(fā)工作量大、實(shí)施復雜、難以擴充、廣域網(wǎng)中的傳輸能與常見(jiàn)的應用整合頊目相比,該國稅應用整合項目存力較差等問(wèn)題。本文將中創(chuàng )軟件公司自主研發(fā)的、基于發(fā)在以下幾個(gè)技術(shù)難點(diǎn)布/訂閱的消息中間件 Inforbroker應用到省國稅應用整合(1)必須具有良好的可擴充性。項目分為三期,由省到的數據交換平臺中,利用其靈活、高效的消息傳遞,實(shí)現了地市逐級實(shí)現,應盡可能容納原有應用系統,方便新應用系各業(yè)務(wù)系統—市局—省局的三層數據集成和共享,同時(shí)保統加入,系統升級時(shí)可以最大程度地重用原有系統,減小對證系統具有良好的可擴充性,滿(mǎn)足了系統的需求中國煤化工收稿日期:2004-09-24;修訂日期:2004-10-25CNMHG金項目:國家863計劃資作者簡(jiǎn)介男,湖北松研究方向為分布計算和企業(yè)應用集成;李若梅,碩士生,研究方向為分布計算和企業(yè)通訊地址:361005福建省廈門(mén)市軟廈A棟東南融通公司研發(fā)部;Tel:(0592)5171518(H),13799780587; E-mail:wang_Address:R&D Section Longtop Group, Part A, Chuangxin Building, Software Park, Xiamen, Fujian 361005, P RChina可以有多個(gè)消息發(fā)布者和訂閱者,客戶(hù)端的消息通過(guò)上2 InforBroker概述層的IB進(jìn)行傳遞。為了解決單點(diǎn)失效問(wèn)題,采用了基于主/從( Master/ Slave)模式的路由算法2.1發(fā)布/訂閱消息中間件的原理Domain A近年來(lái),基于發(fā)布/訂閱(PS)的消息中間件(MOM)因其支持在廣域網(wǎng)環(huán)境下松耦合系統間動(dòng)態(tài)、異步的數據傳遞且具有良好的可擴展性而成為研究的熱點(diǎn)。P/S消息中間件的原理如圖1所示。PushSubscribeIB2失效后Client aClientClient 3 Client 4 iClient Bsubscribe Client D圖1發(fā)布/訂閱通信模型圖2IB拓撲結構及路由示意圖消息發(fā)布者和訂閱者分別同MOM進(jìn)行通信:消息發(fā)這種路由算法把所有的IB分為主代理和從代理兩類(lèi)布者將包含主題的消息發(fā)布( Publish)到MOM;消息訂閱在一個(gè)邏輯消息域( Domain)中可以有多個(gè)主代理和從代者向MOM訂閱( Subscribe)自己感興趣的主題。MOM對理。以圖2為例,在IB2和IB3所組成的域( Domain b)中雙方的主題進(jìn)行匹配后,不斷將訂閱者感興趣的消息推設IB2為主代理,1B3為從代理。當IB3接到 Client:3發(fā)布(Push)給訂閱者,直到訂閱者向MOM發(fā)出取消訂閱(Un-的消息時(shí),它只需發(fā)給主代理IB2,由主代理負責把這一消subscribe)的消息。由此看出,通過(guò)MOM實(shí)現了發(fā)布者和息傳遞給它下層的所有IB,每個(gè)IB再向下發(fā)到所有與之訂閱者在三個(gè)方面的解耦21相連的邗B。當有 Client訂閱該消息,則將該消息發(fā)布給(1)時(shí)間解耦:發(fā)布方和訂閱方無(wú)需同時(shí)在線(xiàn)就能夠進(jìn)它。圖2表明,IB2既是 Domain a的從代理,也是 Domain行消息傳輸,消息中間件通過(guò)存儲轉發(fā)提供了這種異步傳B的主代理。當IB2失效時(shí),B3可以被提升為IB2的身份輸的能力(如虛線(xiàn)所示),成為 Domain b的主代理,從而解決了層次(2)空間解耦:發(fā)布方和訂閱方都無(wú)需知道對方的物理式拓撲的單點(diǎn)失效問(wèn)題地址、端口,甚至無(wú)需知道對方的邏輯名字和個(gè)數(4) InforBroker具有可靠性、優(yōu)先級、時(shí)間約束和內存3)流程解耦:發(fā)布方和訂閱方在發(fā)送和接收數據時(shí)并管理等豐富的QoS特性,為各種不同的應用需求提供了不阻塞各自的控制流程較為完善的支持;通過(guò)認證和授權等安全機制,保障了分基于發(fā)布/訂閱模型的消息中間件,我們稱(chēng)為發(fā)布/訂布式環(huán)境下消息傳遞的安全。此外, Infor Broker也支持閱消息中間件,它滿(mǎn)足了當前分布式環(huán)境下的消息交換要Push和Pull兩種消息交付模式求, InforBroker就是其中的一種2.2 Inforbroker的核心機制3數據交換平臺的設計及實(shí)現InforBroker是中創(chuàng )軟件公司開(kāi)發(fā)研制的一種基于發(fā)布/訂閱的、面向分布式應用的消息中間件,它為因特網(wǎng)和3.1數據交換平臺的總體結構大規模內聯(lián)網(wǎng)環(huán)境下分布式應用的快速開(kāi)發(fā)、部署、運行提省國稅應用整合通過(guò)在各地市局中心部署的市中心數供了靈活和易用的支撐平臺據交換平臺來(lái)實(shí)現市、省數據中心(數據倉庫)及各地市數InforBroker包括以下核心的發(fā)布/訂閱機制據交換平臺的連接,進(jìn)而實(shí)現全省涉稅數據的有效交換和(1)基于ⅹML的數據模型。數據模型決定了消息發(fā)共享,如圖3所示。布的語(yǔ)法采用XML這一半結構化的數據表示方法可以省cTAS應用系統省數據交換平白很容易地將XML的文檔描述與關(guān)系數據庫中的屬性對應起來(lái),實(shí)施精確的查詢(xún)與抽取(2)基于主題或 XPath的消息訂閱。消息訂閱者可以匝數據交平)(據交平通過(guò)消息的主題向 InforBroker訂閱感興趣的消息;另外對應 InforBroker的XML格式的數據模型,消息訂閱者可CTAIS應用系統市金稅應用系統以通過(guò) XPath向 Inforbroker進(jìn)行準確或模糊的訂閱?；?數據交換平臺層次圖于主題的訂閱方式簡(jiǎn)單有效,在廣域網(wǎng)環(huán)境下進(jìn)行批量的交換平臺豐勇申話(huà)配器層、消息總線(xiàn)等兩層構成消息發(fā)布和訂閱時(shí),能減少開(kāi)銷(xiāo),提高性能。而基于 XPath這兩中國煤化工的消息訂閱提供了更好的表達能力,但性能也隨之下降。CNMH源適配器和目的適配器所以,這兩種方式相互補充為消息訂閱者在不同條件下的由可視化建模工具來(lái)建立。源適配器根據數據源中有價(jià)值訂閱提供了多種選擇的數據和數據關(guān)聯(lián)進(jìn)行數據抽取主題的定義,以及對數據(3)層次式的拓撲結構。圖2就是一個(gè)簡(jiǎn)單的層次抽取的策略對數據格式、內容的轉換;目的適配器則根據式拓撲例子,從中可以看出,每一個(gè) InforBroker(簡(jiǎn)稱(chēng)IB)102省或市級數據中心的數據倉庫的要求,將訂閱得到的數據利用 Infor broker的發(fā)布/訂閱機制解決動(dòng)態(tài)、異步、松耦合存入數據倉庫中及易擴展等關(guān)鍵性問(wèn)題2)消息總線(xiàn)。消息總線(xiàn)利用 InforBroker的發(fā)布/訂(1)提供了良好的可擴展性。利用發(fā)布/訂閱機制的松閱機制,以異步、松耦合方式實(shí)現眢業(yè)務(wù)系統之間,及業(yè)務(wù)耦合性,當岀現新的需求時(shí),可以直接重用已有的數據交換系統與省、市數據中心之間的數據交換平臺來(lái)快速實(shí)現利用 Infor Broker所組成的消息代理集群將各業(yè)務(wù)系例如,當需要增加新的業(yè)務(wù)系統、業(yè)務(wù)部門(mén)或數據源統和省市兩級的數據中心平臺異步、動(dòng)態(tài)地連接在一起,其時(shí),只需將所需的數據映射為新的主題,并讓適配器發(fā)布和松耦合的特性滿(mǎn)足了各業(yè)務(wù)系統的自治性和擴展性訂閱這些主題即可。由于發(fā)布者和訂閱者無(wú)需知道對方的3.2數據交換平臺的工作原理任何信息,因此在 InforBroker建立新的主題后,就自動(dòng)形圖4給出了利用數據交換平臺進(jìn)行數據交換和共享的過(guò)成了這些適配器之間的數據傳輸通道,從而避免了消息隊程,其中包含業(yè)務(wù)系統數據交換平臺、市和省級數據中心等實(shí)列模式中所需的復雜的隊列創(chuàng )建配置和管理等問(wèn)題同時(shí),這種異步、動(dòng)態(tài)的連接使得在局部系統出錯時(shí)可以更方便地進(jìn)行隔離和恢復,保證了整個(gè)系統的強壯性和可靠性。市數據中心省數據中心(2)方便地解決了市數據中心到省數據中心的數據復制問(wèn)題。發(fā)布/訂閱模式的另一個(gè)好處是可以直接用來(lái)實(shí)目的適配器目的適配器現數據復制。和消息隊列不同,同一個(gè)主題的訂閱者和發(fā)數據交換平臺;布者是一種多對多的關(guān)系。因此,只要將需要復制的數據映射為特定的主題,然后讓省數據中心平臺和市數據中心TB集群同時(shí)訂閱這個(gè)主題,就能夠實(shí)現數據復制的功能了。這極大地減輕了集成開(kāi)發(fā)所需的工作量和數據交換平臺的工作負載,同時(shí)減少了對業(yè)務(wù)系統的影響。(3)保證了大規模分布式環(huán)境下的數據傳輸。利用集群市局21個(gè)業(yè)務(wù)系統省業(yè)務(wù)系統和消息域實(shí)現了數據的分級、分類(lèi)傳輸,均衡了數據交換平臺適配器源適配器的傳輸負載,提高了數據傳輸的性能和可靠性。一個(gè)特定消息發(fā)布域允許有多個(gè)主代理,以此來(lái)均衡該消息域內消息的傳輸負市21個(gè)業(yè)務(wù)系統…市21個(gè)業(yè)務(wù)系統省業(yè)務(wù)系統載。由于某個(gè)代理既可以是某個(gè)消息域的主代理,也可以是其它消息域的從代理,因此消息域在邏輯的分離和交互中提高圖4稅務(wù)網(wǎng)數據傳輸過(guò)程下面通過(guò)一次數據傳輸過(guò)程來(lái)詳細說(shuō)明數據交換平臺了消息共享的性能。當某代理失效后根據路由算法實(shí)現代理的工作原理網(wǎng)絡(luò )的動(dòng)態(tài)重排,大大提高了數據傳輸的可靠性1)數據由源適配器抽取、轉換并發(fā)布。為了從市局和省業(yè)務(wù)系統中抽取有價(jià)值的業(yè)務(wù)數據,必須為每個(gè)業(yè)務(wù)系統構廈4結束語(yǔ)適配器,根據業(yè)務(wù)量的情況,從整體上規劃業(yè)務(wù)數據發(fā)布的分級主題,確定適配器部罟的實(shí)例數量;源適配器會(huì )將業(yè)務(wù)系統中有價(jià)值的業(yè)務(wù)數據打包為XML消息,通過(guò)數據轉換構件可以將業(yè)務(wù)系統企業(yè)應用和數據整合是當今企業(yè)的一項重要工作,本文的數據從格式和內容上做出轉換,以符合數據中心的要求,最后發(fā)分析了基于發(fā)布/訂閱的消息中間件 Inforbroker的核心機布給發(fā)布方本地數據交換平臺中的 Inforbroke制,并把它應用在省國稅應用整合項目中的數據交換平臺源適配器傳來(lái)的數據然后放到消息隊列依據消息的Q③s厲性進(jìn)中,滿(mǎn)足了分布、異步、動(dòng)態(tài)、易擴展及松耦合的數據整合要行消息的排隊和存儲:按照訂閱者訂閱的主題的情況和QS進(jìn)行求。對同類(lèi)環(huán)境中業(yè)務(wù)數據傳輸的解決有一定的參考價(jià)值。心平臺的 InforBroker參考文獻訂閱方 InforBroker接收到來(lái)自IB集群的大量數據,將其存儲到Inforbroker的數據庫中,并發(fā)布給目的適配器[1 K Geibs. Middleware Challenges Ahead[J]. IEEE Comput(4)目的適配器過(guò)濾、轉換后存儲數據。目的適配器按照數據中r,2001,34(6):24-31心的需求構造,可向本地 Inforbroker訂閱相應的主題業(yè)務(wù)數據并根2] P T Eugster, P Felber, R Guerraoui,etal. The many faces據性能的情況調整目的適配器部署的實(shí)例數量。目的適配器接到訂閱的消息進(jìn)行過(guò)濾、轉換和整合后,將數據存儲到目的數據庫中of Publish/Subscribe[J. ACM Computing Surveys, 2003, 35通過(guò)以上步驟完成了數據從發(fā)布方業(yè)務(wù)系統到訂閱方(2):114-131自各業(yè)務(wù)系統的數據以及關(guān)聯(lián)數據建立符合信息分析要/八個(gè)), th Plale. Survey of Publish Subscribe Event Sy數據中心的信息集成和傳輸任務(wù)。數據最后在以數據倉庫echnical Report TR 574, Department of Computer為主的市、省級數據中心匯總,數據倉庫以主題形式存儲來(lái)Indiana University, 200中國煤化工模式和系統結構:[碩士學(xué)位求的數據模型,建立自動(dòng)數據處理機制,為決策分析提供完整、統一、準確的數據來(lái)源CNMHGurity Issues an3.3 InforBroker在數據交換平臺中的關(guān)鍵作用quirements for Internet-Scale Publish-Subscribe Systems可以看出, InforBroker在稅務(wù)網(wǎng)的數據傳輸和共享上LAJ. Proc of the 30th Hawaii Int'I Conf on System Sciences發(fā)揮了重要的作用。下面具體闡述在國稅應用整合中如何(HCSs35)[C1.200203