OLAP技術(shù)在煤炭生產(chǎn)調度系統中的應用

2009年10月棗莊學(xué)院學(xué)報Oet. 2009。第26卷第5期JOURNAL OF ZAOZHUANC UNIVERSTTYVol. 26 NO.5OLAP技術(shù)在煤炭生產(chǎn)調度系統中的應用傅萌,趙莉(西安工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院,陜西西安710032)[摘要]生產(chǎn) 調度系統在煤炭企業(yè)的生產(chǎn)過(guò)程中發(fā)揮著(zhù)重要的作用,通過(guò)引入數據倉庫和OLAP技術(shù),對生產(chǎn)調度系統一次部署即可以實(shí)現數據的定時(shí)更新生成各類(lèi)報表、數據的交互操作等功能.最大程度的方便了企業(yè)管理人員了解當前生產(chǎn)情況,也為下步?jīng)Q策提供了依據.[關(guān)鍵詞]生產(chǎn)調度系統;數據倉庫;OLAP[中團分類(lèi)號]TP311.13[文獻標識碼]A[文章t編號]1004 -7077(2009)05 -0110 -040引言煤炭企業(yè)的生產(chǎn)調度系統使各級的安全、生產(chǎn)、指揮決策部門(mén)有機的結合起來(lái),提高了整個(gè)企業(yè)生產(chǎn)的綜合調度能力.隨時(shí)企業(yè)生產(chǎn)規模的不斷擴大,生產(chǎn)調度系統原有的數據庫系統很難滿(mǎn)足跨區城、多種經(jīng)營(yíng)生產(chǎn)模式的需要,成為了束縛企業(yè)發(fā)展的瓶頸.通過(guò)引人數據倉庫和OLAP技術(shù)對原調度系統的數據系統進(jìn)行重新部署,從而更好的滿(mǎn)足企業(yè)的需求.1數據倉庫和 0LAP技術(shù)相關(guān)知識首先介紹--下所用到的數據倉庫和OLAP技術(shù)的相關(guān)知識,從不同的角度認識數據存儲的各項任務(wù),認識到OLAP靈活的分析功能、直觀(guān)的數據操作和分析結果可視化表示等突出優(yōu)點(diǎn).1.1數據倉庫數據庫系統作為數據管理手段,主要用于事務(wù)處理,保存了大量的日常業(yè)務(wù)數據,傳統的決策支持系統( Decision Support Systems ,簡(jiǎn)稱(chēng)DSS) - -般都是直接建立在這種事務(wù)處理環(huán)境上的.盡管數據庫在事務(wù)處理的應用獲得了巨大的成功,但它對分析處理的支持一直不能令人滿(mǎn)意.數據庫是面向事務(wù)的設計,而數據倉庫是面向主題設計的.數據倉庫是在數據庫已經(jīng)大量存在的情況下,為了進(jìn)--步挖掘數據資源、為了決策需要而產(chǎn)生的,它決不是所謂的“大型數據庫".數據倉庫之父w.H.Inmon提出了數據倉庫的概念:數據倉庫是面向主題的、集成的、與時(shí)間相關(guān)且不可修改的數據集合.指出了數據倉庫與傳統數據庫的區別:“面向主題的”:傳統數據庫主要是為應用程序進(jìn)行數據處理,未必按照同一主題存儲數據;數據倉庫側重于數據分析工作,是按照主題存儲的.“集成的”:數據庫系統記錄的是每一項業(yè)務(wù)處理,這些數據不適合用于分析處理;數據倉庫中的數據是可能來(lái)源于多個(gè)不同的操作環(huán)境和歷史數據源,是經(jīng)過(guò)統--和綜合的.[收稿日期]2009 -07 -27中國煤化工[作者簡(jiǎn)介]傅萌(1982 -),男(漢) ,山東滕州市人,陜西省韓城市計算機科學(xué)與工程學(xué)院計算機系統結構專(zhuān)業(yè)2007級在讀碩士研究生,主MYHCNMHG傅萌,趙莉OLAP 技術(shù)在煤炭生產(chǎn)調度系統中的應用“與時(shí)間相關(guān)”:數據庫保存信息的時(shí)候,并不強調-定有時(shí)間信息.數據倉庫則不同,出于決策的需要,數據倉庫中的數據都要標明時(shí)間屬性.決策中,時(shí)間屬性很重要.“不可修改”:數據倉庫中的數據并不是最新的,而是來(lái)源于其它數據源.數據倉庫反映的是歷史信息,并不是很多數據庫處理的那種日常事務(wù)數據.1.2 OLAP 技術(shù)數據處理大致可以分成兩大類(lèi):聯(lián)機事務(wù)處理OLTP( On - Line Transaction Process-ing)、聯(lián)機分析處理OLAP(On - Line Analytical Processing) . OLTP是傳統的關(guān)系型數據庫的主要應用,是基本的、日常的事務(wù)處理,例如銀行交易.OLAP是數據倉庫系統的主要應用,支持復雜的分析操作,側重決策支持,并且提供直觀(guān)易懂的查詢(xún)結果.OLAP是共享多維信息的、針對特定問(wèn)題的聯(lián)機數據訪(fǎng)問(wèn)和分析的軟件技術(shù).它專(zhuān)門(mén)設計用于支持復雜的分析操作,側重對高層管理人員的決策支持,可以根據分析人員的要求快速、靈活地進(jìn)行大量數據的復雜查詢(xún)處理,并且以--種直觀(guān)而且易懂的形式將查詢(xún)結果提供給決策人員,以便他們準確掌握企業(yè)(公司)的經(jīng)營(yíng)狀況,了解對象的需求,制定正確的方案.OLAP的基本多維分析操作有鉆取(Drill-up和Drill-down)、切片(Slice)和切塊( Dice)、以及旋轉( Pivot)等:鉆取是改變維的層次,變換分析的粒度.它包括向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up).Drill-up是在某--維上將低層次的細節數據概括到高層次的匯總數據,或者減少維數;而Drill-down則相反,它從匯總數據深人到細節數據進(jìn)行觀(guān)察或增加新維.切片和切塊一是在一部分維.上選定值后,關(guān)心度量數據在剩余維.上的分布.如果剩余的維只有兩個(gè),則是切片;如果有三個(gè)或以上,則是切塊.旋轉是變換維的方向,即在表格中重新安排維的放置(例如行列互換).OLAP的核心是數據立方體技術(shù).數據立方體是- - 類(lèi)多維矩陣,讓用戶(hù)從多個(gè)角度探索和分析數據集,通常是--次同時(shí)考慮三個(gè)因素(維度).但是數據立方體不局限于三個(gè)維度,大多數OLAP系統能用很多個(gè)維度構建數據立方體.數據立方體之所以有價(jià)值,是因為我們能在一個(gè)或多個(gè)維度上給立方體做索引,提高查詢(xún)效率.2數據系統的實(shí)現煤炭生產(chǎn)調度系統作為企業(yè)內部橋梁,它的數據庫系統承擔了安全、生產(chǎn)和決策部門(mén)的各項數據.構建新的數據系統,提供快速、準確、靈活的報表信息的任務(wù),更好的滿(mǎn)足企業(yè)需求.原數據系統中的表單,是各個(gè)部門(mén)根據實(shí)際生產(chǎn)、安全、調度情況進(jìn)行編制填寫(xiě),在規范性和一-致性上都有很大的問(wèn)題,給階段性的報表工作帶來(lái)了-定難度.同時(shí),事務(wù)性的數據錄人,不能為數據分析提供便利.首先,根據用戶(hù)需求來(lái)構建數據倉庫.數據倉庫是OLAP應用的基礎,需要考慮數據倉庫的粒度;確定度量值、事實(shí)表以及維度,包括確定維度的層次機構;創(chuàng )建初始的多維模型.通過(guò)分析,確定了三個(gè)主題:采煤工作面匯報表、采煤工作面持續表以及采煤工作面日報表;涉及的維度有:日期、施工單位、采煤方式、巖性、所屬井口、工作面和巷道.我們通過(guò)采煤工作面匯總表詳細闡述數據倉庫的建立,確立事實(shí)表和相應的維表(圖1):接下來(lái),我們將用到數據的抽取、轉換和加載,即ETL( Extraction Transformation Load-ing),是數據倉庫中的非常重要的一環(huán).eTL負責將'數據如關(guān)系數據、平面數據文件等抽取到臨時(shí)中間層后進(jìn)行清中國煤化工創(chuàng )數據倉庫，成為聯(lián)機分析處理數據挖掘的基礎.根據分析,通:MHCNMHG,生成維表,,111●棗莊學(xué)院學(xué)報2009年第5期然后構建事實(shí)表.工作面維時(shí)間維開(kāi)始時(shí)間ID LInt工作面編號yarhr(30)采煤工作面統計事實(shí)表varchar(30)varchar (30)1nr時(shí)CIDint單位維單儀D。4n采煤方式雄計劃日產(chǎn)量float采煤方式IDInt e采煤方式yarchar(30)困1采煤工作面匯 總情況主題通過(guò)編寫(xiě)腳本和創(chuàng )建模型,分別完成維表和事實(shí)表的構造(如圖2所示):從采擺工作雷匯總薄表獲得數據司工作置繼表獲得數館同排序工作面字段接序工作圈字段2工作面字段比對4自位維獲得數華社名和區隊名進(jìn)行比對↑8采煤方式堆獲得蚊據排序采煤方式宇段采煤方式比對排序采煤方式宇段2一排序日期宇段攛序日期字段2時(shí)間維獲得蚊據比對日期選擇輸出宇段并改名采煤工作面匯總事實(shí)表輸出困2采煤工作面匯總事實(shí)表通過(guò)以上操作,構造的數據倉庫中包括了分析所需的事實(shí)表和維表,我們就可以進(jìn)步構造OLAP分析的數據模型,并對維度和度量值進(jìn)行定義和編輯,確保更好的數據展示.首先根據相應的主題,選取相應的的維表和事實(shí)表,建立數據源視圖.對維度進(jìn)行編輯,建立層級結構和級別;對度量值和關(guān)鍵性指數進(jìn)行定義,需要計算的要編寫(xiě)相應的公式函數.=。20品日期磨次回:012-月。日新證號中國煤化工圖3增加日 期維層.YHCNMHG傅萌,趙莉OLAP 技術(shù)在煤炭生產(chǎn)調度系統中的應用通過(guò)設定相應的聚合模式,確保查詢(xún)效率和存儲空間的優(yōu)化組合,在瀏覽器中可以完成數據的查詢(xún)工作，可以實(shí)現OLAP分析的基本操作.采溪方式回來(lái)年◆)月GCLLL日2004/8057.61088.2的19.226.637.4g85076.8 51005119.4 5187.6田200534649.4 1921.4 63706 日158145. 6200660744.4 68074.8 4294 業(yè)200122 B 33235 e國20076018673754 2 20140 187654 2 351734您210372.4197916. 830495 4 530374 8989159. 2圖4 OLAP 展示3小結本文運用數據倉庫和OLAP技術(shù)的相關(guān)知識,重新構造了原煤炭生產(chǎn)調度系統的數據系統.通過(guò)維度建模的思想為數據查詢(xún)和分析帶來(lái)了很大的便利,操作更加靈活,為管理人員提供了詳實(shí)的數據參考.本系統還涉及到數據定時(shí)維護和更新,用戶(hù)的登錄查詢(xún)界面設計等,需要更多的知識積累和后期努力.通過(guò)不斷學(xué)習來(lái)完善本系統,實(shí)現理論在實(shí)踐中的深化和應用.參考文獻[1]Jiawei Han Micheline Kamber著(zhù).范明孟小峰譯.數據挖掘概念與技術(shù)(原書(shū)第2版)[M].北京:機械工業(yè)出版社，2007.[2]w. H. Inmon著(zhù).王志海林友芳等譯.數據倉庫(原書(shū)第3版)[M].北京:機械工業(yè)出版社,2003.[3]廖員.數據倉庫與OLAP在產(chǎn)品售后分析系統中的應用研究[D].西南交通大學(xué),2007.[4]程珂.經(jīng)營(yíng)分析系統中數據倉庫技術(shù)的研究與應用[D].北京郵電大學(xué),2006.[5]夏雨.基于多主題的多維數據模型和OLAP分析[D].重慶大學(xué),2007.[6]Bret Uplegralf. SQL Server 2005 Reporting Services In Action[ M]. New York: Manning Publications Co. Cherokee Sta-tion ,2007[7]Ralph Kimball, Margy Ros. The data warehouse tolkit : the complete guide to dimensional modeling 2nd Edition[ M].America: Wiley Computer Publishing,2002[責任編輯:袁偉]Discusses The OLAP Technology In The Coal Production Scheduling System ApplicationFU Meng , ZHAO Li( College of Compute Science and Technology , Xi' an Technological University ,Xi' an 710032 ,China)Abstract: The production scheduling system in the coal enterprise production process play a vital role, through incoming datawarehouse and the OLAP technology, it can realize regularly updating、reporting services and interaction of data after deploy-ment. It makes Enterprise managers finding out the current production中國煤化工tbe beasis for dcision - making.Key words: Production scheduling system;data warehouse;OLAPTHCNMHG. 113.