基于聯(lián)機分析處理技術(shù)的數據分析

基于聯(lián)機分析處理技術(shù)的數據分析Data Analysis Based on OLAP封玲' 歐陽(yáng)紅2Feng Ling Ou Yang Hong(1.深圳大學(xué)物理科學(xué)學(xué)院,深圳518060; 2. 南昌大學(xué)理學(xué)院，南昌330031)(1.Schoo1 of Physical Science, Shenzhen University, Shenzhen 518060;2.School of Science, Nanchang University, Nanchang 330031)摘要: 提出了基于聯(lián)機分析處理技術(shù)的一種數據分析方法，并以教學(xué)數據為例，介紹了教學(xué)數據分析與處理的設計方案，以及在分析處理過(guò)程中數據轉換問(wèn)題的處理方法和聯(lián)機分析處理的結果。關(guān)鍵詞:數據分析;聯(lián)機分析處理;數據轉換中圖分類(lèi)號: TN919.5文獻標識碼: A文章編號: 1671-4792-(2007)5-01 60-03Abstract: Digest. This paper comes up a solution for the data analysis, based on the technology of On-1ineana1ytical processing. It not on1y describes the design of the teaching data analysis, but also offers someexamp1es of the data transform and shows the result of the on -1ine analytical processing.Keyword: Data Analysis; On -1ine Ana1ytical Processing; Data Transform0引言表是用于表述教學(xué)效果這- -主題，可以從教師、學(xué)生、時(shí)間數據分析是為了發(fā)現隱藏在大量數據背后有價(jià)值的信和教材四個(gè)維度來(lái)匯總和分析教學(xué)數據,用以描述教學(xué)效果息，目前突出的問(wèn)題不是無(wú)法得到數據，而是應使用何種方的數值度量為考試成績(jì)。法進(jìn)行分析和處理數據，以充分利用這些數據得到有用的信教材維度表學(xué)期維度表息.聯(lián)機分析處理(On-1ine analytical processing, OLAP)教材ID學(xué)期ID可以極大地提高數據分析和處理的能力。我們采用0OLAP技教材類(lèi)型教學(xué)事實(shí)表年教材名學(xué)期術(shù)，對大學(xué)物理公共課程的教學(xué)數據進(jìn)行分析。學(xué)期描述大學(xué)物理課程教學(xué)內容規范化、穩定化，考核標準也達教師ID到-致化,并具有大規模較為全面的教學(xué)數據。該課程是公教師維度表主修學(xué)生ID共基礎課程,上課的學(xué)生數量多，專(zhuān)業(yè)覆蓋面廣，而且承擔考試成績(jì)教學(xué)任務(wù)的教師相對較多,這些對于教學(xué)狀況的及時(shí)掌握與學(xué)生維度表評估,難度較大。采用聯(lián)機分析處理技術(shù)在已有的大量教學(xué)學(xué)位生修學(xué)生R稱(chēng)數據的基礎上,建立合適的維度模型,提供給用戶(hù)多維度多姓名系名層次的分析，對于及時(shí)準確掌握教學(xué)狀況、把握教學(xué)質(zhì)量、項目數專(zhuān)業(yè)論文數班級合理配置師資等都有著(zhù)重要意義。1維度模型設計圖一星型數據倉庫模型維度模型設計是0LAP分析實(shí)施的重要- -環(huán), 可提供給用2聯(lián)機分析處理戶(hù)-個(gè)感興趣的多維視圖,包含事實(shí)表和維度表。維度模型2.1數據源結構是圍繞著(zhù)用戶(hù)所關(guān)心的主題來(lái)組織數據,該主題用事實(shí)表表基于聯(lián)機分析處理技術(shù)的教學(xué)數據分析,其維度模型建示,事實(shí)表包括每個(gè)相關(guān)維表的關(guān)鍵字和數值度量.維度是立在原有的學(xué)生信息數據庫(圖二(a) )、教工科研信息數據人們觀(guān)察數據的特定角度。庫(圖二(b) )和教務(wù)管理數據庫(圖二(c) )三個(gè)數據源基基于聯(lián)機分析處理的教學(xué)數據分析維度模型采用的是星礎上。中國煤化工FoxPro 數據庫和型結構，如圖一所示，包含-張事實(shí)表和四個(gè)維度表。事實(shí)saL Ser!YHC N M H GPTS抽取工具,分別79科技廣場(chǎng)20075從這三個(gè)數據源中抽取相關(guān)教學(xué)數據,將多年來(lái)大學(xué)物理課OLAP多維度分析程的考試成績(jì)數據、以及相關(guān)的教師數據和學(xué)生數據,按照維度模型集中存放在SQL SERVER 2000數據庫中,實(shí)現面向教學(xué)業(yè)務(wù)分析主題的數據集成、存儲和管理。采用OLAP工具實(shí)現專(zhuān)門(mén)針對教學(xué)效果、教師課時(shí)量和課程選修情況等多維教學(xué)數據分析度的分析。維度模型收據ETL| 學(xué)生信息數據庫教師科研信息庫 教務(wù)信息數據岸文本文件|VisualFoxproSQL SERVR圖三教學(xué)數據分 析的體系結構(a)學(xué)生信息庫結構類(lèi)型存在不同，一般只要知道數據結構信息,完成源數據結構到目的數據結構之間的映射就可以了，而無(wú)需關(guān)心數據內容及其含義。例如系統實(shí)現過(guò)程中為解決“學(xué)生維度表”數據轉換時(shí)所遇到的源數據和目的數據的字段名沖突和數據類(lèi)型沖突的問(wèn)題，則可直接將源數據字段(單位、系名)與目的數據字段(學(xué)院、系別) -- -對應， 若其數據類(lèi)型不一-致，可運用數據類(lèi)型轉換函數(如cstr( )等),進(jìn)行類(lèi)型轉換。以下是用于實(shí)現“學(xué)生維度表”中“學(xué)院”、“系別”和“學(xué)(b)教師科研信息庫結構號”三個(gè)字段數據轉換的Microsoft DTS ActiveX轉換代碼:課程信息表選評成績(jì)表學(xué)生信息表+Function Main()DISDestination("學(xué)院") = trim (DISSource("單位"))青程名年DISDestination("系別") = trim(DTSSource("系名"))DISDestination("學(xué)號") = cstr (DISSource("學(xué)號"))Main = DISTransformStat OKEnd Function口建學(xué)生題語(yǔ)義異構比語(yǔ)法異構要復雜得多，往往需要破壞字段的(c)教務(wù)數據庫結構原子性,即需要直接處理數據內容,語(yǔ)義異構往往需要多步圖二數據源結構驟轉換。例如在進(jìn)行“教師維度表"的“論文數”和“項目2.2體系結構數"字段轉換時(shí)，所遇到的是源數據字段(論文題目、項目基于聯(lián)機分析處理技術(shù)的數據分析體系結構大體可以分名稱(chēng))和目的數據字段(論文數、項目數)在字段內容上的為三部分，如圖三所示。后臺是數據獲取層，完成從數據源轉換，其轉換要分為兩個(gè)步驟:系統將相關(guān)的教學(xué)數據抽取、轉換和裝載到多維模型數據倉(1)先將數據源中的字符類(lèi)型字段“論文題目”和“項庫的工作;中間層是數據存儲層，完成數據的組織、存儲和目名稱(chēng)”分別轉換成臨時(shí)表一“教師臨時(shí)維表” 中的整型計算引擎的功能;前端是數據展現層,使用OLAP 分析工具字段“論文數”和“項目數”，其ActiveX 轉換代碼如下:進(jìn)行數據分析，并將分析結果以圖表方式展示。2.3數據轉換if DTSSource(" 論文題目")o"" then系統采用Microsoft DTS作為數據抽取工具，負責完成DTSDestination("論文數") =1數據從數據源向目標數據庫轉換的過(guò)程,這是實(shí)施0LAP維度e1se模型的重要步驟。在進(jìn)行數據轉換工作時(shí)，會(huì )遇到數據源異DTSDestination(" 論文數") =0構性問(wèn)題，異構性的主要難點(diǎn)表現在語(yǔ)法異構和語(yǔ)義異構上。中國煤化工名稱(chēng)"))0”. then語(yǔ)法異構一般指源數據和目的數據之間命名規則和數據YHC NMH G") =lelseDTSDestination("項目數") =0優(yōu)的比河良的比所中的比傳差的比的end ifMain = DTSTransformStat _OK1994 0.160.14 0.39、 0.02基End Function1995 0.1 0.45 0.39 0.02(2)然后再進(jìn)行-次轉換，將“教師臨時(shí)維表"中的19960. 180.52 0.28 0.02機整型字段“論文數”和“項目數”按“姓名”字段分組后再1997 0.170.51 0.29 0.03求和，最終完成目的數據字段“論文數”和“項目數”的轉19980. 130.52 0.32 0.03換。其SQL代碼為:1999 0.16 0.42 0.38 0.05SELECT distinct SUM(論文數) AS論文數. suN(項目20000.05 0.28 0.59 0.09數) AS項目數FROM 教師臨時(shí)維表GROUP BY姓名20010.05 0.34 0.49 0.12|的2.4分析結果采用Business 0bject 公司的B05.0作為OLAP引|擎和前20020.05 L 0.280.57 0. 10端展示工具，可以從SQL標準數據庫中提取數據，并對所提20030.07 0.33 0.54 0.06析取的數據進(jìn)行深人分析和加工(如鉆取、旋轉，切片和切塊)，最終共享分析報表。應用OLAP技術(shù)可對學(xué)生成績(jì)進(jìn)行圖三0LAP分析結果(b)多維分析。3結束語(yǔ)(1)不同教師教學(xué)效果情況分析文章介紹了基于聯(lián)機分析處理技術(shù)的教學(xué)數據分析與處將教師按職稱(chēng)、學(xué)位、教齡.教研狀況進(jìn)行分類(lèi),根據理的方案設計與實(shí)現，并對大學(xué)物理課程的教學(xué)數據進(jìn)行分每項分類(lèi)0LAP可進(jìn)行教師教學(xué)效果情況的分析，從而得到不析.該分析處理方法彌補了傳統教學(xué)評價(jià)方法的不足，可多同職稱(chēng)、學(xué)位、教齡和教研狀況教師教學(xué)效果情況的比較。角度、多層次、準確迅速總結教學(xué)效果的狀況,最終達到促如圖三(a)所示，從教師職稱(chēng)與考試成績(jì)的分析圖表中，可進(jìn)教學(xué)質(zhì)量提高的目的。采用聯(lián)機分析處理技術(shù)對大學(xué)物理以直觀(guān)反映出職稱(chēng)與教學(xué)效果的關(guān)系。課程的教學(xué)數據在其他方面的分析應用還有待于今后進(jìn)步(2)不同時(shí)間段教學(xué)效果情況分析的研究，同時(shí)該數據分析方法還可用于其他公共課程的教學(xué)OLAP可按時(shí)間，如學(xué)期、學(xué)年,對教學(xué)數據進(jìn)行切塊,數據分析.可反映出不同時(shí)間段內的教學(xué)效果情況,從而可以得到不同時(shí)間段內實(shí)施的教學(xué)政策或教學(xué)改革措施對教學(xué)效果產(chǎn)生的參考文獻影響。如圖三(b)所示,從考試成績(jì)按學(xué)年的分布表中,可[1]Ralph Kimbell, Nargy Ross. The Data Warehouse以看出2000年以后學(xué)生成績(jì)有所下降,而高校擴招政策正是Toolkit: the Complete Guide to Dimensional Modeling從2000年開(kāi)始實(shí)施,因而可引導學(xué)校決策部門(mén)及時(shí)進(jìn)行原因M.北京:電子工業(yè)出版社, 2003.分析，以解決問(wèn)題。[2]陳躍國,王京春.數據集成綜述[] .計算機科學(xué),2004(3)其他因素對教學(xué)效果的影響年,31(5) :48.還可通過(guò)教材、修課學(xué)生等維度進(jìn)行教學(xué)效果的分析,[3]王珊.數據倉庫技術(shù)與聯(lián)機分析處理[W].北京:科從而輔助教學(xué)管理部門(mén)及時(shí)掌握教學(xué)狀況，合理進(jìn)行相關(guān)教學(xué)出版社，1999.學(xué)政策的制定。作者簡(jiǎn)介封玲(1972-),女,碩士研究生,主要研究方向:數據庫、數據倉庫;0.400.350.300.0F的比何只的1比何的比例0.050.00 副教視代的比剪中國煤化工圖三OLAP 分析結果(a)MYHCNMHG__81