河南省風(fēng)能數據庫系統建設

ISSN 1009- 3044Computer Knowledge and Technology電腦知識與技術(shù)http://www.dnzs.net.cnVol.10, No.14, May 2014Tel:+86-551-65690963 65690964河南省風(fēng)能數據庫系統建設張少鋒.(河南省輕I業(yè)職工大學(xué),河南鄭州450002)摘要:河南省的延津,林州,三門(mén)峽,方城和新縣建立了五個(gè)測風(fēng)塔站,測風(fēng)塔觀(guān)測資料分為風(fēng)能每分鐘數據文件,狀態(tài)監控文件和十分鐘數據文件,其中風(fēng)能每分鐘數據文件和狀態(tài)監控文件一天傳輸四次,十分鐘數據文件一天傳輸一次,這三類(lèi)資料都屬于實(shí)時(shí)資料。為了方便預報預測部門(mén)和決策部門(mén)調閱資料,需要構建河南省風(fēng)能數據庫系統,將測風(fēng)塔觀(guān)測的實(shí)時(shí)資料進(jìn)行質(zhì)量控制并入庫。關(guān)鍵詞:測風(fēng)塔;風(fēng)能數據庫;元數據;質(zhì)量控制中圖分類(lèi)號:TP311文獻標識碼:A 文 章編號:1009- -3044(2014)14 -3236-04The Construction of Henan Province Wind Database SystemZHANG Shao- feng(Henan Provincial Atmospheric Probing Technical Support Center, Zhengzhou 450003, China)Abstract: Five observing- wind stations were built in Yanjin, Linzhou,Sanmenxia,Fangcheng and Xinxian in Henan province.Wind resources observation data is divided into wind data per minute fle,tus monitoring file and wind data per ten minutesfile.Wind data per minute file and status monitoring file are transmited four times one day, wind data per ten minutes file aretransmited three times one day.These files are belonged to real - time data.In order to forecasts prediction departments and deci-sion-making departments acessing to information,Henan province wind database system is constructed and wind real- time dataare quality cotrolled and into database.Key words: observing - wind station; wind database; metadata; quality control1系統概述為了節約能源,建立可持續開(kāi)發(fā)的風(fēng)電項目,在現有風(fēng)能資源普查工作的基礎上,進(jìn)一步展開(kāi)河南省風(fēng)能資源詳查和評價(jià)工作,在河南省的延津,林州,三門(mén)峽,方城和新縣共建立了5個(gè)測風(fēng)塔站。依據《測風(fēng)塔風(fēng)能觀(guān)測系統技術(shù)要求》,河南省測風(fēng)塔觀(guān)測資料屬于實(shí)時(shí)傳輸資料,基本上每天傳輸--次(分鐘統計項目文件和狀態(tài)文件每天四次,分鐘統計項目文件根據需要可以加密,而狀態(tài)文件不進(jìn)行處理)。對測風(fēng)塔觀(guān)測發(fā)送的各項數據進(jìn)行質(zhì)量控制、處理是構建風(fēng)能數據庫系統的目的。風(fēng)能數據庫系統系統的構建不僅為風(fēng)能資源的詳查和評估提供了數據支持,而且還建立了數據共享平臺,給用戶(hù)使用提供了統一的接口。2系統結構河南省風(fēng)能數據庫系統由通信系統分發(fā)資料,數據處理系統預處理和數據人庫3個(gè)功能模塊組成。2.1通信系統分發(fā)資料河南的5個(gè)測風(fēng)塔:延津測風(fēng)塔,林州測風(fēng)塔，三門(mén)峽測風(fēng)塔,方城測風(fēng)塔和新縣測風(fēng)塔通過(guò)移動(dòng)的GPRS線(xiàn)路將風(fēng)能分鐘數據文件,風(fēng)能狀態(tài)監控文件和風(fēng)能十分鐘數據文件發(fā)到河南省信息中心風(fēng)能服務(wù)器172.18.152.34上。通信節點(diǎn)機172.18.152.13以FTP方式從風(fēng)能服務(wù)器上獲取文件,一方面將 文件傳到省新- -代服務(wù)器10.69.72.30上,后上傳主站;一方面將文件分發(fā)到風(fēng)能數據庫服器10.69.3.7的/workspace/workspace_ _DB/inpu/L1 1_ swap 目錄下，進(jìn)行質(zhì)量控制后入風(fēng)能省級數據庫。2.2數據處理系統預處理數據處理系統對風(fēng)能數據進(jìn)行質(zhì)量控制或者進(jìn)行統計加工。以風(fēng)能實(shí)時(shí)數據為例:運行在風(fēng)能數據庫服務(wù)器10.69.3.7的腳本,將風(fēng)能十分鐘數據文件復制到/vorkspace/workspace DBinput/L12_ swap目錄下。測風(fēng)塔質(zhì)量控制程序讀取/workspace/work-space_ DB/input/L11. swap目錄下的風(fēng)能分鐘數據文件,進(jìn)行質(zhì)量控制,質(zhì)量控制后的文件放到/workspace/workspace_ DB/input/pro-中國煤化工TYHCNMHG收稿日期:2014-04-223236a數據庫與信息管理ee本欄目責任編輯:代影第10卷第14期(2014年5月)Computer Knowledge and Technology電腦知識與技術(shù)cessed/SURF_ BOU_ CHN_ _MUL_ FTM_ _WER_ L11 目錄下;質(zhì)量控制程序讀取/workspace/workspace_ _DB/inputL11_ swap目錄下的風(fēng)能十分鐘數據文件，進(jìn)行質(zhì)量控制，質(zhì)量控制后的文件放在/workspace/workspace_ DB/input/processesdSURF_ BOU_CHN_ _MUL_ FTM_ _WER_ L12目錄下。2.3數據入庫2.3.1 實(shí)時(shí)觀(guān)測資料入庫測風(fēng)塔觀(guān)測資料分為風(fēng)能每分鐘數據文件,狀態(tài)監控文件和十分鐘數據文件,其中風(fēng)能每分鐘數據文件和狀態(tài)監控文件--天傳輸四次,十分鐘數據文件-天傳輸- -次 ,這三類(lèi)資料都屬于實(shí)時(shí)資料。風(fēng)能數據庫系統對十分鐘數據文件和每分鐘數據文件進(jìn)行人庫。.以風(fēng)能的實(shí)時(shí)數據為例:測風(fēng)塔質(zhì)量控制程字讀取讀/workspace/workspace_ ,DB/inpu/ L12_ swap目錄下的風(fēng)能十分鐘數據文件,進(jìn)行質(zhì)量控制,質(zhì)量控制后的文件放到/workspace/ workspace. DB/input/processed/SURF_ BOU _CHN_ _MUL_ FTM_ WER L12目錄下。入庫程序讀取該目錄下的文件,人到風(fēng)觀(guān)測十分鐘觀(guān)測數據數據庫的WSUL12_ 2表中。人庫的資料供用戶(hù)通過(guò)網(wǎng)站等方式進(jìn)行調閱,也可以進(jìn)行歸檔生成歸檔文件。2.3.2 氣候背景資料入庫氣候背景資料主要包含歷年逐月常用的氣象要素、歷年逐月天氣日數.歷年逐月最多風(fēng)向及頻率、歷年逐月各風(fēng)向及頻率、常用氣象要素標準氣候值、天氣日數標準氣候值最多風(fēng)向及頻率標準氣候值、歷年逐月各風(fēng)向頻率標準氣候值、地面觀(guān)測逐小時(shí)風(fēng)數據和地面觀(guān)測風(fēng)日極值數據。以歷年逐月常用的氣象要素為例。2.3.3其他風(fēng)資源資料入庫其它風(fēng)資源資料包括數值模擬產(chǎn)品和風(fēng)能資源評估信息兩大類(lèi)。其中數值模擬產(chǎn)品包括數值模擬月平均數據文件、數值模擬年平均數據文件、數值模擬全年風(fēng)向頻率、數值模擬全年風(fēng)速頻率分布、數值模擬全年風(fēng)能頻率分布、數值模擬全年風(fēng)能密度方向頻率、數值模擬范圍表;風(fēng)能資源評估信息子庫包括觀(guān)測年度平均風(fēng)速年變化表觀(guān)測年度平均風(fēng)功率密度年變化表、各月(年)平均空氣密度表、觀(guān)測年度平均風(fēng)速日變化表、觀(guān)測年度平均風(fēng)功率密度日變化表年各風(fēng)速等級頻率表、年各風(fēng)速等級小時(shí)數表、長(cháng)年代平均風(fēng)能參數估算結果表、參證站50年- - 遇10分鐘平均風(fēng)速表、測風(fēng)塔50年- - 遇10分鐘平均風(fēng)速及風(fēng)資源等級表、月(年)各風(fēng)向頻率分布表、月(年)各風(fēng)向風(fēng)功率密度百分率表湍流強度年變化表、湍流強度日變化表、風(fēng)速垂直切變指數表、年度風(fēng)能參數表、Weibull分布曲線(xiàn)參數表、詳查區域風(fēng)能資源儲量、參證站觀(guān)察年度風(fēng)速年景表、風(fēng)能評估報告中的圖。3系統安裝及配置3.1安裝環(huán)境需求要求數據庫服務(wù)器的CPU:2顆Xeon5270( 3.5GHz);內存為: 16GB DDR2;內置磁盤(pán): SATA II 2.0TB; 集成雙千兆以太網(wǎng)。操作系統為T(mén)urbolinux,系統上應沒(méi)有安裝過(guò)Mysql和Tomcat應用服務(wù),保證系統無(wú)其它應用占用3306端口和8090端口。3.2 安裝步驟系統安裝建管理庫建風(fēng)能數據庫Javal.6tar.gzTomcat Server風(fēng)能數據庫管理數據庫應用程序表安裝圖1按上圖步驟安裝完成后,Tomcat服務(wù)和Mysql會(huì )自動(dòng)嵌人系統“服務(wù)”中,系統會(huì )自動(dòng)啟動(dòng)Mysql和Tomcat服務(wù)進(jìn)程。建立用戶(hù)sysadmin,用于管理數據庫及風(fēng)能數據庫的管理。加載管理數據庫;然后用feng用戶(hù)創(chuàng )建風(fēng)觀(guān)測數據子庫,建立數據庫表如下:表1數據項表名測風(fēng)塔年各風(fēng)向頻率文件WSU410風(fēng)觀(guān)測風(fēng)溫濕壓原始采集數據文件WSUL01風(fēng)觀(guān)測超聲風(fēng)原始采集數據文件WI1102測風(fēng)塔分鐘觀(guān)測數據中國煤化工風(fēng)觀(guān)測十分鐘觀(guān)測數據YHCNMHG測風(fēng)塔逐時(shí)年平均風(fēng)速文件WSU412本欄目責任編輯:代影eeees數據庫與信息管理田3237Computer Knowledge and Technology電腦知識與技術(shù)第10卷第14期(2014年5月)測風(fēng)塔氣壓年值WSU403測風(fēng)塔溫濕風(fēng)月值WSU405風(fēng)觀(guān)測狀態(tài)監控數據文件WSUSTA測風(fēng)塔氣壓月值WSU402風(fēng)觀(guān)測地方測風(fēng)塔數據WSU001測風(fēng)塔月各段風(fēng)速頻率文件WSU407測風(fēng)塔氣壓日值WSU401測風(fēng)塔月各風(fēng)向頻率文件WSU409測風(fēng)塔溫濕風(fēng)年值WSU406測風(fēng)塔溫濕風(fēng)日值WSU404測風(fēng)塔年各段風(fēng)速頻率文件WSU408測風(fēng)塔逐時(shí)月平均風(fēng)速文件WSU411建立用戶(hù)qxj,該用戶(hù)用于風(fēng)能數據庫的管理。3.3系統配置風(fēng)能資源數據庫主要由配置文件Project.xml,Meta.xml,Task xml和元數據xml完成系統的配置工作。下 面介紹這幾類(lèi)文件的配置Priject.xml 的配置文件存放在/workspace/tomcat/webapps/qxj/WEB-INF/conf目錄下,是整個(gè)系統的基礎配置,如系統安裝路徑、數據庫安裝路徑等。河南省風(fēng)能數據庫系統的安裝路徑為1workspace/workspace _DB/, 采用mysql數據庫,建立了數據庫管理員用戶(hù)root,風(fēng)能資源數據庫用戶(hù)feng.2) Meta.xml的配置Metaxml是對風(fēng)能資源數據庫系統的元數據進(jìn)行配置，每- -個(gè)元數據的配置文件均須通過(guò)該文件進(jìn)人配置。該配置文件位于/workspace/tomcat/webapps/qxj/W EB-INF/meta下。3)元數據.xml的配置元數據:xml是- - 個(gè)元數據一個(gè)配置 文件,當前的文件名標準是數據集ID.xml;該配置文件描述了元數據的人庫流程歸檔流程、表字段等信息。元數據的配置文件包括以下要素:(1) metadata元素(元數據基本信息)描述元數據的基本信息,包括元數據的數據集ID,數據集中文名稱(chēng)和英文名稱(chēng),元數據的存放類(lèi)型和元數據分組信息。(2) Metabatch元素(元數據人庫流程)描述元數據的數據人庫處理過(guò)程,該元素配置人庫的數據流程,讀指定格式的文件名、目錄。寫(xiě)人指定格式文件名、目錄。入庫流程包含-一個(gè)metajob,而- - 個(gè)metajob可以包含多個(gè)人庫步驟metastep。- - 個(gè)人庫步驟metastep包含一個(gè)任 務(wù)節點(diǎn)metatasklet,而一個(gè)任務(wù)節點(diǎn)包含閱讀器( metareader)、處理器(melaprocessor)、寫(xiě) 人器(metawriter)。任務(wù)節點(diǎn)包含引用的任務(wù)類(lèi)的名稱(chēng)。閱讀器說(shuō)明了引用的任務(wù)類(lèi)的名稱(chēng),讀取文件的路徑和讀取文件的名稱(chēng)。處理器是數據人庫過(guò)程中讀取和寫(xiě)人中間,進(jìn)行質(zhì)量控制碼統計的過(guò)程。處理器包含引用的處理器的實(shí)現類(lèi)和處理器的規則例如使用腳本實(shí)現。寫(xiě)人器是將經(jīng)過(guò)閱讀器或處理器處理的記錄,寫(xiě)人到目的地中。它包含引用的寫(xiě)人器的實(shí)現類(lèi),寫(xiě)入的路徑、文件名稱(chēng),寫(xiě)入器的規則例如使用腳本實(shí)現。(3) meta-archive(元數據歸檔流程)描述元數據歸檔的處理過(guò)程;歸檔的流程的屬性同元數據人庫流程。(4) table(表)一個(gè)元數據可以有多個(gè)表元素,表元素包括:表名稱(chēng),中文表名稱(chēng),說(shuō)明等。-一個(gè)表可以包含多個(gè)字段,包括字段名,中英文名稱(chēng)，別名,單位，字段值,順序，字段長(cháng)度,是否為空,數據類(lèi)型等?？梢酝ㄟ^(guò)table的table-pk屬性設定主鍵,通過(guò)table-index屬性設定索引。4系統質(zhì)量控制依據《測風(fēng)塔風(fēng)能觀(guān)測系統技術(shù)要求》,我省測風(fēng)塔觀(guān)測資料屬于實(shí)時(shí)傳輸資料(L11每天四次,L12每天一次),相應的各項數據質(zhì)量控制、處理工作也為每天啟動(dòng)四次和-一次。但因不同測風(fēng)塔資料可能存在補報、累計多日資料集中上報等情況,仍屬于非實(shí)時(shí)傳輸資料。同時(shí)測風(fēng)塔各時(shí)次資料并不按觀(guān)測時(shí)點(diǎn)實(shí)時(shí)上傳,其相應實(shí)時(shí)質(zhì)量控制僅在測風(fēng)塔內資料收集過(guò)程中進(jìn)行過(guò),故質(zhì)量控制過(guò)程需要同時(shí)進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的質(zhì)量控制處理。測風(fēng)塔觀(guān)測資料質(zhì)量控制采用模塊化結構設計,測風(fēng)塔列表、參考站定義、處理中國煤化工件路徑等參數統-保存在參數文件中,模塊部分實(shí)現所支持功能的檢查和處理方法，參數部分另外:YHCN M H G求。其中測風(fēng)塔列表文件taions.t定義了我省測風(fēng)塔的編號,塔名,塔經(jīng)緯度,海拔高度等信息。所有模塊均從指定文件路徑獲取所需要處理的數據,并將處理結果保存到指定路徑。測風(fēng)塔觀(guān)測資料質(zhì)量控制及處理功能3238a數據庫與信息管理em本欄目責任編輯:代影第10卷第14期(2014年5月)Computer Knowledge and Technology電腦知識與技術(shù)自行管理內部數據文件保存區以?xún)?yōu)化運行效率。其中配置文件為working paths.ini,該配 置文件位于F/workspace/workspace_ DB/in-put/目錄下。該配置文件設定了質(zhì)量控制程序讀取原始文件的目錄LI1_swap.L12._swap,質(zhì)量控制后輸出文件的目錄LI1._write、L12_ _write測風(fēng)塔資料數據集的生成和統計加工工作在相應質(zhì)量控制任務(wù)完成后進(jìn)行,統計加工軟件同樣由任務(wù)調度軟件定時(shí)啟動(dòng),并需要根據前期資料到達和處理情況,自動(dòng)進(jìn)行補報資料的處理和統計。5結束語(yǔ)河南省風(fēng)能數據庫系統投入業(yè)務(wù)運行至今,用戶(hù)可以通過(guò)訪(fǎng)問(wèn)本系統,獲取風(fēng)能數據.對我省風(fēng)能數據的共享服務(wù)提供了后臺技術(shù)支撐,為風(fēng)能數值模擬資源評估等業(yè)務(wù)和服務(wù)提供良好的數據存儲和共享支持,具有重要的意義。參考文獻:[1]艾艷.風(fēng)能資源觀(guān)測數據省級傳輸系統[].氣象與環(huán)境科學(xué)20104);.74-79.[2]王國復,徐楓,吳增詳氣象元數據標準與信息發(fā)布技術(shù)研究[].應用氣象學(xué)報2005(16):114-121.[3]吳增祥,臧海佳,王國復.氣象科學(xué)數據與氣象數據集元數據:科學(xué)數據管理與共享[M].北京:中國科學(xué)技術(shù)出版社,2002.186-189.[4]李澤椿,朱蓉，等風(fēng)能資源評估拘束方法研究[].氣象學(xué)報,207,65(5):708 -717.[5]張鴻雁,丁裕國,等湖北省風(fēng)能資源分布的數值模擬J].氣象與環(huán)境學(xué)報2008.24(3);33- -37.(_上接第3232頁(yè))3結束語(yǔ)云時(shí)代已經(jīng)到來(lái),大數據已經(jīng)無(wú)處不在并已爆炸式發(fā)展,數據安全風(fēng)險是“云”進(jìn)- -步 發(fā)展壯大的障礙,所以數據安全更是值得深究的一個(gè)方面,當數據安全(包括數據恢復)得到強有力保障的時(shí)候,云的發(fā)展必定更加快速穩健。[1]徐成俊.云計算實(shí)用技術(shù)[M].蘭州:甘肅人民出版社，,2013.[2] WANG Chenxi,PENN J,HERALD A.How Secure Is Your Cloud?Forrester Research ForSecurity& RiskProfessionals[EB/OL]. [2009-08-03].3] Wei-Tek T,Peide Z,Balsasooriya J,etal. An approach for service copposition and thesting for cloud copmputing[C//Autonomous De-centralized Systems(ISADS),201 110th INTERNATIONAL Symposium on.Japan:Tokyo,2011:631-636.[3]邊根慶.面向分散式存儲的云存儲安全架構[J]西安交通大學(xué)學(xué)報2013.6145);44.[4]項菲新的基于云計算環(huán)境的數據容災策略[]通信學(xué)報,2013,6(34).[5]孫勇.面向云計算的鍵值型分布式存儲系統研究[小電子學(xué)報2013,7(4);: 1409.[6]秦軍.HDFS的多安全級數據銷(xiāo)毀機制設計[J.計算機技術(shù)與發(fā)展，2013,3(23):131.[7]馮銳,王磊.如何恢復Linux上刪除的文件第3部分[EB/OLJ.2012-04-04]. htt/ww.i.co/developerworks/c/ix /l-cn-files-c3.[8]劉云龍.面向安全風(fēng)險的云計算測試技術(shù)研究[].微電子學(xué)與計算機,2013,6(30);:17-18.中國煤化工MYHCNMHG本欄目責任編輯:代影======數據庫與信息管理相3239