圖像修復實(shí)驗的設計

第31卷第6期實(shí)驗室研究與探索Vol.31 No. 6RESEARCH AND EXPLORATION IN LABORATORYJun. 2012圖像修復實(shí)驗的設計于文靜，楊富琴，馮偉國(華東理工大學(xué)電子與信息實(shí)驗教學(xué)中心，上海,200237)摘要:設計了圖像修復實(shí)驗,通過(guò)實(shí)驗操作激發(fā)學(xué)生對圖像修復研究的興趣。實(shí)驗中使用基于樣本的圖像修復方法實(shí)現圖像的修復,首先對該方法的基本原理及實(shí)現過(guò)程進(jìn)行解釋;然后利用該方法實(shí)現對各種不同類(lèi)型損毀圖像的修復。提供可實(shí)現數字圖像修復相關(guān)方法的Matlab 程序代碼,學(xué)生可利用相關(guān)程序對各種不同類(lèi)型的損毀圖像進(jìn)行修復,得到了視覺(jué)上無(wú)明顯人工修復痕跡的圖像。學(xué)生對于破損圖像的破損面積的大小和位置進(jìn)行改變,得到不同的修復結果。通過(guò)對結果的分祈加深對方法的.理解。關(guān)鍵詞:圖像修復;圖像處理;文字移除中圖分類(lèi)號:TP 751.1 .文獻標志碼:A文章編號:1006 -7167(2012)06 - 0040 -04Design of the Experiment on Image ImpaintingYU Wen-jing， YANG Fu-qin，ENG Wei-guo( Experimentation Center for Electronics and Information Education , East ChinaUniversity of Science and Technology, Shanghai 200237, China)Abstract: The experiment on image inpainting is designed to deepen sludents ' understanding of the concept and theimplementation of the image inpainting technology , and to stimulate students’interest in research on the image inpaintingtechnology. In the experiment , the image inpainting is achieved by the sample-based image inpainting methods. First, theexperiment explains the basic principles and the implementation of this method. Moreover , different types of damagedimage are inpainted by this method. The matlab code of related methods are provided which could achieve digital imageinpainting so that students could use relative programs to restore different types of damaged images and get images withno obvious artificial lraces visually. Furthermore，students could get different inpainting results by changing the damagedsize and the location of damaged images so as to deepen their underslanding of the method by analyzing the results. Thisimage restoration method is implemented in digital image experiments for the first time.Key words: image inpainting; image processing; word removal覺(jué)其修復痕跡的一種圖像處理技術(shù)。圖像修復主要在0引言文物保護[23]、影視特技制作(23]、多余目標物體剔除、圖像修復1 ( Image Inpainting, Image Completion)圖像縮放3.0]、圖像的有損壓縮“4]、視頻圖像的錯誤隱是指按照一定的規則,利用未被損壞的圖像信息,估計匿等方面有著(zhù)重大應用'”。正是由于圖像修復的重并填充圖像指定區域內的缺損信息,使得最終修復后要作用,在數字圖像處理實(shí)驗中增加圖像修復部分的的圖像在視覺(jué)效果.上連續、光滑、自然,且不為人眼察實(shí)驗內容對于學(xué)生了解這一領(lǐng)域中的相關(guān)技術(shù),進(jìn)而應用|中國煤化工勺基于變分和偏微分收稿日期:2011 -12-20方程.MYHCNMHG,PDE).與基于樣本作者簡(jiǎn)介:于文靜(1974-).女,山東夏津人,碩上,講師,主要研究.方向:數字圖像修復算法及優(yōu)化算法研究。的紋理合成圖像修復方法,前者通過(guò)求解微分方程,光Tel. :13301956747 ,021 64253339 ; E-mail; wenjingyu@ ecust. edu. en滑地將破損區域周?chē)囊阎畔鞑サ狡茡p區域中，從而完成修復;后者基于給定的小區域紋理樣本,按照第6期于文靜,等:困像修復實(shí)驗的設計41表面的幾何形狀,拼接生成整個(gè)曲面的紋理，在視覺(jué)上(4)按照中像素點(diǎn)的灰度值填充出,中未知部是相似而連續的?？紤]到PED的抽象性,本實(shí)驗設計分的像素值。結束后將填充后的區域標識為已知用基于樣本的圖像修復方法實(shí)現。區域。實(shí)驗中通過(guò)Matlab程序設計實(shí)現Criminism提出(5)沿填充后新的未知區域的邊緣,重新返回的基于樣本的圖像修補算法,利用本方法對不同類(lèi)型(1),依此類(lèi)推,直到所有的未知區域被填充。的破損圖像進(jìn)行修復,并介紹圖像修復的評價(jià)標準,基2實(shí)驗設計于這一-標準，學(xué)生對于修復算法實(shí)現的圖像修復和Photoshop手動(dòng)修復后的結果進(jìn)行比較。希望通過(guò)本.圖像修復實(shí)驗作為圖像處理課程內容的補充與增實(shí)驗的學(xué)習和實(shí)踐激發(fā)學(xué)生的學(xué)習興趣。強,應具有以數字圖像處理課程的先修課程和計算機處理能力。①先修課程:高等數學(xué)、數字信號處理、數1基于樣本的圖像修復算 法原理[89]字圖像處理;②計算機語(yǔ)言:Matlab。如圖1所示,1表示一幅完整圖像區域,nC I是本文介紹的數字圖像修復實(shí)驗為課程實(shí)驗,創(chuàng )新待修復區域,即信息缺失區域;則φ= 1-2表示待修類(lèi)實(shí)驗內容未在本文中介紹。復圖像中的已知區域,本實(shí)驗理論基于Criminism提出2.1 實(shí)驗環(huán)境的基于樣本的圖像修補算法,這一算法主要包括以下操作系統,XP或以上版本;Matlab7.0或以上版本幾個(gè)步驟:含圖像處理toolbox，圖像修復基本操作相關(guān)的程序,基(1)對于圖像待修復區邊緣a2的每個(gè)像素點(diǎn)p,于樣本的圖像修復程序, PSNR計算程序, Photoshop軟計算以點(diǎn)p為中心的待修復塊業(yè)。的修復優(yōu)先權P:件,圖像修復使用圖像。P(p) = C(p)D(p)(1)2.2 實(shí)驗內容式中:C(p)是待修復塊蟲(chóng)。的置信因子項;D(p)是待(1)圖像的基本操101。修復塊業(yè)。的數據因子項，圖像的輸人輸出函數:E c(q)imread()。從圖像文件中讀取(載人)圖像;C(p) = .151-0)(2)Imshow()。顯示圖像; .imwrite()。把圖像寫(xiě)人(保存)圖像文件中;1V號in,!montage()。在一個(gè)窗口中顯示多幀圖像;D(p) =x(3)impixel。確定像素顏色值。業(yè),是以點(diǎn)p為中心的待修復塊;|少,1為待修復塊的面邊緣檢測:積;a為歸一化因子;n,是點(diǎn)p處垂直于邊緣an的單edge()。圖像邊緣檢測。位向量。塊處理函數:(2)在待修復區域的邊緣點(diǎn)中查找P(p)的值為bestblk()。確定進(jìn)行塊操作的塊大小;最大的點(diǎn),對以此點(diǎn)為中心的待修復塊中,首先進(jìn)行blkproc()。 實(shí)現圖像的顯示塊操作。修復。圖像的基本處理函數:(3)修復過(guò)程為計算業(yè),中已知像素的灰度值和im2bw()。轉換圖像為二進(jìn)制圖像;圖像中已知區域相應的塊中灰度值的歐式距離d(業(yè),，imerop()。圖像的裁剪;中。) ,找到與中,最匹配的圖像塊鄴,使得imresize()。圖像比例縮放變換;購= arg mind(4,燈)(4)gradient()。梯度函數。(2)困像修復算法程序實(shí)現。例如:源程序代碼存放在D: \imageinpainting目錄2中程序名為imagee. m(主程序,按原理完成算法),實(shí)驗中在Matlab中,在[File]菜單中選擇[ setpath] ,選擇D: \imageinpainting,可將所有程序和圖片存放在這一4。目錄中國煤化工序中源圖像存放在以名MHCNMHG象存放在12.bmp中。學(xué)生在忌修發(fā)時(shí)圖像名杯,可以日己對程序進(jìn)行修改。在D:\ imageinpainting目錄下還有mmap. m,這一圖1 Criminism 算法的原理圖文件中主要定義函數mask(),它的功能是根據破損圖像獲得相應的掩碼圖。在破損圖像中把需要修復的區|2實(shí)驗室研究與探索第31卷域以某種顏色標識,比如紅色,然后將標識的區域置像,學(xué)生利用程序對圖像進(jìn)行修復,可得到修復后的圖0,其他已知區域標識為1,這樣獲得一幅二值圖像,這像。原始圖像的提供僅僅給學(xué)生一種感性認識,事實(shí)一二值圖像稱(chēng)為待修復圖像的掩碼圖像。文件上圖像的修復并不是以修復圖像與原始圖像的相似度priority. m中定義了函數point_ .prior()函數,實(shí)現在邊作為評價(jià)標準的,圖像修復好壞的評價(jià)下面專(zhuān)門(mén)介紹。緣點(diǎn)中查找具有最高優(yōu)先權的點(diǎn)。文件patch. m中定(4)文字移除。圖4(a)是文字加入后的圖片,利義函數match__patch(),主要實(shí)現匹配塊的查找功能。用圖像修復程序對圖片進(jìn)行修復,修復后得到圖4(b)(3)人物的移除。圖2、3中提供人物移除后的圖中的圖像。(日)原始圖像(b)人物移除后的圖像(2)利用算法修復后的圖像圖2人物移除實(shí)驗圖 1(a)原始圖像(C)利用算法修復后的圖像圖3 人物移除實(shí)驗圖2JAPANSERI ANIMATION(a)文字加入后圖像(b)移除后的修復圖像圖4文字移除實(shí)驗圖(5)破損圖像修復[214]。破損圖像修復圖如圖5修復結中國煤化工進(jìn)行主觀(guān)性評價(jià)，所示。如果破損區域發(fā)生改變，圖像的修復結果會(huì )發(fā)如觀(guān)察CHCNMHG覺(jué)上是否符合一般生變化,啟發(fā)學(xué)生對破損區域進(jìn)行設置,看修復后的結的審美你E、四家土女不啊疋口侍以保持、圖像結果是果,并解釋原因。否存在明顯的人工操作痕跡等。在研究中,經(jīng)常使用(6)修復效果比較。圖像修復技術(shù)是對缺損信息峰值信噪比( Peak Signal Noise Ratio , PSNR)來(lái)進(jìn)行輔的填充,不能純粹用客觀(guān)量化指標來(lái)進(jìn)行評價(jià)。圖像助性的評價(jià)。第6期于文靜,等:圖像修復實(shí)驗的設計43(a)原始圖像(b)破損后的圖像(C)利用算法修復后的圖像圖5破損圖像修復實(shí)驗圖PSNR基于圖像像素灰度值進(jìn)行統計和平均計算，華東理工大學(xué)學(xué)報(自然科學(xué)版) ,2011 ,37(3) :367-371.是常用的衡量信號失真的指標。盡管對部分圖像或視[2] Bertalmio M, Sapiro G, Caselles V,et al. Image inpainting[C]//Poeedings of ACM SIGCRAPH. New York:ACM 2000:417-424.頻質(zhì)量評價(jià)時(shí)可能與主觀(guān)感知的質(zhì)量產(chǎn)生較大的偏[3] Chan T F, Shen」H. Mathemaical models for loeal non texture差,這是因為人眼的視覺(jué)對于誤差的敏感度并不是絕inpainting[ J]. SIAM Joumal on Applied Mathematies ,2002 ,62(3): .對的,其感知結果會(huì )受到許多因素的影響而產(chǎn)生變化1019-1043.(例如,人眼對一個(gè)區域的感知結果會(huì )受到其周?chē)徑黐4] Shih T K,Chang R C. Digtl inaining suvey and mulilyer image區域的影響),但PSNR對于多數圖像質(zhì)量評價(jià)仍然是inpainting algorithm [C] / Proceeding of the Third International有效的“5。PSNR 值越大說(shuō)明修復效果圖像與參考圖.Conference on Information Technology and Applieations. 2005 :15-24.5] Shih T K,Chang R C,Lu L C,et al. Multi-layer inpaining on Chinese像(本文中使用參考圖像為原始圖像)越相似,修復效artwork restoration applications[ C] 1 IEEE International Confernece果越好,算法性能越高。on Multimedia and Expo. 2004:21-24.令f(x,y)為參考圖像在像素坐標(x,y)處的灰度[6] Witman T. Mathenatical techniquese for image inepolaion [ DB/DK]. htp:// www. math. umn. edu/ ~ witman/Poral. pdr,005.值或彩色值f(x,y)為修復后圖像在相應像素位置處[7] 吳亞?wèn)|,張紅英,吳 斌數字圖像修復技術(shù)[M].北京:科學(xué)出版的灰度值或彩色值。對于一幅M xN的圖像,社,2010:1-20.2552PSNR = 10 x1g-[8] Criminisi A,Perez: P, Toyama K. Region fling and objet removal byexemplar-based image inpainting[J]. IEEE Transactions on Image旅品Z(*,y) -(x,)2Procesing 2004 ,13(9) 1200-1212.(4) [9] Efos A, Leung T. Texure syuthesis by non-paraerie sampling[C]/1 Proceedings of 7th IEEE International Conference on Computer要求學(xué)生利用自己的視覺(jué)系統和PSNR客觀(guān)評價(jià)標準Vision. Greece :IEEE , 1992) :1033-1038.對本算法實(shí)現圖像修復的結果和Pooshop軟件手工[10] 張德豐. 數字圖像處理(Mllab版)[M].北京:人民郵電出版社，進(jìn)行修復的結果進(jìn)行比較。利用PSNR進(jìn)行比較時(shí)，2009:15-30.在文字移除的實(shí)驗中由于沒(méi)有提供原始圖像可不作[11] 王家文. Malab7.6圖形圖像處理[M].北京:國防工業(yè)出版社，比較。2009 :21-32.[12] Wu J, Ruan Q. Q0 bjet removal by eross isopoles exemplar based3結語(yǔ)inpainting[ C] // Procedings of 18th Inemational Conference onPaltem Recognition. Hong Kong: IEEE ,2006 ,3 :810-813.本文通過(guò)對圖像修復理論及實(shí)驗的介紹,利用程[13] 陳中費,劉利剛,王國瑾. 基于全局優(yōu)化的圖像塊填充修復方法序及具體的實(shí)驗結果,使學(xué)生對圖像修復這一數字圖[J].計算機研究與發(fā)展.2009 ,46(1);144-150.像處理中的較新的方向有了感性的認識。通過(guò)生動(dòng)的[14]丁西明 ,段漢根,吳長(cháng)勤.一種簡(jiǎn)單的塊匹配圖像修復算法[J].計算機技術(shù)與發(fā)展，2011 .20(11) :80-83.圖像結果對比，激發(fā)學(xué)生對于這一方向的興趣。利用評價(jià)標準對修復結果進(jìn)行比較,希望能對于學(xué)生在這[15]中國煤化工e al. Final repont from theIY片CNMHG°n of the oijective models of-.方向的研究上具有--定的指導作用。/www. we01-10.參考文獻( References) :[1] 張晴,林家駿,高 深.基于色差分析的圖像修復改進(jìn)算法[J].