基于位差預測的視圖合成

Digital videoCJ文章編號:1002-8692(2009)S2-0079-03.論文.基于位差預測的視圖合成‘宋麗娟,霍智勇,朱秀昌(南京郵電大學(xué)江蘇省圉像處理與困像通信重點(diǎn)實(shí)驗室,江蘇南京2000)[摘要]為了滿(mǎn)足足多視點(diǎn)視頻中新視點(diǎn)合成的胃要,提出了一種基于位差估計和補償插值的視點(diǎn)合成方法。實(shí)驗結果表明,當兩四貸的集用展量和傳施方法相當，但合成速度比較快，可應用于實(shí)時(shí)的交互式系統中。個(gè)攝像機間的基線(xiàn)比較小的時(shí)候,合成的視圖質(zhì)[關(guān)鍵詞]視點(diǎn)合成;位差估計;插值[中圖分類(lèi)號] TN911.72[文獻標識碼] AView Synthesis Based on Disparity PredictionSONC Li-juan, HUO Zhi-yong ZHU Xiu- chang(nangu Prince Key Laub on Imor Pocerin & Imoer Commieion Novjing Unenin叭Pous ond Tomeacinen Narjing 20003China)[Abstrac1) n order。synbeis tbe inenie in the mliriev rideo, snev view snmheis mehod i poped which i beedm dpntny peicion and ineplaion Eperimental rule show thu the ped mehed can povide god ing quliycmpred i袖tio methods rhen the belie s mall The poped mehod can ger the inedite riew qisl hus itcan be applied in interactive system.(Key words] view synheis; disparity pediction iterplation圖像在時(shí)間上是不同的，而在位差估計中,兩幅圖像是同1引言多視點(diǎn)視頻可以提供與場(chǎng)景的交互能力，用戶(hù)可以時(shí)但從不同的攝像機視點(diǎn)拍攝獲得的，可以采用與運動(dòng)估計相類(lèi)似的方法進(jìn)行圖像位差的估計明。自己選擇在場(chǎng)景中的視點(diǎn),比如在奧運會(huì )的比賽中,有多將輸人的左右兩幅視圖分別看成是待合成視圖的個(gè)攝像機同步從不同角度進(jìn)行拍攝，那么用戶(hù)可以在一“前向參考幀"和“后向參考幀”。首先對待合成視圖與參定范圍內隨時(shí)改變看點(diǎn),實(shí)現任意角度的觀(guān)看,這就需要考視陽(yáng)進(jìn)行分塊處理，接著(zhù)根據最小均方差準則找出待安裝多個(gè)攝像機攝取圖像實(shí)現視點(diǎn)切換，但是無(wú)論從設合成視圖中的每-個(gè)圖像塊在兩幅參考視圖中所對應的備的價(jià)格還是從數據的存儲,傳輸這都是不可取的。本文最佳位差值。的目的在于通過(guò)現有攝像機攝取的圖像合成出更多的視當攝像機之間的基線(xiàn)分離較小的時(shí)候，可以認為兩點(diǎn)圖像，從而在不增加成本的前提下使可切換的視點(diǎn)增幅參考視圖中的對應物體間在一定范圍內發(fā)生了水平和.加，切換過(guò)程更加平滑,觀(guān)看起來(lái)更加流暢。垂直方向上運動(dòng)，因此可以在矩形搜索區城內對位差進(jìn)圖像插值是實(shí)現視點(diǎn)合成的一類(lèi)重要技術(shù)。這類(lèi)方行預測。法主要是建立左右兩幅視圖中像素間的關(guān)系，即位差估將待合成視圖V,參考左視圖V和參考右視圖V,分計,然后基于位差圖像來(lái)插值完成中間視點(diǎn)圖像的合成。割成大小為BxB的圖像塊,搜索區域定為MxN?？紤]到這類(lèi)方法都是首先進(jìn)行位差圖的估計，為了得到更加精為了使圖像邊緣處的塊也能找到比較精確的位差，在預確的位差圖.運用了窗函數1-,以及對窗函數進(jìn)行的優(yōu)測前對輸入的兩幅參考視圖進(jìn)行了擴展，視圖合成之后化方法叫，從而導致比較大的計算開(kāi)鋪。由于合成的視再進(jìn)行去擴展操作。位差預測的具體實(shí)現步驟為:圖本身是不存在的，并且在一般交互系統中對圖像的質(zhì)1) 對于待合成視圖中的每一-個(gè)圖像塊在兩幅視圖量并不是要求特別苛刻，因此上述的這些算法并不適合中首先找到對應位置,以塊的左上角的像素點(diǎn)為基準;于交互系統中的實(shí)時(shí)性應用。2)搜索區域內,在水平和垂直兩個(gè)方向上,兩個(gè)視2基于塊匹配的位差估計圖都中國煤化工進(jìn)行移動(dòng)，得到相應位差估計問(wèn)題與運動(dòng)估計問(wèn)題類(lèi)似，它們都需要在位置處THCNMH G "最小均方差準則,找兩幅圖像的像素之間建立對應關(guān)系。在運動(dòng)估計中,兩幅到最佳.國文自自然科學(xué)基金項目(60672134);江蘇省自然科學(xué)基金項目(BK2007238)No.S2 vo.3 200N 332VDBINEN 79數字視頻式中:mux和muy為實(shí)際的位移大小，如果視圖V的(d,d,)=min 2 lB.(y,-pxd,xn -pxd,)-muy=pxd, ,mwx=pxd,那么在V,中為muy=(1-p )xd, ,mwx=B(x-(1-p)xd,x-(1-p )xd,)P(1)(1-p)xd,;這樣就清楚地表示出了實(shí)際位差給視圖內容3)重復步驟2),從而計算出待合成視圖中每一個(gè)的合成所帶來(lái)的影響。圖像塊在兩幅視圖中的最佳位差值。如果是進(jìn)行半像素插值或者1/8 像素插值,插值原值得注意的是公式(1)中的參數p、B,和B2。p代表理相同， 需要對2求?；蛘呤菍?進(jìn)行求模得到加權系的是虛擬視圖V距離左右兩個(gè)視圖V和V,的比值。例數,然后依據式(3)就可以得到相應的值了。如當需要繪制兩個(gè)攝像機基線(xiàn)的中心點(diǎn)處的視圖時(shí)p4差錯塊的檢測與調整的值為0.5。圖像塊B,和B,并不是參考視圖中相應位置處的像素值,而是插值之后的值,插值的過(guò)程將在接下在運動(dòng)估計中物體的運動(dòng)矢量的大小非常有限,但在位差估計中對于那些接近攝像機的物體,他們的位差來(lái)的部分給出。矢量會(huì )非常大，由于上述對位差的估計是在-一個(gè)固定的3基于位差補償的虛擬視圖的合成搜索區域內進(jìn)行的,因此有些塊的位差估計會(huì )出現錯誤,根據得到的最佳位差值，就可以依據位差補償方式需要進(jìn)行調整,否則會(huì )產(chǎn)生比較明顯的塊效應。進(jìn)行“幀內插”了。左視圖V依據每一個(gè)塊對應的位差矢4.1 差錯塊的定位量可以插值得到一個(gè)虛擬視圖V',同樣參考右視圖v,在實(shí)驗中通過(guò)對合成的每-幅圖像的圖像塊的位差也可以插值得到一個(gè)虛擬視圖V'。那么,兩個(gè)攝像機中.矢量進(jìn)行檢測，發(fā)現有些圖像塊的位差矢量與周?chē)膲K心連線(xiàn)任意位置處虛擬視角點(diǎn)所對應的視圖為:相比有比較大的差異，這樣的情況下就會(huì )導致合成視圖V=(1-p )xV'+pxV,'中比較明顯的塊效應。關(guān)于這些塊的檢測采用了如下的在“幀內插”過(guò)程中使用到了1/4 精度像素的插值，判斷公式具體的插值實(shí)現如圖1所示。disy. v=(vector. y(ij)- vector. _y(ij-1)>T) HIp(y, x)p(y, x+1)(vector_ y(ij)-vector_ y(i,j-1)>T)a| bdisy. .h=(vecor_y(ij) -vector. y(i-1j)>7) I(vector. y(ij)-vector. y(it1 j)>T)disx. v=(vector. x(ij)-vector. x(i;j-1)>T) H(vector. x(i,j)-vector_ x(i,j+1)>T)disx. _h=(vector_ x(i,j)-vector. x(i-1 ,j)>7) H(vector. x(ij)-vector. _x(i+1 ,j)>7")(5)p(y+1, x)p (y+I, x+1)式中:vector_yv(i,j)和vector. x(i,j)分別代表的是塊(i,j)圖1 114精度像素插值在垂直方向和水平方向上的位差矢量值,T為設定的閾圖中的p(y,x),p(y,x+1),p(y+1,x),p(y+1,x+1)代值。disy_o ,disy_ h,disx_。和disx. h的值同時(shí)為1,說(shuō)明塊表的是參考視圖中原有的4個(gè)相鄰像素點(diǎn),a,b, .",，為的位差矢量值與周?chē)膲K相比差異度比較大,需要進(jìn)行利用p(y ,x),p(y,x+1),p(y+1,x),p(y+1,x+1)這4個(gè)點(diǎn)調整。其中的閾值如果設置的比較小，會(huì )過(guò)檢測,導致不的像素值插值出來(lái)的16個(gè)像素點(diǎn)。必要的計算量;但值過(guò)大又會(huì )漏檢測。在實(shí)驗中選定的閾其中每一個(gè)像素點(diǎn)的計算方法是一樣的，只是所使值為10。用的權重系數不同而已。以像素點(diǎn)b為例,對b進(jìn)行插值當對一幅視圖繪制完成之后，依據上述方法對所有的公式為圖像塊的位差矢量進(jìn)行檢測,如果需要調整,則采用如下p= 1yXP(y,x)Hw:xp(y .+1)+0xp(y+1 x+ox(r+1,x+12(3)的方法進(jìn)行內容的調整。4.2 塊內容的調整式中:U0,U2,403和ws是像素點(diǎn)p(y,x),p(y,x+1),p(y+1,x),假設圖像塊的大小為16x16,發(fā)生錯誤的塊為EB,p(y+1 ,x+1)的加權系數。這些加權系數的計算方法為.如圖2所示。采用了類(lèi)似于重疊塊運動(dòng)補償的方法進(jìn)行w=(4- -mwx%4)(4- muy%4),了位中國煤化工到的位差值進(jìn)行位差w=(mwx%4)(4- muy%4),補償|Y片CN M H G8x8的小塊,接下來(lái)再w=(4 mux%4)(mvy%4)將這4個(gè)小塊分別與周?chē)南袼攸c(diǎn)組合成4個(gè)16x16的w=(mux%4)(mwy%4)(4)圖像塊B1~B4。最后,對塊B1~B4分別利用上述位差預80電視技或3009年第 3卷第s2期總第32)萬(wàn)萬(wàn)數據~Digital video測的方法進(jìn)行位差矢量的預值得注意的是，本文的算法適用于攝像機之間的基31B2測，根據預測的位差矢量分別線(xiàn)距離比較小的情況,如果攝像機間的距離比較大,那么_E對塊B1~B4所在的區域進(jìn)行此時(shí)輸人的兩幅視圖間的變化就不能簡(jiǎn)單的看成是- -種插值。從而完成了EB塊內容平動(dòng)了 ,從而上述的預測位差的方法也就不再適用了。B4的調整。6總結5實(shí)驗結果本文提出一種基于位差預測和補償的視點(diǎn)合成算圖2塊內容的調整實(shí)驗中本文是用了法,這種算法依據輸人的兩個(gè)不同視角處的圖像,可以合Tsukub圖像對叫。圖像的分辨率為384x288,使用的分塊成出基線(xiàn)上任意一點(diǎn)處的視圖。這種算法繪制視圖速度大小為16x16。合成的視圖結果如下圖3所示。較快,不需預處理,非常適合于實(shí)時(shí)性監控系統的應用。文中的位差搜索過(guò)程還可以通過(guò)快速搜索算法進(jìn)行性能提高。本文的算法在進(jìn)行位差矢量預測的時(shí)候只是考慮了亮度成分,沒(méi)有考慮到色度成分,因此在下一步工作中還應該將色度成分的影響考慮進(jìn)去。(a)左視圖(b)合成的中間視圖(c)右視圖圖3本文算法合成的Tsukub中間視點(diǎn)圖像參考文獻:在文獻[10]中的各種位差估計方法都是為了得到比[1] KANADE T ,OKUTOMI M. A stereo matching algorihm with an adap-tive window: Theory and experimens([I IEEE Trans. Pallem Analysis較精確的位差圖,依據得到的位差圖進(jìn)行插值。但是這些and Machine Ieligence, 1994 ,16(9):920 -932.方法都是依據比較復雜的計算開(kāi)銷(xiāo)為代價(jià)的,在文獻[5]2] IZQUIERDO E. Disaritysegmentation analysis: matching with an中計算一個(gè)33x33的窗就需要1 min,而本文的算法合adaptive window and depth-driven segmentation[D]. IEEE Trans. Cir-成上述圖像整個(gè)過(guò)程只需要40s。且從主觀(guān)上來(lái)看,合成.cus and Systems for Video Technology，1999 ,19(4):589 -607.的視圖并無(wú)明顯的缺陷,完全具有可接受的視覺(jué)效果,是[3] VEKSLER 0. Stereo crrepondence with compact windows via mini-mum ratio eyele[J]. IEEE Trans. Patlerm Analysis and Machine Itell-.可以滿(mǎn)足應用在一般的交互式系統中。gence, 2002,24(12):1654- 1660.為了測試本文算法的性能，還利用了另外一組圖像[4] XU Y,WANG D,FENG T,et al. Stero computation using radial adeprballe!", 這是一組多視點(diǎn)圖像集,利用第-個(gè)和第二個(gè)攝tive windows [CVI Proe. 16th Inemational Conference on Pttem像機拍攝到的視圖繪制出了它們中心連線(xiàn)上距離左視圖Recognition:vol. 3. (.J.]1EEE Pes,2002:595 -598.分別為1/4,2/4,3/4處的視點(diǎn)所對應的視圖。使用到的圖[5] YOON K J,KWEON I s. Locally adaptive support -weight approach for像的分辨率為256x192,分塊大小為16x16,合成的視圖的結果如圖4所示，圖4b和4c均為合成視圖,4a和4dchine Inelligence ,2006 .28(4) :650-656.[6]呂朝輝,袁惇.基于視差估計的中間視合成[].光電子.激光,2007,為輸人視圖。18(7)855-858.[7] WANG Yao,OSTERMANN J ,ZHANC Ya-Qin.視頻處理與通值[M].侯正信,楊喜,王文全,譯.北京:電子工業(yè)出版杜,2003:288 -310.[8]畢厚杰新-代視頻壓縮編碼標準_ -H.264AVC[M).北京:人民郵電出版社,2005:33-42(a) 左視圖(b) 14處視圖(c) 1/2處視圖[9] CHEUNG A,KOSMACH J J,ORCHARD M T.et al. Overlapped blockmotion comensationJ[L Proc. SPIE, 1992,1818:561-572.[10] SCHARSTEIN D,SZELISKI R A taxonomy and eraluation of densetwo frame stereo cortespondence algorithms[J} Intemational Joumalof Computer Vision ,2002.47(1):7-42.[1] ZITNICK c L,KANG sI B.UYTENDAELE M.et al. High-qualityvideo view interpolation using a layered rpresentation 0 ACMd) 314處視圖(e)右視圖.Trans. Grephics. Association for Computing Machinery ,2004,23圖4本文算法合成的多視點(diǎn)視 圖中國煤化工以女舞蹈演員身后的圖畫(huà)為基準，可以看出這些視責任編輯.TYHC N M H G收璃日期2009-06-12.圖的角度轉換的過(guò)程,通過(guò)這些虛擬視圖的加入就會(huì )使視點(diǎn)轉換過(guò)程更加平滑連貫。No: s2 vo.3 20Su NO 332VDEBGINERNG 81