本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別涉及一種基于云計(jì)算的虛擬視點(diǎn)合成的自適應(yīng)卸載方法。
背景技術(shù)：
：隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來(lái)臨以及智能移動(dòng)端多核處理器記憶GPU等硬件處理設(shè)備的發(fā)展，移動(dòng)端的功能越來(lái)越強(qiáng)大。這使越來(lái)越多的娛樂(lè)媒體活動(dòng)慢慢的從PC機(jī)轉(zhuǎn)移到了以移動(dòng)端，移動(dòng)端自由視點(diǎn)合成便是其主要方向之一。自由視點(diǎn)視頻(FTV)可以為用戶提供任意視點(diǎn)的場(chǎng)景圖像，從而極大地增強(qiáng)用戶的視覺(jué)體驗(yàn)效果，因而具有廣闊的發(fā)展前景。如果能在移動(dòng)終端上實(shí)現(xiàn)FTV，不僅能夠極大地普及3D技術(shù)，而且還能夠帶來(lái)巨大的經(jīng)濟(jì)意義。為了將高質(zhì)量的任意視點(diǎn)圖像應(yīng)用于FTV，MPEG組織開(kāi)發(fā)了VSRS(ViewSynthesisReferenceSoftware)參考軟件,此軟件用兩個(gè)參考視點(diǎn)紋理圖和相應(yīng)的深度圖作為輸入來(lái)生成一個(gè)合成的虛擬視點(diǎn)。但是，VSRS運(yùn)行耗時(shí)非常長(zhǎng)，其虛擬視點(diǎn)合成速度大約是2幀/秒，遠(yuǎn)小于實(shí)時(shí)播放下要求的30幀/秒。這就造成了VSRS在現(xiàn)實(shí)中的應(yīng)用受到了限制，特別是PC端和移動(dòng)端等終端設(shè)備上。隨著云計(jì)算的流行，大量研究致力于將移動(dòng)端應(yīng)用中相對(duì)復(fù)雜的計(jì)算卸載到云端，以降低移動(dòng)端的功耗。移動(dòng)終端通過(guò)無(wú)線網(wǎng)絡(luò)連接到云端，將本應(yīng)在本地終端進(jìn)行的計(jì)算工作及數(shù)據(jù)發(fā)送到云端，由云端多個(gè)虛擬機(jī)完成計(jì)算，以降低本地終端功耗。但是，現(xiàn)存的云卸載方案在卸載的同時(shí)會(huì)產(chǎn)生大量的功耗，也很難在降低本地功耗的同時(shí)獲得高質(zhì)量的合成的虛擬視點(diǎn)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的主要目的在于解決現(xiàn)有技術(shù)中云卸載方案很難在降低本地功耗的同時(shí)獲得高質(zhì)量的合成的虛擬視點(diǎn)的問(wèn)題，提供一種基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法及系統(tǒng)。本發(fā)明提供了一種基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法，包括以下步驟：A1.將輸入幀，包括左右視點(diǎn)的紋理圖和深度圖，平均分成n塊，其中n為用戶自行設(shè)定的將每幀視頻分割的塊數(shù)，n為大于1的整數(shù)；A2.參考上一幀分割塊空洞數(shù)目，預(yù)測(cè)當(dāng)前幀每一分割塊進(jìn)行視點(diǎn)合成的負(fù)載；A3.將每個(gè)圖像塊的負(fù)載代入云卸載模型，通過(guò)最小化移動(dòng)端的功耗，得到分配結(jié)果，實(shí)現(xiàn)資源的動(dòng)態(tài)分配；A4.根據(jù)A3分配結(jié)果，在云端或者在移動(dòng)端分別對(duì)不同的圖像塊進(jìn)行視點(diǎn)合成；A5.將云端和移動(dòng)端合成的虛擬視點(diǎn)圖像進(jìn)行拼接，生成一個(gè)完整的虛擬視點(diǎn)。優(yōu)選地，所述步驟A1中，將輸入幀，包括左右視點(diǎn)的紋理圖和深度圖，平均分割成n塊，分割為縱向分割或者橫向分割，對(duì)左右視點(diǎn)的紋理圖和深度圖采用的分割方法完全相同。優(yōu)選地，所述步驟A2中對(duì)分割后的每幀圖像塊進(jìn)行負(fù)載預(yù)測(cè)：Ψ≈ΨF+ΨM，其中Ψ為每一塊進(jìn)行視點(diǎn)合成的負(fù)載，ΨF和ΨM分別為左右視點(diǎn)的紋理圖向虛擬視點(diǎn)的映射的負(fù)載和左右視點(diǎn)向虛擬視點(diǎn)映射后的圖像融合的負(fù)載；ΨF＝2α1WH，其中，W和H分別為分割后的每塊的寬度和高度；對(duì)于α1，把所有線程各自ForwardWarp()函數(shù)時(shí)間加在一起除以總的像素點(diǎn)，即ΨM≈α2(2WH-Θ)，其中，Θ為空洞點(diǎn)的數(shù)目，對(duì)于α2，把所有線程各自Merge()函數(shù)時(shí)間加在一起除以總的非空洞像素點(diǎn)，即其中，TMerge()為Merge()函數(shù)時(shí)間，Nonholes為非空洞像素點(diǎn)。優(yōu)選地，所述步驟A3中云卸載模型的表達(dá)式為：其中，為向量，如果Ii(i＝1,2...n)為1，則第i塊分配到云端進(jìn)行虛擬視點(diǎn)合成，若Ii(i＝1,2...n)為0，則在移動(dòng)端進(jìn)行視點(diǎn)合成；Pc為移動(dòng)端在計(jì)算時(shí)的功耗，Pi為移動(dòng)端閑置時(shí)的功耗，Ptr為移動(dòng)端在數(shù)據(jù)傳送時(shí)的功耗；Cm為分配到移動(dòng)端的算法復(fù)雜度，Cc為分配到云端的算法復(fù)雜度；f為移動(dòng)端的每秒處理速度，S為每秒云端的計(jì)算速度，D是云端和移動(dòng)端傳輸?shù)臄?shù)據(jù)的大小，B為帶寬；其中ψi(i＝1,2,…,n)為第i塊進(jìn)行視點(diǎn)合成的負(fù)載，ft為當(dāng)前設(shè)備的每秒處理速度；D＝Dm+Dc，其中Dm和Dc分別為在移動(dòng)端上和在云端進(jìn)行視點(diǎn)合成時(shí)需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)。優(yōu)選地，當(dāng)視頻在云端時(shí)，若某塊需分配到移動(dòng)端進(jìn)行視點(diǎn)合成，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)包括該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖；當(dāng)該塊分配到云端進(jìn)行視點(diǎn)合成時(shí)，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)包括該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖以及新合成的視點(diǎn)，即其中，W、H為當(dāng)前塊的寬度和高度，n為將一幀視頻分割的塊數(shù)，對(duì)應(yīng)于YUV420,YUV422和YUV444的視頻，γ分別為1.5，2和3。優(yōu)選地，當(dāng)視頻在移動(dòng)端時(shí)，若某塊需分配到移動(dòng)端進(jìn)行視點(diǎn)合成，由于視頻原來(lái)就存儲(chǔ)在移動(dòng)端，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)為0；當(dāng)該塊分配到云端進(jìn)行視點(diǎn)合成時(shí)，需要先將該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖傳輸?shù)皆贫诉M(jìn)行視點(diǎn)合成，待合成完畢后，需要將合成后的視點(diǎn)傳輸回移動(dòng)端，即其中，W、H為當(dāng)前塊的寬度和高度，n為將一幀視頻分割的塊數(shù)，對(duì)應(yīng)于YUV420,YUV422和YUV444的視頻，γ分別為1.5，2和3。優(yōu)選地，所述步驟A4中在云端或者在移動(dòng)端分別對(duì)不同的圖像塊進(jìn)行視點(diǎn)合成，采用視點(diǎn)合成參考軟件VSRS里的標(biāo)準(zhǔn)方法進(jìn)行視點(diǎn)合成。優(yōu)選地，所述步驟A5中將云端和移動(dòng)端合成的虛擬視點(diǎn)圖像進(jìn)行拼接，是指將合成的每塊視點(diǎn)拼成完整的一幀。本發(fā)明還提出一種基于移動(dòng)端虛擬視點(diǎn)合成的云卸載系統(tǒng)，包括輸入幀視點(diǎn)分割模塊、負(fù)載預(yù)測(cè)模塊、云卸載模塊、虛擬視點(diǎn)合成模塊、虛擬視點(diǎn)拼接模塊；輸入幀視點(diǎn)分割模塊用于將輸入的左右視點(diǎn)的深度圖和紋理圖的等份分割；負(fù)載預(yù)測(cè)模塊用于預(yù)測(cè)分割后每塊圖像進(jìn)行視點(diǎn)合成的負(fù)載；云卸載模塊通過(guò)代入一幀中每塊進(jìn)行視點(diǎn)合成的負(fù)載，最小化移動(dòng)端的功耗，得到分配結(jié)果，實(shí)現(xiàn)資源的動(dòng)態(tài)分配；虛擬視點(diǎn)合成模塊用于在移動(dòng)端或云端進(jìn)行虛擬視點(diǎn)合成；虛擬視點(diǎn)拼接模塊用于將云端和移動(dòng)端產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，輸出一個(gè)完整的虛擬視點(diǎn)圖像。本發(fā)明的有益效果為：使用本發(fā)明的基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法或系統(tǒng)，對(duì)輸入幀的左右視點(diǎn)的紋理圖和深度圖進(jìn)行分割，預(yù)測(cè)各個(gè)分割塊進(jìn)行虛擬視點(diǎn)合成的負(fù)載，通過(guò)本發(fā)明提出的云卸載模型，將各個(gè)塊分配到云端或者移動(dòng)端進(jìn)行虛擬視點(diǎn)合成，然后把各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完成的虛擬視點(diǎn)圖像輸出，不管待合成視點(diǎn)在云端還是在移動(dòng)端，皆能夠?qū)崿F(xiàn)資源的動(dòng)態(tài)分配，不僅能夠提高虛擬視點(diǎn)合成的算法效率、降低移動(dòng)端的功耗，而且還能高效地獲取較高質(zhì)量的合成的虛擬視點(diǎn)圖像或者視頻。附圖說(shuō)明圖1是本發(fā)明實(shí)施例1中基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法的流程圖。圖2是本發(fā)明實(shí)施例1中待合成視點(diǎn)在云端時(shí)的云卸載系統(tǒng)結(jié)構(gòu)示意圖。圖3是本發(fā)明實(shí)施例1中待合成視點(diǎn)在移動(dòng)端時(shí)的云卸載系統(tǒng)結(jié)構(gòu)示意圖。圖4a和4d是本發(fā)明實(shí)施例2中沒(méi)有使用云卸載模型時(shí)合成的虛擬視點(diǎn)的圖像。圖4b和4e是本發(fā)明實(shí)施例2中每幀視頻被分割成4塊時(shí)對(duì)應(yīng)的合成的虛擬視點(diǎn)的圖像。圖4c和4f是本發(fā)明實(shí)施例2中每幀視頻被分割成8塊時(shí)對(duì)應(yīng)的合成的虛擬視點(diǎn)的圖像。具體實(shí)施方式下面結(jié)合具體實(shí)施方式并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明，應(yīng)該強(qiáng)調(diào)的是，下述說(shuō)明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。實(shí)施例1本實(shí)施例提供了一種基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法及系統(tǒng)，其方法流程如附圖1所示，包括如下步驟：A1.視點(diǎn)分割。將輸入幀，包括左右視點(diǎn)的紋理圖和深度圖，等分成n塊，其中n為用戶自行設(shè)定的將每幀視頻分割的塊數(shù)，n為大于1的整數(shù)；分割可以為縱向分割或者橫向分割，對(duì)輸入的左右視點(diǎn)的紋理圖和深度圖采取的分割方法完全相同。A2.負(fù)載預(yù)測(cè)。參考上一幀分割塊空洞數(shù)目，預(yù)測(cè)當(dāng)前幀中每一分割塊進(jìn)行視點(diǎn)合成的負(fù)載；通過(guò)觀察線程時(shí)間和執(zhí)行視點(diǎn)合成各個(gè)函數(shù)所用時(shí)間之間的關(guān)系發(fā)現(xiàn)，線程執(zhí)行的視點(diǎn)合成函數(shù)是DoOneFrame()，而且此函數(shù)中包含的子函數(shù)ForwardWarp()和Merge()執(zhí)行時(shí)間占了總時(shí)間的94％以上，故可以得到如下的關(guān)系：Ψ≈ΨF+ΨM公式(1)其中Ψ為每一塊進(jìn)行視點(diǎn)合成的負(fù)載；ΨF和ΨM分別為參考視點(diǎn)向虛擬視點(diǎn)的映射的負(fù)載和左右視點(diǎn)向虛擬視點(diǎn)映射后的圖像融合的負(fù)載。參考視點(diǎn)向虛擬視點(diǎn)的映射時(shí)，它的時(shí)間與像素的總數(shù)是成正比，即ΨF＝2α1WH公式(2)其中，W和H分別為分割后的每塊的寬度和高度；乘以2是因?yàn)橛凶笥覂煞鶊D像；對(duì)于α1，把所有線程各自ForwardWarp()函數(shù)時(shí)間加在一起除以總的像素點(diǎn)，即對(duì)兩種特征點(diǎn)執(zhí)行融合，第一種是向虛擬視點(diǎn)映射后形成的空洞點(diǎn)，第二種是非空洞點(diǎn)，而且非空洞點(diǎn)越多，此函數(shù)執(zhí)行時(shí)間越長(zhǎng)，兩者之間近乎成線性關(guān)系，即ΨM≈α2(2WH-Θ)公式(4)其中，Θ為空洞點(diǎn)的數(shù)目，對(duì)于α2，把所有線程各自Merge()函數(shù)時(shí)間加在一起除以總的非空洞像素點(diǎn)，即公式(5)分母求和的是整個(gè)圖像的非空洞像素點(diǎn)的總數(shù)目。A3.云卸載模型動(dòng)態(tài)分配資源。將每個(gè)圖像塊的負(fù)載，代入云端卸載模型，通過(guò)最小化移動(dòng)端的功耗，得到分配結(jié)果，實(shí)現(xiàn)資源的動(dòng)態(tài)分配；所述云卸載模型的表達(dá)式為：其中，為向量，如果Ii(i＝1,2...n)為1，則第i塊分配到云端進(jìn)行虛擬視點(diǎn)合成，若Ii(i＝1,2...n)為0，則在移動(dòng)端進(jìn)行視點(diǎn)合成；Pc為移動(dòng)端在計(jì)算時(shí)的功耗，Pi為移動(dòng)端閑置時(shí)的功耗，Ptr為移動(dòng)端在數(shù)據(jù)傳送時(shí)的功耗；Cm為分配到移動(dòng)端的算法復(fù)雜度，Cc為分配到云端的算法復(fù)雜度；f為移動(dòng)端的每秒處理速度，S為每秒云端的計(jì)算速度，D是云端和移動(dòng)端傳輸?shù)臄?shù)據(jù)的大小，B為帶寬。其中ψi(i＝1,2,…,n)為第i塊進(jìn)行視點(diǎn)合成的負(fù)載，ft為當(dāng)前設(shè)備的每秒處理速度。D＝Dm+Dc公式(8)Dm和Dc分別為在移動(dòng)端上和在云端進(jìn)行視點(diǎn)合成時(shí)需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)。A4.移動(dòng)端和云端視點(diǎn)合成。根據(jù)A3分配結(jié)果，在云端或者在移動(dòng)端分別對(duì)分配到其平臺(tái)上的不同的圖像塊進(jìn)行虛擬視點(diǎn)合成，采用VSRS視頻合成參考軟件的方法；A5.圖像拼接。將云端和移動(dòng)端合成的虛擬視點(diǎn)圖像進(jìn)行拼接，生成一個(gè)完整的虛擬視點(diǎn)。然后在移動(dòng)端輸出一個(gè)完整的虛擬試點(diǎn)圖像。本實(shí)施例的上述基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法是在云卸載系統(tǒng)上實(shí)現(xiàn)的，該云卸載系統(tǒng)包括輸入幀視點(diǎn)分割模塊(1)、負(fù)載預(yù)測(cè)模塊(2)、云卸載模塊(3)、虛擬視點(diǎn)合成模塊和虛擬視點(diǎn)拼接模塊(6)，其中虛擬視點(diǎn)合成模塊又包括移動(dòng)端虛擬視點(diǎn)合成模塊(4)和云端虛擬視點(diǎn)合成模塊(5)。輸入幀視點(diǎn)分割模塊(1)用于將輸入的左右視點(diǎn)的深度圖和紋理圖的等份分割；負(fù)載預(yù)測(cè)模塊(2)用于預(yù)測(cè)分割后每塊圖像進(jìn)行視點(diǎn)合成的負(fù)載；云卸載模塊(3)通過(guò)將一幀中每塊進(jìn)行視點(diǎn)合成的負(fù)載代入云卸載模型，最小化移動(dòng)端的功耗，得到分配結(jié)果，實(shí)現(xiàn)資源的動(dòng)態(tài)分配；移動(dòng)端虛擬視點(diǎn)合成模塊(4)和云端虛擬視點(diǎn)合成模塊(5)分別設(shè)置在移動(dòng)端和云端，分別用于在移動(dòng)端和云端進(jìn)行虛擬視點(diǎn)合成；虛擬視點(diǎn)拼接模塊(6)設(shè)置在移動(dòng)端，用于將云端和移動(dòng)端產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，在移動(dòng)端輸出一個(gè)完整的虛擬視點(diǎn)圖像。當(dāng)視頻在云端時(shí)，基于移動(dòng)端虛擬視點(diǎn)合成的云卸載系統(tǒng)如附圖2所示，輸入幀視點(diǎn)分割模塊(1)、負(fù)載預(yù)測(cè)模塊(2)、云卸載模塊(3)均設(shè)置在云端。此時(shí)，若某塊需分配到移動(dòng)端進(jìn)行視點(diǎn)合成，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)包括該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖；當(dāng)該塊分配到云端進(jìn)行視點(diǎn)合成時(shí)，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)包括該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖以及新合成的視點(diǎn)。因此，公式(8)中的Dm和Dc分別為：其中，W、H為當(dāng)前塊的寬度和高度，n為將一幀視頻分割的塊數(shù)，對(duì)應(yīng)于YUV420,YUV422和YUV444的視頻，γ分別為1.5，2和3。當(dāng)視頻在移動(dòng)端時(shí)，基于移動(dòng)端虛擬視點(diǎn)合成的云卸載系統(tǒng)如附圖3所示，輸入幀視點(diǎn)分割模塊(1)、負(fù)載預(yù)測(cè)模塊(2)、云卸載模塊(3)均設(shè)置在移動(dòng)端端。此時(shí)，若某塊需分配到移動(dòng)端進(jìn)行視點(diǎn)合成，由于視頻原來(lái)就存儲(chǔ)在移動(dòng)端，需要傳輸?shù)揭苿?dòng)端的數(shù)據(jù)為0；當(dāng)該塊分配到云端進(jìn)行視點(diǎn)合成時(shí)，需要先將該合成塊對(duì)應(yīng)的左右視點(diǎn)的深度圖和紋理圖傳輸?shù)皆贫诉M(jìn)行視點(diǎn)合成，待合成完畢后，需要將合成后的視點(diǎn)傳輸回移動(dòng)端。因此，公式(8)中的Dm和Dc分別為：其中，W、H為當(dāng)前塊的寬度和高度，n為將一幀視頻分割的塊數(shù)，對(duì)應(yīng)于YUV420,YUV422和YUV444的視頻，γ分別為1.5，2和3。實(shí)施例2本實(shí)施例的基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法，包括如下步驟：A1.輸入左右視點(diǎn)的深度和紋理視頻，將每幀等分成n個(gè)圖像塊，4種視頻對(duì)應(yīng)的分割方法一致，其中n為用戶自行設(shè)定的將每幀視頻分割的塊數(shù)，n為大于1的整數(shù)；A2.參考上一幀分割塊空洞數(shù)目，預(yù)測(cè)當(dāng)前幀每一分割塊進(jìn)行視點(diǎn)合成的負(fù)載；A3.將每個(gè)圖像塊的負(fù)載，代入云卸載模型：其中，為向量，如果Ii(i＝1,2...n)為1，則第i塊分配到云端進(jìn)行虛擬視點(diǎn)合成，若Ii(i＝1,2...n)為0，則在移動(dòng)端進(jìn)行視點(diǎn)合成；Pc為移動(dòng)端在計(jì)算時(shí)的功耗，Pi為移動(dòng)端閑置時(shí)的功耗，Ptr為移動(dòng)端在數(shù)據(jù)傳送時(shí)的功耗；Cm為分配到移動(dòng)端的算法復(fù)雜度，Cc為分配到云端的算法復(fù)雜度；f為移動(dòng)端的每秒處理速度，S為每秒云端的計(jì)算速度，D是云端和移動(dòng)端傳輸?shù)臄?shù)據(jù)的大小，B為帶寬。通過(guò)最小化移動(dòng)端的功耗得到分配結(jié)果，實(shí)現(xiàn)資源的動(dòng)態(tài)分配；A4.按照A3最優(yōu)化得到的分配結(jié)果，分別在移動(dòng)端或云端進(jìn)行視點(diǎn)合成，生成視點(diǎn)合成圖。A5.將云端和移動(dòng)端合成的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完整的虛擬視點(diǎn)輸出。本實(shí)驗(yàn)的測(cè)試平臺(tái)數(shù)據(jù)HPiPAQPDA，各數(shù)據(jù)參數(shù)為Pc為0.9W，Pi為0.3W，Ptr為1.3W。原來(lái)測(cè)試序列如表1所示。本實(shí)驗(yàn)采用國(guó)際視頻測(cè)試常用的視頻序列，為簡(jiǎn)便，每個(gè)視頻序列均取前100幀。輸入視點(diǎn)列表示的是輸入的左右參考視點(diǎn)位置，合成視點(diǎn)列是待合成的虛擬視點(diǎn)，如Bookarrival序列的左參考視點(diǎn)是視點(diǎn)10，右參考視點(diǎn)是視點(diǎn)8，待合成的虛擬視點(diǎn)位置是視點(diǎn)9。表1輸入的測(cè)試序列輸入序列大小幀數(shù)輸入視點(diǎn)合成視點(diǎn)Bookarrival1024x76810010，89Champagne_tower1280x96010039，4140Newspaper1024x7681004，65PoznanStreet1920x10801003，54Kendo1024x7681005，34Lovebird11024x7681006，87當(dāng)測(cè)試平臺(tái)為HPiPAQPDA，帶寬分別為2Mbps、20Mbps、40Mbps、60Mbps和80Mbps時(shí)，使用本發(fā)明云卸載方法時(shí)移動(dòng)端節(jié)省的能量百分比如下表2所示。表2云卸載動(dòng)態(tài)資源分配結(jié)果和節(jié)省的能量百分比(％)在表2中，n＝4和n＝8分別表示為分割成4塊和8塊，表中的數(shù)據(jù)表示，相對(duì)于未使用本發(fā)明所提出云卸載方法，使用本發(fā)明的云卸載方法時(shí)移動(dòng)端節(jié)省的能量的百分比。從表2中可以看出，當(dāng)帶寬較小時(shí)，傳輸數(shù)據(jù)功耗較大，此時(shí)大部分塊會(huì)被分配到移動(dòng)端，移動(dòng)端節(jié)省的能量的百分比較?。划?dāng)帶寬較大時(shí)，傳輸功耗較小，此時(shí)大部分塊會(huì)被卸載到云端，移動(dòng)端節(jié)省的能量的百分比較大；而且，帶寬越大，移動(dòng)端節(jié)省的能量越多。使用本發(fā)明所提供的基于移動(dòng)端虛擬視點(diǎn)合成的云卸載方法，得到的圖像效果如附圖4所示。圖4a、圖4d為沒(méi)有使用云卸載方法時(shí)合成的虛擬視點(diǎn)的圖像，圖4b、圖4e為每幀視頻被分割成4塊時(shí)對(duì)應(yīng)的合成的虛擬視點(diǎn)的圖像，圖4c、圖4f為每幀視頻被分割成8塊時(shí)對(duì)應(yīng)的合成的虛擬視點(diǎn)的圖像。由于并沒(méi)有看到合成虛擬視點(diǎn)的區(qū)別，由此可知采用本發(fā)明提出的使用云卸載模型的虛擬視點(diǎn)合成方法，合成的虛擬視點(diǎn)的主觀質(zhì)量并沒(méi)有下降。通過(guò)本實(shí)施例提出的云卸載方法，對(duì)輸入幀的左右視點(diǎn)的紋理圖和深度圖進(jìn)行分割，預(yù)測(cè)各個(gè)分割塊進(jìn)行虛擬視點(diǎn)合成的負(fù)載，通過(guò)云卸載模型，將各個(gè)塊分配到云端或者移動(dòng)端進(jìn)行虛擬視點(diǎn)合成，然后把各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完成的虛擬視點(diǎn)圖像輸出。本發(fā)明根據(jù)上述思路，實(shí)現(xiàn)了基于云卸載模型的虛擬視點(diǎn)合成方法，提高了VSRS的虛擬視點(diǎn)合成效率，大大降低了移動(dòng)端進(jìn)行虛擬視點(diǎn)合成的功耗，為FTV在移動(dòng)終端上的實(shí)現(xiàn)開(kāi)辟了道路。以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬
技術(shù)領(lǐng)域：
的技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)1 2 3