本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別涉及一種手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的方法和系統(tǒng)。

背景技術(shù)：

近些年來(lái)，隨著移動(dòng)設(shè)備技術(shù)的不斷改進(jìn)以及手機(jī)的逐漸普及，人們已經(jīng)進(jìn)入智能手機(jī)的時(shí)代，用戶越來(lái)越習(xí)慣于使用移動(dòng)設(shè)備端代替?zhèn)鹘y(tǒng)設(shè)備來(lái)觀看圖片與視頻。智能手機(jī)多核處理器記憶GPU等硬件處理設(shè)備的發(fā)展，使得手機(jī)的功能越來(lái)越強(qiáng)大，手機(jī)相關(guān)應(yīng)用也不斷的升級(jí)，手機(jī)3D-TV便是其主要方向之一。但是3D視頻的拍攝復(fù)雜，后期制作周期長(zhǎng)等因素導(dǎo)致了其資源比較缺乏，嚴(yán)重制約著移動(dòng)終端3D視頻的發(fā)展。將原有的大量的2D資源轉(zhuǎn)化成3D是解決此問(wèn)題的有效途徑。

2D轉(zhuǎn)3D技術(shù)中的兩個(gè)關(guān)鍵步驟是深度估計(jì)和虛擬視點(diǎn)合成。深度估計(jì)是從一幅或多幅圖像中有效地提取深度信息，重建的深度圖可以用于3D建模、虛擬視角渲染、視頻編輯等多個(gè)方面。高質(zhì)量的深度圖不僅要體現(xiàn)圖像中每個(gè)點(diǎn)在空間對(duì)應(yīng)點(diǎn)的正確深度，還要能準(zhǔn)確的處理圖像噪聲、低紋理區(qū)域的深度以及區(qū)域遮擋問(wèn)題。作為眾多應(yīng)用的基礎(chǔ)，深度估計(jì)的效果在立體視覺(jué)中也起到至關(guān)重要的作用。

目前已有的2D圖像的深度估計(jì)算法適應(yīng)場(chǎng)景有限，立體效果不好，而且復(fù)雜度高?；谑謾C(jī)端的2D轉(zhuǎn)3D的技術(shù)的發(fā)展更加不成熟，其限制的主要因素有:2D轉(zhuǎn)3D需要相當(dāng)大的儲(chǔ)存資源，這對(duì)儲(chǔ)存容量非常有限的手機(jī)端來(lái)說(shuō)無(wú)疑是巨大的挑戰(zhàn)；其次是手機(jī)的處理速度非常有限，很難滿足2D轉(zhuǎn)3D的實(shí)時(shí)性需求；而且，無(wú)論是視頻轉(zhuǎn)換還是視頻的播放都會(huì)消耗大量的電量，即使很多手機(jī)支持閃充技術(shù)，但是還是會(huì)對(duì)用戶造成不便。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于，克服現(xiàn)有技術(shù)的不足，提供一種手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的方法和系統(tǒng)，將手機(jī)端復(fù)雜的計(jì)算卸載到云端，從而釋放手機(jī)端的存儲(chǔ)資源，提高手機(jī)的處理速度，降低手機(jī)的功耗。

本發(fā)明提供了一種手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的方法，其特征在于，包括如下步驟：

A1.輸入一幀2D單目圖像，將圖像等分成N個(gè)圖像塊；

A2.將圖像塊進(jìn)行分類，分類為遠(yuǎn)景視圖、線性視圖和普通視圖；

A3.根據(jù)已劃分視圖的類別，分別計(jì)算每個(gè)圖像塊深度估計(jì)的算法復(fù)雜度；

A4.將A3計(jì)算得到的每個(gè)圖像塊的算法復(fù)雜度，代入云端卸載動(dòng)態(tài)資源分配模型，最優(yōu)化得到分配結(jié)果；

A5.按照A4最優(yōu)化得到的分配結(jié)果，分別在手機(jī)端和云端進(jìn)行深度估計(jì)，生成深度圖。

優(yōu)選地，所述步驟A2圖像塊分類包括如下步驟：

A201.將每個(gè)圖像塊由RGB空間轉(zhuǎn)化為HSI空間，計(jì)算HSI空間的像素值，根據(jù)設(shè)定的閾值分類出遠(yuǎn)景視圖和非遠(yuǎn)景視圖；

A202.對(duì)非遠(yuǎn)景視圖進(jìn)行滅點(diǎn)檢測(cè)，如能夠檢測(cè)到滅點(diǎn)，則為線性視圖，否則為普通視圖。

進(jìn)一步地優(yōu)選，所述步驟A201遠(yuǎn)景視圖和非遠(yuǎn)景視圖的分類方法為：計(jì)算圖像坐標(biāo)（x,y）處的HSI空間像素值H(x,y)，S(x,y)，I(x,y)，若100<H(x,y)<180且100<S(x,y)<255，則Sky(x,y)=1；若50<H(x,y)<100且100<S(x,y)<255，則Ground(x,y)=1；設(shè)若Amount大于設(shè)定的閾值，則為遠(yuǎn)景視圖，否則為非遠(yuǎn)景視圖。

進(jìn)一步地優(yōu)選，所述步驟A202滅點(diǎn)檢測(cè)為：利用Canny算子計(jì)算出圖像的邊緣，利用Hough進(jìn)行邊緣直線檢測(cè)，根據(jù)直線的交點(diǎn)檢測(cè)滅點(diǎn)。

更進(jìn)一步地優(yōu)選，所述滅點(diǎn)檢測(cè)的檢測(cè)公式為：

其中，(x₀,y₀)為圖像塊在像平面的滅點(diǎn)，(ρ_i,θ_i)為圖像塊對(duì)應(yīng)于像平面的點(diǎn)(x_i,y_i)在極坐標(biāo)的坐標(biāo)，W_i為對(duì)應(yīng)的權(quán)重。

優(yōu)選地，所述步驟A3中計(jì)算算法復(fù)雜度包括如下：

A301.對(duì)于遠(yuǎn)景視圖，用k-means算法分割圖像塊，用k-means算法的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度；

A302.對(duì)于普通視圖，用graph cut算法對(duì)圖像塊進(jìn)行檢測(cè)，能檢測(cè)到的區(qū)域?yàn)榍熬?，否則為背景，分別對(duì)前景和背景計(jì)算graph cut算法的執(zhí)行時(shí)間，用graph cut算法的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度；

A303.對(duì)于線性視圖，同時(shí)用k-means算法分割和滅點(diǎn)檢測(cè)圖像塊，分別計(jì)算其算法的執(zhí)行時(shí)間，取較大的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度。

深度估計(jì)的算法復(fù)雜度取決于各算法的復(fù)雜度，而算法的復(fù)雜度與算法的執(zhí)行時(shí)間呈正相關(guān)的關(guān)系，故可以用該算法的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度。

進(jìn)一步地優(yōu)選，所述遠(yuǎn)景視圖圖像塊的算法復(fù)雜度表示為如下的公式：

C₁≈(8+12α_i)WH/S, 公式（2）

普通視圖圖像塊的算法復(fù)雜度表示為如下的公式：

C₃≈β_iWH/S, 公式（3）

線性視圖圖像塊的算法復(fù)雜度表示為如下的公式：

C₂≈max(γ,8+12α_i)WH/S, 公式（4）

其中，

β_i為graph cut算法的迭代次數(shù)；C₁、C₂、C₃分別為遠(yuǎn)景視圖、線性視圖、普通視圖圖像塊的算法復(fù)雜度；W和H分別為當(dāng)前圖像塊的寬度和高度；S為用來(lái)歸一化圖像塊的面積，S=87296；α_i為k-means算法中劃分的簇?cái)?shù)，O_i為圖像中閉合的輪廓數(shù)，γ為對(duì)S大小的圖像進(jìn)行滅點(diǎn)檢測(cè)的時(shí)間。

優(yōu)選地，所述步驟A4云端卸載動(dòng)態(tài)資源分配模型通過(guò)最小化手機(jī)端的功耗，最優(yōu)化得到分配結(jié)果。

首先，當(dāng)沒(méi)有云端卸載時(shí)，手機(jī)端的功耗可以定義為：

其中，P_c和P_tr分別為手機(jī)在計(jì)算和數(shù)據(jù)傳送時(shí)的功耗，C_all所需的算法的指令數(shù)。f為手機(jī)端的處理速度，單位為每秒的指令數(shù)。D是云端和手機(jī)端傳輸?shù)臄?shù)據(jù)的大小，B為帶寬。

當(dāng)有云端卸載時(shí)，手機(jī)端的功耗為：

其中，P_i為手機(jī)閑置時(shí)的功耗，S為云端的計(jì)算速度，C_c和C_m分別為分配到云端和手機(jī)端的算法復(fù)雜度。

為最小化手機(jī)端的功耗，考慮手機(jī)端和云端的計(jì)算能力以及手機(jī)和云端之間的計(jì)算速率，根據(jù)深度估計(jì)的算法復(fù)雜度，提出一個(gè)針對(duì)手機(jī)端2D轉(zhuǎn)3D的基于云端卸載的動(dòng)態(tài)資源分配模型。

進(jìn)一步地優(yōu)選，所述云端卸載動(dòng)態(tài)資源分配模型的表達(dá)式為：

其中，

n_c1,n_c2和n_c3分別為卸載到云端的遠(yuǎn)景視圖、線性視圖和普通視圖的個(gè)數(shù)。

n_all1,n_all2和n_all3分別為遠(yuǎn)景視圖、線性視圖和普通視圖的總個(gè)數(shù)。

與的關(guān)系表達(dá)如：約束條件表示卸載到云端的塊的數(shù)量應(yīng)該小于塊的總數(shù)以及使用云卸載的手機(jī)的功耗應(yīng)該低于沒(méi)有使用云卸載時(shí)的功耗。

云端和手機(jī)端的總算法復(fù)雜度分別為上面分配的不同類別各圖像塊的算法復(fù)雜度之和：

C_c＝(n_c1,n_c2,n_c3)×(C₁,C₂,C₃)^T, 公式（12）

C_m＝(n_m1,n_m2,n_m3)×(C₁,C₂,C₃)^T, 公式（13）

n_m1,n_m2和n_m3分別為卸載到手機(jī)端的遠(yuǎn)景視圖、線性視圖和普通視圖的塊的個(gè)數(shù)；

C₁,C₂和C₃分別為對(duì)應(yīng)的遠(yuǎn)景視圖、線性視圖和普通視圖的圖像進(jìn)行深度估計(jì)時(shí)的計(jì)算復(fù)雜度。

通過(guò)最優(yōu)化式（9），可以得到中的各個(gè)變量的值，即對(duì)應(yīng)著分別卸載到云端的遠(yuǎn)景視圖、線性視圖和普通視圖的圖像塊的個(gè)數(shù)。

本發(fā)明還提供一種手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的系統(tǒng)，該系統(tǒng)包括圖像劃分模塊、圖像塊分類模塊、復(fù)雜度計(jì)算模塊、動(dòng)態(tài)資源分配模型模塊、深度估計(jì)模塊；圖像劃分模塊用于將2D單目圖像的劃分；圖像塊分類模塊用于圖像塊的分類，將圖像塊分類為遠(yuǎn)景視圖、線性視圖和普通視圖；復(fù)雜度計(jì)算模塊用于計(jì)算每個(gè)圖像塊的算法復(fù)雜度；動(dòng)態(tài)資源分配模型模塊用于最優(yōu)化云端卸載動(dòng)態(tài)資源的分配；深度估計(jì)模塊用于手機(jī)端或云端的圖像塊深度估計(jì)，生成深度圖。

本發(fā)明的有益效果為：通過(guò)建立云端卸載動(dòng)態(tài)資源分配模型，形成基于云計(jì)算的手機(jī)端2D轉(zhuǎn)3D的自適應(yīng)卸載方法和系統(tǒng)，將手機(jī)端復(fù)雜的計(jì)算卸載到云端，從而釋放手機(jī)端的存儲(chǔ)資源，提高手機(jī)的處理速度，降低手機(jī)的功耗。通過(guò)此深度估計(jì)方法和系統(tǒng)能夠獲得深度估計(jì)合理，運(yùn)行速度高效的高質(zhì)量深度圖。

本發(fā)明的實(shí)施例還具有如下的有益效果：通過(guò)HIS空間像素值的計(jì)算與滅點(diǎn)檢測(cè)，能更精確地將圖像塊進(jìn)行分類；不同類別圖像塊，通過(guò)分別用k-means算法、graph cut算法、滅點(diǎn)檢測(cè)對(duì)圖像塊進(jìn)行檢測(cè)，能提高算法的效率；通過(guò)考慮手機(jī)端和云端的計(jì)算能力以及手機(jī)和云端之間的傳輸速率，提出最小化手機(jī)端功耗的云端卸載的動(dòng)態(tài)資源分配模型，能將手機(jī)的功耗降到最低。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的方法示意圖。

圖2為本發(fā)明實(shí)施例的輸入圖像，圖2a為平原，圖2b為高山，圖2c為高速公路，圖2d為火車，圖2e為沙灘，圖2f為蝴蝶。

圖3為本發(fā)明實(shí)施例在不同網(wǎng)絡(luò)寬帶情況下節(jié)約的功耗示意圖。

圖4為生成的深度圖，圖4a為平原，圖4b為高山，圖4c為高速公路，圖4d為火車，圖4e為沙灘，圖4f為蝴蝶。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式并對(duì)照附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明，應(yīng)該強(qiáng)調(diào)的是，下述說(shuō)明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。

本實(shí)施例的手機(jī)端2D轉(zhuǎn)3D自適應(yīng)云卸載的方法流程圖如圖1所示。

A1.輸入一幀2D單目圖像，將圖像等分成N個(gè)圖像塊；

A2.將每個(gè)圖像塊由RGB空間轉(zhuǎn)化為HSI空間，計(jì)算HSI空間的像素值，根據(jù)設(shè)定的閾值分類出遠(yuǎn)景視圖和非遠(yuǎn)景視圖；對(duì)非遠(yuǎn)景視圖進(jìn)行滅點(diǎn)檢測(cè)，利用Canny算子計(jì)算出圖像的邊緣，利用Hough進(jìn)行邊緣直線檢測(cè)，根據(jù)直線的交點(diǎn)檢測(cè)滅點(diǎn)如能夠檢測(cè)到滅點(diǎn)，則為線性視圖，否則為普通視圖；

A3.根據(jù)已劃分視圖的類別，分別計(jì)算每個(gè)圖像塊深度估計(jì)的算法復(fù)雜度|：對(duì)于遠(yuǎn)景視圖，用k-means算法分割圖像塊，用k-means算法的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度；對(duì)于普通視圖，用graph cut算法對(duì)圖像塊進(jìn)行檢測(cè)，能檢測(cè)到的區(qū)域?yàn)榍熬?，否則為背景，分別對(duì)前景和背景計(jì)算graph cut算法的執(zhí)行時(shí)間，用graph cut算法的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度；對(duì)于線性視圖，同時(shí)用k-means算法分割和滅點(diǎn)檢測(cè)圖像塊，分別計(jì)算其算法的執(zhí)行時(shí)間，取較大的執(zhí)行時(shí)間來(lái)近似深度估計(jì)的算法復(fù)雜度。

A4.將A3計(jì)算得到的每個(gè)圖像塊的算法復(fù)雜度，代入云端卸載動(dòng)態(tài)資源分配模型：

通過(guò)最小化手機(jī)端的功耗最優(yōu)化得到分配結(jié)果；

A5.按照A4最優(yōu)化得到的分配結(jié)果，分別在手機(jī)端或云端進(jìn)行深度估計(jì)，生成深度圖。

將手機(jī)端和云端分別生成的深度圖進(jìn)行深度融合，合成3D視點(diǎn)并顯示3D視圖。

本實(shí)驗(yàn)的測(cè)試平臺(tái)數(shù)據(jù)HP iPAQ PDA，各數(shù)據(jù)參數(shù)為P_c為0.9W，P_i為0.3W，P_tr為1.3W。

原來(lái)測(cè)試圖像如圖2所示，圖2a為平原，圖2b為高山，圖2c為高速公路，圖2d為火車，圖2e為沙灘，圖2f為蝴蝶。等分成9塊后，每幅圖對(duì)應(yīng)的各類視圖圖像塊個(gè)數(shù)如表1所示，n_all1,n_all2和n_all3分別為遠(yuǎn)景視圖、線性視圖和普通視圖的總個(gè)數(shù)。

表1各類視圖圖像塊的個(gè)數(shù)

當(dāng)測(cè)試網(wǎng)絡(luò)帶寬分別為0.5Mbps、1.5Mbps、2.5Mbps、3.5Mbps和4.5Mbps時(shí)，云端卸載的各數(shù)據(jù)參數(shù)和節(jié)省的能量如下表2所示。表2對(duì)應(yīng)的曲線圖如圖3所示。實(shí)驗(yàn)生成的深度圖如圖4所示，圖4a為平原，圖4b為高山，圖4c為高速公路，圖4d為火車，圖4e為沙灘，圖4f為蝴蝶。

表2云端卸載動(dòng)態(tài)資源分配結(jié)果和節(jié)省的能量

表2中，n_c1,n_c2和n_c3分別對(duì)應(yīng)該傳輸帶寬下卸載到云端上的不同塊的個(gè)數(shù)，saved energy為與沒(méi)有云卸載時(shí)相比，系統(tǒng)有云卸載時(shí)節(jié)省的功耗百分比。