本發(fā)明涉及虛實(shí)融合的應(yīng)用領(lǐng)域，特別是涉及一種圖片中三維場景的展示方法和裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)大數(shù)據(jù)的蓬勃發(fā)展，家居虛擬展示能夠跨越時(shí)空的局限，幫助用戶直觀、快速、全面的實(shí)現(xiàn)室內(nèi)設(shè)計(jì)方案的展示，當(dāng)前主要有基于web3d的三維虛擬家居diy平臺和基于室內(nèi)圖片的二維家居tip平臺兩種構(gòu)建虛擬三維家居平臺的方式，這兩種平臺對應(yīng)的漫游方式也不相同。

家居虛擬展示技術(shù)多采用純3d的技術(shù)方式，將房間和家具的三維模型按照用戶的指令進(jìn)行虛擬布局。但純3d的虛擬家居技術(shù)過分依賴于豐富的三維模型庫，為達(dá)到展示效果的高真實(shí)性，家居模型需要經(jīng)過復(fù)雜的制作過程和大量繁瑣的人工操作，而且網(wǎng)頁上光影效果差強(qiáng)人意，較難達(dá)到現(xiàn)實(shí)中的光照效果。

基于圖片進(jìn)行家居虛擬設(shè)計(jì)及展示的方法在一定程度上克服了純3d技術(shù)渲染速度慢、模型制作復(fù)雜等缺點(diǎn)。但圖片往往缺少一些關(guān)鍵的場景信息，如場景的深度信息、空間結(jié)構(gòu)信息等，同時(shí)，室內(nèi)圖片中通常包含豐富的物品，物品之間的相互遮擋也會造成場景信息的缺失，使場景信息的獲取更加困難。

因此，如何更為有效的提高虛擬家居展示的真實(shí)性，使其更加貼近真實(shí)世界，一直是此類研究中的難點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

基于此，有必要提供一種圖片中三維場景的展示方法和裝置，提高虛擬家居展示的真實(shí)性。

一種圖片中三維場景的展示方法，所述方法包括：

對用戶輸入的單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)；

根據(jù)所述滅點(diǎn)獲取所述圖片包含的相機(jī)參數(shù)信息；

根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模；

顯示所述三維建模后的物體。

在其中一個(gè)實(shí)施例中，所述對用戶輸入的單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)，包括：

通過邊緣檢測獲取所述圖片中物體的邊緣線；

從所述邊緣線中檢測出直線數(shù)據(jù)；

通過滅點(diǎn)估計(jì)算法獲取與所述直線數(shù)據(jù)對應(yīng)的滅點(diǎn)坐標(biāo)。

在其中一個(gè)實(shí)施例中，所述通過滅點(diǎn)估計(jì)算法獲取與所述直線數(shù)據(jù)對應(yīng)的滅點(diǎn)坐標(biāo)，包括：

采用投票公式對直線數(shù)據(jù)中任意兩條直線形成的交點(diǎn)進(jìn)行投票；

以投票次數(shù)最多的所述交點(diǎn)作為第一滅點(diǎn)；

從剩余的所述交點(diǎn)中刪除不符合要求的交點(diǎn)；

采用投票公式對刪除后剩余的所述交點(diǎn)進(jìn)行投票；

將投票次數(shù)最多的兩個(gè)滅點(diǎn)作為第二滅點(diǎn)和第三滅點(diǎn)。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模，包括：

根據(jù)圖片和滅點(diǎn)生成場景布局和物體模型；

參照所述相機(jī)參數(shù)信息對所述場景布局和物體模型進(jìn)行三維構(gòu)造。

在其中一個(gè)實(shí)施例中，所述方法還包括：

根據(jù)用戶對所述物體的標(biāo)注對所述三維建模的物體進(jìn)行修正；

對所述圖片中的場景光照進(jìn)行分析生成對應(yīng)的圖片背景。

一種圖片中三維場景的展示裝置，所述裝置包括：

滅點(diǎn)檢測模塊，用于對用戶輸入的單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)；

參數(shù)獲取模塊，用于根據(jù)所述滅點(diǎn)獲取所述圖片包含的相機(jī)參數(shù)信息；

建模模塊，用于根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模；

顯示模塊，用于顯示所述三維建模后的物體。

在其中一個(gè)實(shí)施例中，所述滅點(diǎn)檢測模塊包括：

邊緣檢測模塊，用于通過邊緣檢測獲取所述圖片中物體的邊緣線；

直線檢測模塊，用于從所述邊緣線中檢測出直線數(shù)據(jù)；

滅點(diǎn)獲取模塊，用于通過滅點(diǎn)估計(jì)算法獲取與所述直線數(shù)據(jù)對應(yīng)的滅點(diǎn)坐標(biāo)。

在其中一個(gè)實(shí)施例中，所述滅點(diǎn)獲取模塊包括：

第一模塊，用于采用投票公式對直線數(shù)據(jù)中任意兩條直線形成的交點(diǎn)進(jìn)行投票；

第二模塊，用于以投票次數(shù)最多的所述交點(diǎn)作為第一滅點(diǎn)；

第三模塊，用于從剩余的所述交點(diǎn)中刪除不符合要求的交點(diǎn)；

第四模塊，用于采用投票公式對刪除后剩余的所述交點(diǎn)進(jìn)行投票；

第五模塊，用于將投票次數(shù)最多的兩個(gè)滅點(diǎn)作為第二滅點(diǎn)和第三滅點(diǎn)。

在其中一個(gè)實(shí)施例中，所述建模模塊包括：

生成模塊，用于根據(jù)圖片和滅點(diǎn)生成場景布局和物體模型；

構(gòu)造模塊，用于參照所述相機(jī)參數(shù)信息對所述場景布局和物體模型進(jìn)行三維構(gòu)造。

在其中一個(gè)實(shí)施例中，所述裝置還包括：

修正模塊，用于根據(jù)用戶對所述物體的標(biāo)注對所述三維建模的物體進(jìn)行修正；

背景生成模塊，用于對所述圖片中的場景光照進(jìn)行分析生成對應(yīng)的圖片背景。

以上所述圖片中三維場景的展示方法和裝置對單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)，根據(jù)所述滅點(diǎn)獲取所述圖片包含的相機(jī)參數(shù)信息，并根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模和顯示，整個(gè)過程融合diy和tip操作，使圖片中物體的三維顯示真實(shí)性更高。

附圖說明

圖1為圖片中三維場景的展示方法的流程圖；

圖2為圖1中步驟s120的流程圖；

圖3圖2中步驟s123的流程圖；

圖4為滅點(diǎn)檢測算法耗時(shí)對比圖；

圖5為投影線檢測到的冗余直線的數(shù)量對比圖；

圖6為圖1中步驟s160的流程圖；

圖7為圖片中三維場景的展示方法的另一流程圖；

圖8為圖片中三維場景的展示裝置的結(jié)構(gòu)圖；

圖9為圖片中三維場景的展示裝置的另一結(jié)構(gòu)圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，一實(shí)施例的圖片中三維場景的展示方法包括步驟s120至步驟s180。

步驟s120，對用戶輸入的單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)；

步驟s140，根據(jù)滅點(diǎn)獲取圖片包含的相機(jī)參數(shù)信息；

步驟s160，根據(jù)相機(jī)參數(shù)信息對圖片內(nèi)的物體進(jìn)行三維建模；

步驟s180，顯示三維建模后的物體。

以上所述圖片中三維場景的展示方法對單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)，根據(jù)所述滅點(diǎn)獲取所述圖片包含的相機(jī)參數(shù)信息，并根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模和顯示，整個(gè)過程融合diy和tip操作，使圖片中物體的三維顯示真實(shí)性更高。

如圖2所示，步驟s120包括步驟s121至步驟s123。

步驟s121，通過邊緣檢測獲取圖片中物體的邊緣線。

本實(shí)施例優(yōu)選采用結(jié)構(gòu)化的邊緣檢測算法進(jìn)行物體輪廓線檢測。對于圖片中的物體，通過邊緣檢測可以檢測出物體的邊緣線，邊緣線包括直線或曲線。邊緣線形態(tài)取決于物體的形態(tài)。

步驟s122，從邊緣線中檢測出直線數(shù)據(jù)。

根據(jù)邊緣線的形狀，可以從其中區(qū)分出相應(yīng)的直線，也可以采用一些坐標(biāo)計(jì)算方法等檢測出直線。

步驟s123，通過滅點(diǎn)估計(jì)算法獲取與直線數(shù)據(jù)對應(yīng)的滅點(diǎn)坐標(biāo)。

其中，步驟s123包括步驟s1231至步驟s1235。

步驟s1231，采用投票公式對直線數(shù)據(jù)中任意兩條直線形成的交點(diǎn)進(jìn)行投票；

步驟s1232，以投票次數(shù)最多的交點(diǎn)作為第一滅點(diǎn)；

步驟s1233，從剩余的交點(diǎn)中刪除不符合要求的交點(diǎn)；

步驟s1234，采用投票公式對刪除后剩余的交點(diǎn)進(jìn)行投票；

步驟s1235，將投票次數(shù)最多的兩個(gè)滅點(diǎn)作為第二滅點(diǎn)和第三滅點(diǎn)。

通過以上步驟s1231至步驟s1235，可以獲取三個(gè)滅點(diǎn)信息，分別為第一滅點(diǎn)、第二滅點(diǎn)和第三滅點(diǎn)。其中，步驟s1233從剩余的交點(diǎn)中刪除不符合要求的交點(diǎn)時(shí)，可以首先計(jì)算出剩余的交點(diǎn)到圖片中心的距離，圖片中心為圖片的幾何中心；之后，對于某一距離，判斷該距離與圖片對角線長度的一半的大小，如果小于，則確定閥值10，否則，則將該距離與圖片對角線長度相除并乘以20作為確定的閥值；之后，判斷與該距離對應(yīng)的交點(diǎn)與剩余交點(diǎn)中的其他交點(diǎn)之間的距離是否小于確定的閥值，如果小于，則刪除對應(yīng)的交點(diǎn)；之后，從刪除后剩余的交點(diǎn)中選擇其中任意兩個(gè)交點(diǎn)與第一滅點(diǎn)進(jìn)行正交性檢測，即檢測由三個(gè)點(diǎn)組成的三角形其垂心是否在圖片范圍內(nèi)，移除不符合要求的點(diǎn)；之后剩下的交點(diǎn)可以由步驟s1234進(jìn)行投票。

為驗(yàn)證以上滅點(diǎn)估計(jì)算法的有效性，本實(shí)施例將以上滅點(diǎn)估計(jì)算法與hedau的滅點(diǎn)檢測算法(hedauv，hoiemd，forsythd.recoveringthespatiallayoutofclutteredrooms[c]//ieeeinternationalconferenceoncomputervision.ieee，2009:1849-1856)進(jìn)行測試，并對兩種算法在時(shí)間和冗余直線的數(shù)量的結(jié)果做出比較。

其中，圖4和圖5中，i表示分辨率在300*200范圍的圖像，ii表示分辨率在640*480范圍的圖像，iii表示分辨率在800*600范圍的圖像，iv表示分辨率在1280*768范圍的圖像，v表示分辨率在1600*1200范圍的圖像。

如圖4所示，隨著分辨率的增加，本實(shí)施的滅點(diǎn)估計(jì)算法在時(shí)間消耗上較遠(yuǎn)遠(yuǎn)少于hedau的算法。如圖5所示，本實(shí)施例的滅點(diǎn)估計(jì)算法有效的減少了檢測到的冗余直線的數(shù)量。本實(shí)施例的滅點(diǎn)檢測不但能快速處理分辨率很高的圖片，而且避免了由于冗余直線數(shù)量過多導(dǎo)致錯(cuò)誤滅點(diǎn)檢測結(jié)果的最壞情況。采用本實(shí)施例的滅點(diǎn)估計(jì)算法可以準(zhǔn)確地找到平行于房間墻面的直線。

如圖6所示，步驟s160包括步驟s161和步驟s162。

步驟s161，根據(jù)圖片和滅點(diǎn)生成場景布局和物體模型。

將室內(nèi)圖片和滅點(diǎn)作為輸入，可以生成場景布局和物體模型。為使建模更加準(zhǔn)確，本實(shí)施例還可以通過手工拖拽角點(diǎn)的方式對房間布局的場景進(jìn)行修改。本實(shí)施例還可以對生成的場景布局進(jìn)行評估和優(yōu)化，場景布局進(jìn)行評估可以采用structured-svm模型進(jìn)行布局評價(jià)模型的參數(shù)訓(xùn)練。

步驟s162，參照相機(jī)參數(shù)信息對場景布局和物體模型進(jìn)行三維構(gòu)造。

本實(shí)施例的三維構(gòu)造包括相機(jī)本質(zhì)矩陣的計(jì)算，旋轉(zhuǎn)和平移矩陣的計(jì)算，二維圖像點(diǎn)到三維圖像點(diǎn)的轉(zhuǎn)換。本實(shí)施例可以基本還原出圖像場景,并重建出圖片內(nèi)顯著物品的模型。

如圖7所示，本實(shí)施的圖片中三維場景的展示方法還包括步驟s171和步驟s172。

步驟s171，根據(jù)用戶對物體的標(biāo)注對三維建模的物體進(jìn)行修正。

用戶對物體的標(biāo)注可以是用戶在圖片中畫出的具體圖形，如桌子或床的圖形，由于用戶對物體的標(biāo)注確定了物體的位置、大小和形狀，可以依此對物體進(jìn)行修正，使物體更符合構(gòu)造的場景，并提高物體構(gòu)造的真實(shí)性。

步驟s172，對圖片中的場景光照進(jìn)行分析生成對應(yīng)的圖片背景。

本實(shí)施例在構(gòu)造場景時(shí)，保留圖片中場景的光源信息。對光源信息進(jìn)行分析可以生成與修正后的物體相匹配的圖片背景。

其中，步驟s180顯示三維建模后的物體時(shí)，可以將構(gòu)造的場景與物體共同顯示在顯示屏上。

如圖8所示，一實(shí)施例的圖片中三維場景的展示裝置包括：

滅點(diǎn)檢測模塊120，用于對用戶輸入的單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)；

參數(shù)獲取模塊140，用于根據(jù)滅點(diǎn)獲取圖片包含的相機(jī)參數(shù)信息；

建模模塊160，用于根據(jù)相機(jī)參數(shù)信息對圖片內(nèi)的物體進(jìn)行三維建模；

顯示模塊180，用于顯示三維建模后的物體。

以上所述圖片中三維場景的展示裝置對單張圖片進(jìn)行滅點(diǎn)檢測獲取滅點(diǎn)，根據(jù)所述滅點(diǎn)獲取所述圖片包含的相機(jī)參數(shù)信息，并根據(jù)所述相機(jī)參數(shù)信息對所述圖片內(nèi)的物體進(jìn)行三維建模和顯示，整個(gè)過程融合diy和tip操作，使圖片中物體的三維顯示真實(shí)性更高。

其中，滅點(diǎn)檢測模塊120包括邊緣檢測模塊121、直線檢測模塊122和滅點(diǎn)獲取模塊123。

邊緣檢測模塊121，用于通過邊緣檢測獲取圖片中物體的邊緣線。

本實(shí)施例優(yōu)選采用結(jié)構(gòu)化的邊緣檢測算法進(jìn)行物體輪廓線檢測。對于圖片中的物體，通過邊緣檢測可以檢測出物體的邊緣線，邊緣線包括直線或曲線。邊緣線形態(tài)取決于物體的形態(tài)。

直線檢測模塊122，用于從邊緣線中檢測出直線數(shù)據(jù)。

根據(jù)邊緣線的形狀，可以從其中區(qū)分出相應(yīng)的直線，也可以采用一些坐標(biāo)計(jì)算方法等檢測出直線。

滅點(diǎn)獲取模塊123，用于通過滅點(diǎn)估計(jì)算法獲取與直線數(shù)據(jù)對應(yīng)的滅點(diǎn)坐標(biāo)。

其中，滅點(diǎn)獲取模塊123包括以下功能模塊。

第一模塊1231，用于采用投票公式對直線數(shù)據(jù)中任意兩條直線形成的交點(diǎn)進(jìn)行投票；

第二模塊1232，用于以投票次數(shù)最多的交點(diǎn)作為第一滅點(diǎn)；

第三模塊1233，用于從剩余的交點(diǎn)中刪除不符合要求的交點(diǎn)；

第四模塊1234，用于采用投票公式對刪除后剩余的交點(diǎn)進(jìn)行投票；

第五模塊1235，用于將投票次數(shù)最多的兩個(gè)滅點(diǎn)作為第二滅點(diǎn)和第三滅點(diǎn)。

通過以上第一至第五模塊，可以獲取三個(gè)滅點(diǎn)信息，分別為第一滅點(diǎn)、第二滅點(diǎn)和第三滅點(diǎn)。其中，第三模塊1233從剩余的交點(diǎn)中刪除不符合要求的交點(diǎn)時(shí)，可以首先計(jì)算出剩余的交點(diǎn)到圖片中心的距離，圖片中心為圖片的幾何中心；之后，對于某一距離，判斷該距離與圖片對角線長度的一半的大小，如果小于，則確定閥值10，否則，則將該距離與圖片對角線長度相除并乘以20作為確定的閥值；之后，判斷與該距離對應(yīng)的交點(diǎn)與剩余交點(diǎn)中的其他交點(diǎn)之間的距離是否小于確定的閥值，如果小于，則刪除對應(yīng)的交點(diǎn)；之后，從刪除后剩余的交點(diǎn)中選擇其中任意兩個(gè)交點(diǎn)與第一滅點(diǎn)進(jìn)行正交性檢測，即檢測由三個(gè)點(diǎn)組成的三角形其垂心是否在圖片范圍內(nèi)，移除不符合要求的點(diǎn)；之后剩下的交點(diǎn)可以由第四模塊1234進(jìn)行投票。

為驗(yàn)證以上滅點(diǎn)估計(jì)算法的有效性，本實(shí)施例將以上滅點(diǎn)估計(jì)算法與hedau的滅點(diǎn)檢測算法(hedauv，hoiemd，forsythd.recoveringthespatiallayoutofclutteredrooms[c]//ieeeinternationalconferenceoncomputervision.ieee，2009:1849-1856)進(jìn)行測試，并對兩種算法在時(shí)間和冗余直線的數(shù)量的結(jié)果做出比較。

其中，圖4和圖5中，i表示分辨率在300*200范圍的圖像，ii表示分辨率在640*480范圍的圖像，iii表示分辨率在800*600范圍的圖像，iv表示分辨率在1280*768范圍的圖像，v表示分辨率在1600*1200范圍的圖像。

如圖4所示，隨著分辨率的增加，本實(shí)施的滅點(diǎn)估計(jì)算法在時(shí)間消耗上較遠(yuǎn)遠(yuǎn)少于hedau的算法。如圖5所示，本實(shí)施例的滅點(diǎn)估計(jì)算法有效的減少了檢測到的冗余直線的數(shù)量。本實(shí)施例的滅點(diǎn)檢測不但能快速處理分辨率很高的圖片，而且避免了由于冗余直線數(shù)量過多導(dǎo)致錯(cuò)誤滅點(diǎn)檢測結(jié)果的最壞情況。采用本實(shí)施例的滅點(diǎn)估計(jì)算法可以準(zhǔn)確地找到平行于房間墻面的直線。

其中，建模模塊160包括生成模塊161和構(gòu)造模塊162。

生成模塊161，用于根據(jù)圖片和滅點(diǎn)生成場景布局和物體模型。

將室內(nèi)圖片和滅點(diǎn)作為輸入，可以生成場景布局和物體模型。為使建模更加準(zhǔn)確，本實(shí)施例還可以通過手工拖拽角點(diǎn)的方式對房間布局的場景進(jìn)行修改。本實(shí)施例還可以對生成的場景布局進(jìn)行評估和優(yōu)化，場景布局進(jìn)行評估可以采用structured-svm模型進(jìn)行布局評價(jià)模型的參數(shù)訓(xùn)練。

構(gòu)造模塊162，用于參照相機(jī)參數(shù)信息對場景布局和物體模型進(jìn)行三維構(gòu)造。

本實(shí)施例的三維構(gòu)造包括相機(jī)本質(zhì)矩陣的計(jì)算，旋轉(zhuǎn)和平移矩陣的計(jì)算，二維圖像點(diǎn)到三維圖像點(diǎn)的轉(zhuǎn)換。本實(shí)施例可以基本還原出圖像場景,并重建出圖片內(nèi)顯著物品的模型。

如圖9所示，本實(shí)施的圖片中三維場景的展示裝置還包括修正模塊171和背景生成模塊172。

修正模塊171，用于根據(jù)用戶對物體的標(biāo)注對三維建模的物體進(jìn)行修正。

用戶對物體的標(biāo)注可以是用戶在圖片中畫出的具體圖形，如桌子或床的圖形，由于用戶對物體的標(biāo)注確定了物體的位置、大小和形狀，可以依此對物體進(jìn)行修正，使物體更符合構(gòu)造的場景，并提高物體構(gòu)造的真實(shí)性。

背景生成模塊172，用于對圖片中的場景光照進(jìn)行分析生成對應(yīng)的圖片背景。

本實(shí)施例在構(gòu)造場景時(shí)，保留圖片中場景的光源信息。對光源信息進(jìn)行分析可以生成與修正后的物體相匹配的圖片背景。

其中，顯示模塊180顯示三維建模后的物體時(shí)，可以將構(gòu)造的場景與物體共同顯示在顯示屏上。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡潔，未對上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。