一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法
【專利摘要】一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，它有五大步驟：一、對(duì)室內(nèi)圖像場景數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，得到每張圖像的語義標(biāo)記圖和布局俯視圖；二、定義四種布局規(guī)則和四種顏色規(guī)則，以及布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系；三、對(duì)輸入圖像進(jìn)行語義分割處理，通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三維場景建立關(guān)聯(lián)關(guān)系；四、根據(jù)布局規(guī)則的分布，結(jié)合輸入圖像的布局約束，對(duì)室內(nèi)三維場景進(jìn)行布局遷移的生成；五、在經(jīng)過布局遷移的室內(nèi)三維場景上，根據(jù)在顏色規(guī)則的分布、布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系，結(jié)合輸入圖像的布局和顏色約束，得到與輸入圖像顏色風(fēng)格相似的室內(nèi)三維場景。它廣泛應(yīng)用于計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域的場景生成。
【專利說明】-種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域，具體地說是涉及一種圖像內(nèi)容驅(qū)動(dòng) 的室內(nèi)三維場景布局與顏色遷移生成方法。

【背景技術(shù)】
[0002] 三維場景建模與生成一直是計(jì)算機(jī)圖形學(xué)領(lǐng)域的重要問題，它具有廣泛的應(yīng)用背 景，如動(dòng)畫生成、電影制作、室內(nèi)設(shè)計(jì)、軍事仿真等。其中將三維場景建模與變形技術(shù)應(yīng)用于 室內(nèi)設(shè)計(jì)領(lǐng)域，對(duì)當(dāng)前社會(huì)產(chǎn)生了不容忽視的經(jīng)濟(jì)效益和社會(huì)效益，為人們的生活帶來了 更快更便捷的信息和更加豐富多彩的精神享受。例如，人們?cè)谫徶眉揖訒r(shí)，希望能裝修出滿 足自己喜好的室內(nèi)風(fēng)格效果。對(duì)于非室內(nèi)設(shè)計(jì)專業(yè)的人士來說，描述一種具體的室內(nèi)風(fēng)格 顯然是有些困難的，但是人們可以在網(wǎng)絡(luò)的海量圖像數(shù)據(jù)中，選擇自己喜歡的室內(nèi)風(fēng)格，借 助于三維場景建模與變形技術(shù)，生成一個(gè)具有這種風(fēng)格的三維場景。這種基于圖像的三維 場景風(fēng)格建模既可以更快的滿足人們的需求，同時(shí)又能更便捷的滿足人們提出的各種修改 意見，它與基于圖像的三維場景建模非常類似。基于圖像的三維場景建模是計(jì)算機(jī)視覺和 計(jì)算機(jī)圖形學(xué)領(lǐng)域基礎(chǔ)而重要的問題。目前很多學(xué)者致力于該領(lǐng)域的研究，如2009年香港 科技大學(xué)的Xiao等人提出了街景建筑的建模，2011年國防科技大學(xué)的Xu等人提出了對(duì)稱 性物體的建模，2012年中科院深圳先進(jìn)技術(shù)研究院的Nan等人提出了室內(nèi)場景的建模。雖 然基于圖像的三維場景建模已經(jīng)取得了相當(dāng)?shù)倪M(jìn)展，但是本發(fā)明涉及的是室內(nèi)場景風(fēng)格的 變形，是一種風(fēng)格的建模而不是場景的建模，傳統(tǒng)的基于圖像的三維場景建模不能解決本 發(fā)明所涉及的問題。
[0003] 為了進(jìn)行室內(nèi)場景風(fēng)格的變形，本發(fā)明首先需要明確什么是室內(nèi)場景的風(fēng)格。在 計(jì)算機(jī)領(lǐng)域，目前還沒有學(xué)者對(duì)室內(nèi)場景風(fēng)格進(jìn)行描述和量化。根據(jù)室內(nèi)設(shè)計(jì)人員的專業(yè) 建議，室內(nèi)場景的風(fēng)格主要包括兩個(gè)組成部分，即場景中的家具布局和場景的顏色搭配。本 發(fā)明從這兩個(gè)方面著手進(jìn)行室內(nèi)場景風(fēng)格的研究。2011年加州大學(xué)洛杉磯分校的Yu等人 提出了一種三維場景中家具自動(dòng)擺放的算法，2011年斯坦福大學(xué)的Merrell等人提出了一 種室內(nèi)設(shè)計(jì)規(guī)則指導(dǎo)下的交互式家具擺放系統(tǒng)，2012年斯坦福大學(xué)的Fisher等人提出了 一種基于樣例的物體擺放生成系統(tǒng)。這些布局方面的工作，均需要一個(gè)三維的室內(nèi)場景數(shù) 據(jù)庫作為訓(xùn)練集，而搭建這樣的數(shù)據(jù)庫是非常耗時(shí)耗力的。在顏色學(xué)習(xí)方面，2011年多倫 多大學(xué)的0' Donovan等人提出了一種顏色兼容性理論，對(duì)顏色的各個(gè)參數(shù)進(jìn)行了詳細(xì)的分 析；2012年，北京航空航天大學(xué)的Chen等人提出了一種基于結(jié)構(gòu)特征保持的編輯傳播方 法，該方法能夠根據(jù)參考圖像對(duì)目標(biāo)圖像進(jìn)行顏色轉(zhuǎn)換，使得目標(biāo)圖像具有和參考圖像一 致的顏色特征。這些工作雖然涉及到了顏色的轉(zhuǎn)換，但是沒有涉及到顏色與室內(nèi)場景風(fēng)格 的關(guān)系。
[0004] 以上這些研究現(xiàn)狀表明，目前對(duì)于室內(nèi)布局或者顏色的研究，都沒有涉及到場景 風(fēng)格，并且這兩個(gè)方面的研究沒有統(tǒng)一到一個(gè)框架下，而是單純的某一個(gè)方面的研究，同時(shí) 三維數(shù)據(jù)庫的構(gòu)建不是一件輕松的任務(wù)。由此本發(fā)明利用網(wǎng)絡(luò)上的海量圖像數(shù)據(jù)作為訓(xùn)練 數(shù)據(jù)集，學(xué)習(xí)得到室內(nèi)風(fēng)格的布局和顏色規(guī)則，利用這些規(guī)則，將一個(gè)給定的室內(nèi)三維場景 風(fēng)格變形，使得變形后的三維場景具有和輸入圖像相似的場景風(fēng)格。


【發(fā)明內(nèi)容】

[0005] 1)目的：根據(jù)上述需求，為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種 圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，它是利用圖像數(shù)據(jù)集，學(xué)習(xí)室內(nèi) 場景風(fēng)格規(guī)則，從布局和顏色兩個(gè)方面，將給定的室內(nèi)三維場景風(fēng)格變形為輸入圖像的場 景風(fēng)格。
[0006] 2)技術(shù)方案：為完成發(fā)明目的，本發(fā)明采用的技術(shù)方案是：
[0007] -種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，該方法包含以下步 驟：
[0008] 步驟一：對(duì)室內(nèi)圖像場景數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，包括：人工標(biāo)注語義信息， 得到每張圖像的語義標(biāo)記圖；人工標(biāo)注布局信息，得到每張圖像的布局俯視圖。
[0009] 步驟二：定義四種布局規(guī)則和四種顏色規(guī)則，在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種 布局規(guī)則的分布和四種顏色規(guī)則的分布，以及布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系。
[0010] 步驟三：對(duì)輸入圖像進(jìn)行語義分割處理，通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三 維場景建立關(guān)聯(lián)關(guān)系；提取輸入圖像自身的布局約束和顏色約束，作為室內(nèi)三維場景布局 和顏色遷移時(shí)的先驗(yàn)約束。
[0011] 步驟四：根據(jù)布局規(guī)則的分布，結(jié)合輸入圖像的布局約束，對(duì)室內(nèi)三維場景進(jìn)行布 局遷移的生成，使得室內(nèi)三維場景具有與輸入圖像相似的布局風(fēng)格。
[0012] 步驟五：在經(jīng)過布局遷移的室內(nèi)三維場景上，根據(jù)在顏色規(guī)則的分布、布局-顏色 規(guī)則之間的關(guān)聯(lián)關(guān)系，結(jié)合輸入圖像的布局和顏色約束，對(duì)室內(nèi)三維場景進(jìn)行顏色遷移，得 到與輸入圖像顏色風(fēng)格相似的室內(nèi)三維場景。
[0013] 其中，步驟二中所述的"在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種布局規(guī)則"，分別是：第 一項(xiàng)是室內(nèi)物體的位置關(guān)系，第二項(xiàng)是室內(nèi)物體對(duì)之間的相互關(guān)系，第三項(xiàng)是室內(nèi)物體朝 向關(guān)系，第四項(xiàng)是室內(nèi)物體可接觸關(guān)系。在訓(xùn)練數(shù)據(jù)集中每一張訓(xùn)練圖像有兩種基準(zhǔn)圖，一 張語義標(biāo)記圖和一張布局標(biāo)記俯視圖。利用布局標(biāo)記俯視圖學(xué)習(xí)得到室內(nèi)場景布局分布的 四項(xiàng)規(guī)則。由于語義標(biāo)記圖是側(cè)視圖，可以輔助布局規(guī)則的學(xué)習(xí)。
[0014] 其中，步驟二中所述的"在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種顏色規(guī)則"，分別是：單 一顏色風(fēng)格分布規(guī)則、類似顏色風(fēng)格分布規(guī)則、對(duì)比顏色風(fēng)格分布規(guī)則、黑白灰顏色風(fēng)格分 布規(guī)則。由專業(yè)室內(nèi)設(shè)計(jì)人員將訓(xùn)練數(shù)據(jù)集中的圖像進(jìn)行這四類顏色風(fēng)格的劃分，構(gòu)成四 個(gè)顏色風(fēng)格的集合。在每個(gè)集合上，學(xué)習(xí)該類的色調(diào)、亮度的參數(shù)分布規(guī)律，形成該類顏色 風(fēng)格的模板。
[0015] 其中，步驟二中所述的"布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系"是利用訓(xùn)練圖像的語義 標(biāo)記圖和布局標(biāo)記俯視圖，學(xué)習(xí)布局-顏色規(guī)則，具體來說，是布局-單一顏色風(fēng)格規(guī)則，布 局-類似顏色風(fēng)格規(guī)則，布局-對(duì)比顏色風(fēng)格規(guī)則，布局-黑白灰顏色風(fēng)格規(guī)則。
[0016] 其中，步驟三中所述的"對(duì)輸入圖像進(jìn)行語義分割處理"，是本發(fā)明針對(duì)室內(nèi)場景 圖像而提出的一種語義標(biāo)記算法。具體實(shí)現(xiàn)過程是：從訓(xùn)練圖像數(shù)據(jù)集中提取出每種語義 類別的形狀模板。每一類模板具有自己的由伽波濾波器響應(yīng)值構(gòu)成的特征向量。對(duì)輸入 的室內(nèi)場景圖像，本發(fā)明對(duì)圖像進(jìn)行過分割處理得到超像素集合，將圖像分成N*M個(gè)小方 塊構(gòu)成塊集合，利用目前較成熟的室內(nèi)平面朝向估計(jì)算法得到圖像每個(gè)像素的平面朝向標(biāo) 記。選擇語義類別模板，計(jì)算模板的特征向量和圖像方塊特征向量的差異值，取差異值最小 的方塊作為最顯著區(qū)域。結(jié)合超像素邊界和朝向標(biāo)記，得到語義類別的準(zhǔn)確標(biāo)記。
[0017] 其中，步驟三中所述的"通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三維場景建立關(guān)聯(lián) 關(guān)系"是指根據(jù)圖像的語義標(biāo)記得知圖像中的語義類別，給定的室內(nèi)三維場景中存在各種 語義類別已知的物體，由此可知輸入圖像和三維場景的語義類別對(duì)應(yīng)關(guān)系。同時(shí)由圖像的 語義標(biāo)記還可得知對(duì)象的輪廓邊界，為三維場景布局風(fēng)格變形做準(zhǔn)備。
[0018] 其中，步驟三中所述的輸入圖像自身的布局約束，是指提取圖像場景中顯著物體 的距離約束，如柜子在床的左邊相距3米處；所述的輸入圖像自身的顏色約束，是指在HSV 顏色空間中，提取圖像所有像素 Η通道的顏色值，利用K聚類算法得到圖像Η通道的顏色類 另IJ，由此得到圖像自身的主色調(diào)分布，為三維場景顏色風(fēng)格變形做準(zhǔn)備。
[0019] 其中，步驟四中所述的室內(nèi)三維場景布局的遷移，是指將輸入圖像的布局風(fēng)格遷 移到室內(nèi)三維場景上。其過程如下，首先構(gòu)建布局風(fēng)格的能量函數(shù)，能量項(xiàng)由布局的四項(xiàng) 規(guī)則構(gòu)成；在此函數(shù)模型上，利用馬爾科夫鏈蒙特卡洛采樣算法在解空間中進(jìn)行采樣，根據(jù) Metropolis-Hastings規(guī)則，依概率地接受布局狀態(tài)的變化，直到得到布局最優(yōu)解，即三維 場景中每個(gè)物體的布局位置。
[0020] 其中，步驟五中所述的"對(duì)室內(nèi)三維場景進(jìn)行顏色遷移"，是指將輸入圖像的顏色 風(fēng)格遷移到三維場景上。其過程如下，建立圖像和三維場景的語義對(duì)應(yīng)關(guān)系，構(gòu)建顏色風(fēng)格 的能量函數(shù)，能量項(xiàng)包括圖像和三維場景中相同語義類別的顏色一致性，三維場景整體顏 色分布的一致性，三維場景顏色分布與顏色風(fēng)格模板的一致性，三維場景物體顏色分布與 布局的關(guān)聯(lián)關(guān)系；在此函數(shù)模型上，利用共軛梯度算法求解得到三維場景中每一個(gè)物體的 顏色值。
[0021] 3)優(yōu)點(diǎn)及功效：與現(xiàn)有的技術(shù)相比，本發(fā)明有益的特點(diǎn)是：
[0022] 1、本發(fā)明首次定義了室內(nèi)場景風(fēng)格，包括布局風(fēng)格和顏色風(fēng)格。
[0023] 2、本發(fā)明以專業(yè)的室內(nèi)場景圖像數(shù)據(jù)集做訓(xùn)練集，學(xué)習(xí)布局規(guī)則、顏色規(guī)則和布 局-顏色規(guī)則。
[0024] 3、本發(fā)明是一種利用輸入圖像風(fēng)格特征作為約束，結(jié)合學(xué)習(xí)得到的規(guī)則，對(duì)室內(nèi) 三維場景進(jìn)行風(fēng)格遷移的方法。
[0025] 4、本發(fā)明提出了一種新穎的室內(nèi)場景風(fēng)格顏色遷移算法。

【專利附圖】

【附圖說明】：
[0026] 圖1是整體流程說明圖；
[0027] 圖2是本發(fā)明的語義標(biāo)記算法說明圖；
[0028] 圖3是訓(xùn)練圖像的語義標(biāo)記圖和布局標(biāo)記俯視圖；
[0029] 圖4是布局規(guī)則示意圖；
[0030] 圖5是四種顏色風(fēng)格色調(diào)分布示意圖；
[0031] 圖6是四種顏色風(fēng)格下布局-顏色分布示意圖。
[0032] 圖中符號(hào)說明如下：
[0033] 〇i :對(duì)象i的中心點(diǎn)；
[0034] 0j:對(duì)象j的中心點(diǎn)；
[0035] φ :對(duì)象i的對(duì)角線距離；
[0036] 0an :可接觸空間的中心點(diǎn)；
[0037] 0a# :可接觸空間的中心點(diǎn)；
[0038] da# :可接觸空間的對(duì)角線距離。

【具體實(shí)施方式】：
[0039] 下面結(jié)合附圖對(duì)本發(fā)明作詳細(xì)說明。
[0040] 見圖1，一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，該方法包含 以下步驟：
[0041] 步驟一：對(duì)室內(nèi)圖像場景數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，包括：人工標(biāo)注語義信息， 得到每張圖像的語義標(biāo)記圖；人工標(biāo)注布局信息，得到每張圖像的布局俯視圖。
[0042] 步驟二：定義四種布局規(guī)則和四種顏色規(guī)則，在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種 布局規(guī)則的分布和四種顏色規(guī)則的分布，以及布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系。
[0043] 步驟三：對(duì)輸入圖像進(jìn)行語義分割處理，通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三 維場景建立關(guān)聯(lián)關(guān)系；提取輸入圖像自身的布局約束和顏色約束，作為室內(nèi)三維場景布局 和顏色遷移時(shí)的先驗(yàn)約束。
[0044] 步驟四：根據(jù)布局規(guī)則的分布，結(jié)合輸入圖像的布局約束，對(duì)室內(nèi)三維場景進(jìn)行布 局遷移的生成，使得室內(nèi)三維場景具有與輸入圖像相似的布局風(fēng)格。
[0045] 步驟五：在經(jīng)過布局遷移的室內(nèi)三維場景上，根據(jù)在顏色規(guī)則的分布、布局-顏色 規(guī)則之間的關(guān)聯(lián)關(guān)系，結(jié)合輸入圖像的布局和顏色約束，對(duì)室內(nèi)三維場景進(jìn)行顏色遷移，得 到與輸入圖像顏色風(fēng)格相似的室內(nèi)三維場景。
[0046] 本發(fā)明提供了一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，該方 法根據(jù)圖像數(shù)據(jù)集，學(xué)習(xí)室內(nèi)場景風(fēng)格規(guī)則，從布局和顏色兩個(gè)方面，將輸入圖像場景的布 局和顏色風(fēng)格遷移到室內(nèi)三維場景上，使得室內(nèi)三維場景具有與輸入?yún)⒖紙D像相似的風(fēng) 格?？傮w流程如圖1所示：對(duì)輸入圖像進(jìn)行語義分割處理，通過語義標(biāo)記將輸入圖像與輸入 室內(nèi)三維場景建立關(guān)聯(lián)關(guān)系，其中室內(nèi)三維場景中的物體是任意擺放的；提取輸入圖像自 身的布局約束和顏色約束，作為室內(nèi)三維場景風(fēng)格遷移時(shí)的先驗(yàn)約束；根據(jù)在訓(xùn)練圖像數(shù) 據(jù)集上學(xué)習(xí)得到室內(nèi)場景的布局分布規(guī)則，結(jié)合輸入圖像的布局約束，對(duì)三維場景進(jìn)行布 局風(fēng)格遷移，使得室內(nèi)三維場景具有輸入圖像的布局風(fēng)格；在布局遷移后的三維場景上，根 據(jù)在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到室內(nèi)場景的顏色分布規(guī)則、布局與顏色之間的規(guī)則，結(jié)合 輸入圖像的布局和顏色約束，對(duì)三維場景進(jìn)行顏色風(fēng)格的遷移，最終得到的具有輸入圖像 布局和顏色風(fēng)格的室內(nèi)三維場景。
[0047] 根據(jù)上述總體流程，本發(fā)明首先對(duì)輸入圖像進(jìn)行語義標(biāo)記處理，為了與三維場景 中的物體建立起對(duì)應(yīng)語義關(guān)系。由于目前現(xiàn)有的語義標(biāo)記算法主要是針對(duì)室外場景圖像 的，沒有適用于室內(nèi)場景圖像的，因此本發(fā)明提出了一種針對(duì)室內(nèi)場景圖像的語義標(biāo)記算 法。對(duì)于室內(nèi)場景的物體來說，物體形狀對(duì)物體類別的識(shí)別是一個(gè)非常重要的特征。本發(fā) 明對(duì)于輸入圖像進(jìn)行三種處理，將圖像分為N*M個(gè)小長方塊即塊集合，其中N為35,Μ為50， 用過分割算法將圖像分解成超像素集合，利用現(xiàn)有的算法估計(jì)圖像每個(gè)像素的平面朝向， 如所圖2所示。在平面朝向標(biāo)記圖中，箭頭的方向代表了該區(qū)域的朝向。然后對(duì)每一語義 類別，例如床這一類別，利用該類別的形狀模板，在圖像的塊集合中匹配床的最顯著區(qū)域， 顯著區(qū)域包含若干塊。本發(fā)明利用伽波濾波器響應(yīng)值構(gòu)成的特征向量，形狀模板和每個(gè)塊 區(qū)域都具有自己的特征向量，計(jì)算特征向量的歐氏距離，具有最小距離的即最顯著區(qū)域。在 該區(qū)域中，利用超像素邊界和像素的朝向標(biāo)記，進(jìn)一步優(yōu)化該區(qū)域的范圍，形成床的粗略輪 廓區(qū)域，以此輪廓區(qū)域再次在整個(gè)圖像上匹配最顯著區(qū)域，以特征向量差值最小的區(qū)域作 為最終的床區(qū)域，該區(qū)域的像素標(biāo)記為床。當(dāng)所有類別都執(zhí)行此操作之后，即得到圖像的語 乂標(biāo)記結(jié)果。
[0048] 在訓(xùn)練數(shù)據(jù)集中，本發(fā)明為每一張訓(xùn)練圖像人工標(biāo)記了兩種基準(zhǔn)圖，一張語義標(biāo) 記圖和一張布局標(biāo)記俯視圖，如圖3所示。語義標(biāo)記圖不僅能用來提取語義類別的形狀模 板，而且由于語義標(biāo)記圖是側(cè)視圖，可以輔助布局規(guī)則的學(xué)習(xí)，能夠體現(xiàn)出室內(nèi)布局中上下 位置對(duì)象之間的相對(duì)關(guān)系。俯視圖能夠呈現(xiàn)出物體之間的前后左右位置關(guān)系，是本發(fā)明的 布局規(guī)則學(xué)習(xí)最重要的依據(jù)。在人手標(biāo)定俯視圖時(shí)，為了方便布局規(guī)則的學(xué)習(xí)，默認(rèn)將俯視 圖標(biāo)定為800*600像素大小，在此分辨率級(jí)別上，根據(jù)專業(yè)人員知識(shí)來標(biāo)定場景中的物體 位置。語義標(biāo)記圖和布局標(biāo)記俯視圖中，相同的語義類別用相同的顏色來可視化，由此建立 這兩張基準(zhǔn)圖的語義對(duì)應(yīng)關(guān)系。
[0049] 利用布局標(biāo)記俯視圖來學(xué)習(xí)室內(nèi)場景布局分布規(guī)則。根據(jù)室內(nèi)設(shè)計(jì)人員的專業(yè)知 識(shí)，本發(fā)明定義了四項(xiàng)規(guī)則，第一項(xiàng)是室內(nèi)物體的位置關(guān)系。室內(nèi)物體的擺放不是任意的， 它們的位置都有一定的關(guān)系，例如，床一般擺放在室內(nèi)中部位置，而柜子一般擺放在室內(nèi)靠 邊的位置。因此本發(fā)明在布局標(biāo)記俯視圖上統(tǒng)計(jì)不同類別物體的位置分布，以此作為位置 先驗(yàn)值。將布局標(biāo)記俯視圖分為24*32大小的塊集合，學(xué)習(xí)每一類語義對(duì)象其中心點(diǎn)位置 在每一個(gè)塊區(qū)域里的分布頻率，如圖4所示的中心點(diǎn)位置頻率可視化結(jié)果，這里只顯示了 4 種語義類別的位置分布，區(qū)域顏色越深表明該類物體中心點(diǎn)在此區(qū)域內(nèi)的頻率越大?？梢?看到，床的中心位置分布尤其明顯。根據(jù)以下公式計(jì)算每一類別對(duì)象的位置先驗(yàn)值，其中k 是布局標(biāo)記俯視圖中塊的數(shù)量，f(patChi)是該類對(duì)象中心點(diǎn)位置在每一個(gè)塊i中的頻率。 ε是頻率閾值，在實(shí)際操作中，大于該閾值的頻率才被計(jì)算在內(nèi)，否則，認(rèn)為是零。
[0050]

【權(quán)利要求】
1. 一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方法，其特征在于：該方法 包含以下步驟： 步驟一：對(duì)室內(nèi)圖像場景數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，包括：人工標(biāo)注語義信息，得到 每張圖像的語義標(biāo)記圖；人工標(biāo)注布局信息，得到每張圖像的布局俯視圖； 步驟二：定義四種布局規(guī)則和四種顏色規(guī)則，在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種布局 規(guī)則的分布和四種顏色規(guī)則的分布，以及布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系； 步驟三：對(duì)輸入圖像進(jìn)行語義分割處理，通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三維場 景建立關(guān)聯(lián)關(guān)系；提取輸入圖像自身的布局約束和顏色約束，作為室內(nèi)三維場景布局和顏 色遷移時(shí)的先驗(yàn)約束； 步驟四：根據(jù)布局規(guī)則的分布，結(jié)合輸入圖像的布局約束，對(duì)室內(nèi)三維場景進(jìn)行布局遷 移的生成，使得室內(nèi)三維場景具有與輸入圖像相似的布局風(fēng)格； 步驟五：在經(jīng)過布局遷移的室內(nèi)三維場景上，根據(jù)在顏色規(guī)則的分布、布局-顏色規(guī)則 之間的關(guān)聯(lián)關(guān)系，結(jié)合輸入圖像的布局和顏色約束，對(duì)室內(nèi)三維場景進(jìn)行顏色遷移，得到與 輸入圖像顏色風(fēng)格相似的室內(nèi)三維場景。
2. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟二中所述的"在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種布局規(guī)則"，分別是： 第一項(xiàng)是室內(nèi)物體的位置關(guān)系，第二項(xiàng)是室內(nèi)物體對(duì)之間的相互關(guān)系，第三項(xiàng)是室內(nèi)物體 朝向關(guān)系，第四項(xiàng)是室內(nèi)物體可接觸關(guān)系；在訓(xùn)練數(shù)據(jù)集中每一張訓(xùn)練圖像有兩種基準(zhǔn)圖， 一張語義標(biāo)記圖和一張布局標(biāo)記俯視圖，利用布局標(biāo)記俯視圖學(xué)習(xí)得到室內(nèi)場景布局分布 的四項(xiàng)規(guī)則，語義標(biāo)記圖是側(cè)視圖，輔助布局規(guī)則的學(xué)習(xí)。
3. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟二中所述的"在訓(xùn)練圖像數(shù)據(jù)集上學(xué)習(xí)得到四種顏色規(guī)則"，分別是： 單一顏色風(fēng)格分布規(guī)則、類似顏色風(fēng)格分布規(guī)則、對(duì)比顏色風(fēng)格分布規(guī)則、黑白灰顏色風(fēng)格 分布規(guī)則；由專業(yè)室內(nèi)設(shè)計(jì)人員將訓(xùn)練數(shù)據(jù)集中的圖像進(jìn)行這四類顏色風(fēng)格的劃分，構(gòu)成 四個(gè)顏色風(fēng)格的集合；在每個(gè)集合上，學(xué)習(xí)該類的色調(diào)、亮度的參數(shù)分布規(guī)律，形成該類顏 色風(fēng)格的模板。
4. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：其中，步驟二中所述的"布局-顏色規(guī)則之間的關(guān)聯(lián)關(guān)系"，是利用訓(xùn)練圖 像的語義標(biāo)記圖和布局標(biāo)記俯視圖，學(xué)習(xí)布局-顏色規(guī)則，具體來說，是布局-單一顏色風(fēng) 格規(guī)則，布局-類似顏色風(fēng)格規(guī)則，布局-對(duì)比顏色風(fēng)格規(guī)則，布局-黑白灰顏色風(fēng)格規(guī)則。
5. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟三中所述的"對(duì)輸入圖像進(jìn)行語義分割處理"，是針對(duì)室內(nèi)場景圖像 而提出的一種語義標(biāo)記算法；具體實(shí)現(xiàn)過程是：從訓(xùn)練圖像數(shù)據(jù)集中提取出每種語義類別 的形狀模板，每一類模板具有自己的由伽波濾波器響應(yīng)值構(gòu)成的特征向量，對(duì)輸入的室內(nèi) 場景圖像進(jìn)行過分割處理得到超像素集合，將圖像分成N*M個(gè)小方塊構(gòu)成塊集合，利用室 內(nèi)平面朝向估計(jì)算法得到圖像每個(gè)像素的平面朝向標(biāo)記；選擇語義類別模板，計(jì)算模板的 特征向量和圖像方塊特征向量的差異值，取差異值最小的方塊作為最顯著區(qū)域，結(jié)合超像 素邊界和朝向標(biāo)記，得到語義類別的準(zhǔn)確標(biāo)記。
6. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟三中所述的"通過語義標(biāo)記將輸入圖像與輸入室內(nèi)三維場景建立關(guān)聯(lián) 關(guān)系"是指根據(jù)圖像的語義標(biāo)記得知圖像中的語義類別，給定的室內(nèi)三維場景中存在各種 語義類別已知的物體，由此可知輸入圖像和三維場景的語義類別對(duì)應(yīng)關(guān)系，同時(shí)由圖像的 語義標(biāo)記還得知對(duì)象的輪廓邊界，為三維場景布局風(fēng)格變形做準(zhǔn)備。
7. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟三中所述的輸入圖像自身的布局約束，是指提取圖像場景中顯著物體 的距離約束；所述的輸入圖像自身的顏色約束，是指在HSV顏色空間中，提取圖像所有像素 Η通道的顏色值，利用K聚類算法得到圖像Η通道的顏色類別，由此得到圖像自身的主色調(diào) 分布，為三維場景顏色風(fēng)格變形做準(zhǔn)備。
8. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟四中所述的室內(nèi)三維場景布局的遷移，是指將輸入圖像的布局風(fēng)格遷 移到室內(nèi)三維場景上；其過程如下，首先構(gòu)建布局風(fēng)格的能量函數(shù)，能量項(xiàng)由布局的四項(xiàng)規(guī) 則構(gòu)成；在此函數(shù)模型上，利用馬爾科夫鏈蒙特卡洛采樣算法在解空間中進(jìn)行采樣，根據(jù) Metropolis-Hastings規(guī)則，依概率地接受布局狀態(tài)的變化，直到得到布局最優(yōu)解，即三維 場景中每個(gè)物體的布局位置。
9. 根據(jù)權(quán)利要求1所述的一種圖像內(nèi)容驅(qū)動(dòng)的室內(nèi)三維場景布局與顏色遷移生成方 法，其特征在于：步驟五中所述的"對(duì)室內(nèi)三維場景進(jìn)行顏色遷移"，是指將輸入圖像的顏色 風(fēng)格遷移到三維場景上；其過程如下，建立圖像和三維場景的語義對(duì)應(yīng)關(guān)系，構(gòu)建顏色風(fēng)格 的能量函數(shù)，能量項(xiàng)包括圖像和三維場景中相同語義類別的顏色一致性，三維場景整體顏 色分布的一致性，三維場景顏色分布與顏色風(fēng)格模板的一致性，三維場景物體顏色分布與 布局的關(guān)聯(lián)關(guān)系；在此函數(shù)模型上，利用共軛梯度算法求解得到三維場景中每一個(gè)物體的 顏色值。
【文檔編號(hào)】G06K9/66GK104050722SQ201410250148
【公開日】2014年9月17日 申請(qǐng)日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】陳小武, 李青, 鄒冬青, 趙沁平, 李健偉, 張晗, 唐玉峰 申請(qǐng)人:北京航空航天大學(xué)