專(zhuān)利名稱(chēng)：三維建模裝置和三維建模方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維建模裝置和三維建模方法。
背景技術(shù)：
使用立體照相機(jī)對(duì)人、動(dòng)物、或美術(shù)品等被拍攝體進(jìn)行拍攝，基于通過(guò)攝像得到的一組圖像，生成被拍攝體的三維模型的技術(shù)是眾所周知的。這樣的技術(shù)在例如專(zhuān)利第 2953154號(hào)公報(bào)中公開(kāi)。根據(jù)通過(guò)立體照相機(jī)的一次攝像而得到的一組圖像，生成一個(gè)三維模型。以前，根據(jù)通過(guò)使用立體照相機(jī)從不同角度對(duì)被拍攝體多次進(jìn)行拍攝而得到的多組圖像，生成多個(gè)三維模型。而后，如果將生成的多個(gè)三維模型合成，則得到被拍攝體的正確的三維模型。但是，在立體照相機(jī)的多次攝像之間，被拍攝體部分移動(dòng)的情況下，無(wú)法將生成的多個(gè)三維模型恰當(dāng)?shù)睾铣?。即，可合成三維模型的被拍攝體限于靜止的被拍攝體。由此，期望一種能夠基于對(duì)部分移動(dòng)的被拍攝體攝像而得到的多組圖像，而將該被拍攝體三維建模的圖像處理裝置。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問(wèn)題，目的在于提供一種為了恰當(dāng)?shù)貙?duì)被拍攝體進(jìn)行三維建模的合適的三維建模裝置，以及三維建模方法。為了達(dá)到上述目的，本發(fā)明第1觀點(diǎn)的三維建模裝置，包括接受單元，其接受通過(guò)使用立體照相機(jī)從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入；生成單元，其基于上述接受的多個(gè)圖像的組中的任意一個(gè)，分別生成上述被拍攝體的多個(gè)三維模型；選擇單元，其從上述生成的多個(gè)三維模型中，選擇被合成三維模型、和合成在該被合成三維模型中的合成三維模型；分割單元，其將上述選擇的合成三維模型分割為多個(gè)合成區(qū)域；指定單元，其分別指定與上述多個(gè)合成區(qū)域中的任意一個(gè)相對(duì)應(yīng)的、上述被合成三維模型中的多個(gè)被合成區(qū)域；取得單元，其分別取得用于將上述多個(gè)合成區(qū)域中的任意一個(gè)重合在與該任意一個(gè)合成區(qū)域相對(duì)應(yīng)的被合成區(qū)域上的多個(gè)坐標(biāo)變換參數(shù)；變換單元，其基于上述取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)上述多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換；和
更新單元，其將由上述變換單元進(jìn)行了坐標(biāo)變換后的多個(gè)合成區(qū)域合成在上述指定的多個(gè)被合成區(qū)域中，從而更新上述被合成三維模型。為了達(dá)到上述目的，本發(fā)明的第2觀點(diǎn)的三維建模方法，(為三維建模裝置執(zhí)行的三維建模方法，具備如下步驟接受步驟，接受通過(guò)使用立體照相機(jī)從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入；生成步驟，基于上述接受的多個(gè)圖像的組中的任意一個(gè)，分別生成上述被拍攝體的多個(gè)三維模型；選擇步驟，從上述生成的多個(gè)三維模型中，選擇被合成三維模型、和合成在該被合成三維模型中的合成三維模型；分割步驟，將上述選擇的合成三維模型分割為多個(gè)合成區(qū)域； 指定步驟，分別指定與上述多個(gè)合成區(qū)域中的任意一個(gè)相對(duì)應(yīng)的、上述被合成三維模型中的多個(gè)被合成區(qū)域；取得步驟，分別取得用于將上述多個(gè)合成區(qū)域中的任意一個(gè)重合在與該任意一個(gè)合成區(qū)域相對(duì)應(yīng)的被合成區(qū)域上的多個(gè)坐標(biāo)變換參數(shù)；變換步驟，基于上述取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)上述多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換；更新步驟，通過(guò)將上述坐標(biāo)變換后的多個(gè)合成區(qū)域合成在上述指定的多個(gè)被合成區(qū)域中，更新上述被合成三維模型。


圖IA為表示本發(fā)明的第1實(shí)施方式的立體照相機(jī)的前面的樣子的外觀圖。圖IB為表示本發(fā)明的第1實(shí)施方式的立體照相機(jī)的背面的樣子的外觀圖。圖2為示出本發(fā)明的第1實(shí)施方式的立體照相機(jī)的結(jié)構(gòu)的方框圖。圖3為示出本發(fā)明的第1實(shí)施方式的立體照相機(jī)的主要部分的結(jié)構(gòu)的方框圖。圖4A 圖4C為用于說(shuō)明使用立體照相機(jī)對(duì)被拍攝體進(jìn)行拍攝的方法的圖。圖5為示出本發(fā)明的第1實(shí)施方式的立體照相機(jī)執(zhí)行的三維建模處理的流程圖。圖6為示出圖5所示的區(qū)域分割處理的流程圖。圖7A 圖7C為用于說(shuō)明將合成三維模型區(qū)域分割為多個(gè)合成區(qū)域的方法的圖。圖7D為示出將被合成三維模型區(qū)域分割為多個(gè)被合成區(qū)域的樣子的圖。圖7E為用于說(shuō)明對(duì)被合成區(qū)域進(jìn)行坐標(biāo)變換的方法的圖。圖7F為示出將合成區(qū)域重合在被合成區(qū)域中的樣子的圖。圖7G為用于說(shuō)明合成后的建模面的圖。圖8為示出圖5中所示的三維模型合成處理的流程圖。
具體實(shí)施例方式以下參照附圖，對(duì)本發(fā)明的實(shí)施方式的三維建模裝置進(jìn)行說(shuō)明。(第1實(shí)施方式)在第1實(shí)施方式中，示出將本發(fā)明應(yīng)用于數(shù)字式立體照相機(jī)的例子。本實(shí)施方式中，立體照相機(jī)從按壓快門(mén)按鈕開(kāi)始，到再次按壓該快門(mén)按鈕之間，反復(fù)執(zhí)行對(duì)被拍攝體進(jìn)行拍攝和更新該被拍攝體的三維模型的處理。首先，參照?qǐng)D1A、圖1B，對(duì)本發(fā)明第1實(shí)施方式的立體照相機(jī)1000的外觀進(jìn)行說(shuō)明。如圖IA所示，在立體照相機(jī)1000的前面上，設(shè)置鏡頭111A、鏡頭111B、閃光燈發(fā)光部400。此外，如圖IA所示，在立體照相機(jī)1000的頂面上，設(shè)置快門(mén)按鈕331。進(jìn)一步， 如圖IB所示，在立體照相機(jī)1000的背面上，設(shè)置顯示部310、操作按鍵332、電源按鍵333。鏡頭IllA和鏡頭IllB隔開(kāi)規(guī)定的間隔，平行地設(shè)置。顯示部310由具有電源按鍵、操作按鍵、電子取景器功能的IXD(Liquid Crystal Display，液晶顯示器)構(gòu)成。快門(mén)按鈕331為應(yīng)在開(kāi)始被拍攝體的攝像、或結(jié)束被拍攝體的攝像的時(shí)候按壓的按鈕。即，立體照相機(jī)1000在按壓快門(mén)按鈕331后，直到再次按壓快門(mén)按鈕331，反復(fù)進(jìn)行被拍攝體的攝像。操作按鍵332接受來(lái)自使用者的各種操作。操作按鍵332包含十字按鍵、確定按鍵，用于模式切換、顯示切換等的操作。電源按鍵333為應(yīng)在打開(kāi)、關(guān)閉立體照相機(jī)1000的電源時(shí)按壓的按鍵。閃光燈發(fā)光部400向被拍攝體照射閃光。對(duì)閃光燈發(fā)光部400的結(jié)構(gòu)后述。這里，參照?qǐng)D2，對(duì)立體照相機(jī)1000的電氣結(jié)構(gòu)進(jìn)行說(shuō)明。如圖2所示，立體照相機(jī)1000包括第1攝像部100A、第2攝像部100B、數(shù)據(jù)處理部200、接口部300、閃光燈發(fā)光部400。此外，在圖中，適宜地以I/F部表示接口部。第1攝像部100A和第2攝像部100B，為對(duì)被拍攝體進(jìn)行拍攝的部分。立體照相機(jī)1000包括2個(gè)攝像部，即，第1攝像部100A和第2攝像部100B具有立體照相機(jī)的功能。 這里，第1攝像部100A和第2攝像部100B為相同的結(jié)構(gòu)。此外，在第1攝像部100A的結(jié)構(gòu)中，將“A”添加在附圖標(biāo)記的末尾，在第2攝像部100B的結(jié)構(gòu)中，將“B”添加在附圖標(biāo)記的末尾。如圖2所示，第1攝像部100A包括光學(xué)裝置IlOA和圖像傳感器部120A，第2攝像部100B包括光學(xué)裝置IlOB和圖像傳感器部120B。光學(xué)裝置IlOB與光學(xué)裝置IlOA具有同樣的結(jié)構(gòu)，圖像傳感器部120B和圖像傳感器部120A具有同樣的結(jié)構(gòu)。所以，以下，只對(duì)光學(xué)裝置IlOA和圖像傳感器部120A的結(jié)構(gòu)進(jìn)行說(shuō)明。光學(xué)裝置IlOA包括例如鏡頭111A、光圈機(jī)構(gòu)、快門(mén)機(jī)構(gòu)等，進(jìn)行與拍攝相關(guān)的光學(xué)動(dòng)作。即，通過(guò)光學(xué)裝置IlOA的動(dòng)作，匯聚入射光，并且對(duì)焦距、光圈、快門(mén)速度等這樣的，視角、焦點(diǎn)、曝光等這些光學(xué)要素進(jìn)行調(diào)整。此外，包含在光學(xué)裝置IlOA中的快門(mén)機(jī)構(gòu)為所謂的機(jī)械快門(mén)。在只通過(guò)圖像傳感器部120A的動(dòng)作進(jìn)行快門(mén)動(dòng)作的情況下，也可以不在光學(xué)裝置IlOA中包含快門(mén)機(jī)構(gòu)。此外，光學(xué)裝置IlOA通過(guò)后述的控制部210的控制而動(dòng)作。圖像傳感器部120A生成與由光學(xué)裝置IlOA匯聚的入射光相對(duì)應(yīng)的電信號(hào)。圖像傳感器部120A由例如CCD (Charge Coupled Device :電荷耦合元件)， CMOS(Complementally Metal Oxide kmiconductor :互補(bǔ)型金屬氧化物半導(dǎo)體)等構(gòu)成。 圖像傳感器部120A進(jìn)行光電變換，由此，產(chǎn)生對(duì)應(yīng)于接收光的電信號(hào)，將其輸出給數(shù)據(jù)處理部200。
此外，像上述那樣，第1攝像部100A和第2攝像部100B為相同的結(jié)構(gòu)。所以，鏡頭的焦距f，F(xiàn)值、光圈機(jī)構(gòu)的光圈范圍、圖像傳感器的尺寸，像素?cái)?shù)量、排列、像素面積等的各個(gè)參數(shù)全部相同。在具有這樣的第1攝像部100A和第2攝像部100B的立體照相機(jī)1000中，如圖IA 所示，光學(xué)裝置IlOA中構(gòu)成的鏡頭IllA和光學(xué)裝置IlOB中構(gòu)成的鏡頭IllB形成在立體照相機(jī)1000的外面上的同一平面上而構(gòu)成。這里，在沿快門(mén)按鈕331朝上的方向，立體照相機(jī)1000水平的情況下，按照中心位置在沿水平方向上延伸的同一條線(xiàn)上的方式，來(lái)配置 2個(gè)鏡頭(受光部)。即，在同時(shí)使第1攝像部100A和第2攝像部100B動(dòng)作的情況下，拍攝針對(duì)同一被拍攝體的2幅圖像(以下稱(chēng)為“成對(duì)圖像”)，形成各圖像中的光軸位置沿橫向偏移的圖像。立體照相機(jī)1000為所謂的平行立體照相機(jī)的結(jié)構(gòu)。數(shù)據(jù)處理部200對(duì)通過(guò)第1攝像部100A和第2攝像部100B的攝像動(dòng)作而生成的電信號(hào)進(jìn)行處理，形成表示拍攝的被拍攝體的圖像的數(shù)字?jǐn)?shù)據(jù)，并且對(duì)該圖像進(jìn)行圖像處理等。如圖2所示，數(shù)據(jù)處理部200由控制部210，圖像處理部220，圖像存儲(chǔ)器230，圖像輸出部240，存儲(chǔ)部250，外部存儲(chǔ)部260等構(gòu)成?？刂撇?10由比如，CPU (Central Processing Unit 中央運(yùn)算處理器)等的處理器、RAM(Random Access Memory)等的主存儲(chǔ)裝置(存儲(chǔ)器)等構(gòu)成。此外，通過(guò)執(zhí)行存儲(chǔ)于后述的存儲(chǔ)部250等中的程序，控制部210控制立體照相機(jī)1000的各部分。圖像處理部220由比如，ADC (Analog-Digital Converter 模擬數(shù)字變換器)、緩存器、圖像處理用的處理器(所謂的圖像處理引擎)等構(gòu)成。圖像處理部220根據(jù)通過(guò)圖像傳感器部120A和120B生成的電信號(hào)，生成表示拍攝的被拍攝體的圖像的數(shù)字?jǐn)?shù)據(jù)(以下稱(chēng)為“圖像數(shù)據(jù)”)。S卩，ADC將從圖像傳感器部120A和圖像傳感器部120B輸出的模擬電信號(hào)變換為數(shù)字信號(hào)，依次存儲(chǔ)于緩存器中。另一方面，圖像處理部220對(duì)已緩存的數(shù)字?jǐn)?shù)據(jù)，進(jìn)行所謂的顯像處理等，由此，進(jìn)行畫(huà)質(zhì)的調(diào)整，數(shù)據(jù)壓縮等。圖像存儲(chǔ)器230由比如，RAM，閃存等存儲(chǔ)裝置構(gòu)成。圖像存儲(chǔ)器230暫時(shí)存儲(chǔ)通過(guò)圖像處理部220生成的攝像圖像數(shù)據(jù)，通過(guò)控制部210處理的圖像數(shù)據(jù)等。圖像輸出部240由比如，RGB信號(hào)的生成電路等構(gòu)成，將存儲(chǔ)于圖像存儲(chǔ)器230中的圖像數(shù)據(jù)變換為RGB信號(hào)并輸出給顯示畫(huà)面(后述的顯示部310等)。存儲(chǔ)部250由比如，ROM (Read Only Memory)，閃存等的存儲(chǔ)裝置構(gòu)成。存儲(chǔ)部250 存儲(chǔ)立體照相機(jī)1000的動(dòng)作所必要的程序、數(shù)據(jù)等。在本實(shí)施形式中，控制部210等執(zhí)行的動(dòng)作程序、各處理所必需的參數(shù)、運(yùn)算式等存儲(chǔ)于存儲(chǔ)部250中。外部存儲(chǔ)部260由比如，存儲(chǔ)卡等這種可裝卸于立體照相機(jī)1000中的存儲(chǔ)裝置構(gòu)成。外部存儲(chǔ)部260，存儲(chǔ)通過(guò)立體照相機(jī)1000拍攝的圖像數(shù)據(jù)、表示三維模型的數(shù)據(jù)等。接口部300為立體照相機(jī)1000和其使用者或外部裝置的接口的結(jié)構(gòu)。如圖2所示，接口部300由顯示部310、外部接口部320、操作部330等構(gòu)成。顯示部310由比如，液晶顯示器等構(gòu)成。顯示部310顯示輸出對(duì)于操作立體照相機(jī)1000來(lái)說(shuō)必需的各種畫(huà)面、攝像時(shí)的實(shí)時(shí)取景圖像、拍攝的被拍攝體的圖像等。在本實(shí)施形式中，根據(jù)來(lái)自圖像輸出部240的圖像信號(hào)(RGB信號(hào))等，顯示拍攝的被拍攝體的圖像、三維模型等。
外部接口部320由比如，USB(Universal Serial Bus)連接器、視頻輸出端子等構(gòu)成。外部接口部320將圖像數(shù)據(jù)等輸出至外部的計(jì)算機(jī)、外部的監(jiān)視器。操作部330由形成于立體照相機(jī)1000的外面上的各種按鈕等構(gòu)成。操作部330 生成對(duì)應(yīng)于立體照相機(jī)1000的使用者的操作的輸入信號(hào)，將其提供給控制部210。構(gòu)成操作部330的按鈕包括比如，用于指示快門(mén)動(dòng)作的快門(mén)按鈕331，用于進(jìn)行立體照相機(jī)1000的動(dòng)作模式等的指定或各種功能設(shè)定的操作按鍵332、電源按鍵333。閃光燈發(fā)光部400由比如氙燈(氙氣閃光燈)構(gòu)成。閃光燈發(fā)光部400通過(guò)控制部210的控制，向被拍攝體照射閃光。立體照相機(jī)1000也可不包括圖2所示的全部結(jié)構(gòu)，也可以包括圖2所示結(jié)構(gòu)以外的結(jié)構(gòu)。這里，參照?qǐng)D3，對(duì)立體照相機(jī)1000的動(dòng)作中的三維建模的動(dòng)作進(jìn)行說(shuō)明。圖3為示出立體照相機(jī)1000的主要部分的結(jié)構(gòu)，即用于實(shí)現(xiàn)三維建模的動(dòng)作的結(jié)構(gòu)的圖。如圖3所示，立體照相機(jī)1000包括接受部11、生成部12、選擇部13、分割部14、指定部15、取得部16、變換部17、更新部18。這些要素通過(guò)例如控制部210構(gòu)成。接受部11接受通過(guò)使用立體照相機(jī)1000，從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入。生成部12分別生成多個(gè)基于接受的多個(gè)圖像的組中的任一者的被拍攝體的三維模型。選擇部13從生成的多個(gè)三維模型中，選擇被合成三維模型、和合成在該被合成三維模型中的合成三維模型。分割部14將選擇的合成三維模型分割為多個(gè)合成區(qū)域。指定部15分別指定與多個(gè)合成區(qū)域中的任意一個(gè)相對(duì)應(yīng)的、被合成三維模型中的多個(gè)被合成區(qū)域。取得部16分別取得用于將多個(gè)合成區(qū)域中的任意一個(gè)重合在與該任意一個(gè)合成區(qū)域相對(duì)應(yīng)的被合成區(qū)域的多個(gè)坐標(biāo)變換參數(shù)。變換部17基于取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換。更新部18通過(guò)將變換部17進(jìn)行過(guò)坐標(biāo)變換后的多個(gè)合成區(qū)域合成在指定的多個(gè)被合成區(qū)域中，由此更新被合成三維模型。接著，參照?qǐng)D4A 圖4C，對(duì)拍攝被拍攝體的樣子進(jìn)行說(shuō)明。立體照相機(jī)1000每次對(duì)被拍攝體進(jìn)行拍攝，基于通過(guò)攝像得到的圖像對(duì)，生成合成三維模型。立體照相機(jī)1000將生成的合成三維模型合成到被合成三維模型中。這里，每次攝像從不同角度對(duì)被拍攝體進(jìn)行拍攝。本實(shí)施方式中，在最初的攝像中，從如圖4A所示的照相機(jī)位置Cl對(duì)被拍攝體501 進(jìn)行拍攝，在第2次攝像中，從如圖4B所示的照相機(jī)位置C2對(duì)被拍攝體501進(jìn)行拍攝，在第3次攝像中，從如圖4C所示的照相機(jī)位置C3對(duì)被拍攝體501進(jìn)行拍攝。這里，假設(shè)在最初攝像時(shí)和第3次攝像時(shí)，以表示熊縫制玩具的被拍攝體501的左臂沒(méi)有舉起來(lái)，在第2次攝像時(shí)，被拍攝體501的左臂舉著。立體照相機(jī)1000按此方式，可生成攝像中部分發(fā)生了移動(dòng)的被拍攝體501的三維模型。
接著，對(duì)使用如圖5所示的流程圖，立體照相機(jī)1000執(zhí)行的三維建模處理進(jìn)行說(shuō)明。立體照相機(jī)1000如果通過(guò)操作按鍵332等的操作，將動(dòng)作模式設(shè)定為三維建模模式， 則執(zhí)行如圖5所示的三維建模處理。首先，控制部210判斷是否按壓了快門(mén)按鈕331(步驟S101)?？刂撇?10如果判斷為沒(méi)有按壓快門(mén)按鈕331(步驟SlOl 否)，則再次執(zhí)行步驟SlOl的處理。另一方面，控制部210如果判斷為按壓了快門(mén)按鈕331 (步驟SlOl 是)，則將攝像次數(shù)計(jì)數(shù)器N初始化為1(步驟S102)。此外，攝像次數(shù)計(jì)數(shù)器N存儲(chǔ)在例如存儲(chǔ)部250中。控制部210如果完成步驟S102的處理，則對(duì)被拍攝體501進(jìn)行拍攝(步驟S103)。 如果通過(guò)控制部210對(duì)被拍攝體501進(jìn)行拍攝，則得到2幅平行同位圖像(成對(duì)圖像)。取得的成對(duì)圖像存儲(chǔ)在例如圖像存儲(chǔ)器230中?？刂撇?10如果完成了步驟S103的處理，則基于存儲(chǔ)在圖像存儲(chǔ)器230中的成對(duì)圖像，生成三維模型(步驟S104)。三維模型(三維信息)使用例如以下的算式(1) (3) 而根據(jù)成對(duì)圖像求得。表示生成的三維模型的信息存儲(chǔ)在例如存儲(chǔ)部250中。此外，針對(duì)根據(jù)成對(duì)圖像取得三維信息的詳細(xì)方法公開(kāi)在例如數(shù)字圖像處理、2006年3月1日發(fā)行、 CG-ARTS協(xié)會(huì)中。X = (b*u)/(u_u，) (1)Y = (b*v)/(u_u，) (2)Z = (b*f)/(u_u，) (3)這里，b為光學(xué)裝置IlOA和IlOB之間的距離，稱(chēng)為基線(xiàn)長(zhǎng)。(u，ν)表示通過(guò)光學(xué)裝置IlOA拍攝的被拍攝體501的圖像上的坐標(biāo)，(u’，ν’ )表示通過(guò)光學(xué)裝置IlOB拍攝的被拍攝體501的圖像上的坐標(biāo)。算式(1) (3)中的(u-u’)為通過(guò)光學(xué)裝置IlOA和光學(xué)裝置110Β，對(duì)同一被拍攝體501進(jìn)行拍攝時(shí)得到的2幅圖像上的被拍攝體501的坐標(biāo)的差， 稱(chēng)為視差。f表示光學(xué)裝置IlOA的焦距。根據(jù)已有的說(shuō)明，光學(xué)裝置IlOA和IlOB具有相同的結(jié)構(gòu)，焦距f也相等?？刂撇?10如果完成了步驟S104的處理，則判斷攝像次數(shù)計(jì)數(shù)器N是否為1 (步驟S105)。這里，攝像次數(shù)計(jì)數(shù)器N為1表示是剛完成最初攝像之后?？刂撇?10如果判斷攝像次數(shù)計(jì)數(shù)器N為1(步驟S105 是)，則將步驟S104中生成的三維模型設(shè)定為被合成三維模型(步驟S106)。這里，被合成三維模型是合成合成三維模型的三維模型，是成為合成的基礎(chǔ)的三維模型。另一方面，控制部210如果判斷攝像次數(shù)計(jì)數(shù)器N不為1，即，不是剛完成最初攝像之后(步驟S105 否)，則執(zhí)行區(qū)域分割處理(步驟S107)。針對(duì)區(qū)域分割處理，參照?qǐng)D6 和圖7A 圖7D，進(jìn)行詳細(xì)說(shuō)明。圖6是示出步驟S107的區(qū)域分割處理的流程圖。首先，控制部210在合成三維模型上設(shè)定K個(gè)起點(diǎn)(步驟S201)。在本實(shí)施方式中，為了便于理解，示出將合成三維模型變換為合成二次模型并進(jìn)行區(qū)域分割的例子。即， 在步驟S201中，在使合成三次模型投影到規(guī)定的投影面上時(shí)，在投影到該投影面上的二維化的合成三維模型上，大致均勻設(shè)定K個(gè)起點(diǎn)510。此外，也可以通過(guò)攝像得到的圖像對(duì)的任意一個(gè)圖像上的被拍攝體501上，設(shè)定K個(gè)起點(diǎn)510。圖7A中示出，在二維化的合成三維模型上，設(shè)定K個(gè)起點(diǎn)510的圖像。控制部210如果完成了步驟S201的處理，則將以各起點(diǎn)510為中心的區(qū)域擴(kuò)大至相互重疊(步驟S202)。例如，以起點(diǎn)510為中心的區(qū)域，相互以同樣的速度擴(kuò)大，直到相互重疊為止。這里，在合成三維模型的三維空間上的多邊形表面的法線(xiàn)(多邊形法線(xiàn))急劇變化的地方，終止區(qū)域的擴(kuò)大。例如，合成三維模型的臂根部等構(gòu)成該區(qū)域的邊界線(xiàn)(三維空間上的邊界面)。圖7B示出通過(guò)這樣規(guī)則進(jìn)行區(qū)域分割的，二維化的合成三維模型的狀態(tài)。 圖7B示出二維化的合成三維模型通過(guò)邊界線(xiàn)511被分割為多個(gè)小區(qū)域(以下，稱(chēng)為“合成區(qū)域”)512的樣子。此外，圖7C中示出，分割為多個(gè)合成區(qū)域512、去除了起點(diǎn)510的二維化的合成三維模型。此外，也可以對(duì)三維中的合成三維模型進(jìn)行直接區(qū)域分割。這時(shí)，在三維中的合成三維模型上直接設(shè)定K個(gè)起點(diǎn)，以各起點(diǎn)為中心的區(qū)域擴(kuò)大至相互重疊。通過(guò)各起點(diǎn)擴(kuò)大時(shí)的邊界面，將合成三維模型分割。 控制部210如果完成了步驟S202的處理，則在被合成三維模型上設(shè)定K個(gè)起點(diǎn) (步驟S203)?？刂撇?10如果完成了步驟S203的處理，則針對(duì)二維化的被合成三維模型， 將以各起點(diǎn)510為中心的區(qū)域擴(kuò)大至相互重疊為止(步驟S204)。此外，將二維化的被合成三維模型分割為多個(gè)小區(qū)域(以下稱(chēng)為“被合成區(qū)域”)514的方法，與將二維化的合成三維模型分割為多個(gè)合成區(qū)域512的方法相同?？刂撇?10如果完成了步驟S204的處理，則完成了區(qū)域分割處理。控制部210如果完成了步驟S107的處理，則執(zhí)行三維模型合成處理(步驟S108)。 針對(duì)三維模型合成處理，參照如圖8所示的流程圖進(jìn)行詳細(xì)說(shuō)明。首先，控制部210取得立體照相機(jī)1000的相對(duì)位置(步驟S301)。具體而言，基于被合成三維模型和合成三維模型，推定相對(duì)于最初攝像時(shí)的照相機(jī)位置Cl的、成為本次合成的合成三維模型的基礎(chǔ)的成對(duì)圖像的攝像時(shí)的照相機(jī)位置的相對(duì)位置。這里，推定相對(duì)于照相機(jī)位置Cl的、照相機(jī)位置C2。即，被合成三維模型是根據(jù)從照相機(jī)位置C 1攝像得到的成對(duì)圖像而生成的三維模型，合成三維模型是根據(jù)從照相機(jī)位置C2攝像得到的成對(duì)圖像而生成的三維模型?？刂撇?10基于被合成三維模型和合成三維模型共同的、特征點(diǎn)的三維空間上的坐標(biāo)的差，推定相對(duì)的照相機(jī)位置。在本實(shí)施方式中，首先，控制部210，使將被合成三維模型以照相機(jī)位置Cl為視點(diǎn)二維投影變換時(shí)的該被合成三維模型，和將合成三維模型以照相機(jī)位置C2為視點(diǎn)二維投影變換時(shí)的該合成三維模型，這兩者的二維空間上的特征點(diǎn)對(duì)應(yīng)(例如，通過(guò)SHFT法等)。進(jìn)一步，控制部210基于通過(guò)立體攝像的建模而得到三維信息，提高特征點(diǎn)對(duì)應(yīng)的精度。而后，控制部210基于特征點(diǎn)的對(duì)應(yīng)關(guān)系，計(jì)算出相對(duì)于照相機(jī)位置Cl的照相機(jī)位置C2的相對(duì)位置。此外，在本實(shí)施方式中，在最初攝像時(shí)，被拍攝體 501的左臂沒(méi)有舉起，在第2次攝像時(shí)，被拍攝體501的左臂移動(dòng)，舉了起來(lái)。所以，如果嚴(yán)格地說(shuō)，最初攝像時(shí)的被拍攝體501和第2次攝像時(shí)的被拍攝體501的坐標(biāo)并非完全一致。 但是，將左臂看作噪音。由此，可推定大致的相對(duì)照相機(jī)位置?？刂撇?10如果完成了步驟S301的處理，則基于步驟S301中求得的相對(duì)的照相機(jī)位置，將合成三維模型的坐標(biāo)系和被合成三維模型的坐標(biāo)系對(duì)準(zhǔn)(步驟S302)?？刂撇?10如果完成了步驟S302的處理，則從二維化的合成三維模型的多個(gè)合成區(qū)域512中，選擇1個(gè)合成區(qū)域512 (步驟S303)。這里，對(duì)從多個(gè)合成區(qū)域512中選擇合成區(qū)域513進(jìn)行說(shuō)明?？刂撇?10如果完成了步驟S303的處理，則指定與步驟S303中選擇的合成區(qū)域513相對(duì)應(yīng)的被合成區(qū)域514 (步驟S304)。即，控制部210指定構(gòu)成三維空間中的被合成三維模型的區(qū)域中、與所選擇的合成區(qū)域513對(duì)應(yīng)的三維空間上的區(qū)域的鄰近區(qū)域。此外，在步驟S302中，由于將合成三維模型和被合成三維模型的坐標(biāo)系對(duì)準(zhǔn)，可進(jìn)行臨近計(jì)算。這里，在合成區(qū)域513中，被合成區(qū)域515為對(duì)應(yīng)的區(qū)域?？刂撇?10如果完成了步驟S304的處理，則求出用于將步驟S303中選擇的合成區(qū)域513合并在步驟S304中指定的被合成區(qū)域515中的坐標(biāo)變換參數(shù)(步驟S305)。坐標(biāo)變換參數(shù)以為4X4的矩陣的H表示。通過(guò)以下所示的算式G)，將表示合成區(qū)域513的坐標(biāo)的W’變換為表示被合成區(qū)域515的坐標(biāo)W。kff = HW' (4)這里，k為任意值，W、W’為同維坐標(biāo)。從而，維度擴(kuò)展，將1放置在第4維中。H通過(guò)3X3的旋轉(zhuǎn)矩陣式R，和3X 1的平移向量T，以下式所示的算式(5)表示。
權(quán)利要求
1.一種三維建模裝置，包括接受單元，其接受通過(guò)使用立體照相機(jī)從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入；生成單元，其基于上述接受的多個(gè)圖像的組中的任意一個(gè)，分別生成上述被拍攝體的多個(gè)三維模型；選擇單元，其從上述生成的多個(gè)三維模型中，選擇被合成三維模型、和合成在該被合成三維模型中的合成三維模型；分割單元，其將上述選擇的合成三維模型分割為多個(gè)合成區(qū)域；指定單元，其分別指定與上述多個(gè)合成區(qū)域中的任意一個(gè)相對(duì)應(yīng)的、上述被合成三維模型中的多個(gè)被合成區(qū)域；取得單元，其分別取得用于將上述多個(gè)合成區(qū)域中的任意一個(gè)重合在與該任意一個(gè)合成區(qū)域相對(duì)應(yīng)的被合成區(qū)域上的多個(gè)坐標(biāo)變換參數(shù)；變換單元，其基于上述取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)上述多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換；禾口更新單元，其將由上述變換單元進(jìn)行了坐標(biāo)變換后的多個(gè)合成區(qū)域合成在上述指定的多個(gè)被合成區(qū)域中，從而更新上述被合成三維模型。
2.根據(jù)權(quán)利要求1所述的三維建模裝置，其中上述選擇單元，在由上述更新單元對(duì)上述被合成三維模型進(jìn)行更新之后，將該更新的被合成三維模型選擇為新的被合成三維模型，并且，從上述生成的多個(gè)三維模型中，選擇未選擇的三維模型作為新的合成三維模型。
3.根據(jù)權(quán)利要求1所述的三維建模裝置，其中上述分割單元進(jìn)一步將上述選擇的被合成三維模型分割為多個(gè)被合成區(qū)域，上述指定單元從通過(guò)上述分割單元得到的多個(gè)被合成區(qū)域中，選擇與上述多個(gè)合成區(qū)域相對(duì)應(yīng)的多個(gè)被合成區(qū)域。
4.根據(jù)權(quán)利要求1所述的三維建模裝置，其中上述更新單元，按照使距上述變換單元進(jìn)行坐標(biāo)變換后的多個(gè)合成區(qū)域的邊界面的歐幾里得距離、與距上述指定的多個(gè)被合成區(qū)域的邊界面的歐幾里得距離一致的面成為構(gòu)成新的被合成三維模型的面的方式，更新上述被合成三維模型。
5.根據(jù)權(quán)利要求1所述的三維建模裝置，其中上述分割單元，按照如下方式分割上述選擇的合成三維模型(1)在上述選擇的合成三維模型中設(shè)定多個(gè)起點(diǎn)，(2)將分別以上述設(shè)定的多個(gè)起點(diǎn)為中心的多個(gè)區(qū)域擴(kuò)大至相互重疊，(3)使上述擴(kuò)大至相互重疊的多個(gè)區(qū)域成為上述多個(gè)合成區(qū)域。
6.根據(jù)權(quán)利要求1所述的三維建模裝置，其中上述指定單元基于包含在上述多個(gè)合成區(qū)域中的特征點(diǎn)、與包含在上述被合成三維模型中的特征點(diǎn)的關(guān)系，來(lái)指定上述多個(gè)被合成區(qū)域。
7.—種三維建模方法，由三維建模裝置執(zhí)行， 具備如下步驟接受步驟，接受通過(guò)使用立體照相機(jī)從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入；生成步驟，基于上述接受的多個(gè)圖像的組中的任意一個(gè)，分別生成上述被拍攝體的多個(gè)三維模型；選擇步驟，從上述生成的多個(gè)三維模型中，選擇被合成三維模型、和合成在該被合成三維模型中的合成三維模型；分割步驟，將上述選擇的合成三維模型分割為多個(gè)合成區(qū)域； 指定步驟，分別指定與上述多個(gè)合成區(qū)域中的任意一個(gè)相對(duì)應(yīng)的、上述被合成三維模型中的多個(gè)被合成區(qū)域； 取得步驟，分別取得用于將上述多個(gè)合成區(qū)域中的任意一個(gè)重合在與該任意一個(gè)合成區(qū)域相對(duì)應(yīng)的被合成區(qū)域上的多個(gè)坐標(biāo)變換參數(shù)；變換步驟，基于上述取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)上述多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換；以及更新步驟，通過(guò)將上述坐標(biāo)變換后的多個(gè)合成區(qū)域合成在上述指定的多個(gè)被合成區(qū)域中，更新上述被合成三維模型。
全文摘要
本發(fā)明提供一種三維建模裝置，恰當(dāng)?shù)貙?duì)被拍攝體進(jìn)行三維建模。接受部(11)接受通過(guò)使用立體照相機(jī)，從不同角度對(duì)被拍攝體多次拍攝而得到的多個(gè)圖像的組的輸入。生成部(12)生成多個(gè)基于多個(gè)圖像的組的被拍攝體的三維模型。選擇部(13)選擇被合成三維模型，和合成三維模型。分割部(14)將選擇的合成三維模型分割為多個(gè)合成區(qū)域。指定部(15)指定與多個(gè)合成區(qū)域相對(duì)應(yīng)的、被合成三維模型中的多個(gè)被合成區(qū)域。取得部(16)取得用于將多個(gè)合成區(qū)域重疊在多個(gè)被合成區(qū)域上的多個(gè)坐標(biāo)變換參數(shù)。變換部(17)基于取得的多個(gè)坐標(biāo)變換參數(shù)，對(duì)多個(gè)合成區(qū)域進(jìn)行坐標(biāo)變換。更新部(18)將坐標(biāo)變換后的多個(gè)合成區(qū)域合成在指定的多個(gè)被合成區(qū)域中。
文檔編號(hào)G06T17/00GK102236911SQ20111011724
公開(kāi)日2011年11月9日 申請(qǐng)日期2011年3月16日 優(yōu)先權(quán)日2010年3月17日
發(fā)明者中島光康, 吉濱由紀(jì), 山谷崇史, 櫻井敬一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社