圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序的制作方法
圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序的制作方法
【專利摘要】提供一種能夠簡便且高精度地掌握視差量的異常的圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序。在作為實(shí)施加工的對象的幀顯示于監(jiān)視器的期間，使視差量（進(jìn)深側(cè)視差量圖表和近前側(cè)視差量圖表）和用于判斷該視差量是否超量的指標(biāo)（凹側(cè)允許界限線、凸側(cè)允許界限線及標(biāo)志）能夠?qū)Ρ鹊仫@示。
【專利說明】圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序?！颈尘凹夹g(shù)】
[0002]以往，提出了具有多個攝像部而生成體視圖像的復(fù)眼攝像裝置。復(fù)眼攝像裝置基于由多個攝像部分別生成的多個視點(diǎn)圖像來生成體視圖像，并將該體視圖像顯示于體視顯示用監(jiān)視器。 [0003]由復(fù)眼攝像裝置拍攝到的體視圖像的立體感受使用者雙眼的距離、從體視顯示用監(jiān)視器到使用者的距離所左右，因此對于復(fù)眼攝像裝置的體視功能，存在個人差異大的問題。因此，在復(fù)眼攝像裝置中，能夠根據(jù)使用者的操作來調(diào)整多個視點(diǎn)圖像的視差，從而調(diào)整體視圖像的立體感。
[0004]因此，提出了以下技術(shù):不論顯示體視圖像的顯示器的種類如何，都進(jìn)行與最初進(jìn)行了視差量調(diào)整的使用者意圖一致的視差量調(diào)整(參照日本特開2005-73012號公報)。根據(jù)該技術(shù)，基于視差量的變更要求來生成與視差量的調(diào)整相關(guān)的信息，將其變換為不依賴于顯示器種類的單位的信息并記錄。并且，當(dāng)所記錄的信息被讀出時，基于該信息來生成與視差量的調(diào)整相關(guān)的信息，基于該信息來生成立體顯示用的圖像。
[0005]并且，在日本特開2004-221700號公報中，提出了在顯示體視圖像的期間確定與使用者意圖一致的視差的技術(shù)。根據(jù)日本特開2004-221700號公報中記載的技術(shù)，根據(jù)使用者的指示來確定顯示裝置所顯示的體視圖像的界限視差，以在顯示體視圖像之前實(shí)現(xiàn)適當(dāng)?shù)囊暡畹姆绞竭M(jìn)行圖像處理。
[0006]但是，日本特開2005-73012號公報及日本特開2004-221700號公報中記載的技術(shù)均存在以下問題:在最初的階段存在問題的情況下，例如根據(jù)由攝像部獲得的多個視點(diǎn)圖像求出的視差量本身存在問題的情況下，無法檢測出視差調(diào)整對象的情況下，即使使用日本特開2005-73012號公報及日本特開2004-221700號公報的技術(shù)，也無法適當(dāng)?shù)剡M(jìn)行視差調(diào)整。因此，提出了以下技術(shù):在未進(jìn)行適當(dāng)?shù)囊暡钫{(diào)整而將圖像顯示于畫面上的情況下，由使用者掌握畫面上所顯示的圖像的視差量為何種程度(例如參照日本特開2008-103820號公報)。
[0007]在日本特開2008-103820號公報中提出了以下技術(shù):在重放包括立體圖像數(shù)據(jù)的動畫數(shù)據(jù)時，能夠一眼判斷出視差的分布。根據(jù)該技術(shù)，通過將視差的大小每隔一定的范圍改變顏色而使使用者識別視差的大小，由此能夠?qū)⑹褂谜咭曈X確認(rèn)包括立體圖像的動畫時對活體的不良影響防患于未然。
【發(fā)明內(nèi)容】
[0008]發(fā)明要解決的問題
[0009]但是，在日本特開2008-103820號公報記載的技術(shù)中存在如下問題:雖然使用者能夠一眼判斷出視差量，但難以掌握該視差量是否為異常。
[0010]本發(fā)明鑒于這一情況而提出，其目的在于提供能夠簡便且高精度地掌握視差量的異常的圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序。[0011]用于解決問題的方法
[0012]為了實(shí)現(xiàn)上述目的，本發(fā)明的第一方式的圖像加工裝置構(gòu)成為包括:圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像；視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量；顯示單元，將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示；接收單元，接收加工指示信息，該加工指示信息指示對上述巾貞圖像的視差量的加工；加工單元，對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及控制單元，控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述巾貞圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
[0013]并且，本發(fā)明的第二方式的圖像加工裝置在第一方式的圖像加工裝置的基礎(chǔ)上，上述視差量獲取單元基于在上述幀圖像內(nèi)作為視差量的獲取對象的被攝體圖像而預(yù)先規(guī)定的被攝體圖像來取得視差量。
[0014]并且，本發(fā)明的第三方式的圖像加工裝置在第二方式的圖像加工裝置的基礎(chǔ)上，將上述預(yù)先規(guī)定的被攝體圖像設(shè)為上述幀圖像內(nèi)的具有規(guī)定值以上的空間頻率的被攝體圖像。
[0015]并且，本發(fā)明的第四方式的圖像加工裝置在第一至第三中任一方式的圖像加工裝置的基礎(chǔ)上，上述控制單元進(jìn)一步控制上述顯示單元，使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將表示視差量的允許界限的信息、表示視差量的經(jīng)時變化的信息、在表示該視差量的經(jīng)時變化的信息中能夠確認(rèn)當(dāng)前顯示的幀圖像的視差的信息建立對應(yīng)并進(jìn)行顯示。
[0016]并且，本發(fā)明的第五方式的圖像加工裝置在第四方式的圖像加工裝置的基礎(chǔ)上，使表示上述視差量的允許界限的信息和表示上述視差量的經(jīng)時變化的信息與被攝體圖像的進(jìn)深側(cè)和近前側(cè)分別對應(yīng)。
[0017]并且，本發(fā)明的第六方式的圖像加工裝置在第一至第五中任一方式的圖像加工裝置的基礎(chǔ)上，還包括異常判定單元，該異常判定單元以下情況中的至少一種情況下判定為上述視差量有異常:由上述視差量獲取單元取得的視差量的一定期間的變動大于規(guī)定值的情況、上述視差量達(dá)到預(yù)先規(guī)定的允許界限值的情況和無法檢測出上述視差量的獲取對象的情況，上述控制單元進(jìn)一步控制上述顯示單元，使得在由上述異常判定單元判定為視差量為異常的情況下，與該視差量所對應(yīng)的幀圖像的顯示同步地顯示警告。
[0018]并且，本發(fā)明的第七方式的圖像加工裝置在第六方式的圖像加工裝置的基礎(chǔ)上，還包括視差調(diào)整單元，在通過上述異常判定單元判定為上述視差量無異常的情況下，該視差調(diào)整單元進(jìn)行第一視差調(diào)整，在由上述異常判定單元判定為上述視差量有異常的情況下，該視差調(diào)整單元切換到與上述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制來進(jìn)行視差調(diào)整，上述控制單元進(jìn)一步控制上述顯示單元，使得在作為由上述加工單元實(shí)施加工的對象的上述幀圖像顯示于上述顯示單元的情況下，對被上述視差調(diào)整單元進(jìn)行了上述視差調(diào)整的上述幀圖像進(jìn)行顯示。
[0019]并且，本發(fā)明的第八方式的圖像加工裝置在第七方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元在預(yù)先規(guī)定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整。
[0020]并且，本發(fā)明的第九方式的圖像加工裝置在第七或第八方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元使用前一幀的視差量來進(jìn)行視差調(diào)整。
[0021]并且，本發(fā)明的第十方式的圖像加工裝置在第七至第八中任一方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元降低視差調(diào)整頻率。
[0022]并且，本發(fā)明的第十一方式的復(fù)眼攝像裝置構(gòu)成為包括:第一至第十中任一方式的圖像加工裝置；及攝像單元，通過從多個視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成上述連續(xù)幀圖像。
[0023]并且，本發(fā)明的第十二方式的圖像加工方法中，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像，基于構(gòu)成所取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量，將構(gòu)成所取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工，對所顯示的上述幀圖像實(shí)施由接收到的加工指示信息所指示的視差量的加工，在對視差量的加工被指示后的上述幀圖像進(jìn)行顯示的期間，將與所取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯不O
[0024]并且，本發(fā)明的第十三方式的程序用于使計(jì)算機(jī)作為以下單元發(fā)揮功能:圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像；視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量；將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式顯示于顯示單元的單元；接收單元，接收加工指示信息,該加工指示信息指示對上述巾貞圖像的視差量的加工；加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及控制單元，控制上述顯示單元，使得在上述加工單元對視差量的加工被指示后的上述巾貞圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
[0025]發(fā)明效果
[0026]根據(jù)本發(fā)明，可獲得能夠簡便且高精度地掌握視差量的異常的效果。
【專利附圖】
【附圖說明】
[0027]圖1是表示圖像重放加工裝置的概略的立體圖。
[0028]圖2是表示圖像重放加工裝置的顯示裝置側(cè)的概略構(gòu)成的框圖。
[0029]圖3是表示體視用的圖像文件的文件格式的圖。
[0030]圖4是表示圖像重放加工裝置的液晶快門眼鏡側(cè)的概略構(gòu)成的框圖。
[0031]圖5是表示第一基本方式涉及的3D動畫編輯例程的流程圖。
[0032]圖6是表示第一視差量獲取例程的流程圖。[0033]圖7是表示第二視差量獲取例程的流程圖。
[0034]圖8是表示視差量顯示畫面的顯示例的示意圖。
[0035]圖9A是表示使視差量顯示畫面重疊于監(jiān)視器所顯示的幀上的狀態(tài)的一例的圖，表不視差量正常時的例子。
[0036]圖9B是表示使視差量顯示畫面重疊于監(jiān)視器所顯示的幀上的狀態(tài)的一例的圖，表示視差量異常時的例子。
[0037]圖10是表示第一波動有無判定例程的流程圖。
[0038]圖11是表示第二波動有無判定例程的流程圖。
[0039]圖12是表不第一實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0040]圖13是表示第一實(shí)施方式涉及的圖像重放加工裝置的變形例的構(gòu)成圖。
[0041]圖14是表示第二基本方式涉及的3D動畫編輯例程的流程圖。
[0042]圖15是表不第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0043]圖16是圖15所示的流程圖的延續(xù)。
[0044]圖17是表不第二基本方式涉及的3D動畫編輯例程的流程圖。
[0045]圖18是表不第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0046]圖19是圖18所示的流程圖的延續(xù)。
[0047]圖20是表示第四基本方式涉及的3D動畫編輯例程的流程圖。
[0048]圖2IA是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0049]圖2IB是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0050]圖21C是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0051]圖22是表不第四實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0052]圖23是圖22所示的流程圖的延續(xù)。
[0053]圖24是復(fù)眼相機(jī)的正面?zhèn)攘Ⅲw圖。
[0054]圖25是復(fù)眼相機(jī)的背面?zhèn)攘Ⅲw圖。
[0055]圖26是表示復(fù)眼相機(jī)的內(nèi)部構(gòu)成的概略框圖。
[0056]圖27是表示攝影部的構(gòu)成的圖。
[0057]圖28是表示監(jiān)視器的構(gòu)成的圖。
[0058]圖29是表示柱面透鏡片的構(gòu)成的圖。
[0059]圖30是用于說明對左眼用及右眼用圖像的三維處理的圖。
[0060]圖31是表不視差相關(guān)彳目息的一例的圖。
[0061]圖32A是用于說明視差相關(guān)信息的圖。
[0062]圖32B是用于說明視差相關(guān)信息的圖。
【具體實(shí)施方式】
[0063](第一基本方式)
[0064]圖1是表示作為后述的本發(fā)明的第一實(shí)施方式的前提的第一基本方式涉及的圖像重放加工裝置10的概略的圖。
[0065]如圖1所示，圖像重放加工裝置10具有顯示體視圖像的顯示裝置12及液晶快門眼鏡14。并且，顯示裝置12具有進(jìn)行各種顯示的監(jiān)視器12A。而且，顯示裝置12具有操作部13，該操作部13構(gòu)成為包括:電源按鈕13A，接通電源時被按壓操作；重放開始按鈕13B，重放體視圖像時被按壓操作；重放停止按鈕13C，停止體視圖像的重放時被按壓操作；菜單按鈕13D，在將包括由使用者選擇的信息在內(nèi)的菜單畫面顯示于監(jiān)視器12A時被按壓操作；取消按鈕13E，監(jiān)視器12A所顯示的信息由使用者選擇而取消所選擇的信息時被按壓操作；確定按鈕13F，監(jiān)視器12A所顯示的信息由使用者選擇而確定所選擇的信息時被按壓操作；及十字鍵13G，選擇監(jiān)視器12A所顯示的信息時被操作。
[0066]此外，在該第一基本方式中，以如下方式為例進(jìn)行說明:將左眼用圖像Gl和右眼用圖像G2交替顯示于顯示裝置12，并且以交替驅(qū)動液晶快門使得在左眼用圖像Gl被顯示時液晶快門眼鏡14的右眼的液晶快門變?yōu)橥干錉顟B(tài)、在右眼用圖像G2被顯示時液晶快門眼鏡14的左眼的液晶快門變?yōu)橥干錉顟B(tài)的方式重放三維立體影像以作為體視圖像進(jìn)行視覺確認(rèn)。此外，在該第一基本方式中，以使用液晶快門眼鏡14來重放三維立體影像的圖像重放加工裝置作為一例來進(jìn)行說明，但不限于此，例如也可以適用使用偏振濾光眼鏡來重放三維立體影像的裝置，還可以適用以不使用眼鏡的方式來重放三維立體影像的方式的圖像重放加工裝置。并且，在該第一基本方式中，通過長按(例如I秒以上的按壓操作)重放開始按鈕13B來執(zhí)行后述的3D動畫編輯例程。
[0067]圖2是表示該第一基本方式涉及的圖像重放加工裝置10的顯示裝置12側(cè)的概略構(gòu)成的框圖。
[0068]顯示裝置12具有同步通信部16、圖像處理部18、壓縮/解壓縮處理部20、幀存儲器22、介質(zhì)控制部24、內(nèi)部存儲器26、三維處理部28、顯示控制部30及CPU32，它們經(jīng)由總線BUS相互連接。并且，在介質(zhì)控制部24連接有記錄介質(zhì)34，在顯示控制部30連接有監(jiān)視器12A。而且，在CPU32連接有操作部13。
[0069]同步通信部16進(jìn)行信號的發(fā)送及接收，該信號用于使液晶快門眼鏡14的左右的液晶快門的驅(qū)動與顯示裝置12所顯示的左眼用及右眼用的各圖像同步。
[0070]圖像處理部18對表示應(yīng)顯示的圖像的圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度校正、銳度校正、顏色校正等各種圖像處理。
[0071]壓縮/解壓縮處理部20對由圖像處理部18實(shí)施了處理的圖像數(shù)據(jù)例如以JPEG、MPEG等壓縮格式進(jìn)行壓縮處理，生成體視用的圖像文件H)，或在重放時進(jìn)行對被壓縮的圖像數(shù)據(jù)進(jìn)行解壓縮的處理。圖像文件H)具有左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)，而且，包括基于例如Exif格式的基線長、收斂角及攝影時間等附帶信息及表示視點(diǎn)位置的視點(diǎn)息。
[0072]圖3是表示體視用的圖像文件的文件格式的圖。體視用的圖像文件H)存儲有左眼用圖像Gl的附帶信息H1、左眼用圖像Gl的視點(diǎn)信息S1、左眼用圖像Gl的圖像數(shù)據(jù)、右眼用圖像G2的附帶信息H2、右眼用圖像G2的視點(diǎn)信息S2及右眼用圖像G2的圖像數(shù)據(jù)。并且，雖未圖示，但在左眼用圖像Gl及右眼用圖像G2的附帶信息、視點(diǎn)信息及圖像數(shù)據(jù)的前后包含表示數(shù)據(jù)的開始位置及結(jié)束位置的信息。
[0073]附帶信息Hl、H2包括左眼用圖像Gl及右眼用圖像G2的攝影日、基線長及收斂角的信息。附帶信息H1、H2也包括左眼用圖像Gl及右眼用圖像G2的縮略圖圖像。此外，作為視點(diǎn)信息，例如能夠使用從左側(cè)的攝影部開始依次賦予的視點(diǎn)位置的序號。
[0074]幀存儲器22是對圖像數(shù)據(jù)進(jìn)行圖像處理部18所進(jìn)行的處理的各種處理時使用的作業(yè)用存儲器。
[0075]介質(zhì)控制部24對記錄介質(zhì)34進(jìn)行存取，例如進(jìn)行圖像文件等的寫入和讀入的控制。
[0076]內(nèi)部存儲器26例如存儲表示顯示裝置12的各種設(shè)定的信息及CPU35所執(zhí)行的程序。
[0077]三維處理部28讀出記錄介質(zhì)34中所存儲的圖像數(shù)據(jù)，并控制顯示控制部30，使得與通過同步通信部16進(jìn)行的與液晶快門眼鏡14的通信所獲得的同步信號同步地交替顯示用于顯示體視圖像的左眼用圖像Gl和右眼用圖像G2，從而顯示體視圖像GR。并且，在圖像數(shù)據(jù)中未記錄每幀的視差信息的情況下，三維處理部28檢測主要被攝體，進(jìn)行算出每幀的視差的處理。并且，三維處理部28也能夠調(diào)整左眼用圖像Gl及右眼用圖像G2的視差。在此，視差是指左眼用圖像Gl及右眼用圖像G2兩者含有的被攝體的、左眼用圖像Gl及右眼用圖像G2的橫向、即沿著基線的方向上的像素位置的偏移量。通過調(diào)整視差，能夠使體視圖像GR中含有的被攝體的立體感適當(dāng)。
[0078]在立體視的情況下，顯示控制部30通過三維處理部28的控制而使左眼用圖像Gl和右眼用圖像G2交替顯示于監(jiān)視器12A。
[0079]圖4是表示第一基本方式涉及的圖像重放加工裝置10的液晶快門眼鏡14側(cè)的概略構(gòu)成的框圖。
[0080]液晶快門眼鏡14具有同步通信部36、液晶快門驅(qū)動部38、右眼用液晶快門40及左眼用液晶快門42。
[0081]同步通信部36進(jìn)行信號通信，該信號用于使左右的液晶快門的驅(qū)動與顯示裝置12所顯示的左右各自的圖像同步。
[0082]液晶快門驅(qū)動部38與通過同步通信部36進(jìn)行的與顯示裝置12的通信所獲得的同步信號同步地控制右眼用液晶快門40及左眼用液晶快門42的驅(qū)動。由此，在左眼用圖像Gl顯示于顯示裝置12的監(jiān)視器12A時，右眼用液晶快門40變?yōu)橥干錉顟B(tài)而左眼用液晶快門42變?yōu)檎趽鯛顟B(tài)，在右眼用圖像G2顯示于顯示裝置12的監(jiān)視器12A時，左眼用液晶快門42變?yōu)橥干錉顟B(tài)而右眼用液晶快門40變?yōu)檎趽鯛顟B(tài)，體視圖像被重放。
[0083]在如上構(gòu)成的顯示裝置12中，由CPU32執(zhí)行下述的3D動畫編輯例程。此外，3D動畫編輯例程的程序預(yù)先存儲于內(nèi)部存儲器26中。
[0084](3D動畫編輯例程)
[0085]圖5是表示3D動畫編輯例程的流程圖。另外在此，為了避免混亂，作為在本3D動畫編輯例程中實(shí)際實(shí)施的編輯菜單，對剪切、組合、縮放、剪輯、旋轉(zhuǎn)、色調(diào)校正、圖像(靜止圖像/動畫/文字等)的重疊、幀率轉(zhuǎn)換、交錯轉(zhuǎn)換、反轉(zhuǎn)、淡入/淡出、鑲嵌、格式轉(zhuǎn)換等預(yù)先規(guī)定的多個編輯菜單中的任一個已由使用者指定了的情況進(jìn)行說明。
[0086]在步驟100中，當(dāng)3D動畫的編輯開始的指示經(jīng)由重放開始按鈕13B被輸入時，開始三維動畫編輯，前進(jìn)到步驟102。在步驟102中，由三維處理部28取得基于記錄介質(zhì)34中所存儲的構(gòu)成編輯對象的動畫數(shù)據(jù)(連續(xù)幀)的圖像文件H)的左眼用圖像Gl及右眼用圖像G2的視差量。在此，執(zhí)行第一或第二視差量獲取例程，三維處理部30進(jìn)行下一處理。
[0087](視差量的取得)
[0088]圖6是表示第一視差量獲取例程的流程圖。三維處理部28首先分別檢測多個圖像、即記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2中的同一人物的臉部區(qū)域，取得表示這些臉部區(qū)域的坐標(biāo)的臉部檢測坐標(biāo)(步驟200)，算出所取得的臉部檢測坐標(biāo)的坐標(biāo)差(步驟202)，根據(jù)坐標(biāo)差算出視差量(步驟204)。
[0089]圖7是表示第二視差量獲取例程的流程圖。三維處理部28首先分別檢測多個圖像、即記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2中的同一對象，取得確定這些對象的特征點(diǎn)的坐標(biāo)即特征點(diǎn)坐標(biāo)(步驟210)，算出所取得的特征點(diǎn)坐標(biāo)的坐標(biāo)差(步驟212)，根據(jù)坐標(biāo)差算出視差量(步驟214)。并且，當(dāng)?shù)谝换虻诙暡盍揩@取例程結(jié)束時，前進(jìn)到圖5所示的步驟104。
[0090](視差量的顯示)
[0091]在步驟104中，在將通過上述步驟102的處理獲得的視差量和用于判斷該視差量是否為異常的指標(biāo)能夠?qū)Ρ鹊仫@示于監(jiān)視器12A后，前進(jìn)到步驟106。圖8表示視差量和指標(biāo)能夠?qū)Ρ鹊仫@示于監(jiān)視器12A的狀態(tài)的一例。如圖8所示，本實(shí)施方式涉及的顯示裝置12的監(jiān)視器12A上，包括對在幀內(nèi)的進(jìn)深方向上對稱的對象(被攝體圖像)的視差量的允許界限范圍進(jìn)行規(guī)定的凹側(cè)允許界限線401 (表示允許界限范圍的最大值的直線圖像)及凸側(cè)允許界限線402 (表示允許界限范圍的最小值的直線圖像)的視差量顯示畫面40顯示于監(jiān)視器12A。并且，表示上述對稱的對象中的進(jìn)深側(cè)的對象即凹側(cè)對象的視差量410的經(jīng)時變化的進(jìn)深側(cè)視差量圖表403及表示上述對稱的對象中的近前側(cè)的對象即凸側(cè)對象的視差量411的經(jīng)時變化的近前側(cè)視差量圖表404與凹側(cè)允許界限線及凸側(cè)允許界限線能夠?qū)Ρ鹊刂丿B顯示于視差量顯示畫面40上。并且，在基于當(dāng)前時刻下監(jiān)視器12A所顯示的幀的視差量所對應(yīng)的部位，標(biāo)識被重疊顯示于視差量顯示畫面40上。因此，標(biāo)識在監(jiān)視器12A隨著幀的顯示進(jìn)行而改變位置。在圖8所示的例子中，標(biāo)識從視差量顯示畫面40的左端405(表示動畫重放開始點(diǎn)的位置)向右端406 (表示動畫重放結(jié)束點(diǎn)的位置)以與幀的顯示速度相同的速度移動。并且，在圖8所示的例子中，作為標(biāo)識而適用縱貫凹側(cè)視差量允許界限線407、凸側(cè)視差量允許界限線408、進(jìn)深側(cè)視差量圖表403及近前側(cè)視差量圖表404的縱貫線409 (標(biāo)識，當(dāng)前的顯示位置)，但不限于此，只要是至少對于進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表基于當(dāng)前時刻下監(jiān)視器12A所顯示的幀的視差量所對應(yīng)的部位在視覺上能夠確定的顯示方式的標(biāo)識，則可以是任意的標(biāo)識。附圖標(biāo)記412表示交叉點(diǎn)。
[0092]這樣一來，通過在視差量顯示畫面40上重疊顯示進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表，若進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的至少一方未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)則使用者(例如3D動畫的編輯者)能夠判斷為視差量超過了允許界限范圍，若進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的至少一方收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)則使用者(例如3D動畫的編輯者)能夠判斷為視差量未超過允許界限范圍。此外，允許界限范圍根據(jù)幀的假定顯示尺寸而變動，因此也可以變更假定顯示尺寸并將其變更結(jié)果反映到進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表。
[0093]在步驟106中，作為一例，如圖9A及圖9B所示，在監(jiān)視器12A顯示編輯對象的動畫數(shù)據(jù)中含有的幀，并且將視差量顯示畫面40重疊于幀的一部分而顯示。
[0094]在下一步驟108中，對于當(dāng)前時刻下監(jiān)視器12A所顯示的幀，判定由三維處理部28取得的視差量是否有異常，在判定為有異常的情況下，前進(jìn)到步驟110，在判定為無異常的情況下，前進(jìn)到步驟114。在該步驟108中，基于以下任一個來判定視差量的異常:(I)視差量是否存在波動；(2)視差量是否為允許界限；(3)是否錯過了視差調(diào)整對象而無法檢測出。
[0095](I)波動有無的判定
[0096]在步驟108中，CPU32執(zhí)行如下所示的第一或第二波動有無判定例程。此外，第一及第二波動有無判定例程的程序預(yù)先存儲于內(nèi)部存儲器26中。
[0097]圖10是表示第一波動有無判定例程的流程圖。CPU32取得由三維處理部28獲得的一定期間的視差量(步驟220)，算出所取得的視差量的偏差S (步驟222)。并且，CPU32判定偏差S是否小于波動閾值T (S〈T)(步驟224)。在S〈T的情況下，判定為無波動(視差量無異常)，前進(jìn)到圖5的步驟114，在不是S〈T的情況下，判定為有波動(視差量有異常)，前進(jìn)到圖5的步驟110。
[0098]圖11是表示第二波動有無判定例程的流程圖。CPU32取得由三維處理部28獲得的當(dāng)前幀和前一幀的視差量的變化量D(步驟230)。并且，CPU32判定變化量D是否小于波動閾值T (D〈T)(步驟232)。在D〈T的情況下，判定為無波動(視差量無異常)，前進(jìn)到圖5的步驟114，在不是D〈T的情況下，判定為有波動(視差量有異常)，前進(jìn)到圖5的步驟110。
[0099](2)視差量的允許界限判定
[0100]在步驟108中，CPU32也可以判定視差量是否達(dá)到預(yù)先規(guī)定的允許界限值。在此，允許界限是指表示體視圖像中所顯示的物體的過凸或過凹的視差量的閾值。在視差量達(dá)到允許界限值的情況下，前進(jìn)到步驟110，在視差量未達(dá)到允許界限的情況下，前進(jìn)到步驟114。
[0101](3)視差調(diào)整對象的判定
[0102]在步驟108中，CPU32也可以判定是否錯過了視差調(diào)整對象而無法檢測出。視差調(diào)整對象是指例如人物的臉部等畫面中心位置附近所存在的對象、多個特征點(diǎn)等。
[0103]在此，在例如10幀未檢測出視差調(diào)整對象的情況下，CPU32判定為錯過了視差調(diào)整對象，前進(jìn)到作為控制單元的步驟110，在10幀未檢測出視差調(diào)整對象的情況下，前進(jìn)到步驟114。此外，“10幀”僅是一例，也可以是其他幀數(shù)。由此，在錯過了視差調(diào)整對象的情況下，切換視差調(diào)整控制，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0104](視差量異常信息的顯示)
[0105]在步驟110中，作為一例，如圖9B所示，在監(jiān)視器12A，將表示視差量有異常的視差量異常信息450 (作為一例是圖9B所示的“NG”這一表示視差量警告的文字)與幀重疊地顯示。由此，使用者能夠易于掌握基于當(dāng)前時刻下所顯示的幀的視差量為異常這一情況。此夕卜，在本實(shí)施方式中，以可視顯示為例進(jìn)行了說明，但不限于此，也可以可聽顯示視差量有異常。并且，也可以同時使用可視顯示和可聽顯示。
[0106](視差調(diào)整控制的切換)
[0107]在下一步驟112中，在CPU32將視差調(diào)整控制切換到其他控制后，前進(jìn)到步驟114。在該步驟112中，執(zhí)行第一及第二切換處理中的任一個處理。
[0108]作為第一切換處理，CPU32定義每幀的視差量最大變化量，并設(shè)定于三維處理部28，從而對每幀的視差量的變化量加以限制。由此，能夠在視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整，抑制視差量的急劇的變化，所以能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0109]并且，作為第二切換處理，CPU32跳過該幀的視差調(diào)整(禁止該幀的視差調(diào)整)，而原封不動地繼續(xù)前一幀的視差調(diào)整。即，使用前一幀的視差量。由此，即使在視差量有異常的情況下，也能夠跳過視差調(diào)整，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0110]在步驟114中，CPU32使三維處理部28實(shí)施視差調(diào)整，將進(jìn)行了視差調(diào)整的左眼用圖像Gl及右眼用圖像G2輸出到顯示控制部30，前進(jìn)到步驟116。
[0111]在步驟116中，CPU32對當(dāng)前時刻下所顯示的幀實(shí)施由使用者預(yù)先指定的編輯。此夕卜，在該步驟116中，根據(jù)使用者的指示操作對一幅單位的幀實(shí)施編輯，但不限于此，也可以匯總多個幀進(jìn)行編輯。
[0112]在下一步驟118中，CPU32判定是否通過重放停止按鈕13C輸入了動畫重放停止的指示，在肯定判定的情況下，結(jié)束本例程，在否定判定的情況下轉(zhuǎn)換到下一幀的處理，再次返回到步驟106。
[0113]如上所述，在圖像重放加工裝置10中，在作為實(shí)施加工的對象的幀顯示于監(jiān)視器12A的期間，進(jìn)行控制使得視差量(進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表)和用于判斷該視差量是否異常的指標(biāo)(凹側(cè)允許界限線、凸側(cè)允許界限線及標(biāo)識)能夠?qū)Ρ鹊仫@示，因此能夠簡便且高精度地掌握視差量的異常。
[0114]并且，在圖像重放加工裝置10中，能夠在實(shí)際實(shí)施編輯前的階段掌握構(gòu)成作為編輯對象的動畫數(shù)據(jù)的幀的視差量的異常，因此能夠容易地進(jìn)行視差量異常的部位的修正。
[0115]此外，在檢測出波動的情況下，CPU32也可以在實(shí)施了視差調(diào)整后(步驟108結(jié)束后)將表示波動有無的波動信息記錄于記錄介質(zhì)34。由此,對動畫信息附加了波動的有無，所以再次進(jìn)行動畫重放時能夠利用波動信息，能夠使再次進(jìn)行三維動畫重放時的視差調(diào)整穩(wěn)定化。并且，在步驟104中，對(I)波動有無的判定、(2)視差量的允許界限判定、(3)視差調(diào)整對象的判定的任一個被執(zhí)行的情況作了說明，但也可以執(zhí)行(I)至(3 )中的任兩個或全部。
[0116](第一實(shí)施方式)
[0117]接著，說明以上述第一基本方式為前提的本發(fā)明的第一實(shí)施方式。此外，在此，對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0118]圖12是表示該第一實(shí)施方式涉及的3D動畫編輯例程的流程圖。此外，以下對與上述3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述3D動畫編輯例程的不同點(diǎn)。
[0119]在該第一實(shí)施方式涉及的3D動畫編輯例程中，如圖12所示，CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟113A。在步驟113A中，判定是否通過作為接收單元的操作部13接收到了進(jìn)行視差量調(diào)整的指示，在作出肯定判定的情況下，轉(zhuǎn)換到步驟113B，而在作出否定判定的情況下，轉(zhuǎn)換到步驟113C。進(jìn)行視差量調(diào)整的指示例如通過操作部13的菜單按鈕13D被按壓操作而實(shí)現(xiàn)。此外，在該步驟113A中作出了肯定判定的情況下，當(dāng)前時刻下在監(jiān)視器12A所顯示的進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表中的任一個(例如進(jìn)深側(cè)視差量圖表)閃爍顯示。在該第一實(shí)施方式涉及的顯示裝置12中，將閃爍顯示的圖表作為視差量的調(diào)整對象的圖表被選擇這一情況視覺性地傳達(dá)給使用者，但不限于此，也可以通過聲音將當(dāng)前時刻下哪個圖表處于被選擇的狀態(tài)傳達(dá)給使用者。例如，也可以在進(jìn)深側(cè)視差量圖表處于被選擇的狀態(tài)時輸出“當(dāng)前，上側(cè)的圖表被選擇”的聲音，在近前側(cè)視差量圖表處于被選擇的狀態(tài)時輸出“當(dāng)前，下側(cè)的圖表被選擇”的聲音。并且，也可以通過組合上述可視顯示及可聽顯示來向使用者傳達(dá)當(dāng)前哪個圖表被選擇。
[0120]在步驟113C中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟108或上述步驟110的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0121]在步驟113B中，判定進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表中作為視差量的調(diào)整對象的圖表是否被指定，在作出肯定判定的情況下轉(zhuǎn)換到步驟113D，而在作出否定判定的情況下轉(zhuǎn)換到步驟113E。當(dāng)通過上述步驟113B的處理指定了作為視差量的調(diào)整對象的圖表時，當(dāng)前時刻下閃爍顯示的圖表的顯示方式變更為表示被指定為作為視差量的調(diào)整對象的圖表這一情況的顯示方式(例如以虛線停止顯示的方式)。此外，作為視差量的調(diào)整對象的圖表例如進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的任一個通過十字鍵13G的左右方向的鍵被按壓操作而被選擇，在被選擇的狀態(tài)下通過確定按鈕13F被按壓操作而被指定(確定)。但是，作為視差量的調(diào)整對象的圖表的指定方法不限于此。例如，也可以在監(jiān)視器12A設(shè)置觸摸面板，使用者經(jīng)由觸摸面板接觸閃爍顯示狀態(tài)的圖表，從而將該接觸到的圖表指定為作為視差量的調(diào)整對象的圖表。
[0122]在步驟113E中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟113A的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113B，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0123]在步驟113D中，判定是否經(jīng)由操作部13取得了視差量的調(diào)整量。視差量的調(diào)整量例如通過十字鍵13G的向上鍵或向下鍵被按壓操作而取得。即，對十字鍵13G的向上鍵或向下鍵的按壓操作量相當(dāng)于視差量的調(diào)整量，對十字鍵13G的向上鍵或向下鍵的按壓操作量作為視差量的調(diào)整量而被取得。并且，在該第二實(shí)施方式涉及的顯示裝置12中，在作為視差量的調(diào)整對象的圖表被指定后十字鍵13G的向上鍵或向下鍵被按壓操作時，作為視差量的調(diào)整對象被指定的圖表根據(jù)該按壓操作而發(fā)生變形。具體而言，CPU32進(jìn)行以下控制:使作為視差量的調(diào)整對象的圖表根據(jù)十字鍵13G的向上鍵或向下鍵的按壓操作，以標(biāo)識的縱貫線為中心越向左右方向(動畫開始點(diǎn)側(cè)及動畫結(jié)束點(diǎn)側(cè))離開則變形量以預(yù)先規(guī)定的比例變得越小(與距標(biāo)識的距離成反比)地發(fā)生變形。
[0124]此外，視差量的調(diào)整量的獲取方法不限于十字鍵13G的向上鍵或向下鍵的按壓操作的方法。其他方法中例如也可以在監(jiān)視器12A設(shè)置觸摸面板，使用者經(jīng)由觸摸面板接觸作為視差量的調(diào)整對象而被指定的圖表中的標(biāo)識部分，將接觸到的部分移動至規(guī)定位置(例如由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的規(guī)定位置)，在移動目的地停止對觸摸面板的接觸，從而取得所確定的移動量作為視差量的調(diào)整量。
[0125]在步驟113D中作出肯定判定的情況下，轉(zhuǎn)換到作為加工單元的步驟113F，而在作出否定判定的情況下，轉(zhuǎn)換到步驟113G。在步驟113G中，判定當(dāng)前時刻下作為視差量的調(diào)整對象的圖表的指定是否被解除，在作出肯定判定的情況下轉(zhuǎn)換到步驟113B，而在作出否定判定的情況下轉(zhuǎn)換到步驟113D。此外，圖表指定的解除例如通過按壓操作取消按鈕13E來實(shí)現(xiàn)。
[0126]在步驟113F中，以通過上述步驟113B的處理所指定的圖表為對象，基于通過上述步驟113D的處理而取得的調(diào)整量，使三維處理部28實(shí)施視差調(diào)整。由此，三維處理部28對當(dāng)前時刻下所顯示的幀實(shí)施通過上述步驟113D的處理而取得的調(diào)整量的視差調(diào)整，并且調(diào)整與當(dāng)前時刻下所顯示的幀的前后相連的幀的視差量。具體而言，對這些幀實(shí)施視差調(diào)整，使其沿與當(dāng)前時刻下作為視差量的調(diào)整對象的圖表中的標(biāo)識部分的變形方向相同的方向發(fā)生變形，并且以標(biāo)識為中心越向圖表的左右方向(動畫開始點(diǎn)側(cè)及動畫結(jié)束點(diǎn)側(cè))離開，則圖表的變形量以預(yù)先規(guī)定的比例逐漸變得越小(與距標(biāo)識的距離成反比)，與之相伴，視差量也變得越小。由此，不僅對作為視差量的調(diào)整對象的圖表中的標(biāo)識部分所對應(yīng)的幀(當(dāng)前所顯示的幀)的視差量，而且對與該幀前后相連的幀的視差量也可進(jìn)行調(diào)整而不會感到不協(xié)調(diào)。
[0127]通過如此執(zhí)行上述步驟113B、113D、113F的處理，例如在進(jìn)深側(cè)視差量圖表未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的情況下(位于凹側(cè)允許界限線的上方的情況下)，在將進(jìn)深側(cè)視差量圖表指定為作為視差量的調(diào)整對象的圖表后，通過按壓操作十字鍵13G的向下鍵，能夠使進(jìn)深側(cè)視差量圖表中的標(biāo)識部分收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)。并且，在近前側(cè)視差量圖表未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的情況下(位于凸側(cè)允許界限線的下方的情況下)，在將近前側(cè)視差量圖表指定為作為視差量的調(diào)整對象的圖表后，通過按壓操作十字鍵13G的向上鍵，能夠使近前側(cè)視差量圖表中的標(biāo)識部分收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)。
[0128]在步驟113H中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟113F的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0129]此外，在該第一實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。在這種情況下，只要替代該第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H的處理而使三維處理部28實(shí)施利用了“第一切換處理”的視差調(diào)整即可。此外，即使在這種情況下，也實(shí)施視差調(diào)整，使得以作為視差調(diào)整的部位而指定的部位為中心越向圖表的左右方向離開則圖表的變動量以預(yù)先規(guī)定的比例逐漸變得越小，從而不僅對作為視差量的調(diào)整對象的圖表中的標(biāo)識部分所對應(yīng)的幀(當(dāng)前所顯示的幀)的視差量，而且對與該幀前后相連的幀的視差量也可進(jìn)行調(diào)整而不會感到不協(xié)調(diào)。
[0130]并且，在該第一實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。遙控器50具有對顯示裝置12發(fā)送無線信號的信號發(fā)送部51。并且，遙控器50具有操作部52，該操作部52構(gòu)成為包括:電源按鈕52A，與電源按鈕13A —樣地對顯示裝置12發(fā)揮功能；重放開始按鈕52B，與重放開始按鈕13B —樣地對顯示裝置12發(fā)揮功能；重放停止按鈕52C，與重放停止按鈕13C —樣地對顯示裝置12發(fā)揮功能；菜單按鈕52D，與菜單按鈕13D —樣地對顯示裝置12發(fā)揮功能；取消按鈕52E，與取消按鈕13E —樣地對顯示裝置12發(fā)揮功能；確定按鈕52F，與確定按鈕13F 一樣地對顯示裝置12發(fā)揮功能；及十字鍵52G，與十字鍵13G —樣地對顯示裝置12發(fā)揮功能。如此構(gòu)成的遙控器50將通過操作部52被操作而接收到的指示形成為無線信號，并發(fā)送到顯示裝置12。
[0131]另一方面，顯示裝置12構(gòu)成為還包括信號接收部35。信號接收部35用于接收由遙控器50發(fā)送的無線信號，與總線BUS連接。由此，CPU32能夠掌握由信號接收部35接收到的無線信號中包含的各種指示。因此，在如此構(gòu)成的圖像重放加工裝置10中，作為經(jīng)由遙控器50的操作部52接收到的指示，CPU32能夠掌握進(jìn)行視差量的調(diào)整的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)，因此能夠獲得與該第一實(shí)施方式同樣的作用及效果O
[0132]并且，在該第一實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟116的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟116，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。
[0133](第二基本方式)
[0134]接著，說明作為后述的本發(fā)明的第二實(shí)施方式的前提的第二基本方式。此外，對與第一實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0135]圖14是表示該第二基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第一實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第一實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0136]在該第二基本方式涉及的3D動畫編輯例程中，如圖14所示，CPU32執(zhí)行了步驟100的處理后，前進(jìn)到步驟250。在步驟250中，經(jīng)由操作部13接收編輯菜單的指示。在該步驟250中，由使用者指示的編輯菜單是剪切、組合、縮放、剪輯、旋轉(zhuǎn)、色調(diào)校正、圖像(靜止圖像/動畫/文字等)的重疊、幀率轉(zhuǎn)換、交錯轉(zhuǎn)換、反轉(zhuǎn)、淡入/淡出、鑲嵌、格式轉(zhuǎn)換等預(yù)先規(guī)定的多個編輯菜單中的任一個。
[0137]在下一步驟252中，根據(jù)通過上述步驟250的處理接收到的編輯菜單實(shí)施了編輯后，前進(jìn)到步驟254。在步驟254中，對于三維處理部28，在以構(gòu)成通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)的所有幀的各幀為對象而取得了視差量后，轉(zhuǎn)換到步驟104。在此，執(zhí)行在上述第一實(shí)施方式中說明的第一或第二視差量獲取例程。
[0138]在CPU32執(zhí)行了步驟104的處理后，前進(jìn)到步驟256。在步驟256中，以通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)為對象，開始三維動畫重放。
[0139]在CPU32執(zhí)行了步驟114的處理后，前進(jìn)到步驟258，判定是否滿足了作為用于結(jié)束三維動畫重放的條件而預(yù)先規(guī)定的條件(例如,通過重放停止按鈕13C輸入了動畫重放停止的指示這一條件，或構(gòu)成通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)的所有幀的重放結(jié)束了這一條件)，在作出否定判定的情況下返回到步驟106，而在作出肯定判定的情況下前進(jìn)到步驟260。在步驟260中，判定是否滿足了作為用于結(jié)束該3D動畫編輯例程的條件而預(yù)先規(guī)定的條件(例如，在結(jié)束三維動畫重放后經(jīng)過了規(guī)定時間的條件)，在作出否定判定的情況下返回到步驟250，而在作出肯定判定的情況下結(jié)束本例程。
[0140]如上所述，在該第二基本方式涉及的圖像重放加工裝置10中，能夠掌握實(shí)際實(shí)施了編輯后構(gòu)成編輯完的動畫數(shù)據(jù)的幀的視差量的異常，因此能夠進(jìn)行包括視差量異常的部位的修正在內(nèi)的再次編輯。
[0141](第二實(shí)施方式)
[0142]接著，說明以上述第二基本方式為前提的本發(fā)明的第二實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0143]圖15及圖16是表示該第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第一實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第二基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第二基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0144]該第二實(shí)施方式涉及的3D動畫編輯例程與上述第二基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟112、114 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H。
[0145]在步驟108中，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟110。當(dāng)CPU32結(jié)束了步驟110的處理的執(zhí)行時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A?113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟258。
[0146]此外，在該第二實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0147]并且，在該第二實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0148]并且，在該第二實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0149](第三基本方式)
[0150]接著，說明作為后述的本發(fā)明的第三實(shí)施方式的前提的第三基本方式。此外，對與第一及第二實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0151]圖17是表示該第三基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第二實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第二實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0152]在該第三基本方式涉及的3D動畫編輯例程中，如圖17所示，CPU32執(zhí)行了步驟256的處理后，前進(jìn)到步驟300。在步驟300中，在設(shè)定了索引序號i=0后，前進(jìn)到步驟106，在執(zhí)行了步驟106的處理后，前進(jìn)到步驟302。在步驟302中，在取得了當(dāng)前時刻下所顯示的幀的視差量后，前進(jìn)到步驟304。在步驟304中，在將i加l(i=i+l)后，前進(jìn)到步驟108。
[0153]在CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟306A。在步驟306A中，判定索引序號i是否為視差調(diào)整頻率N以上(i≥N)。并且，在i≥N的情況下，前進(jìn)到步驟306B，在設(shè)定為i=0后，前進(jìn)到步驟114，在不是i SN的情況下，跳過步驟114，前進(jìn)到步驟258。
[0154]因此，在索引序號i小于N的情況下，反復(fù)執(zhí)行步驟106、302、108、110、306 (步驟306A)、258，不進(jìn)行視差調(diào)整(步驟114)。并且，當(dāng)索引序號i達(dá)到N時，經(jīng)過步驟108、110、306 (步驟306A、306B)，前進(jìn)到步驟114，所以實(shí)施視差調(diào)整。因此，在視差存在異常的情況下，并非對每幀進(jìn)行視差調(diào)整，而是對N幀僅進(jìn)行一次視差調(diào)整，所以能夠減少視差調(diào)整頻率，使視差調(diào)整的變化減緩。
[0155](第三實(shí)施方式)
[0156]接著，說明以上述第三基本方式為前提的本發(fā)明的第三實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0157]圖18及圖19是表示該第三實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第二實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第三基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第三基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0158]該第三實(shí)施方式涉及的3D動畫編輯例程與上述第三基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟114 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A~113H。
[0159]在步驟108中，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟110。當(dāng)CPU32結(jié)束了步驟306B的處理的執(zhí)行時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A~113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟258。
[0160]此外，在該第三實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0161]并且，在該第三實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0162]并且，在該第三實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0163](第四基本方式)
[0164]接著，說明作為后述的本發(fā)明的第四實(shí)施方式的前提的第四基本方式。此外，對與第一~第三實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0165]圖20是表示該第四基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第三實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第三實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0166]在該第四基本方式涉及的3D動畫編輯例程中，如圖20所示，CPU32執(zhí)行了步驟106的處理后，前進(jìn)到步驟350。在步驟350中，使三維處理部28取得基于記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2的基本視差量，前進(jìn)到步驟352。在此，基本視差量是指默認(rèn)對象的視差量，例如是最靠近畫面中心的對象的視差量。
[0167]在步驟352中，判定由三維處理部28取得的基本視差量是否有異常。在此，執(zhí)行與圖18所示的步驟108相同的處理。并且，在基本視差量有異常的情況下前進(jìn)到步驟110，在無異常的情況下前進(jìn)到步驟354。
[0168]在步驟354中，CPU32控制三維處理部28以使用基本視差量來實(shí)施視差調(diào)整，前進(jìn)到步驟360。根據(jù)該步驟354的處理，三維處理部28使用左眼用圖像Gl及右眼用圖像G2的基本視差量進(jìn)行視差調(diào)整，將視差調(diào)整后的左眼用圖像Gl及右眼用圖像G2輸出到顯示控制部30。
[0169]另一方面，在CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟356。在步驟356中，使三維處理部28取得其他對象的視差量，前進(jìn)到步驟358。作為其他對象，例如默認(rèn)對象以外的人物的臉部等。
[0170]在步驟358中，控制三維處理部28以使用其他對象的視差量來實(shí)施視差調(diào)整。此時，三維處理部28選擇“在Z方向上接近默認(rèn)對象的對象”或“在二維坐標(biāo)上接近默認(rèn)對象的對象”作為“其他對象”，使用所選擇的對象的視差量來進(jìn)行視差調(diào)整，將視差調(diào)整后的對象輸出到顯示控制部30。在此，用二維坐標(biāo)(X、Y)表示與記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2相同的平面，將與該面(基線)垂直的方向稱為Z方向。
[0171]因此，“在Z方向上接近默認(rèn)對象的對象”不管在二維坐標(biāo)中是否接近都是立體感與默認(rèn)對象最接近的對象。因此，三維處理部28使用該對象的視差量來進(jìn)行視差調(diào)整，從而能夠抑制視差量的急劇的變化，結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。
[0172]并且，“在二維坐標(biāo)上接近默認(rèn)對象的對象”不管是否接近默認(rèn)對象的立體感都是在二維坐標(biāo)上最接近默認(rèn)對象的對象。因此，三維處理部28使用該對象的視差量進(jìn)行視差調(diào)整，從而能夠通過與到目前為止的視差調(diào)整對象接近的對象進(jìn)行視差調(diào)整，結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。并且，經(jīng)過上述處理后前進(jìn)到步驟360。
[0173]在步驟360中，將視差調(diào)整對象用⑶I (Graphical User Interface:圖形使用者接口)標(biāo)記并顯示于監(jiān)視器12A，前進(jìn)到步驟258。在此，對于作為視差調(diào)整對象的人物的臉部，例如可以如圖21A所示用方形包圍，也可以如圖21B所示用圓包圍，還可以如圖21C所示加上星星標(biāo)記。
[0174]在步驟258中，CPU32判定是否通過重放停止按鈕13C輸入了動畫重放停止的指示，在肯定判定的情況下結(jié)束本例程，在否定判定的情況下轉(zhuǎn)換到下一幀的處理，再次返回到步驟106。
[0175]如上所述，第四基本方式的圖像重放加工裝置10中，即使在默認(rèn)對象的基本視差量有異常的情況下，或錯過了默認(rèn)對象的情況下，也能將視差調(diào)整對象切換到其他對象后進(jìn)行視差調(diào)整，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0176](第四實(shí)施方式)[0177]接著，說明以上述第四基本方式為前提的本發(fā)明的第四實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0178]圖22及圖23是表示該第四實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第三實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第四基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第四基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0179]該第四實(shí)施方式涉及的3D動畫編輯例程與上述第四基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟356、358 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H。
[0180]當(dāng)CPU32結(jié)束了步驟110的處理時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A?113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟360。
[0181]此外，在該第四實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0182]并且，在該第四實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0183]并且，在該第四實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0184](第五實(shí)施方式)
[0185]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第五實(shí)施方式。圖24是本發(fā)明的實(shí)施方式涉及的復(fù)眼相機(jī)301的正面?zhèn)攘Ⅲw圖，圖25是背面?zhèn)攘Ⅲw圖。
[0186]在復(fù)眼相機(jī)301的上部具有釋放按鈕302、電源按鈕303及變焦桿304。在復(fù)眼相機(jī)301的正面配置有閃光燈305及兩個攝影部321A、321B的透鏡。并且，在復(fù)眼相機(jī)301的背面配置有進(jìn)行各種顯示的液晶監(jiān)視器(以下簡稱為“監(jiān)視器”)307及包括也作為在第一及第二實(shí)施方式中說明的重放開始按鈕13B及重放停止按鈕13C發(fā)揮功能的按鈕在內(nèi)的各種操作按鈕308。
[0187]圖26是表示復(fù)眼相機(jī)301的內(nèi)部構(gòu)成的概略框圖。復(fù)眼相機(jī)301具有兩個攝影部321A、321B、攝影控制部322、圖像處理部323、壓縮/解壓縮處理部324、幀存儲器325、介質(zhì)控制部326、內(nèi)部存儲器327、顯示控制部328及CPU335，它們經(jīng)由總線BUS相互連接。并且，在介質(zhì)控制部326連接有記錄介質(zhì)329，在顯示控制部328連接有監(jiān)視器307。而且，在CPU335連接有輸入部334，該輸入部334構(gòu)成為包括釋放按鈕302、電源按鈕303、變焦桿304及操作按鈕308。此外，攝影部321A、321B被配置為具有將被攝體視入的收斂角并成為預(yù)先規(guī)定的基線長。并且，收斂角及基線長的信息存儲于內(nèi)部存儲器327中。[0188]圖27是表示攝影部321A、321B的構(gòu)成的圖。如圖27所示，攝影部321A、321B分別具有透鏡310A、310B、光圈311A、311B、快門312A、312B、攝像元件313A、313B、模擬前端(AFE) 314A、314B 及 A/D 轉(zhuǎn)換部 315A、315B。
[0189]透鏡310A、310B具有用于使焦點(diǎn)與被攝體對齊的聚焦透鏡、用于實(shí)現(xiàn)變焦功能的變焦透鏡等多個功能有別的透鏡。透鏡310A、310B的位置基于由攝影控制部322的AF處理部322a獲得的對焦數(shù)據(jù)及圖24和圖25所示的變焦透鏡304被操作的情況下獲得的變焦數(shù)據(jù)，由未圖示的透鏡驅(qū)動部進(jìn)行調(diào)整。
[0190]光圈311A、311B基于由攝影控制部322的AE處理部322b獲得的光圈值數(shù)據(jù)，通過未圖示的光圈驅(qū)動部進(jìn)行光圈徑的調(diào)整。
[0191]快門312A、312B是機(jī)械快門，通過未圖示的快門驅(qū)動部，根據(jù)由AE處理部322b獲得的快門速度而驅(qū)動。
[0192]攝像元件313A、313B具有將多個受光元件二維狀地排列而成的光電面，被攝體光在該光電面上成像并被光電轉(zhuǎn)換而取得模擬攝影信號。并且，在攝像元件313A、313B的前面配置有R、G、B各色濾光片規(guī)則性排列而成的濾色器。
[0193]AFE314A、314B對從攝像元件313A、313B輸出的模擬攝影信號實(shí)施去除模擬攝影信號的噪聲的處理及調(diào)節(jié)模擬攝影信號的增益的處理(以下稱為“模擬處理”)。
[0194]A/D轉(zhuǎn)換部315A、315B將被AFE314A、314B實(shí)施了模擬處理的模擬攝影信號轉(zhuǎn)換為數(shù)字信號。此外，將由攝影部321A取得的數(shù)字圖像數(shù)據(jù)所表示的圖像作為左眼用圖像，將由攝影部321B取得的數(shù)據(jù)圖像所表示的圖像作為右眼用圖像G2。
[0195]攝影控制部322如上所述具有AF處理部322a及AE處理部322b。AF處理部322a在釋放按鈕302被半按操作時，從測距傳感器獲得測距信息，決定透鏡310A、310B的焦點(diǎn)位置，并輸出到攝影部321A、321B。AE處理部322b基于預(yù)圖像決定光圈值和快門速度，并輸出到攝影部321A、321B。
[0196]此外，作為AF處理部322a對焦點(diǎn)位置的檢測方式，不限于使用了測距信息的主動方式，也可以使用利用圖像的對比度來檢測對焦位置的被動方式。
[0197]攝影控制部322在釋放按鈕302未被操作的狀態(tài)下控制攝影部321A、321B，使得以規(guī)定時間間隔(例如1/30秒間隔)依次生成用于確認(rèn)攝影范圍的、像素?cái)?shù)比左眼用圖像Gl及右眼用圖像G2的本圖像少的實(shí)時取景圖像。并且，在釋放按鈕302被全按操作時攝影控制部322控制攝影部321A、321B，使得為了開始本攝影而生成左眼用圖像Gl及右眼用圖像G2的本圖像。
[0198]以上說明了靜止畫面模式的情況，而在本第五實(shí)施方式中，也可以設(shè)定為動畫攝影模式。在動畫攝影模式的情況下，當(dāng)釋放按鈕302被按壓時開始動畫攝影，對應(yīng)每幀生成左眼用圖像Gl及右眼用圖像G2，當(dāng)再次按壓釋放按鈕302時，動畫攝影停止。
[0199]圖像處理部323對攝影部321A、321B所取得的左眼用圖像Gl及右眼用圖像G2的數(shù)字圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度校正、銳度校正及顏色校正等圖像處理。
[0200]壓縮/解壓縮處理部324對被圖像處理部323實(shí)施了處理的表示左眼用圖像Gl及右眼用圖像G2的本圖像的圖像數(shù)據(jù)例如以JPEG等壓縮形式進(jìn)行壓縮處理，生成體視用的圖像文件H)。該體視用的圖像文件H)具有左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)，而且還包括基于Exif格式等的基線長、收斂角及攝影時間等附帶信息及表示視點(diǎn)位置的視點(diǎn)息。
[0201]幀存儲器325是對攝影部321A、321B所取得的表示左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)進(jìn)行包括上述圖像處理部323所進(jìn)行的處理在內(nèi)的各種處理時所使用的作業(yè)用存儲器。
[0202]介質(zhì)控制部326對記錄介質(zhì)329進(jìn)行存取，進(jìn)行圖像文件等的寫入和讀入的控制。
[0203]內(nèi)部存儲器327存儲復(fù)眼相機(jī)301中所設(shè)定的各種常數(shù)及CPU335所執(zhí)行的程序
坐寸ο
[0204]在立體視的情況下，顯示控制部328將幀存儲器325或記錄介質(zhì)329中所記錄的體視圖像GR顯示于監(jiān)視器307。
[0205]圖28是表示監(jiān)視器307的構(gòu)成的分解立體圖。如圖28所示，監(jiān)視器307如下構(gòu)成:將由LED發(fā)光的背光單元340及用于進(jìn)行各種顯示的液晶面板341層疊，在液晶面板341的表面安裝柱面透鏡片342。
[0206]圖29是表示柱面透鏡片的構(gòu)成的圖。如圖29所示，柱面透鏡片342通過在沿著基線的方向上并排排列多個圓柱體透鏡343而構(gòu)成。
[0207]并且，復(fù)眼相機(jī)301具有三維處理部330。三維處理部330為了將左眼用圖像Gl及右眼用圖像G2體視顯示于監(jiān)視器307，對左眼用圖像Gl及右眼用圖像G2進(jìn)行三維處理，生成體視圖像GR。
[0208]圖30是用于說明對左眼用圖像Gl及右眼用圖像G2的三維處理的圖。如圖30所示，三維處理部330以如下方式進(jìn)行三維處理而生成立體圖像GR:將左眼用圖像Gl及右眼用圖像G2分別在相對于基線垂直的方向上剪切成長條狀，在柱面透鏡片342中的圓柱體透鏡343上分別交替配置位置對應(yīng)的剪切為長條狀的左眼用圖像Gl及右眼用圖像G2。構(gòu)成體視圖像GR的左眼用圖像Gl及右眼用圖像G2的圖像對分別與一個圓柱體透鏡對應(yīng)而配置。
[0209]并且，三維處理部330也能夠調(diào)整左眼用圖像Gl及右眼用圖像G2的視差。在此，視差是指左眼用圖像Gl及右眼用圖像G2雙方含有的被攝體的、左眼用圖像Gl及右眼用圖像G2的橫向、即沿著基線的方向上的像素位置的偏移量。通過調(diào)整視差，能夠使立體圖像GR中含有的被攝體的立體感適當(dāng)。
[0210]并且，三維處理部330可以實(shí)時調(diào)整由攝影部321A、321B獲得的左眼用圖像Gl及右眼用圖像G2的視差，也可以調(diào)整記錄介質(zhì)329中預(yù)先記錄的左眼用圖像Gl及右眼用圖像G2的視差。
[0211]在如上構(gòu)成的復(fù)眼相機(jī)301中，執(zhí)行在第一?第四實(shí)施方式中說明的3D動畫編輯例程。此外，第一及第二視差調(diào)整例程的程序預(yù)先存儲于內(nèi)部存儲器327中。
[0212]此外，本發(fā)明不限于上述實(shí)施方式，能夠適用于在權(quán)利要求范圍所記載的事項(xiàng)的范圍內(nèi)進(jìn)行了設(shè)計(jì)變更的方式。
[0213]例如，在上述第一?第四實(shí)施方式中，替代直接取得視差量，作為一例，也可以取得圖31所示的視差相關(guān)信息。
[0214]圖32A及圖32B是用于說明視差相關(guān)信息的圖。視差相關(guān)信息對于每幀的左眼圖像(左眼用圖像Gl)及右眼圖像(右眼用圖像G2)，為特征點(diǎn)A的坐標(biāo)組、特征臉部A的坐標(biāo)組、特征臉部B的坐標(biāo)組、波動有無等信息。并且，也可以使用這些視差相關(guān)信息進(jìn)行視差調(diào)整。
[0215]在本第五實(shí)施方式中，列舉在監(jiān)視器307顯示體視圖像的情況的方式例進(jìn)行了說明，但不限于此，例如也可以將圖1所示的顯示裝置12和復(fù)眼相機(jī)301以能夠利用有線或無線進(jìn)行通信的方式連接，將由復(fù)眼相機(jī)301生成的左眼用圖像Gl及右眼用圖像G2發(fā)送到顯示裝置12，在顯示裝置12顯示基于從復(fù)眼相機(jī)301發(fā)送的左眼用圖像Gl及右眼用圖像G2的三維立體圖像。在這種情況下，使用者例如可以通過一邊視覺確認(rèn)顯示裝置12所顯示的三維立體圖像一邊操作復(fù)眼相機(jī)301的操作按鈕308來進(jìn)行圖像數(shù)據(jù)的編輯、視差量的調(diào)整。并且，在顯示裝置12和復(fù)眼相機(jī)301已連接的情況下，也能夠?qū)︼@示裝置12的記錄介質(zhì)34中記錄的圖像數(shù)據(jù)進(jìn)行編輯、視差量的調(diào)整。在這種情況下，只要使用圖13所示的遙控器50或顯示裝置12的操作部13進(jìn)行圖像數(shù)據(jù)的編輯、視差量的調(diào)整即可。
[0216]此外，在上述第一?第四實(shí)施方式中，列舉使用液晶快門眼鏡14使使用者視覺確認(rèn)體視圖像的情況的方式例進(jìn)行了說明，在上述第五實(shí)施方式中，列舉通過使用柱面透鏡片42使使用者視覺確認(rèn)體視圖像的情況的方式例進(jìn)行了說明，但不限于此，例如也可以在上述第一?第四實(shí)施方式中說明的顯示裝置12的監(jiān)視器12A適用柱面透鏡片42，并且如上述第五實(shí)施方式所述，生成體視圖像GR并顯示于監(jiān)視器12A，從而使使用者不使用液晶快門眼鏡14而視覺確認(rèn)體視圖像，并且，也可以替代在上述第五實(shí)施方式中說明的在復(fù)眼相機(jī)301的監(jiān)視器307設(shè)置柱面透鏡片342，而將左眼用圖像Gl和右眼用圖像G2交替顯示于監(jiān)視器307，并如上述第一?第四實(shí)施方式所述，通過使用液晶快門眼鏡14使使用者視覺確認(rèn)體視圖像。
[0217]并且，在上述各實(shí)施方式中，列舉基于同一人物的臉部區(qū)域取得視差量的方式例進(jìn)行了說明，但不限于此，例如也可以適用狗、貓等寵物的臉部區(qū)域、特定的動物、植物的特征部分的輪廓、或生物以外的物體(例如汽車、電車及建筑等)的特征部分的輪廓作為視差量的獲取對象。在這種情況下，列舉以下方式例:預(yù)先準(zhǔn)備存儲有表示獲取對象的圖像的特征的特征量數(shù)據(jù)的圖案匹配用的圖像辭典，使用該圖像辭典確定獲取對象，算出所確定的獲取對象的視差量。此外，圖像辭典優(yōu)選由使用者自定義的方式。在這種情況下，能夠例示如下的圖像辭典:使用者能夠向圖像辭典追加注冊表示圖像特征的特征量數(shù)據(jù)以及從圖像辭典刪除表示圖像特征的特征量數(shù)據(jù)，其中該圖像特征表示作為視差量的獲取對象所指定的事物。
[0218]并且，也可以將視差量的獲取對象設(shè)為具有幀內(nèi)的規(guī)定值以上的空間頻率的被攝體圖像。在這種情況下，例如可以設(shè)為基于對應(yīng)每幀由以規(guī)定值的空間頻率(邊緣成分)規(guī)定的閉合曲線所包圍的區(qū)域(閉合曲線區(qū)域)的被攝體圖像，也可以設(shè)為基于對應(yīng)每幀由以超過規(guī)定空間頻率的空間頻率(規(guī)定值)規(guī)定的閉合曲線區(qū)域的被攝體圖像。此外，該被攝體圖像可以是幀內(nèi)的以規(guī)定空間頻率以上的空間頻率規(guī)定的閉合曲線區(qū)域本身，也可以是包圍以規(guī)定值的空間頻率規(guī)定的閉合曲線區(qū)域的最小矩形、最小圓形等幾何形狀內(nèi)的區(qū)域，還可以是使閉合曲線區(qū)域按照規(guī)定的算法變形而獲得的區(qū)域。這樣一來，視差量的獲取對象只要是每幀的預(yù)先規(guī)定的被攝體圖像，則可以是任意的。
[0219]并且，在上述各實(shí)施方式中，列舉以下情況的方式例進(jìn)行了說明:取得在幀內(nèi)的進(jìn)深側(cè)及近前側(cè)視差量較大的對象即凹側(cè)對象及凸側(cè)對象的視差量并將所取得的視差量的經(jīng)時變化對應(yīng)每個對象進(jìn)行圖表化而進(jìn)行顯示，但不限于此，也可以取得幀內(nèi)的任一個對象的視差量并將該視差量的經(jīng)時變化圖表化進(jìn)行顯示，還可以取得幀內(nèi)的三個以上的對象的視差量并將這些視差量的各經(jīng)時變化圖表化進(jìn)行顯示。
[0220]并且，在上述各實(shí)施方式中，將視差量的經(jīng)時變化圖表化來表現(xiàn)，但不限于此，也可以數(shù)值化地表現(xiàn)。在這種情況下，只要將表示作為異常的視差量而預(yù)先規(guī)定的視差量的數(shù)值能夠?qū)Ρ鹊匾徊@示即可。并且，也可以將視差量圖表化進(jìn)行顯示并且與該顯示一并地顯示表示視差量的數(shù)值。在這種情況下,優(yōu)選使表示視差量的數(shù)值與當(dāng)前時刻下所顯示的幀相關(guān)。由此，能夠更進(jìn)一步易于掌握當(dāng)前時刻下所顯示的幀中含有的對象的視差量是否為異常。
[0221]并且，在上述各實(shí)施方式中，列舉與監(jiān)視器12A所顯示的幀重疊地顯示視差量顯示畫面40的情況的方式例進(jìn)行了說明，但不限于此，也可以將重放的幀和視差量顯示畫面40以不同的監(jiān)視器進(jìn)行顯示。在這種情況下，優(yōu)選將視差量顯示畫面40內(nèi)顯示的標(biāo)識顯示于確定基于當(dāng)前時刻下所顯示的幀中含有的對象的視差量的位置上。
[0222]并且，在上述各實(shí)施方式中，列舉直接對比表示視差量的圖表與用于判斷視差量是否為異常的指標(biāo)(允許界限線)的方式例進(jìn)行了說明，但也可以采用交替地顯示表示視差量的圖表和用于判斷視差量是否為異常的指標(biāo)的間接對比。在這種情況下，通過高速地交替顯示，能夠?qū)嵸|(zhì)上進(jìn)行直接對比。
[0223]日本專利申請第2011-126295號的公開內(nèi)容其整體通過參照而并入到本說明書中。
[0224]本說明書中記載的所有文獻(xiàn)、專利申請及技術(shù)規(guī)格通過參照而并入到本說明書中，各文獻(xiàn)、專利申請及技術(shù)規(guī)格通過參照而并入等同于它們被具體且分別地記載。
【權(quán)利要求】
1.一種圖像加工裝置，包括: 圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像； 視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像的各幀圖像，取得上述多個幀圖像的各幀圖像的視差量； 顯示單元，將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示； 接收單元，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工； 加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及 控制單元,控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的圖像加工裝置，其中， 上述視差量獲取單元基于在上述幀圖像內(nèi)作為視差量的獲取對象的被攝體圖像而預(yù)先規(guī)定的被攝體圖像來取得視差量。
3.根據(jù)權(quán)利要求2所述的圖像加工裝置，其中， 將上述預(yù)先規(guī)定的被攝體圖像設(shè)為上述幀圖像內(nèi)的具有規(guī)定值以上的空間頻率的被攝體圖像。
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的圖像加工裝置，其中， 上述控制單元進(jìn)一步控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將表示視差量的允許界限的信息、表示視差量的經(jīng)時變化的信息、在表示該視差量的經(jīng)時變化的信息中能夠確認(rèn)當(dāng)前顯示的幀圖像的視差的信息建立對應(yīng)并進(jìn)行顯示。
5.根據(jù)權(quán)利要求4所述的圖像加工裝置，其中， 使表示上述視差量的允許界限的信息和表示上述視差量的經(jīng)時變化的信息與被攝體圖像的進(jìn)深側(cè)和近前側(cè)分別對應(yīng)。
6.根據(jù)權(quán)利要求1~5中任一項(xiàng)所述的圖像加工裝置，其中， 還包括異常判定單元，該異常判定單元在以下情況中的至少一種情況下判定為上述視差量有異常:由上述視差量獲取單元取得的視差量的一定期間的變動大于規(guī)定值的情況、上述視差量達(dá)到預(yù)先規(guī)定的允許界限值的情況和無法檢測出上述視差量的獲取對象的情況， 上述控制單元進(jìn)一步控制上述顯示單元，使得在由上述異常判定單元判定為視差量為異常的情況下，與該視差量所對應(yīng)的幀圖像的顯示同步地顯示警告。
7.根據(jù)權(quán)利要求6所述的圖像加工裝置，其中， 還包括視差調(diào)整單元，在由上述異常判定單元判定為上述視差量無異常的情況下，該視差調(diào)整單元進(jìn)行第一視差調(diào)整，在由上述異常判定單元判定為上述視差量有異常的情況下，該視差調(diào)整單元切換到與上述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制來進(jìn)行視差調(diào)整， 上述控制單元進(jìn)一步控制上述顯示單元,使得在作為由上述加工單元實(shí)施加工的對象的上述幀圖像顯示于上述顯示單元的情況下，對被上述視差調(diào)整單元進(jìn)行了上述視差調(diào)整的上述幀圖像進(jìn)行顯示。
8.根據(jù)權(quán)利要求7所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元在預(yù)先規(guī)定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整。
9.根據(jù)權(quán)利要求7或8所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元使用前一幀的視差量來進(jìn)行視差調(diào)整。
10.根據(jù)權(quán)利要求7~9中任一項(xiàng)所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元降低視差調(diào)整頻率。
11.一種復(fù)眼攝像裝置，包括: 權(quán)利要求1~10中任一項(xiàng)所述的圖像加工裝置 '及 攝像單元，通過從多個視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成上述連續(xù)幀圖像。
12.—種圖像加工方法， 取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像， 基于構(gòu)成所取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量， 將構(gòu)成所取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示， 接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工， 對所顯示的上述幀圖像實(shí)施由接收到的加工指示信息所指示的視差量的加工， 在對視差量的加工被指示后的上述幀圖像進(jìn)行顯示的期間，將與所取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
13.一種程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能: 圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像； 視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量； 將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式顯示于顯示單元的單元； 接收單元，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工；加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及 控制單元,控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
【文檔編號】H04N13/00GK103597822SQ201280027741
【公開日】2014年2月19日 申請日期:2012年4月23日 優(yōu)先權(quán)日:2011年6月6日
【發(fā)明者】森光司 申請人:富士膠片株式會社
【專利摘要】提供一種能夠簡便且高精度地掌握視差量的異常的圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序。在作為實(shí)施加工的對象的幀顯示于監(jiān)視器的期間，使視差量（進(jìn)深側(cè)視差量圖表和近前側(cè)視差量圖表）和用于判斷該視差量是否超量的指標(biāo)（凹側(cè)允許界限線、凸側(cè)允許界限線及標(biāo)志）能夠?qū)Ρ鹊仫@示。
【專利說明】圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序?！颈尘凹夹g(shù)】
[0002]以往，提出了具有多個攝像部而生成體視圖像的復(fù)眼攝像裝置。復(fù)眼攝像裝置基于由多個攝像部分別生成的多個視點(diǎn)圖像來生成體視圖像，并將該體視圖像顯示于體視顯示用監(jiān)視器。 [0003]由復(fù)眼攝像裝置拍攝到的體視圖像的立體感受使用者雙眼的距離、從體視顯示用監(jiān)視器到使用者的距離所左右，因此對于復(fù)眼攝像裝置的體視功能，存在個人差異大的問題。因此，在復(fù)眼攝像裝置中，能夠根據(jù)使用者的操作來調(diào)整多個視點(diǎn)圖像的視差，從而調(diào)整體視圖像的立體感。
[0004]因此，提出了以下技術(shù):不論顯示體視圖像的顯示器的種類如何，都進(jìn)行與最初進(jìn)行了視差量調(diào)整的使用者意圖一致的視差量調(diào)整(參照日本特開2005-73012號公報)。根據(jù)該技術(shù)，基于視差量的變更要求來生成與視差量的調(diào)整相關(guān)的信息，將其變換為不依賴于顯示器種類的單位的信息并記錄。并且，當(dāng)所記錄的信息被讀出時，基于該信息來生成與視差量的調(diào)整相關(guān)的信息，基于該信息來生成立體顯示用的圖像。
[0005]并且，在日本特開2004-221700號公報中，提出了在顯示體視圖像的期間確定與使用者意圖一致的視差的技術(shù)。根據(jù)日本特開2004-221700號公報中記載的技術(shù)，根據(jù)使用者的指示來確定顯示裝置所顯示的體視圖像的界限視差，以在顯示體視圖像之前實(shí)現(xiàn)適當(dāng)?shù)囊暡畹姆绞竭M(jìn)行圖像處理。
[0006]但是，日本特開2005-73012號公報及日本特開2004-221700號公報中記載的技術(shù)均存在以下問題:在最初的階段存在問題的情況下，例如根據(jù)由攝像部獲得的多個視點(diǎn)圖像求出的視差量本身存在問題的情況下，無法檢測出視差調(diào)整對象的情況下，即使使用日本特開2005-73012號公報及日本特開2004-221700號公報的技術(shù)，也無法適當(dāng)?shù)剡M(jìn)行視差調(diào)整。因此，提出了以下技術(shù):在未進(jìn)行適當(dāng)?shù)囊暡钫{(diào)整而將圖像顯示于畫面上的情況下，由使用者掌握畫面上所顯示的圖像的視差量為何種程度(例如參照日本特開2008-103820號公報)。
[0007]在日本特開2008-103820號公報中提出了以下技術(shù):在重放包括立體圖像數(shù)據(jù)的動畫數(shù)據(jù)時，能夠一眼判斷出視差的分布。根據(jù)該技術(shù)，通過將視差的大小每隔一定的范圍改變顏色而使使用者識別視差的大小，由此能夠?qū)⑹褂谜咭曈X確認(rèn)包括立體圖像的動畫時對活體的不良影響防患于未然。
【發(fā)明內(nèi)容】
[0008]發(fā)明要解決的問題
[0009]但是，在日本特開2008-103820號公報記載的技術(shù)中存在如下問題:雖然使用者能夠一眼判斷出視差量，但難以掌握該視差量是否為異常。
[0010]本發(fā)明鑒于這一情況而提出，其目的在于提供能夠簡便且高精度地掌握視差量的異常的圖像加工裝置、復(fù)眼攝像裝置、圖像加工方法及程序。[0011]用于解決問題的方法
[0012]為了實(shí)現(xiàn)上述目的，本發(fā)明的第一方式的圖像加工裝置構(gòu)成為包括:圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像；視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量；顯示單元，將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示；接收單元，接收加工指示信息，該加工指示信息指示對上述巾貞圖像的視差量的加工；加工單元，對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及控制單元，控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述巾貞圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
[0013]并且，本發(fā)明的第二方式的圖像加工裝置在第一方式的圖像加工裝置的基礎(chǔ)上，上述視差量獲取單元基于在上述幀圖像內(nèi)作為視差量的獲取對象的被攝體圖像而預(yù)先規(guī)定的被攝體圖像來取得視差量。
[0014]并且，本發(fā)明的第三方式的圖像加工裝置在第二方式的圖像加工裝置的基礎(chǔ)上，將上述預(yù)先規(guī)定的被攝體圖像設(shè)為上述幀圖像內(nèi)的具有規(guī)定值以上的空間頻率的被攝體圖像。
[0015]并且，本發(fā)明的第四方式的圖像加工裝置在第一至第三中任一方式的圖像加工裝置的基礎(chǔ)上，上述控制單元進(jìn)一步控制上述顯示單元，使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將表示視差量的允許界限的信息、表示視差量的經(jīng)時變化的信息、在表示該視差量的經(jīng)時變化的信息中能夠確認(rèn)當(dāng)前顯示的幀圖像的視差的信息建立對應(yīng)并進(jìn)行顯示。
[0016]并且，本發(fā)明的第五方式的圖像加工裝置在第四方式的圖像加工裝置的基礎(chǔ)上，使表示上述視差量的允許界限的信息和表示上述視差量的經(jīng)時變化的信息與被攝體圖像的進(jìn)深側(cè)和近前側(cè)分別對應(yīng)。
[0017]并且，本發(fā)明的第六方式的圖像加工裝置在第一至第五中任一方式的圖像加工裝置的基礎(chǔ)上，還包括異常判定單元，該異常判定單元以下情況中的至少一種情況下判定為上述視差量有異常:由上述視差量獲取單元取得的視差量的一定期間的變動大于規(guī)定值的情況、上述視差量達(dá)到預(yù)先規(guī)定的允許界限值的情況和無法檢測出上述視差量的獲取對象的情況，上述控制單元進(jìn)一步控制上述顯示單元，使得在由上述異常判定單元判定為視差量為異常的情況下，與該視差量所對應(yīng)的幀圖像的顯示同步地顯示警告。
[0018]并且，本發(fā)明的第七方式的圖像加工裝置在第六方式的圖像加工裝置的基礎(chǔ)上，還包括視差調(diào)整單元，在通過上述異常判定單元判定為上述視差量無異常的情況下，該視差調(diào)整單元進(jìn)行第一視差調(diào)整，在由上述異常判定單元判定為上述視差量有異常的情況下，該視差調(diào)整單元切換到與上述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制來進(jìn)行視差調(diào)整，上述控制單元進(jìn)一步控制上述顯示單元，使得在作為由上述加工單元實(shí)施加工的對象的上述幀圖像顯示于上述顯示單元的情況下，對被上述視差調(diào)整單元進(jìn)行了上述視差調(diào)整的上述幀圖像進(jìn)行顯示。
[0019]并且，本發(fā)明的第八方式的圖像加工裝置在第七方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元在預(yù)先規(guī)定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整。
[0020]并且，本發(fā)明的第九方式的圖像加工裝置在第七或第八方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元使用前一幀的視差量來進(jìn)行視差調(diào)整。
[0021]并且，本發(fā)明的第十方式的圖像加工裝置在第七至第八中任一方式的圖像加工裝置的基礎(chǔ)上，在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元降低視差調(diào)整頻率。
[0022]并且，本發(fā)明的第十一方式的復(fù)眼攝像裝置構(gòu)成為包括:第一至第十中任一方式的圖像加工裝置；及攝像單元，通過從多個視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成上述連續(xù)幀圖像。
[0023]并且，本發(fā)明的第十二方式的圖像加工方法中，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像，基于構(gòu)成所取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量，將構(gòu)成所取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工，對所顯示的上述幀圖像實(shí)施由接收到的加工指示信息所指示的視差量的加工，在對視差量的加工被指示后的上述幀圖像進(jìn)行顯示的期間，將與所取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯不O
[0024]并且，本發(fā)明的第十三方式的程序用于使計(jì)算機(jī)作為以下單元發(fā)揮功能:圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像；視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量；將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式顯示于顯示單元的單元；接收單元，接收加工指示信息,該加工指示信息指示對上述巾貞圖像的視差量的加工；加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及控制單元，控制上述顯示單元，使得在上述加工單元對視差量的加工被指示后的上述巾貞圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
[0025]發(fā)明效果
[0026]根據(jù)本發(fā)明，可獲得能夠簡便且高精度地掌握視差量的異常的效果。
【專利附圖】
【附圖說明】
[0027]圖1是表示圖像重放加工裝置的概略的立體圖。
[0028]圖2是表示圖像重放加工裝置的顯示裝置側(cè)的概略構(gòu)成的框圖。
[0029]圖3是表示體視用的圖像文件的文件格式的圖。
[0030]圖4是表示圖像重放加工裝置的液晶快門眼鏡側(cè)的概略構(gòu)成的框圖。
[0031]圖5是表示第一基本方式涉及的3D動畫編輯例程的流程圖。
[0032]圖6是表示第一視差量獲取例程的流程圖。[0033]圖7是表示第二視差量獲取例程的流程圖。
[0034]圖8是表示視差量顯示畫面的顯示例的示意圖。
[0035]圖9A是表示使視差量顯示畫面重疊于監(jiān)視器所顯示的幀上的狀態(tài)的一例的圖，表不視差量正常時的例子。
[0036]圖9B是表示使視差量顯示畫面重疊于監(jiān)視器所顯示的幀上的狀態(tài)的一例的圖，表示視差量異常時的例子。
[0037]圖10是表示第一波動有無判定例程的流程圖。
[0038]圖11是表示第二波動有無判定例程的流程圖。
[0039]圖12是表不第一實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0040]圖13是表示第一實(shí)施方式涉及的圖像重放加工裝置的變形例的構(gòu)成圖。
[0041]圖14是表示第二基本方式涉及的3D動畫編輯例程的流程圖。
[0042]圖15是表不第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0043]圖16是圖15所示的流程圖的延續(xù)。
[0044]圖17是表不第二基本方式涉及的3D動畫編輯例程的流程圖。
[0045]圖18是表不第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0046]圖19是圖18所示的流程圖的延續(xù)。
[0047]圖20是表示第四基本方式涉及的3D動畫編輯例程的流程圖。
[0048]圖2IA是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0049]圖2IB是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0050]圖21C是表示以⑶I標(biāo)記了視差調(diào)整對象的狀態(tài)的圖。
[0051]圖22是表不第四實(shí)施方式涉及的3D動畫編輯例程的流程圖。
[0052]圖23是圖22所示的流程圖的延續(xù)。
[0053]圖24是復(fù)眼相機(jī)的正面?zhèn)攘Ⅲw圖。
[0054]圖25是復(fù)眼相機(jī)的背面?zhèn)攘Ⅲw圖。
[0055]圖26是表示復(fù)眼相機(jī)的內(nèi)部構(gòu)成的概略框圖。
[0056]圖27是表示攝影部的構(gòu)成的圖。
[0057]圖28是表示監(jiān)視器的構(gòu)成的圖。
[0058]圖29是表示柱面透鏡片的構(gòu)成的圖。
[0059]圖30是用于說明對左眼用及右眼用圖像的三維處理的圖。
[0060]圖31是表不視差相關(guān)彳目息的一例的圖。
[0061]圖32A是用于說明視差相關(guān)信息的圖。
[0062]圖32B是用于說明視差相關(guān)信息的圖。
【具體實(shí)施方式】
[0063](第一基本方式)
[0064]圖1是表示作為后述的本發(fā)明的第一實(shí)施方式的前提的第一基本方式涉及的圖像重放加工裝置10的概略的圖。
[0065]如圖1所示，圖像重放加工裝置10具有顯示體視圖像的顯示裝置12及液晶快門眼鏡14。并且，顯示裝置12具有進(jìn)行各種顯示的監(jiān)視器12A。而且，顯示裝置12具有操作部13，該操作部13構(gòu)成為包括:電源按鈕13A，接通電源時被按壓操作；重放開始按鈕13B，重放體視圖像時被按壓操作；重放停止按鈕13C，停止體視圖像的重放時被按壓操作；菜單按鈕13D，在將包括由使用者選擇的信息在內(nèi)的菜單畫面顯示于監(jiān)視器12A時被按壓操作；取消按鈕13E，監(jiān)視器12A所顯示的信息由使用者選擇而取消所選擇的信息時被按壓操作；確定按鈕13F，監(jiān)視器12A所顯示的信息由使用者選擇而確定所選擇的信息時被按壓操作；及十字鍵13G，選擇監(jiān)視器12A所顯示的信息時被操作。
[0066]此外，在該第一基本方式中，以如下方式為例進(jìn)行說明:將左眼用圖像Gl和右眼用圖像G2交替顯示于顯示裝置12，并且以交替驅(qū)動液晶快門使得在左眼用圖像Gl被顯示時液晶快門眼鏡14的右眼的液晶快門變?yōu)橥干錉顟B(tài)、在右眼用圖像G2被顯示時液晶快門眼鏡14的左眼的液晶快門變?yōu)橥干錉顟B(tài)的方式重放三維立體影像以作為體視圖像進(jìn)行視覺確認(rèn)。此外，在該第一基本方式中，以使用液晶快門眼鏡14來重放三維立體影像的圖像重放加工裝置作為一例來進(jìn)行說明，但不限于此，例如也可以適用使用偏振濾光眼鏡來重放三維立體影像的裝置，還可以適用以不使用眼鏡的方式來重放三維立體影像的方式的圖像重放加工裝置。并且，在該第一基本方式中，通過長按(例如I秒以上的按壓操作)重放開始按鈕13B來執(zhí)行后述的3D動畫編輯例程。
[0067]圖2是表示該第一基本方式涉及的圖像重放加工裝置10的顯示裝置12側(cè)的概略構(gòu)成的框圖。
[0068]顯示裝置12具有同步通信部16、圖像處理部18、壓縮/解壓縮處理部20、幀存儲器22、介質(zhì)控制部24、內(nèi)部存儲器26、三維處理部28、顯示控制部30及CPU32，它們經(jīng)由總線BUS相互連接。并且，在介質(zhì)控制部24連接有記錄介質(zhì)34，在顯示控制部30連接有監(jiān)視器12A。而且，在CPU32連接有操作部13。
[0069]同步通信部16進(jìn)行信號的發(fā)送及接收，該信號用于使液晶快門眼鏡14的左右的液晶快門的驅(qū)動與顯示裝置12所顯示的左眼用及右眼用的各圖像同步。
[0070]圖像處理部18對表示應(yīng)顯示的圖像的圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度校正、銳度校正、顏色校正等各種圖像處理。
[0071]壓縮/解壓縮處理部20對由圖像處理部18實(shí)施了處理的圖像數(shù)據(jù)例如以JPEG、MPEG等壓縮格式進(jìn)行壓縮處理，生成體視用的圖像文件H)，或在重放時進(jìn)行對被壓縮的圖像數(shù)據(jù)進(jìn)行解壓縮的處理。圖像文件H)具有左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)，而且，包括基于例如Exif格式的基線長、收斂角及攝影時間等附帶信息及表示視點(diǎn)位置的視點(diǎn)息。
[0072]圖3是表示體視用的圖像文件的文件格式的圖。體視用的圖像文件H)存儲有左眼用圖像Gl的附帶信息H1、左眼用圖像Gl的視點(diǎn)信息S1、左眼用圖像Gl的圖像數(shù)據(jù)、右眼用圖像G2的附帶信息H2、右眼用圖像G2的視點(diǎn)信息S2及右眼用圖像G2的圖像數(shù)據(jù)。并且，雖未圖示，但在左眼用圖像Gl及右眼用圖像G2的附帶信息、視點(diǎn)信息及圖像數(shù)據(jù)的前后包含表示數(shù)據(jù)的開始位置及結(jié)束位置的信息。
[0073]附帶信息Hl、H2包括左眼用圖像Gl及右眼用圖像G2的攝影日、基線長及收斂角的信息。附帶信息H1、H2也包括左眼用圖像Gl及右眼用圖像G2的縮略圖圖像。此外，作為視點(diǎn)信息，例如能夠使用從左側(cè)的攝影部開始依次賦予的視點(diǎn)位置的序號。
[0074]幀存儲器22是對圖像數(shù)據(jù)進(jìn)行圖像處理部18所進(jìn)行的處理的各種處理時使用的作業(yè)用存儲器。
[0075]介質(zhì)控制部24對記錄介質(zhì)34進(jìn)行存取，例如進(jìn)行圖像文件等的寫入和讀入的控制。
[0076]內(nèi)部存儲器26例如存儲表示顯示裝置12的各種設(shè)定的信息及CPU35所執(zhí)行的程序。
[0077]三維處理部28讀出記錄介質(zhì)34中所存儲的圖像數(shù)據(jù)，并控制顯示控制部30，使得與通過同步通信部16進(jìn)行的與液晶快門眼鏡14的通信所獲得的同步信號同步地交替顯示用于顯示體視圖像的左眼用圖像Gl和右眼用圖像G2，從而顯示體視圖像GR。并且，在圖像數(shù)據(jù)中未記錄每幀的視差信息的情況下，三維處理部28檢測主要被攝體，進(jìn)行算出每幀的視差的處理。并且，三維處理部28也能夠調(diào)整左眼用圖像Gl及右眼用圖像G2的視差。在此，視差是指左眼用圖像Gl及右眼用圖像G2兩者含有的被攝體的、左眼用圖像Gl及右眼用圖像G2的橫向、即沿著基線的方向上的像素位置的偏移量。通過調(diào)整視差，能夠使體視圖像GR中含有的被攝體的立體感適當(dāng)。
[0078]在立體視的情況下，顯示控制部30通過三維處理部28的控制而使左眼用圖像Gl和右眼用圖像G2交替顯示于監(jiān)視器12A。
[0079]圖4是表示第一基本方式涉及的圖像重放加工裝置10的液晶快門眼鏡14側(cè)的概略構(gòu)成的框圖。
[0080]液晶快門眼鏡14具有同步通信部36、液晶快門驅(qū)動部38、右眼用液晶快門40及左眼用液晶快門42。
[0081]同步通信部36進(jìn)行信號通信，該信號用于使左右的液晶快門的驅(qū)動與顯示裝置12所顯示的左右各自的圖像同步。
[0082]液晶快門驅(qū)動部38與通過同步通信部36進(jìn)行的與顯示裝置12的通信所獲得的同步信號同步地控制右眼用液晶快門40及左眼用液晶快門42的驅(qū)動。由此，在左眼用圖像Gl顯示于顯示裝置12的監(jiān)視器12A時，右眼用液晶快門40變?yōu)橥干錉顟B(tài)而左眼用液晶快門42變?yōu)檎趽鯛顟B(tài)，在右眼用圖像G2顯示于顯示裝置12的監(jiān)視器12A時，左眼用液晶快門42變?yōu)橥干錉顟B(tài)而右眼用液晶快門40變?yōu)檎趽鯛顟B(tài)，體視圖像被重放。
[0083]在如上構(gòu)成的顯示裝置12中，由CPU32執(zhí)行下述的3D動畫編輯例程。此外，3D動畫編輯例程的程序預(yù)先存儲于內(nèi)部存儲器26中。
[0084](3D動畫編輯例程)
[0085]圖5是表示3D動畫編輯例程的流程圖。另外在此，為了避免混亂，作為在本3D動畫編輯例程中實(shí)際實(shí)施的編輯菜單，對剪切、組合、縮放、剪輯、旋轉(zhuǎn)、色調(diào)校正、圖像(靜止圖像/動畫/文字等)的重疊、幀率轉(zhuǎn)換、交錯轉(zhuǎn)換、反轉(zhuǎn)、淡入/淡出、鑲嵌、格式轉(zhuǎn)換等預(yù)先規(guī)定的多個編輯菜單中的任一個已由使用者指定了的情況進(jìn)行說明。
[0086]在步驟100中，當(dāng)3D動畫的編輯開始的指示經(jīng)由重放開始按鈕13B被輸入時，開始三維動畫編輯，前進(jìn)到步驟102。在步驟102中，由三維處理部28取得基于記錄介質(zhì)34中所存儲的構(gòu)成編輯對象的動畫數(shù)據(jù)(連續(xù)幀)的圖像文件H)的左眼用圖像Gl及右眼用圖像G2的視差量。在此，執(zhí)行第一或第二視差量獲取例程，三維處理部30進(jìn)行下一處理。
[0087](視差量的取得)
[0088]圖6是表示第一視差量獲取例程的流程圖。三維處理部28首先分別檢測多個圖像、即記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2中的同一人物的臉部區(qū)域，取得表示這些臉部區(qū)域的坐標(biāo)的臉部檢測坐標(biāo)(步驟200)，算出所取得的臉部檢測坐標(biāo)的坐標(biāo)差(步驟202)，根據(jù)坐標(biāo)差算出視差量(步驟204)。
[0089]圖7是表示第二視差量獲取例程的流程圖。三維處理部28首先分別檢測多個圖像、即記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2中的同一對象，取得確定這些對象的特征點(diǎn)的坐標(biāo)即特征點(diǎn)坐標(biāo)(步驟210)，算出所取得的特征點(diǎn)坐標(biāo)的坐標(biāo)差(步驟212)，根據(jù)坐標(biāo)差算出視差量(步驟214)。并且，當(dāng)?shù)谝换虻诙暡盍揩@取例程結(jié)束時，前進(jìn)到圖5所示的步驟104。
[0090](視差量的顯示)
[0091]在步驟104中，在將通過上述步驟102的處理獲得的視差量和用于判斷該視差量是否為異常的指標(biāo)能夠?qū)Ρ鹊仫@示于監(jiān)視器12A后，前進(jìn)到步驟106。圖8表示視差量和指標(biāo)能夠?qū)Ρ鹊仫@示于監(jiān)視器12A的狀態(tài)的一例。如圖8所示，本實(shí)施方式涉及的顯示裝置12的監(jiān)視器12A上，包括對在幀內(nèi)的進(jìn)深方向上對稱的對象(被攝體圖像)的視差量的允許界限范圍進(jìn)行規(guī)定的凹側(cè)允許界限線401 (表示允許界限范圍的最大值的直線圖像)及凸側(cè)允許界限線402 (表示允許界限范圍的最小值的直線圖像)的視差量顯示畫面40顯示于監(jiān)視器12A。并且，表示上述對稱的對象中的進(jìn)深側(cè)的對象即凹側(cè)對象的視差量410的經(jīng)時變化的進(jìn)深側(cè)視差量圖表403及表示上述對稱的對象中的近前側(cè)的對象即凸側(cè)對象的視差量411的經(jīng)時變化的近前側(cè)視差量圖表404與凹側(cè)允許界限線及凸側(cè)允許界限線能夠?qū)Ρ鹊刂丿B顯示于視差量顯示畫面40上。并且，在基于當(dāng)前時刻下監(jiān)視器12A所顯示的幀的視差量所對應(yīng)的部位，標(biāo)識被重疊顯示于視差量顯示畫面40上。因此，標(biāo)識在監(jiān)視器12A隨著幀的顯示進(jìn)行而改變位置。在圖8所示的例子中，標(biāo)識從視差量顯示畫面40的左端405(表示動畫重放開始點(diǎn)的位置)向右端406 (表示動畫重放結(jié)束點(diǎn)的位置)以與幀的顯示速度相同的速度移動。并且，在圖8所示的例子中，作為標(biāo)識而適用縱貫凹側(cè)視差量允許界限線407、凸側(cè)視差量允許界限線408、進(jìn)深側(cè)視差量圖表403及近前側(cè)視差量圖表404的縱貫線409 (標(biāo)識，當(dāng)前的顯示位置)，但不限于此，只要是至少對于進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表基于當(dāng)前時刻下監(jiān)視器12A所顯示的幀的視差量所對應(yīng)的部位在視覺上能夠確定的顯示方式的標(biāo)識，則可以是任意的標(biāo)識。附圖標(biāo)記412表示交叉點(diǎn)。
[0092]這樣一來，通過在視差量顯示畫面40上重疊顯示進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表，若進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的至少一方未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)則使用者(例如3D動畫的編輯者)能夠判斷為視差量超過了允許界限范圍，若進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的至少一方收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)則使用者(例如3D動畫的編輯者)能夠判斷為視差量未超過允許界限范圍。此外，允許界限范圍根據(jù)幀的假定顯示尺寸而變動，因此也可以變更假定顯示尺寸并將其變更結(jié)果反映到進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表。
[0093]在步驟106中，作為一例，如圖9A及圖9B所示，在監(jiān)視器12A顯示編輯對象的動畫數(shù)據(jù)中含有的幀，并且將視差量顯示畫面40重疊于幀的一部分而顯示。
[0094]在下一步驟108中，對于當(dāng)前時刻下監(jiān)視器12A所顯示的幀，判定由三維處理部28取得的視差量是否有異常，在判定為有異常的情況下，前進(jìn)到步驟110，在判定為無異常的情況下，前進(jìn)到步驟114。在該步驟108中，基于以下任一個來判定視差量的異常:(I)視差量是否存在波動；(2)視差量是否為允許界限；(3)是否錯過了視差調(diào)整對象而無法檢測出。
[0095](I)波動有無的判定
[0096]在步驟108中，CPU32執(zhí)行如下所示的第一或第二波動有無判定例程。此外，第一及第二波動有無判定例程的程序預(yù)先存儲于內(nèi)部存儲器26中。
[0097]圖10是表示第一波動有無判定例程的流程圖。CPU32取得由三維處理部28獲得的一定期間的視差量(步驟220)，算出所取得的視差量的偏差S (步驟222)。并且，CPU32判定偏差S是否小于波動閾值T (S〈T)(步驟224)。在S〈T的情況下，判定為無波動(視差量無異常)，前進(jìn)到圖5的步驟114，在不是S〈T的情況下，判定為有波動(視差量有異常)，前進(jìn)到圖5的步驟110。
[0098]圖11是表示第二波動有無判定例程的流程圖。CPU32取得由三維處理部28獲得的當(dāng)前幀和前一幀的視差量的變化量D(步驟230)。并且，CPU32判定變化量D是否小于波動閾值T (D〈T)(步驟232)。在D〈T的情況下，判定為無波動(視差量無異常)，前進(jìn)到圖5的步驟114，在不是D〈T的情況下，判定為有波動(視差量有異常)，前進(jìn)到圖5的步驟110。
[0099](2)視差量的允許界限判定
[0100]在步驟108中，CPU32也可以判定視差量是否達(dá)到預(yù)先規(guī)定的允許界限值。在此，允許界限是指表示體視圖像中所顯示的物體的過凸或過凹的視差量的閾值。在視差量達(dá)到允許界限值的情況下，前進(jìn)到步驟110，在視差量未達(dá)到允許界限的情況下，前進(jìn)到步驟114。
[0101](3)視差調(diào)整對象的判定
[0102]在步驟108中，CPU32也可以判定是否錯過了視差調(diào)整對象而無法檢測出。視差調(diào)整對象是指例如人物的臉部等畫面中心位置附近所存在的對象、多個特征點(diǎn)等。
[0103]在此，在例如10幀未檢測出視差調(diào)整對象的情況下，CPU32判定為錯過了視差調(diào)整對象，前進(jìn)到作為控制單元的步驟110，在10幀未檢測出視差調(diào)整對象的情況下，前進(jìn)到步驟114。此外，“10幀”僅是一例，也可以是其他幀數(shù)。由此，在錯過了視差調(diào)整對象的情況下，切換視差調(diào)整控制，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0104](視差量異常信息的顯示)
[0105]在步驟110中，作為一例，如圖9B所示，在監(jiān)視器12A，將表示視差量有異常的視差量異常信息450 (作為一例是圖9B所示的“NG”這一表示視差量警告的文字)與幀重疊地顯示。由此，使用者能夠易于掌握基于當(dāng)前時刻下所顯示的幀的視差量為異常這一情況。此夕卜，在本實(shí)施方式中，以可視顯示為例進(jìn)行了說明，但不限于此，也可以可聽顯示視差量有異常。并且，也可以同時使用可視顯示和可聽顯示。
[0106](視差調(diào)整控制的切換)
[0107]在下一步驟112中，在CPU32將視差調(diào)整控制切換到其他控制后，前進(jìn)到步驟114。在該步驟112中，執(zhí)行第一及第二切換處理中的任一個處理。
[0108]作為第一切換處理，CPU32定義每幀的視差量最大變化量，并設(shè)定于三維處理部28，從而對每幀的視差量的變化量加以限制。由此，能夠在視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整，抑制視差量的急劇的變化，所以能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0109]并且，作為第二切換處理，CPU32跳過該幀的視差調(diào)整(禁止該幀的視差調(diào)整)，而原封不動地繼續(xù)前一幀的視差調(diào)整。即，使用前一幀的視差量。由此，即使在視差量有異常的情況下，也能夠跳過視差調(diào)整，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0110]在步驟114中，CPU32使三維處理部28實(shí)施視差調(diào)整，將進(jìn)行了視差調(diào)整的左眼用圖像Gl及右眼用圖像G2輸出到顯示控制部30，前進(jìn)到步驟116。
[0111]在步驟116中，CPU32對當(dāng)前時刻下所顯示的幀實(shí)施由使用者預(yù)先指定的編輯。此夕卜，在該步驟116中，根據(jù)使用者的指示操作對一幅單位的幀實(shí)施編輯，但不限于此，也可以匯總多個幀進(jìn)行編輯。
[0112]在下一步驟118中，CPU32判定是否通過重放停止按鈕13C輸入了動畫重放停止的指示，在肯定判定的情況下，結(jié)束本例程，在否定判定的情況下轉(zhuǎn)換到下一幀的處理，再次返回到步驟106。
[0113]如上所述，在圖像重放加工裝置10中，在作為實(shí)施加工的對象的幀顯示于監(jiān)視器12A的期間，進(jìn)行控制使得視差量(進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表)和用于判斷該視差量是否異常的指標(biāo)(凹側(cè)允許界限線、凸側(cè)允許界限線及標(biāo)識)能夠?qū)Ρ鹊仫@示，因此能夠簡便且高精度地掌握視差量的異常。
[0114]并且，在圖像重放加工裝置10中，能夠在實(shí)際實(shí)施編輯前的階段掌握構(gòu)成作為編輯對象的動畫數(shù)據(jù)的幀的視差量的異常，因此能夠容易地進(jìn)行視差量異常的部位的修正。
[0115]此外，在檢測出波動的情況下，CPU32也可以在實(shí)施了視差調(diào)整后(步驟108結(jié)束后)將表示波動有無的波動信息記錄于記錄介質(zhì)34。由此,對動畫信息附加了波動的有無，所以再次進(jìn)行動畫重放時能夠利用波動信息，能夠使再次進(jìn)行三維動畫重放時的視差調(diào)整穩(wěn)定化。并且，在步驟104中，對(I)波動有無的判定、(2)視差量的允許界限判定、(3)視差調(diào)整對象的判定的任一個被執(zhí)行的情況作了說明，但也可以執(zhí)行(I)至(3 )中的任兩個或全部。
[0116](第一實(shí)施方式)
[0117]接著，說明以上述第一基本方式為前提的本發(fā)明的第一實(shí)施方式。此外，在此，對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0118]圖12是表示該第一實(shí)施方式涉及的3D動畫編輯例程的流程圖。此外，以下對與上述3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述3D動畫編輯例程的不同點(diǎn)。
[0119]在該第一實(shí)施方式涉及的3D動畫編輯例程中，如圖12所示，CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟113A。在步驟113A中，判定是否通過作為接收單元的操作部13接收到了進(jìn)行視差量調(diào)整的指示，在作出肯定判定的情況下，轉(zhuǎn)換到步驟113B，而在作出否定判定的情況下，轉(zhuǎn)換到步驟113C。進(jìn)行視差量調(diào)整的指示例如通過操作部13的菜單按鈕13D被按壓操作而實(shí)現(xiàn)。此外，在該步驟113A中作出了肯定判定的情況下，當(dāng)前時刻下在監(jiān)視器12A所顯示的進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表中的任一個(例如進(jìn)深側(cè)視差量圖表)閃爍顯示。在該第一實(shí)施方式涉及的顯示裝置12中，將閃爍顯示的圖表作為視差量的調(diào)整對象的圖表被選擇這一情況視覺性地傳達(dá)給使用者，但不限于此，也可以通過聲音將當(dāng)前時刻下哪個圖表處于被選擇的狀態(tài)傳達(dá)給使用者。例如，也可以在進(jìn)深側(cè)視差量圖表處于被選擇的狀態(tài)時輸出“當(dāng)前，上側(cè)的圖表被選擇”的聲音，在近前側(cè)視差量圖表處于被選擇的狀態(tài)時輸出“當(dāng)前，下側(cè)的圖表被選擇”的聲音。并且，也可以通過組合上述可視顯示及可聽顯示來向使用者傳達(dá)當(dāng)前哪個圖表被選擇。
[0120]在步驟113C中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟108或上述步驟110的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0121]在步驟113B中，判定進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表中作為視差量的調(diào)整對象的圖表是否被指定，在作出肯定判定的情況下轉(zhuǎn)換到步驟113D，而在作出否定判定的情況下轉(zhuǎn)換到步驟113E。當(dāng)通過上述步驟113B的處理指定了作為視差量的調(diào)整對象的圖表時，當(dāng)前時刻下閃爍顯示的圖表的顯示方式變更為表示被指定為作為視差量的調(diào)整對象的圖表這一情況的顯示方式(例如以虛線停止顯示的方式)。此外，作為視差量的調(diào)整對象的圖表例如進(jìn)深側(cè)視差量圖表及近前側(cè)視差量圖表的任一個通過十字鍵13G的左右方向的鍵被按壓操作而被選擇，在被選擇的狀態(tài)下通過確定按鈕13F被按壓操作而被指定(確定)。但是，作為視差量的調(diào)整對象的圖表的指定方法不限于此。例如，也可以在監(jiān)視器12A設(shè)置觸摸面板，使用者經(jīng)由觸摸面板接觸閃爍顯示狀態(tài)的圖表，從而將該接觸到的圖表指定為作為視差量的調(diào)整對象的圖表。
[0122]在步驟113E中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟113A的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113B，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0123]在步驟113D中，判定是否經(jīng)由操作部13取得了視差量的調(diào)整量。視差量的調(diào)整量例如通過十字鍵13G的向上鍵或向下鍵被按壓操作而取得。即，對十字鍵13G的向上鍵或向下鍵的按壓操作量相當(dāng)于視差量的調(diào)整量，對十字鍵13G的向上鍵或向下鍵的按壓操作量作為視差量的調(diào)整量而被取得。并且，在該第二實(shí)施方式涉及的顯示裝置12中，在作為視差量的調(diào)整對象的圖表被指定后十字鍵13G的向上鍵或向下鍵被按壓操作時，作為視差量的調(diào)整對象被指定的圖表根據(jù)該按壓操作而發(fā)生變形。具體而言，CPU32進(jìn)行以下控制:使作為視差量的調(diào)整對象的圖表根據(jù)十字鍵13G的向上鍵或向下鍵的按壓操作，以標(biāo)識的縱貫線為中心越向左右方向(動畫開始點(diǎn)側(cè)及動畫結(jié)束點(diǎn)側(cè))離開則變形量以預(yù)先規(guī)定的比例變得越小(與距標(biāo)識的距離成反比)地發(fā)生變形。
[0124]此外，視差量的調(diào)整量的獲取方法不限于十字鍵13G的向上鍵或向下鍵的按壓操作的方法。其他方法中例如也可以在監(jiān)視器12A設(shè)置觸摸面板，使用者經(jīng)由觸摸面板接觸作為視差量的調(diào)整對象而被指定的圖表中的標(biāo)識部分，將接觸到的部分移動至規(guī)定位置(例如由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的規(guī)定位置)，在移動目的地停止對觸摸面板的接觸，從而取得所確定的移動量作為視差量的調(diào)整量。
[0125]在步驟113D中作出肯定判定的情況下，轉(zhuǎn)換到作為加工單元的步驟113F，而在作出否定判定的情況下，轉(zhuǎn)換到步驟113G。在步驟113G中，判定當(dāng)前時刻下作為視差量的調(diào)整對象的圖表的指定是否被解除，在作出肯定判定的情況下轉(zhuǎn)換到步驟113B，而在作出否定判定的情況下轉(zhuǎn)換到步驟113D。此外，圖表指定的解除例如通過按壓操作取消按鈕13E來實(shí)現(xiàn)。
[0126]在步驟113F中，以通過上述步驟113B的處理所指定的圖表為對象，基于通過上述步驟113D的處理而取得的調(diào)整量，使三維處理部28實(shí)施視差調(diào)整。由此，三維處理部28對當(dāng)前時刻下所顯示的幀實(shí)施通過上述步驟113D的處理而取得的調(diào)整量的視差調(diào)整，并且調(diào)整與當(dāng)前時刻下所顯示的幀的前后相連的幀的視差量。具體而言，對這些幀實(shí)施視差調(diào)整，使其沿與當(dāng)前時刻下作為視差量的調(diào)整對象的圖表中的標(biāo)識部分的變形方向相同的方向發(fā)生變形，并且以標(biāo)識為中心越向圖表的左右方向(動畫開始點(diǎn)側(cè)及動畫結(jié)束點(diǎn)側(cè))離開，則圖表的變形量以預(yù)先規(guī)定的比例逐漸變得越小(與距標(biāo)識的距離成反比)，與之相伴，視差量也變得越小。由此，不僅對作為視差量的調(diào)整對象的圖表中的標(biāo)識部分所對應(yīng)的幀(當(dāng)前所顯示的幀)的視差量，而且對與該幀前后相連的幀的視差量也可進(jìn)行調(diào)整而不會感到不協(xié)調(diào)。
[0127]通過如此執(zhí)行上述步驟113B、113D、113F的處理，例如在進(jìn)深側(cè)視差量圖表未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的情況下(位于凹側(cè)允許界限線的上方的情況下)，在將進(jìn)深側(cè)視差量圖表指定為作為視差量的調(diào)整對象的圖表后，通過按壓操作十字鍵13G的向下鍵，能夠使進(jìn)深側(cè)視差量圖表中的標(biāo)識部分收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)。并且，在近前側(cè)視差量圖表未收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)的情況下(位于凸側(cè)允許界限線的下方的情況下)，在將近前側(cè)視差量圖表指定為作為視差量的調(diào)整對象的圖表后，通過按壓操作十字鍵13G的向上鍵，能夠使近前側(cè)視差量圖表中的標(biāo)識部分收于由凹側(cè)允許界限線和凸側(cè)允許界限線夾持的范圍內(nèi)。
[0128]在步驟113H中，判定是否滿足了作為不進(jìn)行視差量調(diào)整的條件而預(yù)先規(guī)定的條件(例如，在上述步驟113F的處理執(zhí)行結(jié)束后經(jīng)過了規(guī)定時間(例如3秒)的條件)，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟116。
[0129]此外，在該第一實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。在這種情況下，只要替代該第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H的處理而使三維處理部28實(shí)施利用了“第一切換處理”的視差調(diào)整即可。此外，即使在這種情況下，也實(shí)施視差調(diào)整，使得以作為視差調(diào)整的部位而指定的部位為中心越向圖表的左右方向離開則圖表的變動量以預(yù)先規(guī)定的比例逐漸變得越小，從而不僅對作為視差量的調(diào)整對象的圖表中的標(biāo)識部分所對應(yīng)的幀(當(dāng)前所顯示的幀)的視差量，而且對與該幀前后相連的幀的視差量也可進(jìn)行調(diào)整而不會感到不協(xié)調(diào)。
[0130]并且，在該第一實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。遙控器50具有對顯示裝置12發(fā)送無線信號的信號發(fā)送部51。并且，遙控器50具有操作部52，該操作部52構(gòu)成為包括:電源按鈕52A，與電源按鈕13A —樣地對顯示裝置12發(fā)揮功能；重放開始按鈕52B，與重放開始按鈕13B —樣地對顯示裝置12發(fā)揮功能；重放停止按鈕52C，與重放停止按鈕13C —樣地對顯示裝置12發(fā)揮功能；菜單按鈕52D，與菜單按鈕13D —樣地對顯示裝置12發(fā)揮功能；取消按鈕52E，與取消按鈕13E —樣地對顯示裝置12發(fā)揮功能；確定按鈕52F，與確定按鈕13F 一樣地對顯示裝置12發(fā)揮功能；及十字鍵52G，與十字鍵13G —樣地對顯示裝置12發(fā)揮功能。如此構(gòu)成的遙控器50將通過操作部52被操作而接收到的指示形成為無線信號，并發(fā)送到顯示裝置12。
[0131]另一方面，顯示裝置12構(gòu)成為還包括信號接收部35。信號接收部35用于接收由遙控器50發(fā)送的無線信號，與總線BUS連接。由此，CPU32能夠掌握由信號接收部35接收到的無線信號中包含的各種指示。因此，在如此構(gòu)成的圖像重放加工裝置10中，作為經(jīng)由遙控器50的操作部52接收到的指示，CPU32能夠掌握進(jìn)行視差量的調(diào)整的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)，因此能夠獲得與該第一實(shí)施方式同樣的作用及效果O
[0132]并且，在該第一實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟116的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟116，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。
[0133](第二基本方式)
[0134]接著，說明作為后述的本發(fā)明的第二實(shí)施方式的前提的第二基本方式。此外，對與第一實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0135]圖14是表示該第二基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第一實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第一實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0136]在該第二基本方式涉及的3D動畫編輯例程中，如圖14所示，CPU32執(zhí)行了步驟100的處理后，前進(jìn)到步驟250。在步驟250中，經(jīng)由操作部13接收編輯菜單的指示。在該步驟250中，由使用者指示的編輯菜單是剪切、組合、縮放、剪輯、旋轉(zhuǎn)、色調(diào)校正、圖像(靜止圖像/動畫/文字等)的重疊、幀率轉(zhuǎn)換、交錯轉(zhuǎn)換、反轉(zhuǎn)、淡入/淡出、鑲嵌、格式轉(zhuǎn)換等預(yù)先規(guī)定的多個編輯菜單中的任一個。
[0137]在下一步驟252中，根據(jù)通過上述步驟250的處理接收到的編輯菜單實(shí)施了編輯后，前進(jìn)到步驟254。在步驟254中，對于三維處理部28，在以構(gòu)成通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)的所有幀的各幀為對象而取得了視差量后，轉(zhuǎn)換到步驟104。在此，執(zhí)行在上述第一實(shí)施方式中說明的第一或第二視差量獲取例程。
[0138]在CPU32執(zhí)行了步驟104的處理后，前進(jìn)到步驟256。在步驟256中，以通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)為對象，開始三維動畫重放。
[0139]在CPU32執(zhí)行了步驟114的處理后，前進(jìn)到步驟258，判定是否滿足了作為用于結(jié)束三維動畫重放的條件而預(yù)先規(guī)定的條件(例如,通過重放停止按鈕13C輸入了動畫重放停止的指示這一條件，或構(gòu)成通過上述步驟252的處理所編輯的編輯完的動畫數(shù)據(jù)的所有幀的重放結(jié)束了這一條件)，在作出否定判定的情況下返回到步驟106，而在作出肯定判定的情況下前進(jìn)到步驟260。在步驟260中，判定是否滿足了作為用于結(jié)束該3D動畫編輯例程的條件而預(yù)先規(guī)定的條件(例如，在結(jié)束三維動畫重放后經(jīng)過了規(guī)定時間的條件)，在作出否定判定的情況下返回到步驟250，而在作出肯定判定的情況下結(jié)束本例程。
[0140]如上所述，在該第二基本方式涉及的圖像重放加工裝置10中，能夠掌握實(shí)際實(shí)施了編輯后構(gòu)成編輯完的動畫數(shù)據(jù)的幀的視差量的異常，因此能夠進(jìn)行包括視差量異常的部位的修正在內(nèi)的再次編輯。
[0141](第二實(shí)施方式)
[0142]接著，說明以上述第二基本方式為前提的本發(fā)明的第二實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0143]圖15及圖16是表示該第二實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第一實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第二基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第二基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0144]該第二實(shí)施方式涉及的3D動畫編輯例程與上述第二基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟112、114 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H。
[0145]在步驟108中，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟110。當(dāng)CPU32結(jié)束了步驟110的處理的執(zhí)行時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A?113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟258。
[0146]此外，在該第二實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0147]并且，在該第二實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0148]并且，在該第二實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0149](第三基本方式)
[0150]接著，說明作為后述的本發(fā)明的第三實(shí)施方式的前提的第三基本方式。此外，對與第一及第二實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0151]圖17是表示該第三基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第二實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第二實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0152]在該第三基本方式涉及的3D動畫編輯例程中，如圖17所示，CPU32執(zhí)行了步驟256的處理后，前進(jìn)到步驟300。在步驟300中，在設(shè)定了索引序號i=0后，前進(jìn)到步驟106，在執(zhí)行了步驟106的處理后，前進(jìn)到步驟302。在步驟302中，在取得了當(dāng)前時刻下所顯示的幀的視差量后，前進(jìn)到步驟304。在步驟304中，在將i加l(i=i+l)后，前進(jìn)到步驟108。
[0153]在CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟306A。在步驟306A中，判定索引序號i是否為視差調(diào)整頻率N以上(i≥N)。并且，在i≥N的情況下，前進(jìn)到步驟306B，在設(shè)定為i=0后，前進(jìn)到步驟114，在不是i SN的情況下，跳過步驟114，前進(jìn)到步驟258。
[0154]因此，在索引序號i小于N的情況下，反復(fù)執(zhí)行步驟106、302、108、110、306 (步驟306A)、258，不進(jìn)行視差調(diào)整(步驟114)。并且，當(dāng)索引序號i達(dá)到N時，經(jīng)過步驟108、110、306 (步驟306A、306B)，前進(jìn)到步驟114，所以實(shí)施視差調(diào)整。因此，在視差存在異常的情況下，并非對每幀進(jìn)行視差調(diào)整，而是對N幀僅進(jìn)行一次視差調(diào)整，所以能夠減少視差調(diào)整頻率，使視差調(diào)整的變化減緩。
[0155](第三實(shí)施方式)
[0156]接著，說明以上述第三基本方式為前提的本發(fā)明的第三實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0157]圖18及圖19是表示該第三實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第二實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第三基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第三基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0158]該第三實(shí)施方式涉及的3D動畫編輯例程與上述第三基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟114 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A~113H。
[0159]在步驟108中，在作出否定判定的情況下轉(zhuǎn)換到步驟113A，而在作出肯定判定的情況下轉(zhuǎn)換到步驟110。當(dāng)CPU32結(jié)束了步驟306B的處理的執(zhí)行時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A~113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟258。
[0160]此外，在該第三實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0161]并且，在該第三實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0162]并且，在該第三實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0163](第四基本方式)
[0164]接著，說明作為后述的本發(fā)明的第四實(shí)施方式的前提的第四基本方式。此外，對與第一~第三實(shí)施方式相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0165]圖20是表示該第四基本方式涉及的3D動畫編輯例程的流程圖。此外，以下對與第三實(shí)施方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與第三實(shí)施方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0166]在該第四基本方式涉及的3D動畫編輯例程中，如圖20所示，CPU32執(zhí)行了步驟106的處理后，前進(jìn)到步驟350。在步驟350中，使三維處理部28取得基于記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2的基本視差量，前進(jìn)到步驟352。在此，基本視差量是指默認(rèn)對象的視差量，例如是最靠近畫面中心的對象的視差量。
[0167]在步驟352中，判定由三維處理部28取得的基本視差量是否有異常。在此，執(zhí)行與圖18所示的步驟108相同的處理。并且，在基本視差量有異常的情況下前進(jìn)到步驟110，在無異常的情況下前進(jìn)到步驟354。
[0168]在步驟354中，CPU32控制三維處理部28以使用基本視差量來實(shí)施視差調(diào)整，前進(jìn)到步驟360。根據(jù)該步驟354的處理，三維處理部28使用左眼用圖像Gl及右眼用圖像G2的基本視差量進(jìn)行視差調(diào)整，將視差調(diào)整后的左眼用圖像Gl及右眼用圖像G2輸出到顯示控制部30。
[0169]另一方面，在CPU32執(zhí)行了步驟110的處理后，前進(jìn)到步驟356。在步驟356中，使三維處理部28取得其他對象的視差量，前進(jìn)到步驟358。作為其他對象，例如默認(rèn)對象以外的人物的臉部等。
[0170]在步驟358中，控制三維處理部28以使用其他對象的視差量來實(shí)施視差調(diào)整。此時，三維處理部28選擇“在Z方向上接近默認(rèn)對象的對象”或“在二維坐標(biāo)上接近默認(rèn)對象的對象”作為“其他對象”，使用所選擇的對象的視差量來進(jìn)行視差調(diào)整，將視差調(diào)整后的對象輸出到顯示控制部30。在此，用二維坐標(biāo)(X、Y)表示與記錄介質(zhì)34中所存儲的圖像文件H)的左眼用圖像Gl及右眼用圖像G2相同的平面，將與該面(基線)垂直的方向稱為Z方向。
[0171]因此，“在Z方向上接近默認(rèn)對象的對象”不管在二維坐標(biāo)中是否接近都是立體感與默認(rèn)對象最接近的對象。因此，三維處理部28使用該對象的視差量來進(jìn)行視差調(diào)整，從而能夠抑制視差量的急劇的變化，結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。
[0172]并且，“在二維坐標(biāo)上接近默認(rèn)對象的對象”不管是否接近默認(rèn)對象的立體感都是在二維坐標(biāo)上最接近默認(rèn)對象的對象。因此，三維處理部28使用該對象的視差量進(jìn)行視差調(diào)整，從而能夠通過與到目前為止的視差調(diào)整對象接近的對象進(jìn)行視差調(diào)整，結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。并且，經(jīng)過上述處理后前進(jìn)到步驟360。
[0173]在步驟360中，將視差調(diào)整對象用⑶I (Graphical User Interface:圖形使用者接口)標(biāo)記并顯示于監(jiān)視器12A，前進(jìn)到步驟258。在此，對于作為視差調(diào)整對象的人物的臉部，例如可以如圖21A所示用方形包圍，也可以如圖21B所示用圓包圍，還可以如圖21C所示加上星星標(biāo)記。
[0174]在步驟258中，CPU32判定是否通過重放停止按鈕13C輸入了動畫重放停止的指示，在肯定判定的情況下結(jié)束本例程，在否定判定的情況下轉(zhuǎn)換到下一幀的處理，再次返回到步驟106。
[0175]如上所述，第四基本方式的圖像重放加工裝置10中，即使在默認(rèn)對象的基本視差量有異常的情況下，或錯過了默認(rèn)對象的情況下，也能將視差調(diào)整對象切換到其他對象后進(jìn)行視差調(diào)整，因此能夠使三維動畫重放的視差調(diào)整穩(wěn)定化。
[0176](第四實(shí)施方式)[0177]接著，說明以上述第四基本方式為前提的本發(fā)明的第四實(shí)施方式。此外，在此對上述的相同的部位標(biāo)注相同的附圖標(biāo)記，省略其詳細(xì)說明。
[0178]圖22及圖23是表示該第四實(shí)施方式涉及的3D動畫編輯例程的流程圖。并且，以下對與上述第三實(shí)施方式涉及的3D動畫編輯例程相同的處理及與上述第四基本方式涉及的3D動畫編輯例程相同的處理標(biāo)注相同的步驟序號而省略說明，并說明與上述第四基本方式涉及的3D動畫編輯例程的不同點(diǎn)。
[0179]該第四實(shí)施方式涉及的3D動畫編輯例程與上述第四基本方式涉及的3D動畫編輯例程相比其不同點(diǎn)在于:去除了步驟356、358 ;以及設(shè)置了上述第一實(shí)施方式涉及的3D動畫編輯例程的步驟113A?113H。
[0180]當(dāng)CPU32結(jié)束了步驟110的處理時，轉(zhuǎn)換到步驟113A，執(zhí)行步驟113A?113H的處理。在步驟113C、113E、113H中，在作出肯定判定的情況下，轉(zhuǎn)換到步驟360。
[0181]此外，在該第四實(shí)施方式中，列舉以進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表中的標(biāo)識部分為中心而根據(jù)使用者的操作來調(diào)整視差量的情況的方式例進(jìn)行了說明，但不限于此，也可以對于視差量顯示畫面40上所顯示的進(jìn)深側(cè)視差量圖表或近前側(cè)視差量圖表，指定超過視差量的允許界限范圍的部位，使用在第一基本方式中說明的“第一切換處理”進(jìn)行視差調(diào)整。
[0182]并且，在該第四實(shí)施方式中，列舉通過顯示裝置12的操作部13被操作而進(jìn)行調(diào)整視差量的指示(步驟113A)、作為視差量的調(diào)整對象的圖表的指定(步驟113B)、視差量的調(diào)整量的指示(步驟113D)及調(diào)整對象圖表的指定的解除(步驟113G)的情況的方式例進(jìn)行了說明，但這些例如也可以使用圖13所示的遙控器50來進(jìn)行。
[0183]并且，在該第四實(shí)施方式中，將視差量調(diào)整的實(shí)施及3D動畫編輯例程的步驟252的處理一并作為“3D動畫編輯”，但不限于此，也可以從3D動畫編輯例程中去除步驟252，而將“視差量調(diào)整的實(shí)施”作為“3D動畫編輯”。在這種情況下，在步驟254中，替代編輯完的動畫數(shù)據(jù)，執(zhí)行從動畫數(shù)據(jù)取得視差量的處理。
[0184](第五實(shí)施方式)
[0185]接著，參照【專利附圖】
【附圖說明】本發(fā)明的第五實(shí)施方式。圖24是本發(fā)明的實(shí)施方式涉及的復(fù)眼相機(jī)301的正面?zhèn)攘Ⅲw圖，圖25是背面?zhèn)攘Ⅲw圖。
[0186]在復(fù)眼相機(jī)301的上部具有釋放按鈕302、電源按鈕303及變焦桿304。在復(fù)眼相機(jī)301的正面配置有閃光燈305及兩個攝影部321A、321B的透鏡。并且，在復(fù)眼相機(jī)301的背面配置有進(jìn)行各種顯示的液晶監(jiān)視器(以下簡稱為“監(jiān)視器”)307及包括也作為在第一及第二實(shí)施方式中說明的重放開始按鈕13B及重放停止按鈕13C發(fā)揮功能的按鈕在內(nèi)的各種操作按鈕308。
[0187]圖26是表示復(fù)眼相機(jī)301的內(nèi)部構(gòu)成的概略框圖。復(fù)眼相機(jī)301具有兩個攝影部321A、321B、攝影控制部322、圖像處理部323、壓縮/解壓縮處理部324、幀存儲器325、介質(zhì)控制部326、內(nèi)部存儲器327、顯示控制部328及CPU335，它們經(jīng)由總線BUS相互連接。并且，在介質(zhì)控制部326連接有記錄介質(zhì)329，在顯示控制部328連接有監(jiān)視器307。而且，在CPU335連接有輸入部334，該輸入部334構(gòu)成為包括釋放按鈕302、電源按鈕303、變焦桿304及操作按鈕308。此外，攝影部321A、321B被配置為具有將被攝體視入的收斂角并成為預(yù)先規(guī)定的基線長。并且，收斂角及基線長的信息存儲于內(nèi)部存儲器327中。[0188]圖27是表示攝影部321A、321B的構(gòu)成的圖。如圖27所示，攝影部321A、321B分別具有透鏡310A、310B、光圈311A、311B、快門312A、312B、攝像元件313A、313B、模擬前端(AFE) 314A、314B 及 A/D 轉(zhuǎn)換部 315A、315B。
[0189]透鏡310A、310B具有用于使焦點(diǎn)與被攝體對齊的聚焦透鏡、用于實(shí)現(xiàn)變焦功能的變焦透鏡等多個功能有別的透鏡。透鏡310A、310B的位置基于由攝影控制部322的AF處理部322a獲得的對焦數(shù)據(jù)及圖24和圖25所示的變焦透鏡304被操作的情況下獲得的變焦數(shù)據(jù)，由未圖示的透鏡驅(qū)動部進(jìn)行調(diào)整。
[0190]光圈311A、311B基于由攝影控制部322的AE處理部322b獲得的光圈值數(shù)據(jù)，通過未圖示的光圈驅(qū)動部進(jìn)行光圈徑的調(diào)整。
[0191]快門312A、312B是機(jī)械快門，通過未圖示的快門驅(qū)動部，根據(jù)由AE處理部322b獲得的快門速度而驅(qū)動。
[0192]攝像元件313A、313B具有將多個受光元件二維狀地排列而成的光電面，被攝體光在該光電面上成像并被光電轉(zhuǎn)換而取得模擬攝影信號。并且，在攝像元件313A、313B的前面配置有R、G、B各色濾光片規(guī)則性排列而成的濾色器。
[0193]AFE314A、314B對從攝像元件313A、313B輸出的模擬攝影信號實(shí)施去除模擬攝影信號的噪聲的處理及調(diào)節(jié)模擬攝影信號的增益的處理(以下稱為“模擬處理”)。
[0194]A/D轉(zhuǎn)換部315A、315B將被AFE314A、314B實(shí)施了模擬處理的模擬攝影信號轉(zhuǎn)換為數(shù)字信號。此外，將由攝影部321A取得的數(shù)字圖像數(shù)據(jù)所表示的圖像作為左眼用圖像，將由攝影部321B取得的數(shù)據(jù)圖像所表示的圖像作為右眼用圖像G2。
[0195]攝影控制部322如上所述具有AF處理部322a及AE處理部322b。AF處理部322a在釋放按鈕302被半按操作時，從測距傳感器獲得測距信息，決定透鏡310A、310B的焦點(diǎn)位置，并輸出到攝影部321A、321B。AE處理部322b基于預(yù)圖像決定光圈值和快門速度，并輸出到攝影部321A、321B。
[0196]此外，作為AF處理部322a對焦點(diǎn)位置的檢測方式，不限于使用了測距信息的主動方式，也可以使用利用圖像的對比度來檢測對焦位置的被動方式。
[0197]攝影控制部322在釋放按鈕302未被操作的狀態(tài)下控制攝影部321A、321B，使得以規(guī)定時間間隔(例如1/30秒間隔)依次生成用于確認(rèn)攝影范圍的、像素?cái)?shù)比左眼用圖像Gl及右眼用圖像G2的本圖像少的實(shí)時取景圖像。并且，在釋放按鈕302被全按操作時攝影控制部322控制攝影部321A、321B，使得為了開始本攝影而生成左眼用圖像Gl及右眼用圖像G2的本圖像。
[0198]以上說明了靜止畫面模式的情況，而在本第五實(shí)施方式中，也可以設(shè)定為動畫攝影模式。在動畫攝影模式的情況下，當(dāng)釋放按鈕302被按壓時開始動畫攝影，對應(yīng)每幀生成左眼用圖像Gl及右眼用圖像G2，當(dāng)再次按壓釋放按鈕302時，動畫攝影停止。
[0199]圖像處理部323對攝影部321A、321B所取得的左眼用圖像Gl及右眼用圖像G2的數(shù)字圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度校正、銳度校正及顏色校正等圖像處理。
[0200]壓縮/解壓縮處理部324對被圖像處理部323實(shí)施了處理的表示左眼用圖像Gl及右眼用圖像G2的本圖像的圖像數(shù)據(jù)例如以JPEG等壓縮形式進(jìn)行壓縮處理，生成體視用的圖像文件H)。該體視用的圖像文件H)具有左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)，而且還包括基于Exif格式等的基線長、收斂角及攝影時間等附帶信息及表示視點(diǎn)位置的視點(diǎn)息。
[0201]幀存儲器325是對攝影部321A、321B所取得的表示左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)進(jìn)行包括上述圖像處理部323所進(jìn)行的處理在內(nèi)的各種處理時所使用的作業(yè)用存儲器。
[0202]介質(zhì)控制部326對記錄介質(zhì)329進(jìn)行存取，進(jìn)行圖像文件等的寫入和讀入的控制。
[0203]內(nèi)部存儲器327存儲復(fù)眼相機(jī)301中所設(shè)定的各種常數(shù)及CPU335所執(zhí)行的程序
坐寸ο
[0204]在立體視的情況下，顯示控制部328將幀存儲器325或記錄介質(zhì)329中所記錄的體視圖像GR顯示于監(jiān)視器307。
[0205]圖28是表示監(jiān)視器307的構(gòu)成的分解立體圖。如圖28所示，監(jiān)視器307如下構(gòu)成:將由LED發(fā)光的背光單元340及用于進(jìn)行各種顯示的液晶面板341層疊，在液晶面板341的表面安裝柱面透鏡片342。
[0206]圖29是表示柱面透鏡片的構(gòu)成的圖。如圖29所示，柱面透鏡片342通過在沿著基線的方向上并排排列多個圓柱體透鏡343而構(gòu)成。
[0207]并且，復(fù)眼相機(jī)301具有三維處理部330。三維處理部330為了將左眼用圖像Gl及右眼用圖像G2體視顯示于監(jiān)視器307，對左眼用圖像Gl及右眼用圖像G2進(jìn)行三維處理，生成體視圖像GR。
[0208]圖30是用于說明對左眼用圖像Gl及右眼用圖像G2的三維處理的圖。如圖30所示，三維處理部330以如下方式進(jìn)行三維處理而生成立體圖像GR:將左眼用圖像Gl及右眼用圖像G2分別在相對于基線垂直的方向上剪切成長條狀，在柱面透鏡片342中的圓柱體透鏡343上分別交替配置位置對應(yīng)的剪切為長條狀的左眼用圖像Gl及右眼用圖像G2。構(gòu)成體視圖像GR的左眼用圖像Gl及右眼用圖像G2的圖像對分別與一個圓柱體透鏡對應(yīng)而配置。
[0209]并且，三維處理部330也能夠調(diào)整左眼用圖像Gl及右眼用圖像G2的視差。在此，視差是指左眼用圖像Gl及右眼用圖像G2雙方含有的被攝體的、左眼用圖像Gl及右眼用圖像G2的橫向、即沿著基線的方向上的像素位置的偏移量。通過調(diào)整視差，能夠使立體圖像GR中含有的被攝體的立體感適當(dāng)。
[0210]并且，三維處理部330可以實(shí)時調(diào)整由攝影部321A、321B獲得的左眼用圖像Gl及右眼用圖像G2的視差，也可以調(diào)整記錄介質(zhì)329中預(yù)先記錄的左眼用圖像Gl及右眼用圖像G2的視差。
[0211]在如上構(gòu)成的復(fù)眼相機(jī)301中，執(zhí)行在第一?第四實(shí)施方式中說明的3D動畫編輯例程。此外，第一及第二視差調(diào)整例程的程序預(yù)先存儲于內(nèi)部存儲器327中。
[0212]此外，本發(fā)明不限于上述實(shí)施方式，能夠適用于在權(quán)利要求范圍所記載的事項(xiàng)的范圍內(nèi)進(jìn)行了設(shè)計(jì)變更的方式。
[0213]例如，在上述第一?第四實(shí)施方式中，替代直接取得視差量，作為一例，也可以取得圖31所示的視差相關(guān)信息。
[0214]圖32A及圖32B是用于說明視差相關(guān)信息的圖。視差相關(guān)信息對于每幀的左眼圖像(左眼用圖像Gl)及右眼圖像(右眼用圖像G2)，為特征點(diǎn)A的坐標(biāo)組、特征臉部A的坐標(biāo)組、特征臉部B的坐標(biāo)組、波動有無等信息。并且，也可以使用這些視差相關(guān)信息進(jìn)行視差調(diào)整。
[0215]在本第五實(shí)施方式中，列舉在監(jiān)視器307顯示體視圖像的情況的方式例進(jìn)行了說明，但不限于此，例如也可以將圖1所示的顯示裝置12和復(fù)眼相機(jī)301以能夠利用有線或無線進(jìn)行通信的方式連接，將由復(fù)眼相機(jī)301生成的左眼用圖像Gl及右眼用圖像G2發(fā)送到顯示裝置12，在顯示裝置12顯示基于從復(fù)眼相機(jī)301發(fā)送的左眼用圖像Gl及右眼用圖像G2的三維立體圖像。在這種情況下，使用者例如可以通過一邊視覺確認(rèn)顯示裝置12所顯示的三維立體圖像一邊操作復(fù)眼相機(jī)301的操作按鈕308來進(jìn)行圖像數(shù)據(jù)的編輯、視差量的調(diào)整。并且，在顯示裝置12和復(fù)眼相機(jī)301已連接的情況下，也能夠?qū)︼@示裝置12的記錄介質(zhì)34中記錄的圖像數(shù)據(jù)進(jìn)行編輯、視差量的調(diào)整。在這種情況下，只要使用圖13所示的遙控器50或顯示裝置12的操作部13進(jìn)行圖像數(shù)據(jù)的編輯、視差量的調(diào)整即可。
[0216]此外，在上述第一?第四實(shí)施方式中，列舉使用液晶快門眼鏡14使使用者視覺確認(rèn)體視圖像的情況的方式例進(jìn)行了說明，在上述第五實(shí)施方式中，列舉通過使用柱面透鏡片42使使用者視覺確認(rèn)體視圖像的情況的方式例進(jìn)行了說明，但不限于此，例如也可以在上述第一?第四實(shí)施方式中說明的顯示裝置12的監(jiān)視器12A適用柱面透鏡片42，并且如上述第五實(shí)施方式所述，生成體視圖像GR并顯示于監(jiān)視器12A，從而使使用者不使用液晶快門眼鏡14而視覺確認(rèn)體視圖像，并且，也可以替代在上述第五實(shí)施方式中說明的在復(fù)眼相機(jī)301的監(jiān)視器307設(shè)置柱面透鏡片342，而將左眼用圖像Gl和右眼用圖像G2交替顯示于監(jiān)視器307，并如上述第一?第四實(shí)施方式所述，通過使用液晶快門眼鏡14使使用者視覺確認(rèn)體視圖像。
[0217]并且，在上述各實(shí)施方式中，列舉基于同一人物的臉部區(qū)域取得視差量的方式例進(jìn)行了說明，但不限于此，例如也可以適用狗、貓等寵物的臉部區(qū)域、特定的動物、植物的特征部分的輪廓、或生物以外的物體(例如汽車、電車及建筑等)的特征部分的輪廓作為視差量的獲取對象。在這種情況下，列舉以下方式例:預(yù)先準(zhǔn)備存儲有表示獲取對象的圖像的特征的特征量數(shù)據(jù)的圖案匹配用的圖像辭典，使用該圖像辭典確定獲取對象，算出所確定的獲取對象的視差量。此外，圖像辭典優(yōu)選由使用者自定義的方式。在這種情況下，能夠例示如下的圖像辭典:使用者能夠向圖像辭典追加注冊表示圖像特征的特征量數(shù)據(jù)以及從圖像辭典刪除表示圖像特征的特征量數(shù)據(jù)，其中該圖像特征表示作為視差量的獲取對象所指定的事物。
[0218]并且，也可以將視差量的獲取對象設(shè)為具有幀內(nèi)的規(guī)定值以上的空間頻率的被攝體圖像。在這種情況下，例如可以設(shè)為基于對應(yīng)每幀由以規(guī)定值的空間頻率(邊緣成分)規(guī)定的閉合曲線所包圍的區(qū)域(閉合曲線區(qū)域)的被攝體圖像，也可以設(shè)為基于對應(yīng)每幀由以超過規(guī)定空間頻率的空間頻率(規(guī)定值)規(guī)定的閉合曲線區(qū)域的被攝體圖像。此外，該被攝體圖像可以是幀內(nèi)的以規(guī)定空間頻率以上的空間頻率規(guī)定的閉合曲線區(qū)域本身，也可以是包圍以規(guī)定值的空間頻率規(guī)定的閉合曲線區(qū)域的最小矩形、最小圓形等幾何形狀內(nèi)的區(qū)域，還可以是使閉合曲線區(qū)域按照規(guī)定的算法變形而獲得的區(qū)域。這樣一來，視差量的獲取對象只要是每幀的預(yù)先規(guī)定的被攝體圖像，則可以是任意的。
[0219]并且，在上述各實(shí)施方式中，列舉以下情況的方式例進(jìn)行了說明:取得在幀內(nèi)的進(jìn)深側(cè)及近前側(cè)視差量較大的對象即凹側(cè)對象及凸側(cè)對象的視差量并將所取得的視差量的經(jīng)時變化對應(yīng)每個對象進(jìn)行圖表化而進(jìn)行顯示，但不限于此，也可以取得幀內(nèi)的任一個對象的視差量并將該視差量的經(jīng)時變化圖表化進(jìn)行顯示，還可以取得幀內(nèi)的三個以上的對象的視差量并將這些視差量的各經(jīng)時變化圖表化進(jìn)行顯示。
[0220]并且，在上述各實(shí)施方式中，將視差量的經(jīng)時變化圖表化來表現(xiàn)，但不限于此，也可以數(shù)值化地表現(xiàn)。在這種情況下，只要將表示作為異常的視差量而預(yù)先規(guī)定的視差量的數(shù)值能夠?qū)Ρ鹊匾徊@示即可。并且，也可以將視差量圖表化進(jìn)行顯示并且與該顯示一并地顯示表示視差量的數(shù)值。在這種情況下,優(yōu)選使表示視差量的數(shù)值與當(dāng)前時刻下所顯示的幀相關(guān)。由此，能夠更進(jìn)一步易于掌握當(dāng)前時刻下所顯示的幀中含有的對象的視差量是否為異常。
[0221]并且，在上述各實(shí)施方式中，列舉與監(jiān)視器12A所顯示的幀重疊地顯示視差量顯示畫面40的情況的方式例進(jìn)行了說明，但不限于此，也可以將重放的幀和視差量顯示畫面40以不同的監(jiān)視器進(jìn)行顯示。在這種情況下，優(yōu)選將視差量顯示畫面40內(nèi)顯示的標(biāo)識顯示于確定基于當(dāng)前時刻下所顯示的幀中含有的對象的視差量的位置上。
[0222]并且，在上述各實(shí)施方式中，列舉直接對比表示視差量的圖表與用于判斷視差量是否為異常的指標(biāo)(允許界限線)的方式例進(jìn)行了說明，但也可以采用交替地顯示表示視差量的圖表和用于判斷視差量是否為異常的指標(biāo)的間接對比。在這種情況下，通過高速地交替顯示，能夠?qū)嵸|(zhì)上進(jìn)行直接對比。
[0223]日本專利申請第2011-126295號的公開內(nèi)容其整體通過參照而并入到本說明書中。
[0224]本說明書中記載的所有文獻(xiàn)、專利申請及技術(shù)規(guī)格通過參照而并入到本說明書中，各文獻(xiàn)、專利申請及技術(shù)規(guī)格通過參照而并入等同于它們被具體且分別地記載。
【權(quán)利要求】
1.一種圖像加工裝置，包括: 圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像； 視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像的各幀圖像，取得上述多個幀圖像的各幀圖像的視差量； 顯示單元，將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示； 接收單元，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工； 加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及 控制單元,控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的圖像加工裝置，其中， 上述視差量獲取單元基于在上述幀圖像內(nèi)作為視差量的獲取對象的被攝體圖像而預(yù)先規(guī)定的被攝體圖像來取得視差量。
3.根據(jù)權(quán)利要求2所述的圖像加工裝置，其中， 將上述預(yù)先規(guī)定的被攝體圖像設(shè)為上述幀圖像內(nèi)的具有規(guī)定值以上的空間頻率的被攝體圖像。
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的圖像加工裝置，其中， 上述控制單元進(jìn)一步控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將表示視差量的允許界限的信息、表示視差量的經(jīng)時變化的信息、在表示該視差量的經(jīng)時變化的信息中能夠確認(rèn)當(dāng)前顯示的幀圖像的視差的信息建立對應(yīng)并進(jìn)行顯示。
5.根據(jù)權(quán)利要求4所述的圖像加工裝置，其中， 使表示上述視差量的允許界限的信息和表示上述視差量的經(jīng)時變化的信息與被攝體圖像的進(jìn)深側(cè)和近前側(cè)分別對應(yīng)。
6.根據(jù)權(quán)利要求1~5中任一項(xiàng)所述的圖像加工裝置，其中， 還包括異常判定單元，該異常判定單元在以下情況中的至少一種情況下判定為上述視差量有異常:由上述視差量獲取單元取得的視差量的一定期間的變動大于規(guī)定值的情況、上述視差量達(dá)到預(yù)先規(guī)定的允許界限值的情況和無法檢測出上述視差量的獲取對象的情況， 上述控制單元進(jìn)一步控制上述顯示單元，使得在由上述異常判定單元判定為視差量為異常的情況下，與該視差量所對應(yīng)的幀圖像的顯示同步地顯示警告。
7.根據(jù)權(quán)利要求6所述的圖像加工裝置，其中， 還包括視差調(diào)整單元，在由上述異常判定單元判定為上述視差量無異常的情況下，該視差調(diào)整單元進(jìn)行第一視差調(diào)整，在由上述異常判定單元判定為上述視差量有異常的情況下，該視差調(diào)整單元切換到與上述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制來進(jìn)行視差調(diào)整， 上述控制單元進(jìn)一步控制上述顯示單元,使得在作為由上述加工單元實(shí)施加工的對象的上述幀圖像顯示于上述顯示單元的情況下，對被上述視差調(diào)整單元進(jìn)行了上述視差調(diào)整的上述幀圖像進(jìn)行顯示。
8.根據(jù)權(quán)利要求7所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元在預(yù)先規(guī)定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整。
9.根據(jù)權(quán)利要求7或8所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元使用前一幀的視差量來進(jìn)行視差調(diào)整。
10.根據(jù)權(quán)利要求7~9中任一項(xiàng)所述的圖像加工裝置，其中， 在由上述異常判定單元判定為上述視差量有異常的情況下，上述視差調(diào)整單元降低視差調(diào)整頻率。
11.一種復(fù)眼攝像裝置，包括: 權(quán)利要求1~10中任一項(xiàng)所述的圖像加工裝置 '及 攝像單元，通過從多個視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成上述連續(xù)幀圖像。
12.—種圖像加工方法， 取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像， 基于構(gòu)成所取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量， 將構(gòu)成所取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式進(jìn)行顯示， 接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工， 對所顯示的上述幀圖像實(shí)施由接收到的加工指示信息所指示的視差量的加工， 在對視差量的加工被指示后的上述幀圖像進(jìn)行顯示的期間，將與所取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
13.一種程序，用于使計(jì)算機(jī)作為以下單元發(fā)揮功能: 圖像獲取單元，取得從多個視點(diǎn)連續(xù)拍攝同一被攝體而獲得的連續(xù)幀圖像； 視差量獲取單元，基于構(gòu)成由上述圖像獲取單元取得的上述連續(xù)幀圖像的多個幀圖像中的各幀圖像，取得上述多個幀圖像中的各幀圖像的視差量； 將構(gòu)成由上述圖像獲取單元取得的連續(xù)幀圖像的幀圖像作為體視圖像以能夠視覺確認(rèn)的方式顯示于顯示單元的單元； 接收單元，接收加工指示信息，該加工指示信息指示對上述幀圖像的視差量的加工；加工單元,對上述顯示單元所顯示的上述幀圖像實(shí)施由上述接收單元接收到的加工指示信息所指示的視差量的加工；及 控制單元,控制上述顯示單元,使得在上述加工單元對視差量的加工被指示后的上述幀圖像顯示于上述顯示單元的期間，將與由上述視差量獲取單元取得的視差量有關(guān)的視差量相關(guān)信息和用于判斷該視差量是否為異常的指標(biāo)建立對應(yīng)并進(jìn)行顯示。
【文檔編號】H04N13/00GK103597822SQ201280027741
【公開日】2014年2月19日 申請日期:2012年4月23日 優(yōu)先權(quán)日:2011年6月6日
【發(fā)明者】森光司 申請人:富士膠片株式會社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！
1