圖像處理裝置和方法、以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種圖像處理裝置和方法、以及程序，更具體地，涉及能夠?qū)⒛：倪\(yùn)動(dòng)圖像轉(zhuǎn)換成不太模糊的運(yùn)動(dòng)圖像的圖像處理裝置和方法、以及程序。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中，針對(duì)視頻攝像頭捕獲圖像時(shí)出現(xiàn)的模糊圖像的解決方案被分類成:當(dāng)捕獲圖像時(shí)使用諸如陀螺儀傳感器的傳感器來校正由機(jī)械因素引起的模糊的機(jī)械方法，以及使用光流技術(shù)對(duì)圖像進(jìn)行平移的電子方法。
[0003]已開發(fā)了用于使用這些方法的組合來校正模糊圖像的技術(shù)(參見專利文獻(xiàn)I)。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:JP 2011-217317A

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，上述機(jī)械方法對(duì)減小尺寸具有限制，因而，例如難以安裝在眼鏡安裝型的視頻攝像頭中。
[0009]上述電子方法可以消除機(jī)械部件的使用以實(shí)現(xiàn)更緊湊的結(jié)構(gòu)，但逐一地校正圖像。當(dāng)這些圖像被連續(xù)地再現(xiàn)為運(yùn)動(dòng)圖像時(shí)，與在前后圖像之間的關(guān)系無關(guān)地執(zhí)行校正。因而，難以清楚地觀看作為整體再現(xiàn)的運(yùn)動(dòng)圖像，并且觀看者呈現(xiàn)類似于所謂的暈動(dòng)癥的癥狀。
[0010]鑒于這樣的狀況而作出了本技術(shù)，特別地，當(dāng)再現(xiàn)捕獲的運(yùn)動(dòng)圖像時(shí)，期望通過使得成像方向?yàn)榛旧喜蛔兊姆较騺慝@得具有較少模糊的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0011 ] 針對(duì)問題的解決方案
[0012]根據(jù)本技術(shù)的實(shí)施例，提供了一種圖像處理裝置，包括:獲取單元，被配置成以構(gòu)成通過成像單元進(jìn)行的捕獲而獲得的運(yùn)動(dòng)圖像的幀圖像為單位，來獲取關(guān)于成像位置和成像方向的信息；轉(zhuǎn)換圖像生成單元，被配置成針對(duì)構(gòu)成所述運(yùn)動(dòng)圖像的每個(gè)幀圖像，基于所述幀圖像本身和所述幀圖像的前后幀圖像來生成具有不同成像方向的多個(gè)轉(zhuǎn)換圖像；評(píng)價(jià)值計(jì)算單元，被配置成針對(duì)通過組合所述轉(zhuǎn)換圖像與原始幀圖像而構(gòu)成的每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像計(jì)算評(píng)價(jià)值，所述評(píng)價(jià)值用于評(píng)價(jià)所述轉(zhuǎn)換圖像之間或所述原始幀圖像之間的模糊；以及選擇單元，被配置成基于所述評(píng)價(jià)值計(jì)算單元所計(jì)算出的評(píng)價(jià)值來選擇具有較少模糊的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0013]節(jié)點(diǎn)差分計(jì)算單元，被配置成計(jì)算由所述轉(zhuǎn)換圖像生成單元所生成的所述轉(zhuǎn)換圖像與所述原始幀圖像之間的差分作為節(jié)點(diǎn)差分；以及邊緣差分計(jì)算單元，被配置為計(jì)算包括由所述轉(zhuǎn)換圖像生成單元所生成的所述轉(zhuǎn)換圖像和所述原始幀圖像的時(shí)間序列的差分作為邊緣差分。所述評(píng)價(jià)值可以計(jì)算單元基于通過組合所述轉(zhuǎn)換圖像與所述原始圖像而構(gòu)成的所述轉(zhuǎn)換運(yùn)動(dòng)圖像中所包括的轉(zhuǎn)換圖像或原始幀圖像之間的所述邊緣差分之和以及所述節(jié)點(diǎn)差分之和中的每一個(gè)，來計(jì)算用于評(píng)價(jià)每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像的模糊的評(píng)價(jià)值。
[0014]評(píng)價(jià)值計(jì)算單元通過將權(quán)重賦予包括在轉(zhuǎn)換運(yùn)動(dòng)圖像中的轉(zhuǎn)換圖像或原始的幀圖像之間的邊緣差分之和以及節(jié)點(diǎn)差分之和中的每一個(gè)并且通過計(jì)算權(quán)重值之和，來計(jì)算用于評(píng)價(jià)每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像的模糊的評(píng)價(jià)值，其中轉(zhuǎn)換運(yùn)動(dòng)圖像是通過將轉(zhuǎn)換圖像與原始圖像進(jìn)行組合而構(gòu)成的。
[0015]權(quán)重輸入單元被配置成輸入要應(yīng)用于邊緣差分之和以及節(jié)點(diǎn)差分之和的權(quán)重，應(yīng)用于邊緣差分之和以及節(jié)點(diǎn)差分之和的權(quán)重之和為值I。所述評(píng)價(jià)值計(jì)算單元通過將權(quán)重輸入單元輸入的權(quán)重賦予包括在轉(zhuǎn)換運(yùn)動(dòng)圖像中的轉(zhuǎn)換圖像或原始的幀圖像之間的邊緣差分之和以及節(jié)點(diǎn)差分之和中的每一個(gè)、并且通過計(jì)算權(quán)重值之和，計(jì)算用于評(píng)價(jià)每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像的模糊的評(píng)價(jià)值，其中轉(zhuǎn)換運(yùn)動(dòng)圖像是通過將轉(zhuǎn)換圖像與原始圖像進(jìn)行組合而構(gòu)成的。
[0016]存儲(chǔ)單元還可以在轉(zhuǎn)換圖像生成單元生成轉(zhuǎn)換圖像時(shí)，將關(guān)于根據(jù)原始的幀圖像、通過具有多個(gè)預(yù)定視角并且通過旋轉(zhuǎn)至多個(gè)角度而改變的成像方向的信息與轉(zhuǎn)換圖像相關(guān)聯(lián)地存儲(chǔ)。圖像處理裝置還可以包括:顯示圖像生成單元，被配置成基于轉(zhuǎn)換運(yùn)動(dòng)圖像或運(yùn)動(dòng)圖像的幀圖像的成像位置信息來生成在地圖上顯示路線的顯示圖像，并且通過基于通過向每個(gè)成像方向應(yīng)用不同的顏色來在所述路線上進(jìn)行顯示。
[0017]指定單元被配置成指定在顯示圖像上的所述地圖上顯示的路線上的位置；以及再現(xiàn)單元，被配置成根據(jù)包括關(guān)于與指定單元指定的位置相對(duì)應(yīng)的成像位置的信息的幀圖像，再現(xiàn)構(gòu)成路線或運(yùn)動(dòng)圖像的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0018]轉(zhuǎn)換圖像生成單元使用幀圖像本身和幀圖像的前后幀圖像、通過將構(gòu)成存儲(chǔ)單元中存儲(chǔ)的運(yùn)動(dòng)圖像的每個(gè)幀圖像轉(zhuǎn)換成下述多個(gè)圖像來生成轉(zhuǎn)換圖像，所述多個(gè)圖像通過利用包括視角偏移、單應(yīng)性變換和視點(diǎn)合成的技術(shù)而具有多個(gè)預(yù)定視角并且旋轉(zhuǎn)至多個(gè)角度而具有不同成像方向。
[0019]轉(zhuǎn)換圖像生成單元針對(duì)構(gòu)成存儲(chǔ)單元中存儲(chǔ)的運(yùn)動(dòng)圖像的每個(gè)幀圖像，基于幀圖像本身和幀圖像的前后幀圖像、通過使用通過等于或小于像素的相移而生成的像素來生成具有不同成像方向的多個(gè)高分辨率轉(zhuǎn)換圖像。
[0020]成像單元被配置成捕獲運(yùn)動(dòng)圖像。獲取單元可以將關(guān)于幀圖像的成像位置和成像方向的信息與每個(gè)幀圖像相關(guān)聯(lián)地存儲(chǔ)。
[0021]根據(jù)本技術(shù)的實(shí)施例，提供了一種圖像處理方法，以構(gòu)成通過成像單元進(jìn)行的捕獲而獲得的運(yùn)動(dòng)圖像的幀圖像為單位，來獲取關(guān)于成像位置和成像方向的信息；針對(duì)構(gòu)成所述運(yùn)動(dòng)圖像的每個(gè)幀圖像，基于所述幀圖像本身和所述幀圖像的前后幀圖像來生成具有不同成像方向的多個(gè)轉(zhuǎn)換圖像；針對(duì)通過組合所述轉(zhuǎn)換圖像與原始幀圖像而構(gòu)成的每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像計(jì)算評(píng)價(jià)值，所述評(píng)價(jià)值用于評(píng)價(jià)所述轉(zhuǎn)換圖像之間或所述原始幀圖像之間的模糊；以及基于所計(jì)算出的評(píng)價(jià)值來選擇具有較少模糊的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0022]根據(jù)本技術(shù)的實(shí)施例，提供了一種用于使得計(jì)算機(jī)執(zhí)行如下處理，所述處理包括:獲取步驟，用于以構(gòu)成通過成像單元進(jìn)行的捕獲而獲得的運(yùn)動(dòng)圖像的幀圖像為單位獲取關(guān)于成像位置和成像方向的信息；轉(zhuǎn)換圖像生成步驟，用于針對(duì)構(gòu)成所述運(yùn)動(dòng)圖像的每個(gè)幀圖像，基于所述幀圖像本身和所述幀圖像的前后幀圖像來生成具有不同成像方向的多個(gè)轉(zhuǎn)換圖像；評(píng)價(jià)值計(jì)算步驟，用于針對(duì)通過組合所述轉(zhuǎn)換圖像與原始幀圖像而構(gòu)成的每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像計(jì)算評(píng)價(jià)值，所述評(píng)價(jià)值用于評(píng)價(jià)所述轉(zhuǎn)換圖像之間或所述原始幀圖像之間的模糊；以及選擇步驟，用于基于通過所述評(píng)價(jià)值計(jì)算步驟的處理而計(jì)算出的評(píng)價(jià)值來選擇具有較少模糊的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0023]在本技術(shù)的實(shí)施例中，以構(gòu)成通過由成像單元進(jìn)行的捕獲而獲得的運(yùn)動(dòng)圖像的幀圖像為單位來獲取關(guān)于成像位置和成像方向的信息；針對(duì)構(gòu)成運(yùn)動(dòng)圖像的每個(gè)幀圖像，基于幀圖像本身和幀圖像的前后幀圖像來生成具有不同成像方向的多個(gè)轉(zhuǎn)換圖像；針對(duì)通過將轉(zhuǎn)換圖像與原始幀圖像進(jìn)行組合而構(gòu)成的每個(gè)轉(zhuǎn)換運(yùn)動(dòng)圖像，計(jì)算評(píng)價(jià)值，該評(píng)價(jià)值用于評(píng)價(jià)轉(zhuǎn)換圖像之間或者原始幀圖像之間的模糊；以及基于通過算出的評(píng)價(jià)值來選擇具有較少模糊的轉(zhuǎn)換運(yùn)動(dòng)圖像。
[0024]根據(jù)本技術(shù)的實(shí)施例的圖像處理裝置可以是獨(dú)立裝置或者可以是執(zhí)行信息處理的塊。
[0025]發(fā)明的有益效果
[0026]根據(jù)本技術(shù)的實(shí)施例，可以通過容易的操作將模糊的運(yùn)動(dòng)圖像轉(zhuǎn)換成不太模糊的運(yùn)動(dòng)圖像。
【附圖說明】
[0027]圖1是示出應(yīng)用了本技術(shù)的圖像處理系統(tǒng)的實(shí)施例的示例性通用配置的圖。
[0028]圖2是示出圖1所示的眼鏡安裝型攝像頭的示例性外觀配置的圖。
[0029]圖3是用于描述實(shí)現(xiàn)圖1所示的眼鏡安裝型攝像頭的功能配置的圖。
[0030]圖4是用于描述實(shí)現(xiàn)圖1所示的再現(xiàn)終端的功能配置的圖。
[0031]圖5是用于描述實(shí)現(xiàn)圖1所示的服務(wù)器的功能配置的圖。
[0032]圖6是用于描述成像和記錄處理的流程圖。
[0033]圖7是用于描述捕獲運(yùn)動(dòng)圖像文件的配置的圖。
[0034]圖8是用于描述再現(xiàn)圖像選擇圖像顯示處理的流程圖。
[0035]圖9是用于描述作為再現(xiàn)圖像選擇圖像的我的地圖的示例性顯示的圖。
[0036]圖10是用于描述如何校正旋鈕(knob)的圖。
[0037]圖11是用于描述路線校正處理的流程圖。
[0038]圖12是用于描述作為原始圖像與轉(zhuǎn)換圖像之間是差分的節(jié)點(diǎn)差分的圖。
[0039]圖13是用于描述作為原始圖像或轉(zhuǎn)換圖像的時(shí)間序列中的前后圖像之間的差分的邊緣差分的圖。
[0040]圖14是用于描述可以被處理為圖優(yōu)化問題的運(yùn)動(dòng)圖像文件的幀圖像之間的轉(zhuǎn)換處理的圖。
[0041]圖15是用于描述剪切圖像由于轉(zhuǎn)換圖像而失敗(collapse)的區(qū)域的示例的圖。
[0042]圖16是用于描述再現(xiàn)處理的流程圖。
[0043]圖17是用于描述通用個(gè)人計(jì)算機(jī)的示例性配置的圖。
【具體實(shí)施方式】
[0044]<成像系統(tǒng)的示例性配置>
[0045]圖1是示出應(yīng)用了本技術(shù)的圖像處理系統(tǒng)的示例性配置的圖。圖1所示的圖像處理系統(tǒng)I被配置成包括眼鏡安裝型攝像頭11-1至11-N、再現(xiàn)終端12-1至12-M、網(wǎng)絡(luò)13以及服務(wù)器14。只要無需特別區(qū)分具有相同名稱的部件則，將眼鏡安裝型攝像頭11-1至Il-N簡稱為眼鏡安裝型攝像頭11，以及將再現(xiàn)終端12-1至12-M簡稱為再現(xiàn)終端12。這類似地適用于其它部件。
[0046]在圖1所示的圖像處理系統(tǒng)I中，通過眼鏡安裝型攝像頭11捕獲的運(yùn)動(dòng)圖像被傳送至服務(wù)器14并存儲(chǔ)在其中。當(dāng)眼鏡安裝型攝像頭11的用戶操作再現(xiàn)終端12并且訪問服務(wù)器14時(shí)，所存儲(chǔ)的運(yùn)動(dòng)圖像被再現(xiàn)并由用戶觀看。
[0047]更具體地，眼鏡安裝型攝像頭11捕獲運(yùn)動(dòng)圖像，將成像位置和成像方向信息添加到構(gòu)成所捕獲的運(yùn)動(dòng)圖像的每個(gè)幀圖像中，并且生成具有約I分鐘的時(shí)間長度的運(yùn)動(dòng)圖像文件。然后，眼鏡安裝型攝像頭11經(jīng)由網(wǎng)絡(luò)13將所得到的運(yùn)動(dòng)圖像文件傳送至服務(wù)器14。服務(wù)器14將索引(index)分配給以幀為單位添加了從眼鏡安裝型攝像頭11提供的成像位置和成像方向的運(yùn)動(dòng)圖像文件，并且接著，服務(wù)器14存儲(chǔ)編有索引的運(yùn)動(dòng)圖像文件。當(dāng)被用戶操作的再現(xiàn)終端12訪問時(shí)，服務(wù)器14基于成像方向信息生成具有較少模糊的經(jīng)校正的運(yùn)動(dòng)圖像，并且通過用戶佩戴眼鏡安裝型攝像頭11并且捕獲運(yùn)動(dòng)圖像、基于成像位置信息來生成在地圖上顯示用戶的移動(dòng)路徑的顯示圖像。服務(wù)器14將所生成的圖像一起分發(fā)給再現(xiàn)終端12。通過將所存儲(chǔ)的圖像校正成不太模糊的圖像來獲得由服務(wù)器14生成的經(jīng)校正的運(yùn)動(dòng)圖像。當(dāng)再現(xiàn)終端12獲得其上標(biāo)記有對(duì)應(yīng)于移動(dòng)路徑的路線的地圖圖像時(shí)，再現(xiàn)終端12顯示該地圖圖像。當(dāng)選擇了與地圖上的移動(dòng)路徑相對(duì)應(yīng)的路線中的任意一個(gè)位置時(shí)，再現(xiàn)終端12再現(xiàn)并顯示從在與所選擇的位置相對(duì)應(yīng)的成像位置處捕獲的圖像開始的運(yùn)動(dòng)圖像。因而，眼鏡安裝型攝像頭11的用戶可以指定地圖上的任意移動(dòng)路徑而無需考慮諸如成像能力或圖像捕獲時(shí)間的信息。這允許用戶在搜索期望觀看的圖像的同時(shí)享受觀看用戶捕獲的圖像。
[0048]<眼鏡安裝型攝像頭的示例性外觀配置>
[0049]將參照?qǐng)D2描述眼鏡安裝型攝像頭11的示例性外觀配置。眼鏡安裝型攝像頭11可以如圖2所示，并且當(dāng)用戶像佩戴眼鏡一樣佩戴它時(shí)，成像單元32捕獲用戶通過一對(duì)透鏡31-1和31-2觀察到的視野圖像。
[0050]眼鏡安裝型攝像頭11被配置成包括透鏡31-1和31-2、成像單元32以及控制單元33。透鏡31-1和31-2可以是普通的眼鏡片。成像單元32可以由電荷耦合器件(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器構(gòu)成。成像單元32根據(jù)預(yù)定格式對(duì)捕獲的運(yùn)動(dòng)圖像進(jìn)行壓縮并且將壓縮后的運(yùn)動(dòng)圖像提供