專利名稱：圖像顯示單元、圖像顯示系統(tǒng)和運(yùn)動(dòng)圖像檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像顯示和運(yùn)動(dòng)圖像檢索，特別是涉及基于多場景回放的圖像顯示和運(yùn)動(dòng)圖像檢索。
作為已有技術(shù)，在日本未審查專利No.5-19731中揭示了一種通用同時(shí)多場景回放方法。如圖33所示，基于這種技術(shù)的同時(shí)多場景回放方法的圖像顯示單元的特點(diǎn)在于譯碼幀確定裝置3301，該裝置根據(jù)回放時(shí)同時(shí)顯示的運(yùn)動(dòng)圖像數(shù)據(jù)量確定譯碼級別；目標(biāo)幀譯碼裝置3302，該裝置根據(jù)譯碼幀確定裝置3301確定的譯碼級別對圖像數(shù)據(jù)進(jìn)行譯碼；以及分別回放每批譯碼圖像數(shù)據(jù)的運(yùn)動(dòng)圖像回放裝置3303。
此外，在日本未審查專利No.2-113790中揭示了一種運(yùn)動(dòng)圖像檢索方法。按照這種檢索方法，如圖34所示，提供典型場景提取裝置3401，該裝置將表示待檢索圖像特征的部分運(yùn)動(dòng)圖像信息作為場景提取出來；菜單圖像生成裝置3402，該裝置將這些場景排列在時(shí)間軸上作為菜單圖像編輯；以及菜單圖像回放裝置3403，該裝置回放待檢索的菜單圖像，當(dāng)觀看菜單圖像時(shí)完成與檢索對象一致的圖像的檢索。
此外，在日本未審查專利No.5-81348中還揭示了一種運(yùn)動(dòng)圖像檢索系統(tǒng)作為從累積的運(yùn)動(dòng)圖像數(shù)據(jù)中選擇符合用途的數(shù)據(jù)的方法。圖35為示意框圖，它示出了日本未審查專利No.5-81348中所揭示的運(yùn)動(dòng)圖像檢索系統(tǒng)的布局。在該運(yùn)動(dòng)圖像檢索系統(tǒng)中，縮小的圖像生成部分3502根據(jù)所有或部分運(yùn)動(dòng)圖像數(shù)據(jù)幀生成顯示用的圖像數(shù)據(jù)作為運(yùn)動(dòng)圖像并進(jìn)一步從每批運(yùn)動(dòng)圖像數(shù)據(jù)的一部分生成表示每批運(yùn)動(dòng)圖像數(shù)據(jù)的縮小靜止圖像。靜止圖像顯示單元3504根據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)在位圖顯示單元3506的屏幕上排列和顯示代表性的圖像，與此同時(shí)場景選取裝置3507在位圖顯示器上選取代表性的圖像從而由運(yùn)動(dòng)顯示單元3505在位圖顯示器3506上依次連續(xù)顯示由選取的代表性圖像表示的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像顯示數(shù)據(jù)。
但是在已有技術(shù)中，對于同時(shí)多場景回放的情況，通?？刂迫舾煽s小場景分別被分配至通過劃分顯示器屏幕而限定的區(qū)域內(nèi)，因此對于這種分配(與回放的運(yùn)動(dòng)圖像數(shù)量對應(yīng))有必要實(shí)行譯碼之類的控制。此外，對于通過網(wǎng)絡(luò)實(shí)現(xiàn)的同時(shí)多場景回放，需要確保網(wǎng)絡(luò)帶寬滿足回放運(yùn)動(dòng)圖像數(shù)據(jù)的需要，并且對于在終端內(nèi)實(shí)現(xiàn)的同時(shí)多場景回放，所消耗系統(tǒng)資源的數(shù)量對應(yīng)于待回放運(yùn)動(dòng)圖像的數(shù)量。
而且對于運(yùn)動(dòng)圖像數(shù)據(jù)的檢索，由于檢索對象一般是勾畫運(yùn)動(dòng)圖像特征的一組圖像，所以可以借助于類似的圖像進(jìn)行檢索，這導(dǎo)致檢索效率變差和處理時(shí)間延長。
還有一個(gè)問題是，為了從若干終端中指定檢索條件和在同時(shí)回放各終端之間若干不同的運(yùn)動(dòng)圖像，除了終端和網(wǎng)絡(luò)的負(fù)擔(dān)以外，服務(wù)器的負(fù)擔(dān)將以正比于終端數(shù)量的比率增加，從而難以在若干終端上平滑地回放運(yùn)動(dòng)圖像。
而且在已有的方法中，為了從作為檢索對象的運(yùn)動(dòng)圖像數(shù)據(jù)中尋找到定向場景，需要回放和檢查預(yù)先生成的整個(gè)運(yùn)動(dòng)圖像顯示圖像數(shù)據(jù)，而這種檢索需要花費(fèi)巨大的時(shí)間和精力。
因此本發(fā)明的一個(gè)目標(biāo)是消除因?qū)Υ胤胚\(yùn)動(dòng)圖像譯碼引起的控制麻煩并在這種同時(shí)多場景回放過程中充分利用網(wǎng)絡(luò)帶寬和系統(tǒng)資源。
本發(fā)明另一個(gè)目標(biāo)是在根據(jù)靜止圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，既加快檢索過程又避免漏檢。
本發(fā)明進(jìn)一步的目標(biāo)是提供一種圖像檢索系統(tǒng)，它能夠在若干終端處利用平滑運(yùn)動(dòng)數(shù)據(jù)回放符合多個(gè)終端中每一個(gè)指定的檢索條件的一系列運(yùn)動(dòng)圖像數(shù)據(jù)。
本發(fā)明的進(jìn)一步目標(biāo)是提供一種運(yùn)動(dòng)圖像回放系統(tǒng)，它能夠從運(yùn)動(dòng)圖像數(shù)據(jù)中快速而簡單地檢索出符合要求的場景。
為了解決上述難題，本發(fā)明的第一方面是將若干待回放的運(yùn)動(dòng)圖像數(shù)據(jù)以幀為單位縮小并進(jìn)行組合或合成從而生成一幅待回放的運(yùn)動(dòng)圖像。當(dāng)同時(shí)回放多場景下若干運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，可以避免因譯碼若干待回放運(yùn)動(dòng)圖像而引起的控制麻煩。而且例如在通過網(wǎng)絡(luò)傳送這種組合圖像時(shí)，正向提供的數(shù)據(jù)流數(shù)量減少，從而可以充分利用網(wǎng)絡(luò)的帶寬，并且減少計(jì)算機(jī)終端在回放上消耗的系統(tǒng)資源。
本發(fā)明的第二方面是，對于利用關(guān)鍵圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)的情況，關(guān)鍵圖像不再與運(yùn)動(dòng)圖像數(shù)據(jù)內(nèi)所有的幀進(jìn)行比較而是與運(yùn)動(dòng)圖像數(shù)據(jù)每個(gè)場景的代表性幀進(jìn)行比較。因此當(dāng)利用靜止圖像作為關(guān)鍵圖像對運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行檢索時(shí)，由于經(jīng)過檢索的幀數(shù)據(jù)量減少，所以加快了檢索處理過程。
本發(fā)明的第三方面是，對于利用關(guān)鍵圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)的情況，除了將關(guān)鍵圖像與運(yùn)動(dòng)圖像數(shù)據(jù)每個(gè)場景的代表性幀進(jìn)行比較以外，還將經(jīng)過比較確定為一致的場景代表新幀指定為新的關(guān)鍵圖像，并利用新指定的關(guān)鍵圖像進(jìn)行檢索，從而避免了檢索遺漏。因此利用靜止圖像作為關(guān)鍵圖像來檢索運(yùn)動(dòng)圖像數(shù)據(jù)的情況，在數(shù)量上增加了作為關(guān)鍵圖像的靜止圖像，從而避免了檢索遺漏。
本發(fā)明的第四方面是，在服務(wù)器一側(cè)將若干待回放的運(yùn)動(dòng)圖像數(shù)據(jù)以幀為單位縮小并進(jìn)行組合從而生成一幅運(yùn)動(dòng)圖像，并且經(jīng)過組合的圖像在終端一側(cè)回放。因此當(dāng)同時(shí)回放多場景下若干運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，正向提供的數(shù)據(jù)流數(shù)量減少，從而可以充分利用發(fā)送和接收組合圖像的網(wǎng)絡(luò)的帶寬，并且減少計(jì)算機(jī)終端在回放上消耗的系統(tǒng)資源。
本發(fā)明的第五方面是，運(yùn)動(dòng)圖像檢索服務(wù)器提取若干符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)，并根據(jù)圖像縮小裝置從運(yùn)動(dòng)圖像存儲裝置中提取的運(yùn)動(dòng)圖像數(shù)據(jù)生成縮小的圖像，進(jìn)一步利用圖像組合裝置將縮小的圖像組合起來并放入組合圖像存儲裝置中。而且還通過組合圖像發(fā)送控制裝置向終端發(fā)送組合圖像存儲裝置存儲的數(shù)據(jù)，與此同時(shí)運(yùn)動(dòng)圖像檢索終端顯示接收到的組合圖像。即使在將符合檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)同時(shí)顯示于屏幕上時(shí)，由于在運(yùn)動(dòng)圖像檢索服務(wù)器中檢索和組合的運(yùn)動(dòng)圖像數(shù)據(jù)通過網(wǎng)絡(luò)接收并回放，所以諸如存儲器和磁盤之類的系統(tǒng)資源和網(wǎng)絡(luò)上的負(fù)擔(dān)能夠滿足同時(shí)顯示一批運(yùn)動(dòng)圖像數(shù)據(jù)的要求。
本發(fā)明的第六方面是，對生成組合圖像所花費(fèi)時(shí)間進(jìn)行計(jì)算以根據(jù)服務(wù)器的負(fù)擔(dān)調(diào)整所組合的圖像數(shù)據(jù)的幀間隔，由此根據(jù)服務(wù)器的負(fù)擔(dān)向運(yùn)動(dòng)圖像檢索終端發(fā)送平滑的運(yùn)動(dòng)圖像。
本發(fā)明的第七方面是，在運(yùn)動(dòng)圖像檢索服務(wù)器中，組合圖像發(fā)送控制裝置將生成的組合圖像幀數(shù)與送往運(yùn)動(dòng)圖像檢索終端的組合圖像幀數(shù)進(jìn)行比較，并在組合圖像發(fā)送數(shù)等于組合數(shù)時(shí)，在如下的一種狀態(tài)下不斷重復(fù)發(fā)送所生成的組合圖像，此時(shí)發(fā)送(發(fā)出)幀數(shù)處于頭部位置而組合運(yùn)動(dòng)圖像數(shù)據(jù)隨時(shí)間不斷累積直到發(fā)送數(shù)等于生成數(shù)，從而可以在運(yùn)動(dòng)圖像檢索終端處平滑回放運(yùn)動(dòng)圖像數(shù)據(jù)。
本發(fā)明的第八方面是，計(jì)算生成以預(yù)期時(shí)間回放的組合圖像所需的時(shí)間，并在生成余下的組合圖像所需時(shí)間小于回放預(yù)期時(shí)間時(shí)開始發(fā)送組合圖像。在此基礎(chǔ)上，無需等到生成以預(yù)期時(shí)間回放的組合運(yùn)動(dòng)圖像數(shù)據(jù)之后而只需經(jīng)過一個(gè)短暫的等待時(shí)間就可開始回放符合檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)。
本發(fā)明的第九方面是，在使任意指定的運(yùn)動(dòng)圖像數(shù)據(jù)交錯(cuò)其回放開始時(shí)間的狀態(tài)下對提取的圖像數(shù)據(jù)進(jìn)行縮小以生成隨時(shí)間排布的組合圖像，并且組合圖像顯示于運(yùn)動(dòng)圖像檢索終端處。因此可以更精確地檢索選定的運(yùn)動(dòng)圖像數(shù)據(jù)并更快地發(fā)現(xiàn)定向場景。
根據(jù)本發(fā)明，提供了一種圖像顯示單元，它包含用來縮小圖像數(shù)據(jù)的圖像縮小裝置；用來組合縮小的圖像數(shù)據(jù)以生成組合圖像的圖像組合裝置；用來顯示組合圖像的圖像顯示裝置；以及負(fù)責(zé)回放圖像數(shù)據(jù)的同時(shí)多場景回放裝置，其中圖像縮小裝置將待回放的圖像數(shù)據(jù)以幀為單位縮小，圖像組合裝置將圖像數(shù)據(jù)同一幀的縮小圖像數(shù)據(jù)組合起來，而同時(shí)多場景回放裝置回放組合的圖像。
圖像縮小裝置包括用來以任意像素為單位對圖像進(jìn)行劃分以形成宏塊的宏塊形成裝置；用來完成每個(gè)宏塊正交變換的正交變換裝置；用來從經(jīng)過正交變換的宏塊中提取對應(yīng)最低頻率項(xiàng)的像素的像素提取裝置；以及用來組合由像素提取裝置提取的像素的像素組合裝置。
而且根據(jù)本發(fā)明，提供了一種圖像顯示單元，它包含用來縮小圖像數(shù)據(jù)的圖像縮小裝置；用來組合縮小的圖像數(shù)據(jù)以生成組合圖像的圖像組合裝置；用來顯示組合圖像的圖像顯示裝置；以及用來選擇和回放待回放的組合圖像的圖像數(shù)據(jù)的裝置，其中圖像縮小裝置將非回放圖像數(shù)據(jù)和待回放圖像數(shù)據(jù)以幀為單位進(jìn)行縮小，圖像組合裝置將非回放的縮小圖像數(shù)據(jù)和待回放的縮小圖像數(shù)據(jù)以幀為單位組合起來，而選擇圖像回放裝置選擇并回放組合的圖像數(shù)據(jù)。
而且根據(jù)本發(fā)明，提供了一種圖像顯示單元，它包含用來輸入用作檢索關(guān)鍵的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置；利用關(guān)鍵圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像檢索裝置；用來縮小檢索到的運(yùn)動(dòng)圖像數(shù)據(jù)的圖像縮小裝置；用來將縮小圖像數(shù)據(jù)組合為組合圖像的圖像組合裝置；以及用來顯示組合圖像的圖像顯示裝置。
運(yùn)動(dòng)圖像檢索裝置包括用來檢測被檢索圖像數(shù)據(jù)切割點(diǎn)的切割點(diǎn)檢測裝置；用來在一個(gè)場景內(nèi)提取任一幀的的提取裝置；以及用來將提取的幀與關(guān)鍵圖像進(jìn)行比較的圖像比較判斷裝置。
運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括關(guān)鍵圖像指定裝置，用來根據(jù)圖像比較判斷裝置的結(jié)果將與關(guān)鍵圖像一致的幀最新指定為關(guān)鍵圖像，而圖像比較判斷裝置采用新指定的關(guān)鍵圖像重新進(jìn)行比較。另一方面，運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括根據(jù)圖像比較判斷裝置的比較結(jié)果最新指定某一幀為關(guān)鍵圖像的關(guān)鍵圖像指定裝置，在包括與首先提及的關(guān)鍵圖像一致的幀在內(nèi)的場景的所有幀中，該幀與首先提及的關(guān)鍵圖像最為相似，而圖像比較判斷裝置采用新指定的關(guān)鍵圖像重新進(jìn)行比較。運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括圖像相似性輸出裝置，它用來輸出在圖像比較判斷裝置中比較的幀與關(guān)鍵圖像之間的相似性從而由關(guān)鍵圖像指定裝置指定具有最大相似性的幀。
而且根據(jù)本發(fā)明，提供了包含用來生成和發(fā)送經(jīng)過縮小和組合的場景的運(yùn)動(dòng)圖像檢索服務(wù)器和接收并回放經(jīng)過縮小和組合的場景的運(yùn)動(dòng)圖像檢索終端，服務(wù)器和終端通過網(wǎng)絡(luò)互相連接起來，服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；利用運(yùn)動(dòng)圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；利用縮小圖像生成組合圖像的圖像組合裝置；用來控制組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與終端通信的通信裝置，而終端包括用來控制與服務(wù)器通信的的通信裝置；以及將服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中服務(wù)器對若干運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行縮小和組合以生成組合圖像數(shù)據(jù)并通過網(wǎng)絡(luò)發(fā)送生成的組合圖像數(shù)據(jù)，與此同時(shí)終端接收生成的組合圖像數(shù)據(jù)并將其作為運(yùn)動(dòng)圖像回放。
根據(jù)本發(fā)明，提供了包含用來檢索運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像檢索服務(wù)器和用來向運(yùn)動(dòng)圖像服務(wù)器提出運(yùn)動(dòng)圖像檢索請求的運(yùn)動(dòng)圖像檢索終端的運(yùn)動(dòng)圖像檢索系統(tǒng)，服務(wù)器和終端通過網(wǎng)絡(luò)互相連接起來，運(yùn)動(dòng)圖像服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；對存儲在運(yùn)動(dòng)圖像存儲裝置中的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行檢索的運(yùn)動(dòng)圖像檢索裝置；用來從滿足由運(yùn)動(dòng)圖像檢索裝置檢索獲得的檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)以每幀的頻率提取圖像數(shù)據(jù)的圖像提取裝置；根據(jù)運(yùn)動(dòng)圖像提取裝置提取的圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；根據(jù)縮小圖像生成組合圖像的圖像組合裝置；用來控制組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向運(yùn)動(dòng)圖像檢索終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與終端通信的通信裝置，而運(yùn)動(dòng)圖像檢索終端包括輸入運(yùn)動(dòng)圖像數(shù)據(jù)檢索條件的檢索條件輸入裝置；用來控制與運(yùn)動(dòng)圖像檢索服務(wù)器通信的的通信裝置；以及將運(yùn)動(dòng)圖像檢索服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中運(yùn)動(dòng)圖像檢索服務(wù)器對若干符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行縮小和組合以生成組合圖像數(shù)據(jù)并通過網(wǎng)絡(luò)發(fā)送生成的組合圖像數(shù)據(jù)，與此同時(shí)運(yùn)動(dòng)圖像檢索終端接收生成的組合圖像數(shù)據(jù)并將其作為運(yùn)動(dòng)圖像回放。
運(yùn)動(dòng)圖像檢索服務(wù)器提供有組合圖像壓縮裝置，用來壓縮圖像組合裝置生成的組合圖像數(shù)據(jù)并將壓縮的圖像數(shù)據(jù)存儲在組合圖像存儲裝置內(nèi)，與此同時(shí)運(yùn)動(dòng)圖像檢索終端配備有組合圖像擴(kuò)展裝置，用來擴(kuò)展通過通信裝置接收到的組合圖像數(shù)據(jù)并進(jìn)一步向組合圖像回放裝置輸出經(jīng)過擴(kuò)展的組合圖像數(shù)據(jù)，從而使壓縮數(shù)據(jù)用于組合圖像數(shù)據(jù)的存儲和運(yùn)動(dòng)圖像檢索服務(wù)器與運(yùn)動(dòng)圖像檢索終端之間的通信。
運(yùn)動(dòng)圖像檢索服務(wù)器提供有幀間隔設(shè)定裝置，用來根據(jù)給定幀數(shù)的組合圖像數(shù)據(jù)所需生成時(shí)間設(shè)定運(yùn)動(dòng)圖像檢索裝置產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)所需的幀間隔，從而根據(jù)幀間隔設(shè)定裝置設(shè)定的幀間隔改變圖像提取裝置中滿足檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)的提取幀間隔。而且組合圖像發(fā)送控制裝置包括用來存儲圖像組合裝置生成的一定幀數(shù)的組合圖像的寫入幀存儲裝置；用來根據(jù)寫入幀存儲裝置中存儲的寫入幀數(shù)控制組合圖像發(fā)送開始的發(fā)送開始控制裝置；用來存儲從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)的發(fā)送幀存儲裝置；用來將存儲在寫入幀存儲裝置中的生成的組合圖像幀數(shù)與從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送并存儲在發(fā)送幀存儲裝置中的組合圖像幀數(shù)進(jìn)行比較以確定下一發(fā)送幀數(shù)的幀比較裝置；以及用來從組合圖像存儲裝置中讀取由幀比較裝置設(shè)定的對應(yīng)發(fā)送幀數(shù)的組合圖像并進(jìn)一步向通信裝置輸出的組合圖像發(fā)送裝置，其中組合圖像發(fā)送控制裝置將所生成的組合圖像的幀數(shù)與向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)進(jìn)行比較，并且在向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)等于或大于所生成組合圖像幀數(shù)時(shí)將下一發(fā)送的幀數(shù)設(shè)定為頭部并且重復(fù)所生成組合圖像的回放。
另一方面，組合圖像發(fā)送控制裝置包括用來存儲由圖像組合裝置生成的組合圖像幀數(shù)的寫入幀存儲裝置；用來根據(jù)存儲在寫入幀存儲裝置中的幀數(shù)以及幀數(shù)寫入時(shí)間計(jì)算組合圖像生成速度的組合圖像生成速度計(jì)算裝置；用來根據(jù)由組合圖像生成速度計(jì)算裝置獲得的組合圖像生成速度以及回放預(yù)期時(shí)間控制發(fā)送開始的發(fā)送開始控制裝置；用來存儲組合運(yùn)動(dòng)圖像數(shù)據(jù)的回放預(yù)期時(shí)間的回放預(yù)期時(shí)間存儲裝置；用來存儲從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)的發(fā)送幀存儲裝置；用來將存儲在寫入幀存儲裝置中的生成的組合圖像幀數(shù)與從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送并存儲在發(fā)送幀存儲裝置中的組合圖像幀數(shù)進(jìn)行比較以設(shè)定下一發(fā)送幀數(shù)的幀比較裝置；以及用來從組合圖像存儲裝置中讀取由幀比較裝置設(shè)定的對應(yīng)發(fā)送幀數(shù)的組合圖像并進(jìn)一步向通信裝置輸出的組合圖像發(fā)送裝置，其中寫入幀存儲裝置和組合圖像生成速度計(jì)算裝置計(jì)算與回放預(yù)期時(shí)間對應(yīng)的組合圖像所需的生成時(shí)間，并且在生成余下的組合圖像所需時(shí)間小于回放預(yù)期時(shí)間時(shí)開始發(fā)送組合圖像。
運(yùn)動(dòng)圖像檢索終端還提供有圖像選擇裝置，用來從通過縮小和組合符合檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)而生成的組合運(yùn)動(dòng)圖像中選擇所需的運(yùn)動(dòng)圖像數(shù)據(jù)，與此同時(shí)運(yùn)動(dòng)圖像檢索服務(wù)器配備有用來存儲組合圖像除數(shù)的場景除數(shù)存儲裝置和用來在這樣一種狀態(tài)下從運(yùn)動(dòng)圖像存儲裝置中提取圖像的時(shí)間劃分提取裝置，在該狀態(tài)下所指定的運(yùn)動(dòng)圖像數(shù)據(jù)回放時(shí)間是交錯(cuò)的，并且運(yùn)動(dòng)圖像檢索服務(wù)器對圖像數(shù)據(jù)進(jìn)行縮小，該圖像數(shù)據(jù)通過對圖像選擇裝置以時(shí)間為單位指定的任意運(yùn)動(dòng)圖像數(shù)據(jù)以存儲在場景除數(shù)存儲裝置中的除數(shù)進(jìn)行劃分并加以提取獲得，還將縮小的圖像數(shù)據(jù)按照時(shí)間順序排列以生成組合圖像。
而且，根據(jù)本發(fā)明，提供了運(yùn)動(dòng)圖像檢索系統(tǒng)，它包含用于檢索運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像檢索服務(wù)器和用于向運(yùn)動(dòng)圖像檢索服務(wù)器提出運(yùn)動(dòng)圖像檢索請求的運(yùn)動(dòng)圖像檢索終端，運(yùn)動(dòng)圖像檢索服務(wù)器和運(yùn)動(dòng)圖像檢索終端通過網(wǎng)絡(luò)互相連接起來，運(yùn)動(dòng)圖像檢索服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；對存儲在運(yùn)動(dòng)圖像存儲裝置中的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行檢索的運(yùn)動(dòng)圖像檢索裝置；用來在這樣一種狀態(tài)下從運(yùn)動(dòng)圖像存儲裝置中提取圖像的時(shí)間劃分提取裝置，在該狀態(tài)下所指定的運(yùn)動(dòng)圖像數(shù)據(jù)回放開始時(shí)間是交錯(cuò)的；根據(jù)運(yùn)動(dòng)圖像提取裝置提取的圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；根據(jù)縮小圖像生成組合圖像的圖像組合裝置；用來控制組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向運(yùn)動(dòng)圖像檢索終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與終端通信的通信裝置，而運(yùn)動(dòng)圖像檢索終端包括輸入運(yùn)動(dòng)圖像數(shù)據(jù)檢索條件的檢索條件輸入裝置；用來控制與運(yùn)動(dòng)圖像檢索服務(wù)器通信的的通信裝置；以及將運(yùn)動(dòng)圖像檢索服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中時(shí)間劃分提取裝置提取存儲在運(yùn)動(dòng)圖像存儲裝置內(nèi)的運(yùn)動(dòng)圖像數(shù)據(jù)，而圖像組合裝置按照時(shí)間順序排列符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)和在這樣一種狀態(tài)下的運(yùn)動(dòng)圖像數(shù)據(jù)，在該狀態(tài)下符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的開始時(shí)間是交錯(cuò)的，從而生成組合圖像。
通過以下結(jié)合附圖對較佳實(shí)施例的詳細(xì)描述可以更容易地理解本發(fā)明的目標(biāo)和特征。


圖1為按照本發(fā)明第一實(shí)施例的圖像顯示單元的布局示意圖；圖2A為按照本發(fā)明的圖像數(shù)據(jù)顯示過程流程圖；圖2B為按照本發(fā)明第一實(shí)施例的同時(shí)多場景回放處理流程圖；圖3為按照本發(fā)明第二實(shí)施例的圖像顯示單元的布局示意圖；圖4為按照本發(fā)明第二實(shí)施例的選擇圖像回放處理流程圖；圖5為按照本發(fā)明第三實(shí)施例的圖像縮小裝置示意圖；圖6為按照本發(fā)明第三實(shí)施例的圖像縮小裝置所執(zhí)行操作的流程圖；圖7為按照本發(fā)明第四實(shí)施例的圖像顯示單元的示意圖；圖8為本發(fā)明第四實(shí)施例所執(zhí)行操作的流程圖；圖9表示本發(fā)明第五實(shí)施例的運(yùn)動(dòng)圖像檢索裝置的布局；圖10為圖9的運(yùn)動(dòng)圖像檢索裝置所執(zhí)行操作的流程圖；圖11表示按照本發(fā)明第六實(shí)施例的運(yùn)動(dòng)圖像檢索裝置的布局；圖12為圖11的運(yùn)動(dòng)圖像檢索裝置所執(zhí)行操作的流程圖；圖13表示按照本發(fā)明第七實(shí)施例的運(yùn)動(dòng)圖像檢索裝置的布局；圖14為圖13的運(yùn)動(dòng)圖像檢索裝置所執(zhí)行操作的流程圖；圖15表示按照本發(fā)明第八實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的布局；圖16為本發(fā)明第八實(shí)施例的運(yùn)動(dòng)圖像檢索服務(wù)器進(jìn)行多運(yùn)動(dòng)圖像組合處理的流程圖；圖17為本發(fā)明第八實(shí)施例的圖像組合示例的示意圖；圖18為本發(fā)明第八實(shí)施例的組合圖像發(fā)送控制裝置操作的流程圖；圖19表示本發(fā)明第九實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)；圖20為本發(fā)明第九實(shí)施例的多運(yùn)動(dòng)圖像組合處理的流程圖；圖21為按照本發(fā)明第十實(shí)施例的運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置的布局；圖22為本發(fā)明第十實(shí)施例的組合圖像發(fā)送控制處理的流程圖23表示本發(fā)明第十實(shí)施例的組合圖像回放狀態(tài)；圖24表示本發(fā)明第十一實(shí)施例的運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置的布局；圖25為本發(fā)明第十一實(shí)施例的圖像組合處理流程圖；圖26為本發(fā)明第十一實(shí)施例的發(fā)送開始檢查處理流程圖；圖27為本發(fā)明第十一實(shí)施例的運(yùn)動(dòng)圖像發(fā)送處理流程圖；圖28表示按照本發(fā)明第十二實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的布局；圖29為第十二實(shí)施例的組合圖像生成處理流程圖；圖30為本發(fā)明第十二實(shí)施例的縮小圖像放置示例的示意圖；圖31表示按照本發(fā)明第十三實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的布局；圖32為本發(fā)明第十三實(shí)施例的縮小圖像放置示例的示意圖；圖33為基于已有技術(shù)的圖像顯示單元布局示意圖；圖34為基于已有技術(shù)的運(yùn)動(dòng)圖像檢索裝置布局的示意圖；以及圖35為基于已有技術(shù)的運(yùn)動(dòng)圖像檢索系統(tǒng)布局的示意圖。
以下借助附圖1-32描述本發(fā)明的實(shí)施例。
(第一實(shí)施例)圖1為按照本發(fā)明第一實(shí)施例的圖像顯示單元的布局示意圖。在圖1中，標(biāo)號101代表用來縮小圖像數(shù)據(jù)的圖像縮小裝置，標(biāo)號102表示用來組合經(jīng)圖像縮小裝置101縮小的圖像的圖像組合裝置，標(biāo)號103表示用來顯示由圖像組合裝置102組合的圖像的圖像顯示裝置，標(biāo)號104表示用來同時(shí)回放圖像的同時(shí)多場景回放裝置，該圖像的獲得方式為所有由圖像組合裝置102組合并由圖像顯示裝置103顯示的圖像在圖像縮小裝置101內(nèi)以幀為單位縮小并在圖像組合裝置102中以幀為組合。
圖2A和2B為按照本實(shí)施例的圖像顯示單元執(zhí)行操作的流程圖。以下借助圖1以及流程圖2A和2B描述操作。在圖2A和2B中，操作開始于步驟201以獲得待顯示為列表的圖像數(shù)據(jù)數(shù)，隨后在步驟202中根據(jù)獲得的圖像數(shù)據(jù)數(shù)計(jì)算縮小比率。而且在步驟203中，開始階段數(shù)(i)設(shè)定為零，而在步驟205中，圖像縮小裝置101以步驟202計(jì)算的的縮小比率對圖像數(shù)據(jù)進(jìn)行縮小直到開始步驟數(shù)(i)等于作為列表顯示的圖像數(shù)據(jù)數(shù)(步驟204)，每次縮小之后，在步驟206開始步驟數(shù)(i)增加1。開始步驟的“開始”標(biāo)志著每個(gè)宏塊正交變換的開始，而“步驟”指的是被劃分宏塊的正交變換步驟。當(dāng)開始步驟數(shù)(i)等于作為列表顯示的圖像數(shù)據(jù)數(shù)時(shí)(步驟204)，在步驟207中，圖像組合裝置102將經(jīng)過縮小的所有圖像數(shù)據(jù)組合起來并在步驟208中由圖像顯示裝置103顯示在圖像組合裝置102內(nèi)組合的圖像。
如果接收到回放與來自用戶的組合圖像對應(yīng)的所有運(yùn)動(dòng)圖像數(shù)據(jù)的要求或請求(步驟209和210)，則操作轉(zhuǎn)入步驟211以獲得運(yùn)動(dòng)圖像數(shù)據(jù)幀數(shù)(m)，該運(yùn)動(dòng)圖像的幀數(shù)是所有經(jīng)過回放的運(yùn)動(dòng)圖像中幀數(shù)最大的，隨后的步驟212將開始步驟數(shù)(i)設(shè)定為零，并且直到開始步驟數(shù)(i)等于幀數(shù)最大的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)(m)(步驟213)，執(zhí)行步驟214以檢查所有運(yùn)動(dòng)圖像數(shù)據(jù)中是否有幀數(shù)不等于開始步驟數(shù)(i)的。如果存在這樣的情況(由步驟214確認(rèn))，則操作轉(zhuǎn)入步驟215以將幀數(shù)與開始步驟數(shù)(i)不等的運(yùn)動(dòng)圖像數(shù)據(jù)的最后一幀設(shè)定為第i幀。此后，在步驟216中圖像縮小裝置101以步驟202中計(jì)算的縮小比率縮小所有運(yùn)動(dòng)圖像數(shù)據(jù)的第i幀，并在步驟217中由圖像組合裝置102組合所有運(yùn)動(dòng)圖像數(shù)據(jù)第i幀的圖像，而在步驟218中，圖像顯示裝置103在與第i幀組合圖像同步的狀態(tài)下顯示前述組合圖像，隨后的步驟219將開始步驟數(shù)(i)增加1。
此后操作流程返回步驟213，進(jìn)行相同的操作直到i＝m。另一方面，如果步驟210的判斷是“否”，則結(jié)束操作。
如上所述，按照本實(shí)施例，對于同時(shí)回放所有經(jīng)過縮小、組合并顯示的圖像的情形，即使就幀數(shù)較小的圖像而言其幀數(shù)不同，在回放最后一幀之后，相同的最后一幀不斷被回放從而使同時(shí)多場景回放并處理為一批運(yùn)動(dòng)圖像數(shù)據(jù)的回放。因此可以省略麻煩的控制，例如在回放一側(cè)與所回放運(yùn)動(dòng)圖像數(shù)對應(yīng)的譯碼。此外，對于通過網(wǎng)絡(luò)傳送組合圖像或者其它的情形，在通過網(wǎng)絡(luò)回放多批運(yùn)動(dòng)圖像數(shù)據(jù)過程中，可以縮小數(shù)據(jù)流的數(shù)量，并在相同的終端上減少系統(tǒng)資源的消耗，從而可以有效利用系統(tǒng)資源，因此具有很好的實(shí)用效果。
(第二實(shí)施例)圖3為按照本發(fā)明第二實(shí)施例的圖像顯示單元布局的示意圖。在圖3中，標(biāo)號301表示用來縮小圖像數(shù)據(jù)的圖像縮小裝置，標(biāo)號302表示用來組合由圖像縮小裝置301縮小的圖像的圖像組合裝置，標(biāo)號303表示用來顯示由圖像組合裝置302組合的圖像的圖像顯示裝置，標(biāo)號304表示用來從圖像顯示裝置303顯示的圖像中選擇回放圖像的回放圖像選擇裝置，而標(biāo)號305表示用來同時(shí)回放由回放圖像選擇裝置304指定的圖像的同時(shí)選擇圖像回放裝置。
圖4為同時(shí)選擇圖像回放裝置305執(zhí)行操作的流程圖。以下借助圖3、圖2A和圖4來描述該操作。與上述第一實(shí)施例的情形一樣，一部分操作如圖2A所述。在圖2A和4中，如果用戶要求是一個(gè)選擇場景回放要求(步驟209，401)，則在步驟402，開始步驟數(shù)(i)設(shè)定為零，并且隨后執(zhí)行步驟403以獲得對應(yīng)運(yùn)動(dòng)圖像數(shù)據(jù)的待回放運(yùn)動(dòng)圖像數(shù)據(jù)的信息，用戶在上述組合圖像中進(jìn)行選擇，隨后在步驟404根據(jù)步驟403獲得的信息確定矩形回放范圍。而且步驟405隨后獲取待回放運(yùn)動(dòng)數(shù)據(jù)中的最大幀數(shù)的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)(m)。直到開始步驟數(shù)(i)等于幀數(shù)最大的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)(m)(步驟406)，在步驟407，檢查是否有幀數(shù)與開始步驟數(shù)(i)不等的運(yùn)動(dòng)圖像數(shù)據(jù)回放。如有則隨后的步驟408將幀數(shù)小于開始步驟數(shù)(i)的運(yùn)動(dòng)圖像數(shù)據(jù)的最后幀設(shè)定為第i幀(i開始步驟數(shù))。接著，執(zhí)行步驟409來檢查是否還有應(yīng)該而未回放的運(yùn)動(dòng)圖像數(shù)據(jù)。如果存在這種情況(判斷為“是”)，則在步驟410，在非回放運(yùn)動(dòng)圖像數(shù)據(jù)中，最初顯示的幀上的數(shù)據(jù)(幀數(shù))被設(shè)定為開始步驟數(shù)(i)，并且在步驟411中，圖像縮小裝置301以步驟202中計(jì)算的縮小比率縮小所有運(yùn)動(dòng)圖像的數(shù)據(jù)的第i幀，而在步驟412中，圖像組合裝置302將所有經(jīng)過縮小的運(yùn)動(dòng)圖像數(shù)據(jù)的第i幀圖像組合起來，并且在步驟413中，圖像顯示裝置303在與第i幀組合圖像同步的狀態(tài)下顯示組合圖像。隨后，在步驟414中開始步驟數(shù)(i)增加1，并且在開始步驟數(shù)(i)等于最大幀數(shù)的運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)(m)時(shí)結(jié)束操作。當(dāng)步驟410的應(yīng)答為“否”時(shí)也結(jié)束操作。
如上所述，按照本實(shí)施例，在縮小、組合和顯示所有圖像的情況下，選擇的圖像包括同時(shí)回放的圖像從而使選擇的圖像形成矩形結(jié)構(gòu)并進(jìn)行回放，對于被選擇以外的圖像，它們被重復(fù)回放第一幀，并且以同樣的方式，對幀數(shù)較小的被選擇圖像而言，即使在回放之后，它們也被重復(fù)回放第一幀，即除了所有被縮小、組合和顯示的圖像以外，也可以選擇一部分，因此除了效果以外，還可以精簡無用的數(shù)據(jù)量，則可以獲得很好的實(shí)用效果。
(第三實(shí)施例)圖5為本實(shí)施例的圖像縮小裝置101的圖像縮小裝置內(nèi)部布局示意圖。在圖5中，標(biāo)號501代表用來以任意像素為單位劃分圖像數(shù)據(jù)的宏塊形成裝置，標(biāo)號502表示用來完成由宏塊形成裝置形成的每個(gè)宏塊的正交變換的正交變換裝置，標(biāo)號503表示用來提取第一最小頻率(最低頻率)項(xiàng)的像素提取裝置，而標(biāo)號504表示用來組合由像素提取裝置503提取的像素的像素組合裝置。
圖6為按照本發(fā)明第三實(shí)施例的圖像縮小裝置101執(zhí)行操作的流程圖。以下借助圖5和圖6描述該操作。在圖6中，在步驟601中，宏塊形成裝置501將圖像數(shù)據(jù)按照縮小率劃分為宏塊，隨后在步驟602將開始步驟數(shù)(i)設(shè)定為零。如果開始步驟數(shù)(i)因?yàn)椴襟E601的劃分而小于宏塊數(shù)(步驟603)，則進(jìn)入步驟604從而由正交變換裝置502完成宏塊的的正交變換，并執(zhí)行步驟605從而在步驟604的正交變換之后由像素提取裝置503提取第一低頻項(xiàng)的像素。此后，執(zhí)行步驟606使開始步驟數(shù)(i)增加1。當(dāng)開始步驟數(shù)(i)由于步驟601劃分的宏塊數(shù)而等于宏塊數(shù)時(shí)(步驟603)，在步驟607圖像組合裝置504組合提取的像素以產(chǎn)生縮小的圖像。
如上所述，按照本實(shí)施例，縮小的圖像可以通過改變宏塊數(shù)任意產(chǎn)生，從而可以方便地產(chǎn)生任意的縮小圖像，則在實(shí)踐中取得了很好的效果。
(第四實(shí)施例)圖7為按照本發(fā)明第四實(shí)施例的圖像顯示單元布局實(shí)例的示意圖。在圖7中，標(biāo)號701代表用來輸入檢索運(yùn)動(dòng)圖像用的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置，標(biāo)號702表示用來通過與關(guān)鍵圖像進(jìn)行比較檢索運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像檢索裝置，標(biāo)號703表示用來縮小作為檢索結(jié)果的圖像數(shù)據(jù)的圖像縮小裝置，標(biāo)號704表示用來組合經(jīng)過圖像縮小裝置703縮小的圖像的圖像組合裝置，標(biāo)號705表示用來顯示由圖像組合裝置704組合的圖像的圖像顯示裝置。
圖8為按照本發(fā)明第四實(shí)施例的圖像顯示單元執(zhí)行操作的流程圖。以下借助圖7和圖8描述該操作。在圖8中，在步驟801中，作為檢索條件的關(guān)鍵圖像通過關(guān)鍵圖像輸入裝置701輸入，并且在步驟802中運(yùn)動(dòng)圖像檢索裝置702根據(jù)輸入的關(guān)鍵圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)。當(dāng)步驟802的判斷表明存在與關(guān)鍵圖像一致的運(yùn)動(dòng)圖像時(shí)(步驟803)，在步驟804中，圖像縮小裝置703縮小一致的運(yùn)動(dòng)圖像數(shù)據(jù)的代表幀。而且在步驟805中，圖像組合裝置704對所有縮小的代表性幀進(jìn)行組合，并且在步驟806中圖像顯示單元705顯示由圖像組合裝置704組合的圖像。
如上所述，按照本實(shí)施例，由于檢索結(jié)果作為靜止圖像的數(shù)據(jù)列表顯示，所以可以容易地縮小檢索結(jié)果范圍，這在實(shí)踐中取得了很好的效果。
(第五實(shí)施例)圖9為上述第四實(shí)施例的運(yùn)動(dòng)圖像檢索裝置702內(nèi)部布局的示意圖。在圖9中，標(biāo)號901表示用來檢測作為轉(zhuǎn)變點(diǎn)的切割點(diǎn)或者運(yùn)動(dòng)圖像數(shù)據(jù)場景之間的變換的切割點(diǎn)檢測裝置，標(biāo)號902表示用來提取運(yùn)動(dòng)圖像數(shù)據(jù)內(nèi)每個(gè)場景代表性幀的幀提取裝置，標(biāo)號903表示用來輸入作為檢索條件的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置，而標(biāo)號904表示用來將關(guān)鍵圖像與每批運(yùn)動(dòng)圖像數(shù)據(jù)的代表性幀進(jìn)行比較以輸出一致的運(yùn)動(dòng)圖像數(shù)據(jù)的代表性幀的圖像比較判斷裝置。
圖10為圖7中運(yùn)動(dòng)圖像檢索裝置702執(zhí)行操作的流程圖。以下借助圖8、9和10描述該操作。在圖10中，在步驟1001中，切割點(diǎn)檢測裝置901檢測作為檢索對象的運(yùn)動(dòng)圖像數(shù)據(jù)的切割點(diǎn)，并在步驟1002中，幀提取裝置902提取根據(jù)兩個(gè)連續(xù)切割點(diǎn)經(jīng)過計(jì)算或獲得的場景代表性幀。而且在步驟1003中，關(guān)鍵圖像輸入裝置903輸入關(guān)鍵圖像，在此基礎(chǔ)上根據(jù)步驟1003中輸入的關(guān)鍵圖像檢索由幀提取裝置902提取的代表性幀。隨后的步驟與圖8中步驟803以及隨后的步驟一樣。
如上所述，按照本實(shí)施例，由于關(guān)鍵圖像與運(yùn)動(dòng)圖像數(shù)據(jù)場景的代表性幀的比較可以避免關(guān)鍵圖像與運(yùn)動(dòng)圖像數(shù)據(jù)所有幀的比較，所以可以加快檢索速度，則在實(shí)踐中獲得了很好的效果。
(第六實(shí)施例)圖11為按照本發(fā)明第六實(shí)施例的運(yùn)動(dòng)圖像檢索裝置702的內(nèi)部布局另一實(shí)例。在圖11中，運(yùn)動(dòng)圖像檢索裝置由用來檢測來自作為運(yùn)動(dòng)圖像數(shù)據(jù)場景變化的切割點(diǎn)的切割點(diǎn)檢測裝置1101、用來提取運(yùn)動(dòng)圖像數(shù)據(jù)內(nèi)每個(gè)場景的代表性幀的幀提取裝置1102、用來輸入作為檢索條件的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置1103、用來將關(guān)鍵圖像與每批運(yùn)動(dòng)圖像數(shù)據(jù)每個(gè)場景的代表性幀進(jìn)行比較以輸出與關(guān)鍵圖像一致的運(yùn)動(dòng)圖像數(shù)據(jù)的代表性幀的圖像比較判斷裝置1104、以及用來將比較中一致的幀指定為關(guān)鍵圖像的關(guān)鍵圖像指定裝置1105。
圖12為圖7運(yùn)動(dòng)圖像檢索裝置702執(zhí)行操作的流程圖。以下借助圖11、8和12描述該操作。在圖12中，在步驟1201中，切割點(diǎn)檢測裝置1101檢測作為檢索對象的運(yùn)動(dòng)圖像數(shù)據(jù)的切割點(diǎn)，并在步驟1202中，幀提取裝置1102提取根據(jù)兩個(gè)相鄰切割點(diǎn)所定義場景的代表性幀。而且在步驟1203中，關(guān)鍵圖像輸入裝置1103輸入關(guān)鍵圖像。而且在步驟1204中，根據(jù)步驟1203輸入的關(guān)鍵圖像檢索由幀提取裝置1102提取的運(yùn)動(dòng)圖像的每個(gè)場景的代表性幀。如果存在一致的代表性幀(步驟1205)，則在步驟1206關(guān)鍵圖像指定裝置105將與關(guān)鍵圖像一致的所有代表性幀指定為關(guān)鍵圖像，從而在步驟1207用新指定的關(guān)鍵圖像再次檢索代表性幀。以下步驟與圖8中步驟803以及隨后的步驟一樣。
如上所述，按照本實(shí)施例，由于另外提供了關(guān)鍵圖像指定裝置用以將一致的幀指定為關(guān)鍵圖像，所以增加了檢索關(guān)鍵的圖像數(shù)，因此避免了檢索遺漏。這在實(shí)踐中取得了很好的效果。
(第七實(shí)施例)圖13為按照本發(fā)明第七實(shí)施例的圖像檢索裝置內(nèi)部布局的進(jìn)一步實(shí)例。在圖13中，圖像檢索裝置由用來檢測作為運(yùn)動(dòng)圖像數(shù)據(jù)變化的切割點(diǎn)的切割點(diǎn)檢測裝置1301、用來提取運(yùn)動(dòng)圖像數(shù)據(jù)內(nèi)每個(gè)場景的代表性幀的幀提取裝置1302、用來輸入作為檢索條件的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置1303、用來將關(guān)鍵圖像與每批運(yùn)動(dòng)圖像數(shù)據(jù)每個(gè)場景的代表性幀進(jìn)行比較以輸出與關(guān)鍵圖像一致的運(yùn)動(dòng)圖像數(shù)據(jù)的代表性幀的圖像比較判斷裝置1304、用來從根據(jù)圖像比較判斷裝置1304獲得的所有包括一致幀的場景幀中選擇最相似幀并輸出最相似幀的圖像相似性輸出裝置1305以及用來將圖像相似性輸出裝置1305輸出的最相似幀指定為關(guān)鍵圖像的關(guān)鍵圖像指定裝置1306。
圖14為按照第七實(shí)施例的運(yùn)動(dòng)圖像檢索裝置執(zhí)行操作的流程圖。以下借助圖13、8和14描述該操作。在圖14中，在步驟1401中，切割點(diǎn)檢測裝置1301檢測作為檢索對象的運(yùn)動(dòng)圖像數(shù)據(jù)的切割點(diǎn)，并在步驟1402中，幀提取裝置1302提取根據(jù)兩個(gè)相鄰切割點(diǎn)計(jì)算所得場景的代表性幀。而且在步驟1403中，關(guān)鍵圖像輸入裝置1303輸入關(guān)鍵圖像。而且在步驟1404中，根據(jù)步驟1403輸入的關(guān)鍵圖像檢索由幀提取裝置1302提取的運(yùn)動(dòng)圖像的每個(gè)場景的代表性幀。如果存在一致的代表性幀(步驟1405)，則在步驟1406幀提取裝置1302提取所有包括一致性代表幀的場景的幀，并且在步驟1407中，圖像相似性輸出裝置1305將關(guān)鍵圖像與所有提取的幀進(jìn)行比較并且關(guān)鍵圖像指定裝置1306將最相似的幀指定為關(guān)鍵圖像。因此在步驟1408中，代表性幀利用新指定的關(guān)鍵圖像再次進(jìn)行檢索。以下步驟與圖8中步驟803以及隨后的步驟一樣。
如上所述，按照本實(shí)施例，由于進(jìn)一步提供了圖像相似性輸出裝置以輸出從根據(jù)圖像比較判斷裝置1304獲得的所有包括一致幀的場景幀中選擇的最相似幀，并且作為新的檢索關(guān)鍵比初始關(guān)鍵圖像更相似，所以提高了檢索結(jié)果的精度。這在實(shí)踐中取得了很好的效果。
(第八實(shí)施例)圖15為按照本發(fā)明的第八實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)布局實(shí)例的示意圖，在這里運(yùn)動(dòng)圖像檢索服務(wù)器1500和運(yùn)動(dòng)圖像檢索終端1520通過網(wǎng)絡(luò)1530連接起來。
運(yùn)動(dòng)圖像檢索服務(wù)器包括用來檢索符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像檢索裝置1501、用來存儲作為檢索對象的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置1502、用來控制組合圖像一系列生成處理的組合圖像生成控制裝置1503、用來從符合運(yùn)動(dòng)圖像檢索裝置1501獲得的檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)中以每幀的頻率提取圖像的圖像提取裝置1504、用來縮小運(yùn)動(dòng)圖像數(shù)據(jù)的圖像縮小裝置1505、用來規(guī)則放置縮小圖像以將它們組合成場景的圖像組合裝置1506、用來存儲組合圖像的組合圖像存儲裝置1507、用來輸出有關(guān)所生成組合圖像的信息(例如幀數(shù))和提出檢索請求的終端的標(biāo)識的組合圖像發(fā)送控制裝置1508以及用來控制與終端的通信的通信裝置1509。
另一方面，運(yùn)動(dòng)圖像檢索終端1520由用來輸入檢索條件(例如關(guān)鍵詞)的檢索條件輸入裝置1521、用開控制于運(yùn)動(dòng)圖像檢索服務(wù)器1500通信的通信裝置1522以及用來顯示作為檢索結(jié)果的組合圖像數(shù)據(jù)的組合圖像回放裝置1523。
圖16為按照本實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的運(yùn)動(dòng)圖像檢索服務(wù)器1500多運(yùn)動(dòng)圖像組合處理的流程圖。以下借助圖15和16描述該操作。
首先運(yùn)動(dòng)圖像檢索裝置1501從運(yùn)動(dòng)圖像存儲裝置1502存儲的運(yùn)動(dòng)圖像數(shù)據(jù)中檢索符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)(步驟1601)，并花費(fèi)最長的時(shí)間獲得符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)幀數(shù)和輸出至組合圖像生成控制裝置1503(步驟1602)，并且進(jìn)一步將讀取的幀數(shù)(i)初始化為零和輸出符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的標(biāo)識和向圖像提取裝置1504指示的組合圖像生成開始的信息(步驟1603)。
其次，圖像提取裝置1504從由運(yùn)動(dòng)圖像檢索裝置1501獲得的符合檢索條件的每批運(yùn)動(dòng)圖像數(shù)據(jù)中提取第i幀圖像(i讀取的幀數(shù))(步驟1604)。
接著，圖像縮小裝置1505以預(yù)先設(shè)定的任意的縮小速率對圖像提取裝置1504中提取的運(yùn)動(dòng)圖像數(shù)據(jù)的第i幀圖像數(shù)據(jù)進(jìn)行縮小(步驟1605)。就該縮小比率而言，例如如果是在4(長)×4(寬)下進(jìn)行組合，則每條邊縮小為1/4。雖然縮小比率設(shè)定為1/4，但是即使數(shù)據(jù)按照同時(shí)顯示的運(yùn)動(dòng)圖像數(shù)據(jù)數(shù)以任意的縮小比率沿垂直或水平方向縮小，顯然也不會影響其它的操作。
接著圖像組合裝置1506放置由圖像縮小裝置1505縮小的幀圖像從而使不致互相交疊，因此組合成一幅圖像(步驟1606)。圖17為圖像組合裝置1506場景組合實(shí)例的示意圖。雖然為描述起見縮小的圖像按照圖17所示放置，但是只要縮小圖像排列成不相交疊，也可以沿垂直方向規(guī)則地排列或者以其它方式排列。
而且圖像組合裝置1506使得生成的第i幀組合圖像存儲在組合圖像存儲裝置1507中(步驟1607)，并且進(jìn)一步輸出存儲的位置，例如寫入組合圖像存儲裝置1507的組合圖像文件的名字和地址、幀數(shù)(i)和向組合發(fā)送控制裝置1508發(fā)出檢索請求的終端的標(biāo)識(步驟1608)。
而且讀取幀數(shù)(i)增加1并且操作進(jìn)入下一幀(步驟1609)。當(dāng)讀取幀數(shù)(i)仍然小于由運(yùn)動(dòng)圖像檢索裝置1501獲得的符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)最大最大運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)時(shí)，重復(fù)執(zhí)行步驟1604-1609，因此從經(jīng)過縮小和組合的符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)生成組合圖像數(shù)據(jù)(步驟1610中的“是”判斷)。
另一方面，如果讀取幀數(shù)(i)大于由運(yùn)動(dòng)圖像檢索裝置1501獲得的符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)最大幀數(shù)時(shí)，結(jié)束組合圖像數(shù)據(jù)的生成(步驟1610中的“否”)。(同樣當(dāng)二者相等時(shí)，執(zhí)行的操作與讀取幀數(shù)(i)超過最長的運(yùn)動(dòng)圖像數(shù)據(jù)幀數(shù)一樣)。
按照上述操作，通過在每個(gè)終端處組合多批符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)生成運(yùn)動(dòng)圖像，并且在加入標(biāo)識(例如存儲在發(fā)出檢索請求的每個(gè)終端內(nèi)的地址和文件名)之后，將最終的組合圖像存儲在運(yùn)動(dòng)圖像檢索服務(wù)器1500的組合圖像存儲裝置1507中。
其次，參見圖18，以下描述組合圖像發(fā)送控制裝置1508對發(fā)出檢索請求的終端執(zhí)行組合圖像發(fā)送控制時(shí)操作的流程圖。
組合圖像發(fā)送控制裝置1508接收輸出的指示存儲位置的標(biāo)識(例如寫入組合圖像存儲裝置1507內(nèi)的組合圖像文件名和地址)、所生成組合圖像的幀數(shù)(i)以及從圖像組合裝置1506發(fā)出檢索請求的終端的標(biāo)識(步驟1801)。當(dāng)所生成組合圖像的幀數(shù)(i)大于任意值(步驟1802中的判斷“是”)時(shí)，發(fā)送幀數(shù)(j)初始化為零(步驟(1803)，并且隨后開始向發(fā)出檢索請求的終端發(fā)送組合圖像。
而且組合圖像發(fā)送控制裝置1508生成與存儲在組合圖像存儲裝置1507內(nèi)的組合圖像的發(fā)送幀數(shù)(j)對應(yīng)的圖像(步驟1804)，并且進(jìn)一步輸出生成的組合圖像數(shù)據(jù)和向通信裝置1509發(fā)出檢索請求的終端的標(biāo)識(步驟1805)。
而且發(fā)送幀數(shù)(j)增加1并且操作轉(zhuǎn)入下一幀(步驟1806)。不斷重復(fù)步驟1804-1806直到發(fā)送幀數(shù)(j)大于生成的組合圖像的幀數(shù)(i)(步驟1807中的判斷“是”)。
通信裝置1509向?qū)?yīng)組合圖像發(fā)送控制裝置1508輸出的終端標(biāo)識的運(yùn)動(dòng)圖像檢索終端發(fā)送組合運(yùn)動(dòng)圖像數(shù)據(jù)。
在上述操作下，經(jīng)過組合圖像發(fā)送控制裝置1508的控制，組合運(yùn)動(dòng)圖像數(shù)據(jù)發(fā)送至運(yùn)動(dòng)圖像檢索終端1520，它由上述標(biāo)識確定并輸入檢索條件。
另一方面，在運(yùn)動(dòng)圖像檢索終端1520中，通信裝置1522接收來自運(yùn)動(dòng)圖像檢索服務(wù)器1500的組合運(yùn)動(dòng)圖像數(shù)據(jù)，與此同時(shí)組合圖像回放裝置1523顯示接收的組合運(yùn)動(dòng)圖像數(shù)據(jù)。
按照在本實(shí)施例中由用戶輸入檢索條件而服務(wù)器一側(cè)生成并發(fā)送作為檢索結(jié)果的組合圖像，但是如果這種檢索不是特別需要，則在這種系統(tǒng)中圖15的運(yùn)動(dòng)圖像檢索裝置1501和檢索條件輸入裝置1521也不是特別有用。
在這種情況下，除了上述布局以外，進(jìn)一步壓縮并發(fā)送作為檢索結(jié)果的組合圖像并且在接收一側(cè)擴(kuò)展和顯示其內(nèi)容也是合適的。此時(shí)的壓縮和擴(kuò)展方法沒有特別的限制。
如上所述，按照本實(shí)施例，在同時(shí)顯示作為檢索對象的多運(yùn)動(dòng)圖像的情況下，在運(yùn)動(dòng)圖像檢索服務(wù)器1500中多幅運(yùn)動(dòng)圖像經(jīng)過縮小并組合生成一幅運(yùn)動(dòng)圖像，而在運(yùn)動(dòng)圖像檢索終端1520中，只回放一幅組合的運(yùn)動(dòng)圖像，結(jié)果是使網(wǎng)絡(luò)上流動(dòng)的數(shù)據(jù)量和終端一側(cè)待處理的數(shù)據(jù)量壓縮到一幅組合運(yùn)動(dòng)圖像所需的數(shù)量。因此極大地減少了網(wǎng)絡(luò)或終端的負(fù)擔(dān)。此外，對于多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)的同時(shí)通信，運(yùn)動(dòng)圖像檢索服務(wù)器1520和運(yùn)動(dòng)圖像檢索終端1520通過通信速度較低的網(wǎng)絡(luò)連接起來，或者如果運(yùn)動(dòng)圖像檢索終端的處理能力不足以同時(shí)回放多批運(yùn)動(dòng)圖像數(shù)據(jù)，則可以同時(shí)在一個(gè)終端上回放作為檢索結(jié)果的多批運(yùn)動(dòng)圖像數(shù)據(jù)。此外如果在壓縮組合圖像之后完成發(fā)送和接收，則可以顯著地降低通信負(fù)擔(dān)。這在實(shí)踐中取得了很好的效果。
(第九實(shí)施例)圖19為按照本發(fā)明第九實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)布局實(shí)例的示意圖。在該運(yùn)動(dòng)圖像檢索系統(tǒng)中，除了提供與第八實(shí)施例對應(yīng)的布局以外，運(yùn)動(dòng)圖像檢索服務(wù)器1900配備有用來設(shè)定取自存儲在運(yùn)動(dòng)圖像存儲裝置1902中運(yùn)動(dòng)圖像數(shù)據(jù)之間間隔的幀間隔控制裝置1909。
圖20為按照本實(shí)施例的運(yùn)動(dòng)圖像檢索服務(wù)器1900中運(yùn)動(dòng)圖像組合處理操作的流程圖。
首先運(yùn)動(dòng)圖像檢索裝置1901從存儲在運(yùn)動(dòng)圖像存儲裝置1902內(nèi)的運(yùn)動(dòng)圖像數(shù)據(jù)中檢索符合檢索條件的運(yùn)動(dòng)圖像(步驟2001)，并花費(fèi)最長的時(shí)間獲得符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)幀數(shù)和輸出至組合圖像生成控制裝置1903(步驟2002)，并且進(jìn)一步將讀取的幀數(shù)(i)初始化為零和輸出符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的標(biāo)識和向圖像提取裝置1904指示的組合圖像生成開始的信息(步驟2003)。
其次，圖像提取裝置1904從由運(yùn)動(dòng)圖像檢索裝置1901獲得的符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)中提取第i幀圖像(步驟2004)。
圖像縮小裝置1905以預(yù)先設(shè)定的任意的縮小比率對圖像提取裝置1904中提取的運(yùn)動(dòng)圖像數(shù)據(jù)的第i幀圖像數(shù)據(jù)進(jìn)行縮小(步驟2005)。
接著圖像組合裝置1906放置由圖像縮小裝置1905縮小的幀圖像使之沒有互相交疊，因此組合成一幅圖像(步驟2006)。此外圖像組合裝置1906向組合圖像存儲裝置1907輸出所生成的第i幀組合圖像(步驟2007)，并且進(jìn)一步輸出存儲的位置，例如寫入組合圖像存儲裝置1907的組合圖像的文件名和地址、幀數(shù)(i)和向組合圖像發(fā)送控制裝置1908發(fā)出檢索請求的終端的標(biāo)識(步驟2008)。進(jìn)而將幀數(shù)(i)輸出至幀間隔控制裝置1909(步驟2009)。
幀間隔控制裝置1909存儲圖像組合裝置1906輸出的幀數(shù)和成對的上述幀數(shù)接收時(shí)間，并根據(jù)幀數(shù)(i)和前面任意幀數(shù)的幀數(shù)(i-n)接收時(shí)間獲得生成任意幀數(shù)(n)的組合圖像所需的時(shí)間(步驟2010)，并且進(jìn)一步獲得生成一幅組合圖像所需的時(shí)間并根據(jù)每秒初始運(yùn)動(dòng)圖像數(shù)據(jù)的幀數(shù)計(jì)算幀之間的讀取省略(跳躍)間隔(r)(步驟2011)。
雖然在本實(shí)施例中，記錄下幀數(shù)和完成上述幀數(shù)的幀組合所需時(shí)間以計(jì)算生成組合圖像所需的時(shí)間而無論何時(shí)生成組合圖像，但是也可以以完成任意數(shù)量的組合圖像(例如2)的間隔執(zhí)行步驟2010和2011以計(jì)算和改變幀間隔。
而且組合圖像生成控制裝置1903以幀間隔(r)為單位增加讀取幀數(shù)(i)并且操作轉(zhuǎn)入下一幀(步驟2012)。當(dāng)讀取幀數(shù)(i)與最長的運(yùn)動(dòng)圖像幀數(shù)不等時(shí)，不斷執(zhí)行步驟2004-2012以縮小和組合符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)(在步驟2013中的判斷“是”)。
另一方面，如果讀取幀數(shù)(i)大于最長運(yùn)動(dòng)圖像的幀數(shù)，則結(jié)束組合圖像的生成(步驟2013中的判斷“否”)。
如上所述，按照本實(shí)施例，如果服務(wù)器的負(fù)荷因?yàn)閺亩鄠€(gè)終端接收檢索請求而增加，或者如果服務(wù)器中的圖像組合處理速度較低，則由于在合適調(diào)整幀間隔并提供所生成運(yùn)動(dòng)圖像的同時(shí)組合運(yùn)動(dòng)圖像，所以在運(yùn)動(dòng)圖像檢索服務(wù)器一側(cè)被實(shí)時(shí)組合的運(yùn)動(dòng)圖像可以在沒有被經(jīng)常中斷的情況下在運(yùn)動(dòng)圖像檢索終端一側(cè)回放。這在實(shí)踐中取得了很好的效果。
(第十實(shí)施例)圖21為按照本發(fā)明第十實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)中運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置的示意框圖，它詳細(xì)示出了按照上述第八實(shí)施例的運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置的布局。在圖21中，組合圖像發(fā)送控制裝置由用來存儲圖像組合裝置1506輸出的寫入幀數(shù)(i)的寫入幀存儲裝置2101、用來控制生成組合圖像向終端發(fā)送的開始和結(jié)束的發(fā)送開始控制裝置2102、用來存儲發(fā)送幀數(shù)(j)的發(fā)送幀存儲裝置2103、用來將存儲在寫入幀存儲裝置2101內(nèi)的寫入幀數(shù)(i)與發(fā)送幀存儲裝置2103中存儲的發(fā)送幀數(shù)(j)進(jìn)行比較以設(shè)定下一提供的幀數(shù)的幀比較裝置2104以及用來從組合圖像存儲裝置1507讀取對應(yīng)幀比較裝置2104設(shè)定的發(fā)送幀數(shù)(j)的組合圖像并向通信裝置1509發(fā)送讀取的發(fā)送幀數(shù)(j)的組合圖像。
圖22為按照本實(shí)施例的組合圖像發(fā)送控制裝置1508的組合圖像發(fā)送控制處理操作的流程圖。
首先，寫入幀存儲裝置2101存儲圖像組合裝置1506輸出的組合圖像的寫入幀數(shù)(i)。當(dāng)上述寫入幀數(shù)(i)大于預(yù)先設(shè)定的任意幀數(shù)時(shí)發(fā)送開始控制裝置2102將頭幀設(shè)定為發(fā)送幀數(shù)(j)并向幀比較裝置2104發(fā)出開始發(fā)送組合圖像的指示(步驟2201)。
其次幀比較裝置2104將發(fā)送幀數(shù)(j)與寫入幀數(shù)(i)比較。如果發(fā)送幀數(shù)(j)小于寫入幀數(shù)(i)(步驟2002中的判斷“是”)，則將下一發(fā)送幀數(shù)設(shè)定為j+1并向組合圖像發(fā)送裝置2105和發(fā)送幀數(shù)存儲裝置2103輸出上述發(fā)送幀數(shù)(步驟2003)。
與此相反，如果發(fā)送幀數(shù)(j)大于寫入幀數(shù)(i)(步驟2002中的判斷“否”)，則將下一發(fā)送幀數(shù)設(shè)定為頭幀并向組合圖像發(fā)送裝置2105和發(fā)送幀數(shù)存儲裝置2103輸出上述發(fā)送幀數(shù)(步驟2004)。
雖然上述描述針對的是發(fā)送所有幀的情況，但是如果以n幀間隔發(fā)送組合圖像，則下一發(fā)送幀數(shù)被設(shè)定為j+n+1。而且當(dāng)下一發(fā)送幀數(shù)(j+n+1)大于寫入幀數(shù)(i)時(shí)下一發(fā)送幀設(shè)定為0頭幀數(shù)。
接著組合圖像發(fā)送裝置2105獲得發(fā)送幀數(shù)在幀比較裝置2104經(jīng)過設(shè)定的組合圖像并輸出至通信裝置1509(步驟2205)。不斷執(zhí)行上述步驟2202-2205直到發(fā)送開始控制裝置2102向幀比較裝置2104發(fā)出停止發(fā)送組合圖像的通知(步驟2106中的判斷“是”)。
作為停止發(fā)送組合圖像的方法，可以是這樣一種方法，發(fā)送開始控制裝置2102判斷是否完成了組合運(yùn)動(dòng)圖像數(shù)據(jù)初始數(shù)據(jù)中數(shù)量最大的組合圖像的生成并和寫入幀數(shù)(i)是否等于發(fā)送幀數(shù)(j)，或者通過通信裝置1509接收運(yùn)動(dòng)圖像檢索終端發(fā)出的組合圖像停止發(fā)送請求。在本實(shí)施例中，如果以各種方式停止組合圖像的發(fā)送，則從步驟2202到步驟2205的處理不受影響。
圖23為本實(shí)施例中組合運(yùn)動(dòng)圖像數(shù)據(jù)回放狀態(tài)的示意圖。如圖23所示，當(dāng)完成直到組合圖像數(shù)據(jù)生成結(jié)束的回放時(shí)，從頭幀開始的回放重新進(jìn)行，從而導(dǎo)致組合運(yùn)動(dòng)圖像數(shù)據(jù)不斷在生成大多數(shù)組合圖像的狀態(tài)下回放。
如上所述，按照本實(shí)施例，在組合圖像發(fā)送控制裝置中，寫入幀與發(fā)送幀進(jìn)行比較，并且如果發(fā)送幀數(shù)等于或大于寫入幀數(shù)時(shí)，下一發(fā)送幀數(shù)設(shè)定為零并且從頭開始不斷回放運(yùn)動(dòng)圖像。因此由于在大多數(shù)運(yùn)動(dòng)圖像組合到情況下不斷回放組合圖像，所以不斷回放同一場景從而逐漸增加新生成的組合圖像，這樣容易找到定向場景。此外由于組合圖像數(shù)據(jù)的發(fā)送和檢索終端的回放可以開始于組合運(yùn)動(dòng)圖像數(shù)據(jù)完成生成之前，所以縮短了開始回放符合檢索條件的多運(yùn)動(dòng)圖像數(shù)據(jù)的等待時(shí)間，這在實(shí)踐中取得了很好的效果。
(第十一實(shí)施例)圖24為按照本發(fā)明第十一實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置的布局實(shí)例的示意圖，具體而言，它是上述第八實(shí)施例中組合圖像發(fā)送控制裝置另一實(shí)例的示意框圖。在圖24中，組合圖像發(fā)送控制裝置(1508)由用來存儲從圖像組合裝置1506輸出的寫入幀數(shù)(i)的寫入幀存儲裝置2401、用來計(jì)算圖像組合裝置104中組合圖像生成速度的組合圖像生成速度計(jì)算裝置2402、用來存儲被檢索組合運(yùn)動(dòng)圖像數(shù)據(jù)回放預(yù)期時(shí)間的回放預(yù)期時(shí)間存儲裝置2403以及用來根據(jù)存儲在組合圖像生成速度計(jì)算裝置中的組合圖像生成速度和存儲在回放預(yù)期時(shí)間存儲裝置2403中的回放預(yù)期時(shí)間控制在生成中的組合圖像發(fā)送開始的發(fā)送開始控制裝置2404。而且其中還包括用來存儲發(fā)送幀數(shù)(j)的發(fā)送幀存儲裝置2405、用來將存儲在寫入幀存儲裝置2401中的寫入幀數(shù)(i)與發(fā)送幀數(shù)存儲裝置2405中的發(fā)送幀數(shù)(j)進(jìn)行比較以設(shè)定所提供的幀數(shù)的幀比較裝置2406以及用來從組合存儲裝置1507中讀取幀比較裝置2406設(shè)定發(fā)送幀數(shù)(j)的組合圖像以向通信裝置1509發(fā)送幀數(shù)(j)的組合圖像的組合圖像發(fā)送裝置2407。
圖25為按照本實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的圖像組合處理流程圖。以下將借助圖24和25描述該操作。
圖像組合裝置1506存儲作為檢索的組合圖像數(shù)據(jù)回放預(yù)期時(shí)間(存儲在回放預(yù)期時(shí)間存儲裝置2403)的符合檢索條件的最長的運(yùn)動(dòng)圖像數(shù)據(jù)的時(shí)間，它由運(yùn)動(dòng)圖像檢索裝置1501獲得(步驟2501)。
接著，當(dāng)寫入幀數(shù)(i)(與幀數(shù)對應(yīng)的時(shí)間)小于回放預(yù)期時(shí)間時(shí)，重復(fù)執(zhí)行以下處理(步驟2502)。即，圖像組合裝置1506使寫入幀數(shù)(i)和花費(fèi)時(shí)間匹配直到寫入從0-i的幀并存儲在寫入幀存儲裝置2401為止(步驟2503)，并使組合圖像具有組合圖像存儲裝置1507中的寫入幀數(shù)(i)(步驟2504)。
如果組合圖像發(fā)送還沒有開始(步驟2505中的判斷“否”)，則執(zhí)行發(fā)送開始檢查處理(步驟2506)。
不斷重復(fù)執(zhí)行上述步驟2503-2506直到寫入幀數(shù)大于回放預(yù)期時(shí)間幀，由此生成長度與回放預(yù)期時(shí)間對應(yīng)的組合圖像數(shù)據(jù)。
圖26為發(fā)送開始檢查處理的流程圖。以下借助圖24和26描述組合圖像發(fā)送開始檢查處理。
組合圖像生成速度計(jì)算裝置2402根據(jù)存儲在寫入幀存儲裝置2401中的寫入幀數(shù)(i)和寫入第i幀所需的時(shí)間獲得生成組合圖像所需的時(shí)間(步驟2601)。
發(fā)送開始控制裝置2404根據(jù)組合圖像生成速度計(jì)算裝置2402計(jì)算的組合圖像生成時(shí)間和回放預(yù)期時(shí)間存儲裝置2403存儲的回放預(yù)期時(shí)間計(jì)算與回放預(yù)期時(shí)間對應(yīng)的組合圖像生成所需的時(shí)間(步驟2602)。
而且發(fā)送開始控制裝置2404根據(jù)寫入幀存儲裝置2401中存儲的寫入幀數(shù)(i)和對應(yīng)回放預(yù)期時(shí)間的計(jì)算得到的組合圖像生成所需時(shí)間計(jì)算生成對應(yīng)余下的回放預(yù)期時(shí)間的組合圖像所需的時(shí)間(步驟2603)。
當(dāng)對應(yīng)余下的回放預(yù)期時(shí)間的圖像生成所需時(shí)間小于回放預(yù)期時(shí)間時(shí)(步驟2603中的判斷“是”)，則向幀比較裝置2406輸出運(yùn)動(dòng)圖像數(shù)據(jù)的發(fā)送開始指令(步驟2604)。
圖27為幀比較裝置2406中運(yùn)動(dòng)圖像發(fā)送處理的流程圖。以下借助圖24和27描述運(yùn)動(dòng)圖像發(fā)送處理。
幀比較裝置2406接收發(fā)送開始控制裝置2404輸出的發(fā)送開始指令并初始化發(fā)送幀數(shù)(j)(步驟2701)。
此外，幀比較裝置2406在發(fā)送幀存儲裝置2405存儲的發(fā)送幀數(shù)小于存儲在寫入幀存儲裝置2401中的寫入幀數(shù)(i)時(shí)向組合圖像發(fā)送裝置2407輸出發(fā)送幀數(shù)(j)(步驟2702中的判斷“是”)(步驟2703)。而且發(fā)送幀數(shù)增加1(步驟2704)，并且在發(fā)送幀數(shù)(j)小于寫入幀數(shù)(i)時(shí)不斷執(zhí)行步驟2702-2704(步驟2702中的判斷“是”)。
根據(jù)幀比較裝置2406輸出的發(fā)送幀數(shù)，組合圖像發(fā)送裝置2407向運(yùn)動(dòng)圖像檢索終端1520提供具有上述存儲在組合圖像存儲裝置1507內(nèi)的幀數(shù)的組合圖像數(shù)據(jù)。
如上所述，按照該實(shí)施例，根據(jù)運(yùn)動(dòng)圖像檢索的回放預(yù)期時(shí)間和組合圖像生成速度計(jì)算長度對應(yīng)回放預(yù)期時(shí)間的被檢索組合運(yùn)動(dòng)圖像所需生成時(shí)間，并在經(jīng)過一段給定時(shí)間后開始組合圖像的發(fā)送，從而直到完成與檢索的運(yùn)動(dòng)圖像的回放預(yù)期時(shí)間對應(yīng)的檢索組合運(yùn)動(dòng)圖像數(shù)據(jù)的回放才完成所有檢索組合運(yùn)動(dòng)圖像數(shù)據(jù)的生成。由此可以經(jīng)過較短的等待時(shí)間而無需等到完成對應(yīng)回放預(yù)期時(shí)間的組合運(yùn)動(dòng)圖像數(shù)據(jù)生成之后才開始回放符合檢索條件的多批運(yùn)動(dòng)圖像數(shù)據(jù)，這在實(shí)踐中取得了很好的效果。
(第十二實(shí)施例)圖28為按照本發(fā)明第十二實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)布局實(shí)例的示意圖。在本實(shí)施例中，運(yùn)動(dòng)圖像檢索系統(tǒng)具有按照第八實(shí)施例的布局，并且運(yùn)動(dòng)圖像檢索終端2820提供有用來從符合檢索條件的組合圖像中挑選所需運(yùn)動(dòng)圖像數(shù)據(jù)的圖像選擇裝置2824，而運(yùn)動(dòng)圖像檢索服務(wù)器2800配備有用來存儲組合圖像回放裝置2823中待回放組合圖像場景除數(shù)的場景除數(shù)存儲裝置2811和用來從運(yùn)動(dòng)圖像存儲裝置2802中提取運(yùn)動(dòng)圖像數(shù)據(jù)的時(shí)間劃分提取裝置2810，該運(yùn)動(dòng)圖像數(shù)據(jù)利用運(yùn)動(dòng)圖像檢索終端2820的圖像選擇裝置2824選擇并且回放開始時(shí)間是交錯(cuò)的。
首先描述運(yùn)動(dòng)圖像檢索終端2820的圖像選擇裝置2824的運(yùn)動(dòng)圖像選擇方法。在運(yùn)動(dòng)圖像檢索終端2820中，利用圖像選擇裝置2824，用戶從組合圖像回放裝置2823回放的組合圖像裝置中選擇所需的數(shù)據(jù)。選擇方法可以是利用鼠標(biāo)之類的定位設(shè)備在組合圖像場景上指定一塊區(qū)域或者在構(gòu)成組合圖像的運(yùn)動(dòng)圖像數(shù)據(jù)上在指示單獨(dú)信息的列表中選擇運(yùn)動(dòng)圖像。在本實(shí)施例中，對于選擇方法沒有限制。
由運(yùn)動(dòng)圖像檢索終端2820的圖像選擇裝置2824選定的運(yùn)動(dòng)圖像數(shù)據(jù)的標(biāo)識通過網(wǎng)絡(luò)2830發(fā)送至運(yùn)動(dòng)圖像檢索服務(wù)器2800并隨后移交給時(shí)間劃分提取裝置2810。
圖29為圖像縮小裝置2805、圖像組合裝置2806和時(shí)間劃分提取裝置2810中圖像組合處理的流程圖，這里圖像從選擇的運(yùn)動(dòng)圖像數(shù)據(jù)中逐漸地以交錯(cuò)狀態(tài)提取并組合。
時(shí)間劃分提取裝置2810獲得由運(yùn)動(dòng)圖像檢索終端2820的圖像選擇裝置2824選定的運(yùn)動(dòng)圖像數(shù)據(jù)的長度并計(jì)算符合存儲在場景除數(shù)存儲裝置2811中的場景除數(shù)的時(shí)間間隔(步驟2901)。不斷重復(fù)以下的處理直到完成長度為計(jì)算的時(shí)間間隔的組合圖像的生成。
時(shí)間劃分提取裝置2810從存儲在運(yùn)動(dòng)圖像存儲裝置2802中的選擇的運(yùn)動(dòng)圖像數(shù)據(jù)按照場景除數(shù)提取出現(xiàn)在計(jì)算的時(shí)間間隔的幀圖像數(shù)據(jù)并按照時(shí)間順序向圖像縮小裝置2805輸出(步驟2902)。
圖像縮小裝置2805對以符合時(shí)間劃分提取裝置2810輸出的場景除數(shù)的時(shí)間間隔提取的圖像數(shù)據(jù)進(jìn)行縮小并按照時(shí)間順序向圖像組合裝置2806輸出(步驟2903)。
如圖30所示，圖像組合裝置2806按照時(shí)間劃分提取裝置2810中的提取時(shí)間對在回放時(shí)間交錯(cuò)的狀態(tài)下提取和縮小的圖像進(jìn)行排列以組合成一幅圖像，并將組合圖像存儲在組合圖像存儲裝置2807中(步驟2904)。
接著組合圖像生成控制裝置2803檢查生成的組合圖像長度是否等于計(jì)算的時(shí)間間隔(步驟2905)。如果未達(dá)到計(jì)算的時(shí)間間隔(步驟2905中的判斷“是”)，則向圖像提取裝置2804發(fā)出提取下一幀圖像的指令(步驟2906)。在上述方式中，通過縮小和組合在使回放開始時(shí)間以時(shí)間劃分提取裝置2810中劃分的時(shí)間交錯(cuò)的狀態(tài)下提取的圖像數(shù)據(jù)生成了幀數(shù)對應(yīng)時(shí)間間隔的組合圖像，隨后存儲在運(yùn)動(dòng)圖像檢索服務(wù)器2800的組合圖像存儲裝置2807中。
存儲在組合圖像存儲裝置2807中的組合運(yùn)動(dòng)圖像數(shù)據(jù)在運(yùn)動(dòng)圖像檢索服務(wù)器2800的組合圖像發(fā)送控制裝置2808的控制下被發(fā)送至運(yùn)動(dòng)圖像檢索終端2820處并隨后在運(yùn)動(dòng)圖像檢索終端2820的組合圖像顯示裝置2823上顯示。
如上所述，按照本實(shí)施例，除了第八實(shí)施例的處理以外，根據(jù)運(yùn)動(dòng)圖像檢索終端2820的圖像選擇裝置2824中指定的所需運(yùn)動(dòng)圖像數(shù)據(jù)，通過運(yùn)動(dòng)圖像數(shù)據(jù)的縮小和組合生成了組合運(yùn)動(dòng)圖像數(shù)據(jù)，這里回放開始時(shí)間按照時(shí)間劃分提取裝置2810中運(yùn)動(dòng)圖像數(shù)據(jù)長度交錯(cuò)，并且在組合圖像顯示裝置2823中顯示生成的組合圖像。因此選定的運(yùn)動(dòng)圖像數(shù)據(jù)的內(nèi)容更加清晰，并且可以進(jìn)行定向場景的快速檢索，這在實(shí)踐中取得了較好的效果。
(第十三實(shí)施例)圖31為按照本發(fā)明第十三實(shí)施例的運(yùn)動(dòng)圖像檢索系統(tǒng)的布局示意框圖。以下僅僅描述與第十二實(shí)施例的差別。在圖31中，在由運(yùn)動(dòng)圖像檢索裝置3101獲得的符合檢索條件的的運(yùn)動(dòng)圖像數(shù)據(jù)中，時(shí)間劃分提取裝置3104在回放開始時(shí)間交錯(cuò)的狀態(tài)從運(yùn)動(dòng)圖像存儲裝置3102中提取運(yùn)動(dòng)圖像數(shù)據(jù)，并且圖像縮小裝置3105縮小提取的運(yùn)動(dòng)圖像數(shù)據(jù)，與此同時(shí)，如圖32所示，運(yùn)動(dòng)圖像組合裝置3106垂直排列從符合檢索條件中提取和縮小的運(yùn)動(dòng)圖像數(shù)據(jù)并進(jìn)一步水平排列在回放開始時(shí)間交錯(cuò)的狀態(tài)下提取并縮小的圖像數(shù)據(jù)，由此生成組合的圖像。生成的組合圖像在運(yùn)動(dòng)圖像檢索終端3120的組合圖像回放裝置3123中生成。因此運(yùn)動(dòng)圖像數(shù)據(jù)可以劃分得更精細(xì)并可以同時(shí)看到，從而可以在短時(shí)間內(nèi)看到所有符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)并快速找到定向場景，這在實(shí)踐中取得了很好的效果。
如上所述，本發(fā)明具有如下的優(yōu)點(diǎn)。
對于同時(shí)回放所有多場景顯示的運(yùn)動(dòng)圖像數(shù)據(jù)的情況，借助各運(yùn)動(dòng)圖像的同一幀縮小、組合和回放了待回放的運(yùn)動(dòng)圖像數(shù)據(jù)，從而可以將它們處理成一批運(yùn)動(dòng)圖像數(shù)據(jù)，使得對于同時(shí)回放多場景運(yùn)動(dòng)圖像數(shù)據(jù)，可以避免因譯碼所回放的運(yùn)動(dòng)圖像引起的控制麻煩。此外，當(dāng)通過網(wǎng)絡(luò)傳送該組合圖像時(shí)，可以減少網(wǎng)絡(luò)資源和系統(tǒng)資源的消耗。
對于同時(shí)回放多場景顯示運(yùn)動(dòng)圖像數(shù)據(jù)一部分的情況，就待回放的運(yùn)動(dòng)圖像數(shù)據(jù)而言，各運(yùn)動(dòng)圖像數(shù)據(jù)以幀為單位縮小。另一方面，就未回放的運(yùn)動(dòng)圖像數(shù)據(jù)而言，縮小了回放顯示的幀數(shù)據(jù)。待回放的回放圖像和未回放的縮小圖像經(jīng)過組合和回放，消除了無用數(shù)據(jù)。
而且對于采用靜止圖像作為關(guān)鍵的運(yùn)動(dòng)圖像數(shù)據(jù)檢索，運(yùn)動(dòng)圖像數(shù)據(jù)的每個(gè)場景的代表幀圖像與關(guān)鍵圖像進(jìn)行比較，從而加快了檢索處理速度。
而且對于采用靜止圖像作為關(guān)鍵的運(yùn)動(dòng)圖像數(shù)據(jù)檢索，與關(guān)鍵圖像一致的幀被新指定為關(guān)鍵圖像從而用新指定的關(guān)鍵圖像再次檢索，由此避免了檢測遺漏。
對于采用靜止圖像作為關(guān)鍵的運(yùn)動(dòng)圖像數(shù)據(jù)檢索，運(yùn)動(dòng)圖像數(shù)據(jù)的每個(gè)場景的代表幀圖像與關(guān)鍵圖像進(jìn)行比較，并且在包括與運(yùn)動(dòng)圖像一致的幀的場景內(nèi)與關(guān)鍵圖像最相似的幀被新指定為關(guān)鍵圖像從而再次用新指定的關(guān)鍵圖像進(jìn)行檢索，從而提供了檢索精度。
在服務(wù)器一側(cè)，多批待回放運(yùn)動(dòng)圖像數(shù)據(jù)以每幀的速率縮小并組合以生成在終端側(cè)回放的運(yùn)動(dòng)圖像。因此對于同時(shí)回放多場景的多批運(yùn)動(dòng)圖像數(shù)據(jù)，減少了提供的數(shù)據(jù)流量，從而有效利用了組合圖像發(fā)送和接收所需的網(wǎng)絡(luò)帶寬。此外可以減少計(jì)算機(jī)終端為完成回放所消耗的系統(tǒng)資源。
而且，運(yùn)動(dòng)圖像檢索服務(wù)器執(zhí)行符合檢索條件的多批運(yùn)動(dòng)圖像數(shù)據(jù)的提取、縮小、組合和發(fā)送，與此同時(shí)運(yùn)動(dòng)圖像檢索終端接收并顯示組合圖像。因此即使在屏幕上同時(shí)顯示符合檢索條件的多批運(yùn)動(dòng)圖像數(shù)據(jù)，由于終端通過網(wǎng)絡(luò)接收運(yùn)動(dòng)圖像檢索服務(wù)器縮小和組合的運(yùn)動(dòng)圖像數(shù)據(jù)，所以可以減少與運(yùn)動(dòng)圖像數(shù)據(jù)對應(yīng)的系統(tǒng)資源(例如存儲器和磁盤)以及網(wǎng)絡(luò)的負(fù)擔(dān)。
而且運(yùn)動(dòng)圖像檢索服務(wù)器配備有用來根據(jù)生成給定幀數(shù)的組合圖像所需時(shí)間設(shè)定運(yùn)動(dòng)圖像檢索裝置提取運(yùn)動(dòng)圖像數(shù)據(jù)所需時(shí)間的幀間隔的幀間隔設(shè)定裝置，而且根據(jù)幀間隔設(shè)定裝置設(shè)定的幀間隔改變符合檢索條件的多批運(yùn)動(dòng)圖像數(shù)據(jù)縮小和組合形成的組合圖像的幀間隔，從而可以根據(jù)服務(wù)器的負(fù)擔(dān)情況平滑地向運(yùn)動(dòng)圖像檢索終端發(fā)送運(yùn)動(dòng)圖像。
而且在圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置中，生成的組合圖像的幀數(shù)與向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)進(jìn)行比較，并且當(dāng)向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像的幀數(shù)等于或大于所生成組合圖像的幀數(shù)，接著從頭幀開始執(zhí)行發(fā)送并重復(fù)回放生成的組合圖像，因此可以不用等到所有組合運(yùn)動(dòng)圖像數(shù)據(jù)都完成生成之后才回放符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)。此外，通過在組合大部分運(yùn)動(dòng)圖像的情況下重復(fù)回放可以重復(fù)回放同一場景并且逐漸加入新生成的組合圖像，因此可以容易地找到定向場景。
而且在運(yùn)動(dòng)圖像檢索服務(wù)器的組合圖像發(fā)送控制裝置中，寫入幀存儲裝置和組合圖像生成速度計(jì)算裝置計(jì)算生成對應(yīng)回放預(yù)期時(shí)間的組合圖像所需生成時(shí)間，并且在生成余下的組合圖像所需時(shí)間小于回放預(yù)期時(shí)間時(shí)，開始發(fā)送組合圖像，從而導(dǎo)致在經(jīng)過較短的等待時(shí)間而無需等到完成對應(yīng)于回放預(yù)期時(shí)間的組合運(yùn)動(dòng)圖像數(shù)據(jù)生成之后才回放多批符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)。
而且提供了時(shí)間劃分提取裝置以在指定的運(yùn)動(dòng)圖像數(shù)據(jù)的回放開始時(shí)間交錯(cuò)的狀態(tài)下從運(yùn)動(dòng)圖像存儲裝置中提取圖像，并且將圖像選擇裝置指定的任意的運(yùn)動(dòng)圖像數(shù)據(jù)以時(shí)間為單位劃分，并且將回放開始時(shí)間交錯(cuò)狀態(tài)下提取的圖像數(shù)據(jù)縮小并沿隨生成組合圖像的時(shí)間排列，從而可以更精細(xì)地檢索選擇的運(yùn)動(dòng)圖像數(shù)據(jù)并快速檢索定向場景。
應(yīng)該指出的是，本發(fā)明的范圍和精神由后面所附權(quán)利要求限定。
權(quán)利要求
1.一種圖像顯示單元，其特征在于包含用來縮小圖像數(shù)據(jù)的圖像縮小裝置；用來組合縮小的圖像數(shù)據(jù)以生成組合圖像的圖像組合裝置；用來顯示所述組合圖像的圖像顯示裝置；以及負(fù)責(zé)回放圖像數(shù)據(jù)的同時(shí)多場景回放裝置，其中所述圖像縮小裝置將待回放的所述圖像數(shù)據(jù)以幀為單位縮小，所述圖像組合裝置將所述圖像數(shù)據(jù)同一幀的縮小圖像數(shù)據(jù)組合起來，而所述同時(shí)多場景回放裝置回放組合的圖像。
2.如權(quán)利要求1所述的圖像顯示單元，其特征在于所述圖像縮小裝置包括用來以任意像素為單位對圖像進(jìn)行劃分以形成宏塊的宏塊形成裝置；用來完成每個(gè)所述宏塊正交變換的正交變換裝置；用來從經(jīng)過所述正交變換的所述宏塊中提取對應(yīng)最低頻率項(xiàng)的像素的像素提取裝置；以及用來組合由所述像素提取裝置提取的所述像素的像素組合裝置。
3.一種圖像顯示單元，其特征在于包含用來縮小圖像數(shù)據(jù)的圖像縮小裝置；用來組合縮小的圖像數(shù)據(jù)以生成組合圖像的圖像組合裝置；用來顯示所述組合圖像的圖像顯示裝置；以及用來選擇和回放待回放的所述組合圖像的圖像數(shù)據(jù)的選擇圖像回放裝置，其中所述圖像縮小裝置將非回放的所述圖像數(shù)據(jù)和待回放的所述圖像數(shù)據(jù)以幀為單位進(jìn)行縮小，所述圖像組合裝置將非回放的縮小圖像數(shù)據(jù)和待回放的縮小圖像數(shù)據(jù)以幀為單位組合起來，而選擇圖像回放裝置選擇并回放組合的圖像數(shù)據(jù)。
4.一種圖像顯示單元，其特征在于包含用來輸入用作檢索關(guān)鍵的關(guān)鍵圖像的關(guān)鍵圖像輸入裝置；利用所述關(guān)鍵圖像檢索運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像檢索裝置；用來縮小所述檢索到的運(yùn)動(dòng)圖像數(shù)據(jù)的圖像縮小裝置；用來將縮小圖像數(shù)據(jù)組合為組合圖像的圖像組合裝置；以及用來顯示所述組合圖像的圖像顯示裝置。
5.如權(quán)利要求4所述的圖像顯示單元，其特征在于所述運(yùn)動(dòng)圖像檢索裝置包括用來檢測被檢索的所述圖像數(shù)據(jù)切割點(diǎn)的切割點(diǎn)檢測裝置；用來在一個(gè)場景內(nèi)提取任一幀的幀提取裝置；以及用來將提取的幀與所述關(guān)鍵圖像進(jìn)行比較的圖像比較判斷裝置。
6.如權(quán)利要求5所述的圖像顯示單元，其特征在于所述運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括關(guān)鍵圖像指定裝置，用來根據(jù)所述圖像比較判斷裝置的結(jié)果將與所述關(guān)鍵圖像一致的幀最新指定為關(guān)鍵圖像，而所述圖像比較判斷裝置采用新指定的關(guān)鍵圖像重新進(jìn)行比較。
7.如權(quán)利要求5所述的圖像顯示單元，其特征在于所述運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括根據(jù)所述圖像比較判斷裝置的結(jié)果最新指定某一幀為關(guān)鍵圖像的關(guān)鍵圖像指定裝置，在包括與首先提及的關(guān)鍵圖像一致的幀在內(nèi)的場景的所有幀中，該幀與首先提及的關(guān)鍵圖像最為相似，而所述圖像比較判斷裝置采用新指定的關(guān)鍵圖像重新進(jìn)行比較。
8.如權(quán)利要求6所述的圖像顯示單元，其特征在于所述運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括圖像相似性輸出裝置，它用來輸出在圖像比較判斷裝置中比較的幀與關(guān)鍵圖像之間的相似性從而由關(guān)鍵圖像指定裝置指定具有最大相似性的幀。
9.如權(quán)利要求7所述的圖像顯示單元，其特征在于所述運(yùn)動(dòng)圖像檢索裝置進(jìn)一步包括圖像相似性輸出裝置，它用來輸出在圖像比較判斷裝置中比較的幀與關(guān)鍵圖像之間的相似性從而由關(guān)鍵圖像指定裝置指定具有最大相似性的幀。
10.一種圖像顯示系統(tǒng)，其特征在于包含用來生成和發(fā)送經(jīng)過縮小和組合的場景的運(yùn)動(dòng)圖像檢索服務(wù)器和接收并回放經(jīng)過縮小和組合的場景的運(yùn)動(dòng)圖像檢索終端，服務(wù)器和終端通過網(wǎng)絡(luò)互相連接起來，所述服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；利用所述運(yùn)動(dòng)圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；利用所述縮小圖像生成組合圖像的圖像組合裝置；用來控制所述組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與終端通信的通信裝置，而終端包括用來控制與服務(wù)器通信的的通信裝置；以及將服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中服務(wù)器對若干運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行縮小和組合以生成組合圖像數(shù)據(jù)并通過網(wǎng)絡(luò)發(fā)送生成的組合圖像數(shù)據(jù)，與此同時(shí)終端接收生成的組合圖像數(shù)據(jù)并將其作為運(yùn)動(dòng)圖像回放。
11.一種運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于包含用來檢索運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像檢索系統(tǒng)和用來向運(yùn)動(dòng)圖像服務(wù)器提出運(yùn)動(dòng)圖像檢索請求的運(yùn)動(dòng)圖像檢索終端，服務(wù)器和終端通過網(wǎng)絡(luò)互相連接起來，所述運(yùn)動(dòng)圖像服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；對存儲在運(yùn)動(dòng)圖像存儲裝置中的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行檢索的運(yùn)動(dòng)圖像檢索裝置；用來從滿足由運(yùn)動(dòng)圖像檢索裝置檢索獲得的檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)以每幀的頻率提取圖像數(shù)據(jù)的圖像提取裝置；根據(jù)運(yùn)動(dòng)圖像提取裝置提取的圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；根據(jù)縮小圖像生成組合圖像的圖像組合裝置；用來控制組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向運(yùn)動(dòng)圖像檢索終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與運(yùn)動(dòng)圖像檢索終端通信的通信裝置，而運(yùn)動(dòng)圖像檢索終端包括輸入運(yùn)動(dòng)圖像數(shù)據(jù)檢索條件的檢索條件輸入裝置；用來控制與運(yùn)動(dòng)圖像檢索服務(wù)器通信的的通信裝置；以及將運(yùn)動(dòng)圖像檢索服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中運(yùn)動(dòng)圖像檢索服務(wù)器對若干符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行縮小和組合以生成組合圖像數(shù)據(jù)并通過網(wǎng)絡(luò)發(fā)送生成的組合圖像數(shù)據(jù)，與此同時(shí)運(yùn)動(dòng)圖像檢索終端接收生成的組合圖像數(shù)據(jù)并將其作為運(yùn)動(dòng)圖像回放。
12.如權(quán)利要求11所述的運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于所述運(yùn)動(dòng)圖像檢索服務(wù)器提供有組合圖像壓縮裝置，用來壓縮圖像組合裝置生成的組合圖像數(shù)據(jù)并將壓縮的圖像數(shù)據(jù)存儲在組合圖像存儲裝置內(nèi)，而所述運(yùn)動(dòng)圖像檢索終端配備有組合圖像擴(kuò)展裝置，用來擴(kuò)展通過通信裝置接收到的組合圖像數(shù)據(jù)并進(jìn)一步向組合圖像回放裝置輸出經(jīng)過擴(kuò)展的組合圖像數(shù)據(jù)，從而使壓縮數(shù)據(jù)用于組合圖像數(shù)據(jù)的存儲和運(yùn)動(dòng)圖像檢索服務(wù)器與運(yùn)動(dòng)圖像檢索終端之間的通信。
13.如權(quán)利要求11所述的運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于所述運(yùn)動(dòng)圖像檢索服務(wù)器提供有幀間隔設(shè)定裝置，用來根據(jù)給定幀數(shù)的組合圖像數(shù)據(jù)所需生成時(shí)間設(shè)定運(yùn)動(dòng)圖像檢索裝置產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)所需的幀間隔，從而根據(jù)幀間隔設(shè)定裝置設(shè)定的幀間隔改變圖像提取裝置中滿足檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)的提取幀間隔。
14.權(quán)利要求11所述的運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于所述組合圖像發(fā)送控制裝置包括用來存儲圖像組合裝置生成的一定幀數(shù)的組合圖像的寫入幀存儲裝置；用來根據(jù)寫入幀存儲裝置中存儲的寫入幀數(shù)控制組合圖像發(fā)送開始的發(fā)送開始控制裝置；用來存儲從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)的發(fā)送幀存儲裝置；用來將存儲在寫入幀存儲裝置中的生成的組合圖像幀數(shù)與從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送并存儲在發(fā)送幀存儲裝置中的組合圖像幀數(shù)進(jìn)行比較以確定下一發(fā)送幀數(shù)的幀比較裝置；以及用來從組合圖像存儲裝置中讀取由幀比較裝置設(shè)定的對應(yīng)發(fā)送幀數(shù)的組合圖像并進(jìn)一步向通信裝置輸出的組合圖像發(fā)送裝置，其中組合圖像發(fā)送控制裝置將所生成的組合圖像的幀數(shù)與向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)進(jìn)行比較，并且在向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)等于或大于所生成組合圖像幀數(shù)時(shí)將下一發(fā)送的幀數(shù)設(shè)定為頭部并且重復(fù)所生成組合圖像的回放。
15.如權(quán)利要求11所述的運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于所述組合圖像發(fā)送控制裝置包括用來存儲由圖像組合裝置生成的組合圖像幀數(shù)的寫入幀存儲裝置；用來根據(jù)存儲在寫入幀存儲裝置中的幀數(shù)以及幀數(shù)寫入時(shí)間計(jì)算組合圖像生成速度的組合圖像生成速度計(jì)算裝置；用來根據(jù)由組合圖像生成速度計(jì)算裝置獲得的組合圖像生成速度以及回放預(yù)期時(shí)間控制發(fā)送開始的發(fā)送開始控制裝置；用來存儲組合運(yùn)動(dòng)圖像數(shù)據(jù)的回放預(yù)期時(shí)間的回放預(yù)期時(shí)間存儲裝置；用來存儲從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送的組合圖像幀數(shù)的發(fā)送幀存儲裝置；用來將存儲在寫入幀存儲裝置中的生成的組合圖像幀數(shù)與從運(yùn)動(dòng)圖像檢索服務(wù)器向運(yùn)動(dòng)圖像檢索終端發(fā)送并存儲在發(fā)送幀存儲裝置中的組合圖像幀數(shù)進(jìn)行比較以確定下一發(fā)送幀數(shù)的幀比較裝置；以及用來從組合圖像存儲裝置中讀取由幀比較裝置設(shè)定的對應(yīng)發(fā)送幀數(shù)的組合圖像并進(jìn)一步向通信裝置輸出的組合圖像發(fā)送裝置，其中寫入幀存儲裝置和組合圖像生成速度計(jì)算裝置計(jì)算與回放預(yù)期時(shí)間對應(yīng)的組合圖像所需的生成時(shí)間，并且在生成余下的組合圖像所需時(shí)間小于回放預(yù)期時(shí)間時(shí)開始發(fā)送組合圖像。
16.如權(quán)利要求11所述的運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于所述運(yùn)動(dòng)圖像檢索終端提供有圖像選擇裝置，用來從通過縮小和組合符合檢索條件的若干運(yùn)動(dòng)圖像數(shù)據(jù)而生成的組合運(yùn)動(dòng)圖像中選擇所需的運(yùn)動(dòng)圖像數(shù)據(jù)，與此同時(shí)運(yùn)動(dòng)圖像檢索服務(wù)器配備有用來存儲組合圖像除數(shù)的場景除數(shù)存儲裝置和用來在這樣一種狀態(tài)下從運(yùn)動(dòng)圖像存儲裝置中提取圖像的時(shí)間劃分提取裝置，在該狀態(tài)下所指定的運(yùn)動(dòng)圖像數(shù)據(jù)回放時(shí)間是交錯(cuò)的，并且運(yùn)動(dòng)圖像檢索服務(wù)器對圖像數(shù)據(jù)進(jìn)行縮小，該圖像數(shù)據(jù)通過對圖像選擇裝置以時(shí)間為單位指定的任意運(yùn)動(dòng)圖像數(shù)據(jù)以存儲在場景除數(shù)存儲裝置中的除數(shù)進(jìn)行劃分并加以提取獲得，還將縮小的圖像數(shù)據(jù)按照時(shí)間順序排列以生成組合圖像。
17.一種運(yùn)動(dòng)圖像檢索系統(tǒng)，其特征在于包含用于檢索運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像檢索服務(wù)器和用于向運(yùn)動(dòng)圖像檢索服務(wù)器提出運(yùn)動(dòng)圖像檢索請求的運(yùn)動(dòng)圖像檢索終端，運(yùn)動(dòng)圖像檢索服務(wù)器和運(yùn)動(dòng)圖像檢索終端通過網(wǎng)絡(luò)互相連接起來，所述運(yùn)動(dòng)圖像檢索服務(wù)器包括用來存儲被檢索的運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像存儲裝置；對存儲在運(yùn)動(dòng)圖像存儲裝置中的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行檢索的運(yùn)動(dòng)圖像檢索裝置；用來在這樣一種狀態(tài)下從運(yùn)動(dòng)圖像存儲裝置中提取圖像的時(shí)間劃分提取裝置，在該狀態(tài)下所指定的運(yùn)動(dòng)圖像數(shù)據(jù)回放開始時(shí)間是交錯(cuò)的；根據(jù)運(yùn)動(dòng)圖像提取裝置提取的圖像數(shù)據(jù)生成縮小圖像的圖像縮小裝置；用來根據(jù)縮小圖像生成組合圖像的圖像組合裝置；用來控制組合圖像生成的組合圖像生成控制裝置；用來存儲組合圖像上數(shù)據(jù)的組合圖像存儲裝置；用來控制存儲在組合圖像存儲裝置內(nèi)的組合圖像數(shù)據(jù)向運(yùn)動(dòng)圖像檢索終端的發(fā)送的組合圖像發(fā)送控制裝置；以及用來控制與運(yùn)動(dòng)圖像檢索終端通信的通信裝置，而所述運(yùn)動(dòng)圖像檢索終端包括輸入運(yùn)動(dòng)圖像數(shù)據(jù)檢索條件的檢索條件輸入裝置；用來控制與運(yùn)動(dòng)圖像檢索服務(wù)器通信的的通信裝置；以及將運(yùn)動(dòng)圖像檢索服務(wù)器內(nèi)生成的組合圖像數(shù)據(jù)顯示出來的組合圖像回放裝置，其中時(shí)間劃分提取裝置提取存儲在運(yùn)動(dòng)圖像存儲裝置內(nèi)的運(yùn)動(dòng)圖像數(shù)據(jù)，而圖像組合裝置按照時(shí)間順序排列符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)和在這樣一種狀態(tài)下的簡化圖像數(shù)據(jù)，在該狀態(tài)下符合檢索條件的運(yùn)動(dòng)圖像數(shù)據(jù)的開始時(shí)間是交錯(cuò)的，從而生成組合圖像。
全文摘要
一種基于多場景回放的運(yùn)動(dòng)圖像檢索用圖像顯示單元。該圖像顯示單元包含:用來縮小圖像數(shù)據(jù)的圖像縮小裝置;用來組合縮小的圖像數(shù)據(jù)以生成組合圖像的圖像組合裝置;用來顯示所述組合圖像的圖像顯示裝置;以及負(fù)責(zé)回放圖像數(shù)據(jù)的同時(shí)多場景回放裝置。其中所述圖像縮小裝置將待回放的所述圖像數(shù)據(jù)以幀為單位縮小,所述圖像組合裝置將所述圖像數(shù)據(jù)同一幀的縮小圖像數(shù)據(jù)組合起來,而所述同時(shí)多場景回放裝置回放組合的圖像。
文檔編號H04N5/45GK1186279SQ97121328
公開日1998年7月1日 申請日期1997年10月22日 優(yōu)先權(quán)日1996年10月22日
發(fā)明者加藤毅, 中村學(xué), 加藤等, 堀上周吾 申請人:松下電器產(chǎn)業(yè)株式會社