圖像拾取裝置、信息處理系統(tǒng)和圖像數(shù)據(jù)處理方法
【專利摘要】一種圖像拾取裝置，包括：圖像數(shù)據(jù)產(chǎn)生單元，被配置為從已拾取圖像產(chǎn)生多種圖像的數(shù)據(jù)，并且連續(xù)輸出所述數(shù)據(jù)；圖像合成單元，被配置為在對于每種圖像預(yù)先所設(shè)置的范圍內(nèi)循環(huán)連接用于每個像素串的所述多種圖像的數(shù)據(jù)，并且輸出所連接的數(shù)據(jù)作為流，以產(chǎn)生虛擬合成圖像；圖像發(fā)送單元，被配置為從所述主機(jī)終端接受指定所述虛擬合成圖像中的矩形區(qū)域的數(shù)據(jù)發(fā)送請求，從流提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù)作為新的流發(fā)送到所述主機(jī)終端。
【專利說明】圖像拾取裝置、信息處理系統(tǒng)和圖像數(shù)據(jù)處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于使用已拾取圖像來執(zhí)行信息處理的技術(shù)。

【背景技術(shù)】
[0002] 在現(xiàn)有技術(shù)中，由攝像機(jī)拾取攝像機(jī)的用戶的身體部分(例如頭部）的圖像的游戲 是已知的。然后，從已拾取圖像提取預(yù)定區(qū)域(例如包括眼睛、嘴或手的區(qū)域)。此后，以不同 的圖像來替換所提取的區(qū)域的圖像，并且在顯示單元上顯示所述不同的圖像。例如，在歐洲 專利申請公開No. 0999518 (下文中稱之為專利文獻(xiàn)1)中公開了如上所述的這種游戲。接 收攝像機(jī)所拾取的圖像中的嘴或手的運(yùn)動作為對應(yīng)用的操作指令的用戶接口系統(tǒng)也是已 知的。


【發(fā)明內(nèi)容】

[0003] 在上述這種技術(shù)中，為了從圖像中提取預(yù)定區(qū)域(例如包括嘴、手等的區(qū)域)，使用 高分辨率的圖像。然而，隨著攝像機(jī)的圖像拾取元件的性能增強(qiáng)，圖像數(shù)據(jù)量增加。這導(dǎo)致 了如下問題：這增加了用于數(shù)據(jù)挖掘處理(例如過濾、縮放（seal ing )、剪切處理等）的成本， 數(shù)據(jù)挖掘處理提供關(guān)于對于壓縮和解壓處理使用的適當(dāng)尺度的信息，以用于數(shù)據(jù)傳送或識 另IJ、檢測、測量處理等。圖像數(shù)據(jù)量的增加進(jìn)一步導(dǎo)致不同的問題：這增加了從向相機(jī)輸入 的時間到從每個處理輸出的時間的等待時間。此外，將相機(jī)用作用戶接口導(dǎo)致不同的問題： 等待時間的增加使得可用性極大地降級。以此方式，即使攝像機(jī)的圖像拾取元件在性能方 面得以改進(jìn)，也存在整個系統(tǒng)的性能可能惡化的可能性。
[0004] 因此，本發(fā)明預(yù)期提供一種圖像處理技術(shù)，其可以在使用高性能圖像拾取元件的 同時使用已拾取圖像數(shù)據(jù)來抑制從圖像拾取時間到圖像顯示時間的等待時間。
[0005] 根據(jù)本發(fā)明實(shí)施例，提供一種圖像拾取裝置，包括：圖像數(shù)據(jù)產(chǎn)生單元，被配置為 從通過圖像拾取對象的圖像拾取所獲得的已拾取圖像產(chǎn)生多種圖像的數(shù)據(jù)，并且連續(xù)輸出 一個水平行的像素的所述數(shù)據(jù)；圖像合成單元，被配置為在對于每種圖像預(yù)先所設(shè)置的范 圍內(nèi)對于每個像素串循環(huán)連接從所述圖像數(shù)據(jù)產(chǎn)生單元輸出的所述多種圖像的數(shù)據(jù)，并且 輸出所連接的數(shù)據(jù)作為流，以產(chǎn)生虛擬合成圖像，其包括所述多種圖像，并且其中，當(dāng)所述 連接進(jìn)行一輪時的像素串是一個水平行的像素串；圖像發(fā)送單元，被配置為從連接到所述 圖像拾取裝置的主機(jī)終端接受指定所述虛擬合成圖像中的矩形區(qū)域的數(shù)據(jù)發(fā)送請求，根據(jù) 所述數(shù)據(jù)發(fā)送請求從流提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù)作為新的流發(fā)送到所述主 機(jī)終端。所述圖像合成單元將像素串連接為所述多種圖像的流，從而對于其每個水平行，連 接具有等于預(yù)先確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個范 圍，連接具有大于所述基準(zhǔn)圖像大小的大小的這些圖像；對于小于一個水平行的其每個范 圍，連接具有小于所述基準(zhǔn)圖像大小的大小的這些圖像。
[0006] 根據(jù)本發(fā)明另一實(shí)施例，提供一種信息處理系統(tǒng)，包括：圖像拾取裝置，被配置為 從通過圖像拾取對象的圖像拾取所獲得的已拾取圖像產(chǎn)生多種圖像的數(shù)據(jù)；主機(jī)終端，被 配置為獲取所述圖像的至少部分?jǐn)?shù)據(jù)，并且利用所獲取的數(shù)據(jù)來執(zhí)行預(yù)定信息處理。所述 圖像拾取裝置包括：圖像數(shù)據(jù)產(chǎn)生單元，被配置為產(chǎn)生所述多種圖像的數(shù)據(jù)，并且對于一個 水平行中的每個像素，連續(xù)輸出產(chǎn)生的數(shù)據(jù)；圖像合成單元，被配置為在對于每種圖像預(yù)先 所設(shè)置的范圍內(nèi)對于每個像素串循環(huán)連接從所述圖像數(shù)據(jù)產(chǎn)生單元輸出的所述多種圖像 的數(shù)據(jù)，并且輸出所連接的數(shù)據(jù)作為流，以產(chǎn)生虛擬合成圖像，其包所述多種圖像，并且其 中，當(dāng)所述連接進(jìn)行一輪時的像素串是一個水平行的像素串；圖像發(fā)送單元，被配置為從所 述主機(jī)終端接受指定所述虛擬合成圖像中的矩形區(qū)域的數(shù)據(jù)發(fā)送請求，根據(jù)所述數(shù)據(jù)發(fā)送 請求從流提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù)作為新的流發(fā)送到所述主機(jī)終端。所述 圖像合成單元連接所述多種圖像的像素串，從而對于其每個水平行，連接具有等于預(yù)先所 確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個范圍，連接具有大 于所述基準(zhǔn)圖像大小的大小的這些圖像；對于小于一個水平行的其每個范圍，連接具有小 于所述基準(zhǔn)圖像大小的大小的這些圖像。所述主機(jī)終端包括：數(shù)據(jù)請求單元，被配置為通過 指定所述虛擬合成圖像的矩形區(qū)域來請求所述圖像拾取裝置所產(chǎn)生的所述多種圖像的至 少部分?jǐn)?shù)據(jù)，以及數(shù)據(jù)顯影單元，被配置為基于所指定的矩形區(qū)域的信息將從所述圖像拾 取裝置發(fā)送至其的所述流分離為單獨(dú)圖像的數(shù)據(jù)，將分離后的數(shù)據(jù)返回到初始像素串中的 位置，以恢復(fù)所述圖像，然后將所述圖像顯影到存儲器中。
[0007] 根據(jù)本發(fā)明再一實(shí)施例，提供一種圖像拾取裝置所執(zhí)行的圖像數(shù)據(jù)處理方法，包 括：從圖像拾取元件獲取通過圖像拾取對象的圖像拾取所獲得的已拾取圖像，基于所獲取 的所述已拾取圖像來產(chǎn)生多種圖像的數(shù)據(jù)，并連續(xù)輸出一個水平行的像素的數(shù)據(jù)；在對于 每種圖像預(yù)先設(shè)置的范圍內(nèi)對于每一像素串循環(huán)連接輸出的所述多種圖像的數(shù)據(jù)，并且輸 出所連接的數(shù)據(jù)作為流，以產(chǎn)生虛擬合成圖像，其包括所述多種圖像，并且其中，當(dāng)所述連 接進(jìn)行一輪時的像素串是一個水平行的像素串；從連接到所述圖像拾取裝置的主機(jī)終端接 受指定所述虛擬合成圖像中的矩形區(qū)域的數(shù)據(jù)發(fā)送請求，根據(jù)所述數(shù)據(jù)發(fā)送請求從所述流 提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù)作為新的流發(fā)送到所述主機(jī)終端。產(chǎn)生所述合成 圖像包括：執(zhí)行所述多種圖像的像素串的連接，從而對于其每個水平行，連接具有等于預(yù)先 所確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個范圍，連接具有 大于所述基準(zhǔn)圖像大小的大小的這些圖像；對于小于一個水平行的其每個范圍，連接具有 小于所述基準(zhǔn)圖像大小的大小的這些圖像。
[0008] 應(yīng)注意，此外，上述組件以及通過在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄任何計(jì)算 機(jī)程序的記錄介質(zhì)等之間轉(zhuǎn)換本發(fā)明的表示所獲得的要素的任意組合有效地應(yīng)用為本發(fā) 明的不同模型。
[0009] 通過本技術(shù)，可以在抑制從圖像拾取到使用已拾取圖像的數(shù)據(jù)而顯示圖像的等待 時間的同時執(zhí)行各種信息處理。
[0010] 結(jié)合附圖，本發(fā)明的以上和其它目的、特征和優(yōu)點(diǎn)將從以下描述和所附權(quán)利要求 變得清楚，在附圖中，相似部分或要素由相似標(biāo)號表示。

【專利附圖】

【附圖說明】
[0011] 圖1是描述可以應(yīng)用本技術(shù)實(shí)施例的信息處理系統(tǒng)的配置的示例的示意圖； [0012] 圖2是描述圖1的信息處理系統(tǒng)的主機(jī)終端和圖像拾取裝置的配置的框圖；
[0013] 圖3是具體描述圖2所示的圖像拾取裝置的第一相機(jī)的配置的框圖；
[0014] 圖4是具體描述圖3所示的金字塔濾波器部分的配置的框圖；
[0015] 圖5是具體描述圖2的圖像拾取裝置的圖像合成單元和圖像發(fā)送單元的配置的框 圖；
[0016] 圖6是示意性示出圖2的圖像拾取裝置和主機(jī)終端中的數(shù)據(jù)形式的基本轉(zhuǎn)變的圖 解視圖；
[0017] 圖7是示意性示出圖2所描述的第一相機(jī)的大小調(diào)整部分所執(zhí)行的圖像的縮小處 理之前和之后的各像素之間的關(guān)系的圖解視圖；
[0018] 圖8是不出1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的像素?cái)?shù) 據(jù)對圖5的圖像合成單元的輸入定時的時間圖表；
[0019] 圖9是示意性示出圖5的圖像合成單元連接多種圖像的像素?cái)?shù)據(jù)以產(chǎn)生合成圖像 的方式的圖解視圖；
[0020] 圖10是示意性示出圖5的圖像合成單元連接1/1縮小率去馬賽克圖像和更高縮 小率去馬賽克圖像的方式的圖解視圖；
[0021] 圖11是示意性描述當(dāng)對于從圖2所示的第一相機(jī)和第二相機(jī)輸出的各個圖像數(shù) 據(jù)交替地重復(fù)參照圖9和圖10所描述的處理時所產(chǎn)生的合成圖像的示例的視圖；
[0022] 圖12是示意性描述響應(yīng)于來自圖2的主機(jī)終端的請求的圖像數(shù)據(jù)流的視圖；
[0023] 圖13是具體描述圖2的第一相機(jī)的配置的框圖，其中，第一相機(jī)包括用于連同基 于可見光的色彩信息一起獲取紅外光的信息的功能；
[0024] 圖14是示出圖13所示的第一相機(jī)的分離處理部分進(jìn)行的數(shù)據(jù)的分離處理過程的 視圖；
[0025] 圖15是描述與圖13所示的相機(jī)的配置對應(yīng)的圖像合成單元的配置的框圖；
[0026] 圖16是描述參照圖13至圖15所描述的配置所產(chǎn)生的合成圖像的示例的示意圖； 以及
[0027] 圖17是示出當(dāng)圖1中所描述的主機(jī)終端和圖像拾取裝置彼此協(xié)作以執(zhí)行信息處 理時的處理過程的示例的流程圖。

【具體實(shí)施方式】
[0028] 圖1描述可以應(yīng)用本技術(shù)實(shí)施例的信息處理系統(tǒng)的配置的示例。參照圖1，信息 處理系統(tǒng)10包括圖像拾取裝置12、主機(jī)終端20和顯示裝置16。圖像拾取裝置12包括兩 個相機(jī)，用于對圖像拾取對象(例如用戶1)的圖像進(jìn)行拾取。主機(jī)終端20基于圖像拾取裝 置12所拾取的圖像而根據(jù)用戶的請求來執(zhí)行信息處理。顯示裝置16輸出主機(jī)終端20進(jìn) 行的處理所獲得的圖像數(shù)據(jù)。主機(jī)終端20可以連接到網(wǎng)絡(luò)18 (例如因特網(wǎng)）。
[0029] 主機(jī)終端20、圖像拾取裝置12、顯示裝置16和網(wǎng)絡(luò)18可以通過有線纜線彼此連 接，或可以由無線LAN (局域網(wǎng))等通過無線連接而連接。圖像拾取裝置12、主機(jī)終端20和 顯示裝置16中的兩個或全部可以組合或裝配為單一構(gòu)件。圖像拾取裝置12可以不完全提 供在顯示裝置16上，用戶1可以不是人，且可以包括任意數(shù)量的這種用戶1。
[0030] 圖像拾取裝置12如下配置：在彼此間隔開已知距離的左右位置處布置兩個相機(jī)， 其包括均含有圖像拾取元件的第一相機(jī)22a和第二相機(jī)22b。圖像拾取元件可以是在普通 數(shù)碼相機(jī)和數(shù)碼攝像機(jī)中使用的可見光傳感器(例如CCD (電荷耦合器件）傳感器或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器)。替代地，從紅外光輻射元件和紅外光傳感器的組合所配 置的距離圖像傳感器可以與普通可見光傳感器組合。這兩個相機(jī)以相等的幀速率或不等的 幀速率從左右位置拾取在同一空間中存在的圖像拾取對象的圖像。圖像拾取裝置12進(jìn)一 步使用已拾取圖像來產(chǎn)生多種圖像數(shù)據(jù)。
[0031] 以如下文中所描述的流格式來將圖像拾取裝置12拾取并且產(chǎn)生的圖像數(shù)據(jù)發(fā)送 到主機(jī)終端20。主機(jī)終端20使用發(fā)送至其的圖像數(shù)據(jù)來執(zhí)行必要信息處理，以產(chǎn)生輸出圖 像。主機(jī)終端20所執(zhí)行的處理的內(nèi)容在此并非特定受限，而是取決于用戶所請求的功能、 應(yīng)用的內(nèi)容等而合適地設(shè)置。
[0032] 例如，當(dāng)反映作為圖像拾取對象的用戶1的行為的人物出現(xiàn)的游戲時，將要執(zhí)行 用于將用戶1的行為轉(zhuǎn)換為命令輸入等的信息處理，主機(jī)終端20在從圖像拾取裝置12獲 取的相同定時使用左右圖像來執(zhí)行立體匹配。然后，主機(jī)終端20以預(yù)定速率指定關(guān)于相機(jī) 的視場具有高度、寬度和深度的三維空間中的圖像拾取對象的位置坐標(biāo)，以獲取位置坐標(biāo) 的時間變化。然后，主機(jī)終端20基于所獲取的時間變化對于已拾取圖像執(zhí)行預(yù)定處理，或 在預(yù)先準(zhǔn)備的圖像上反映所獲取的時間變化，以產(chǎn)生輸出圖像。
[0033] 在應(yīng)用視頻聊天應(yīng)用的情況下，用戶1的圖像在實(shí)時的基礎(chǔ)上通過網(wǎng)絡(luò)18發(fā)送到 聊天伙伴。此時，主機(jī)終端20可以執(zhí)行臉部檢測處理，然后執(zhí)行例如用于僅以高分辨率來 表示臉部檢測處理所獲得的用戶1的臉部區(qū)域的處理。除了剛描述的這種圖像處理之外， 主機(jī)終端20還可以合成用于執(zhí)行各種應(yīng)用的菜單或?qū)ο髨D像(例如光標(biāo))。注意，在僅應(yīng)用 不請求與圖像拾取對象距相機(jī)的距離有關(guān)的信息的應(yīng)用（例如視頻聊天）的情況下，可以僅 從一個相機(jī)來配置圖像拾取裝置12。
[0034] 顯示裝置16根據(jù)場合要求將主機(jī)終端20所執(zhí)行的處理的結(jié)果在其上顯示為圖 像。顯示裝置16可以是包括輸出圖像的顯示單元和輸出聲音的揚(yáng)聲器的電視機(jī)，并且可以 是例如液晶電視機(jī)、等離子電視機(jī)或PC (個人計(jì)算機(jī)）顯示單元。
[0035] 如上所述，在信息處理系統(tǒng)10中，可以使用圖像拾取裝置12所拾取的運(yùn)動圖像來 執(zhí)行各種處理，并且處理的內(nèi)容并非具體地受限。在該實(shí)施例中，無論執(zhí)行何種處理，圖像 拾取裝置12都不僅執(zhí)行運(yùn)動圖像的圖像拾取，而且還使用運(yùn)動圖片來產(chǎn)生多種圖像數(shù)據(jù)。 然后，圖像拾取裝置12僅高效地發(fā)送主機(jī)終端20所指定的圖像數(shù)據(jù)。因此，展現(xiàn)從圖像拾 取到圖像顯示的減少的等待時間的信息處理系統(tǒng)得以實(shí)現(xiàn)，此外，其可以執(zhí)行高級處理。
[0036] 圖2描述主機(jī)終端20和圖像拾取裝置12的配置?？梢詮挠布蜍浖韺?shí)現(xiàn)下文 中所參照的圖2和圖3至圖5、圖13和圖15中所描述的功能塊。在功能塊是從硬件配置 的情況下，可以從例如CPU (中央處理單元)、RAM (隨機(jī)存取存儲器)、R0M (只讀存儲器)、渲 染（rendering)電路、圖像拾取元件等的組件來配置它們。在功能塊是從軟件配置的情況 下，可以通過從記錄介質(zhì)等加載到存儲器中并且提供各種功能(例如數(shù)據(jù)輸入功能、數(shù)據(jù)保 存功能、圖像分析功能、渲染功能和通信功能)的程序來實(shí)現(xiàn)它們。相應(yīng)地，本領(lǐng)域技術(shù)人員 應(yīng)理解，功能塊可以僅從硬件、僅從軟件或從硬件和軟件的組合以各種形式而得以實(shí)現(xiàn)，并 且不限于它們之一。
[0037] 主機(jī)終端20包括指令輸入單元36、信息處理單元38、圖像處理單元40、主存儲器 42和通信單元44。指令輸入單元36獲取從用戶輸入的指令。信息處理單元38整體地控 制主機(jī)終端20和圖像拾取裝置12,以根據(jù)對象來執(zhí)行信息處理。圖像處理單元40產(chǎn)生輸 出圖像。主存儲器42存儲來自圖像拾取裝置12的圖像數(shù)據(jù)。通信單元44是執(zhí)行用于將 圖像數(shù)據(jù)請求給圖像拾取裝置12并且從圖像拾取裝置12獲取圖像數(shù)據(jù)的接口。
[0038] 指令輸入單元36接受從用戶輸入的指令，產(chǎn)生并且發(fā)送與輸入到信息處理單元 38的指令對應(yīng)的處理請求信號。通過普通輸入裝置(例如按鈕、鍵盤、鼠標(biāo)、軌跡球和/或觸 摸板）以及解釋對于輸入裝置執(zhí)行的操作的實(shí)質(zhì)以產(chǎn)生處理請求信號的處理器等的協(xié)作來 實(shí)現(xiàn)指令輸入單元36。
[0039] 信息處理單元38根據(jù)從指令輸入單元36獲取的處理請求信號來將對圖像數(shù)據(jù)的 請求發(fā)布到圖像拾取裝置12,將對圖像處理的請求發(fā)布到圖像處理單元40等。此外，信息 處理單元38將從圖像拾取裝置12發(fā)送至其的圖像數(shù)據(jù)顯影（develop)在主存儲器42中， 如下文中詳細(xì)描述的那樣。此外，取決于信息處理系統(tǒng)10所執(zhí)行的處理的實(shí)質(zhì)，信息處理 單元38使用從圖像拾取裝置12發(fā)送至其的圖像數(shù)據(jù)來執(zhí)行圖像分析(例如立體匹配、圖像 拾取對象的跟蹤、臉部檢測、姿勢檢測等)。可以通過應(yīng)用公知技術(shù)來實(shí)現(xiàn)這種圖像分析。
[0040] 圖像處理單元40使用主存儲器42中顯影的圖像，根據(jù)來自信息處理單元38的請 求來執(zhí)行圖像處理，以產(chǎn)生顯示圖像。將產(chǎn)生的顯示圖像存儲在幀存儲器(未示出）中，并且 這些存儲的顯示圖像在信息處理單元38的控制下連續(xù)地顯示在顯示裝置16上。通信單元 44獲取信息處理單元38產(chǎn)生的去往圖像拾取裝置12的圖像數(shù)據(jù)的請求信號，并且將該請 求信號發(fā)送到圖像拾取裝置12。此外，通信單元44根據(jù)該請求信號來獲取從圖像拾取裝置 12發(fā)送至其的圖像數(shù)據(jù)，并且將獲取的圖像數(shù)據(jù)發(fā)送到信息處理單元38。
[0041] 圖像拾取裝置12包括第一相機(jī)22a、第二相機(jī)22b、圖像合成單元30、圖像發(fā)送單 元32和通信單元34。第一相機(jī)22a和第二相機(jī)22b拾取運(yùn)動圖片以產(chǎn)生多種圖像數(shù)據(jù)。 圖像合成單元30整合多種圖像數(shù)據(jù)。圖像發(fā)送單元32提取主機(jī)終端20所請求的圖像數(shù) 據(jù)，并且產(chǎn)生用于發(fā)送的圖像數(shù)據(jù)。通信單元34是執(zhí)行從主機(jī)終端20接收對圖像數(shù)據(jù)的 請求信號并且發(fā)送圖像數(shù)據(jù)的接口。
[0042] 第一相機(jī)22a和第二相機(jī)22b從左右視點(diǎn)對同一圖像拾取對象的運(yùn)動畫面進(jìn)行拾 取。第一相機(jī)22a和第二相機(jī)22b逐步縮小所拾取的幀圖像，以產(chǎn)生不同分辨率的多個圖 像數(shù)據(jù)。圖像合成單元30整合第一相機(jī)22a和第二相機(jī)22b所產(chǎn)生的圖像數(shù)據(jù)，以產(chǎn)生如 下文中所描述的虛擬合成圖像。
[0043] 圖像發(fā)送單元32從圖像合成單元30所產(chǎn)生的虛擬合成圖像提取主機(jī)終端20所 請求的圖像數(shù)據(jù)。具體地說，圖像發(fā)送單元32從主機(jī)終端20接受虛擬合成圖像中的區(qū)域 指定，并且執(zhí)行普通剪切處理以切掉一區(qū)域。這使得主機(jī)終端20可以不僅指定某種圖像， 而且還指定該圖像的局部區(qū)域，從而可以僅接收有關(guān)數(shù)據(jù)。取決于主機(jī)終端20與圖像拾取 裝置12之間的通信方法，合適地封裝圖像發(fā)送單元32所提取的圖像數(shù)據(jù)。
[0044] 通信單元34從主機(jī)終端20接受對圖像數(shù)據(jù)的請求信號，并且向圖像發(fā)送單元32 通知該請求信號。此外，通信單元34將圖像發(fā)送單元32所產(chǎn)生的用于發(fā)送的圖像數(shù)據(jù)發(fā) 送到主機(jī)終端20。通信單元34根據(jù)預(yù)定協(xié)議(例如，比如USB1. 0/2. 0/3. 0)將分組發(fā)送到 主機(jī)終端20。與主機(jī)終端20的通信不限于有線通信，而是可以是無線LAN通信(例如，比如 IEEE802. lla/b/g)或紅外通信(例如IrDA (紅外數(shù)據(jù)協(xié)會)）。
[0045] 該實(shí)施例中待由圖像拾取裝置12執(zhí)行的處理基本上以圖像的一個水平行的像素 串為單位而執(zhí)行，并且以此單位提供給后續(xù)功能塊。結(jié)果，圖像拾取裝置12的每個功能塊 可以僅包括最小行緩沖器作為要在其中提供的存儲器，并且可以通過低等待時間來執(zhí)行從 圖像拾取到圖像數(shù)據(jù)發(fā)送到主機(jī)終端20的處理。
[0046] 圖3具體描述圖像拾取裝置12的第一相機(jī)22a的配置。注意，第二相機(jī)22b也可 以具有相同配置。替代地，對于明顯無需左右立體圖像的一種圖像，可以從第二相機(jī)22b排 除其產(chǎn)生功能。第一相機(jī)22a包括圖像獲取部分102a、去馬賽克部分104a、大小調(diào)整部分 108a和金字塔濾波器部分135a。圖像獲取部分102a以預(yù)定幀速率讀出通過圖像拾取元件 進(jìn)行曝光所拾取的圖像。該圖像是原始（RAW)圖像。
[0047] 每當(dāng)曝光原始圖像的一個水平行的像素串時，圖像獲取部分102a將該像素串的 圖像發(fā)送到去馬賽克部分l〇4a和圖像合成單元30。在該實(shí)施例中，圖像獲取部分102a可 以通過相似的配置和相似的處理過程以低等待時間來發(fā)送主機(jī)終端20所請求的數(shù)據(jù)，而 不取決于相機(jī)的分辨率。因此，即使圖像拾取元件的性能或主機(jī)終端20待執(zhí)行的處理在未 來擴(kuò)展，可能的是：在可以相似地執(zhí)行傳統(tǒng)處理的同時，應(yīng)對未來擴(kuò)展，而無需明顯修改系 統(tǒng)配置。結(jié)果，可以通過低成本來實(shí)現(xiàn)高可擴(kuò)展性。
[0048] 注意，在以下描述中，在η是自然數(shù)的情況下，假設(shè)圖像獲取部分102a待獲取的原 始圖像在水平方向上具有nW個像素的寬度并且在垂直或高度方向上具有nH個像素的高 度。這是因?yàn)?，期望將待輸入到下文中所描述的金字塔濾波器部分135a的縮小之前的并且 在水平方向上具有數(shù)量W的像素并且在垂直方向上具有另一數(shù)量Η的像素的圖像確定為基 準(zhǔn)圖像。最簡單地，η可以設(shè)置為η=1，可以根據(jù)取決于相機(jī)的分辨率的原始圖像的大小來 準(zhǔn)備金字塔濾波器部分135a。
[0049] 另一方面，在該實(shí)施例中，可以使得金字塔濾波器部分135a的配置以相機(jī)的分辨 率由于技術(shù)革新等而變化的任何方式而原樣使用，由此增強(qiáng)可擴(kuò)展性，并且無論分辨率如 何都可以使得以相似的方式來執(zhí)行各種處理。相應(yīng)地，響應(yīng)于待引入的相機(jī)的分辨率來確 定自然數(shù)η。替代地，可以在可預(yù)知的范圍內(nèi)確定η的最大值，可以響應(yīng)于自然數(shù)η的最大 值來準(zhǔn)備緩沖存儲器的容量等。在該實(shí)例中，圖像獲取部分102a從連接至其的圖像拾取元 件確定η的實(shí)際值，并且向其它塊通知η的該實(shí)際值，從而可以在處理的內(nèi)容上反映 η的 值，或可以確定緩沖存儲器的使用范圍。
[0050] 去馬賽克部分104a包括具有用于nW個像素的容量的FIFO(先進(jìn)先出)緩沖器105 以及簡單去馬賽克處理部分106。將原始圖像的一個水平行的像素?cái)?shù)據(jù)輸入到FIFO緩沖器 105并且由其保存，直到將下一個水平行的像素?cái)?shù)據(jù)輸入到去馬賽克部分104a為止。當(dāng)簡 單去馬賽克處理部分106接收到兩個水平行的像素?cái)?shù)據(jù)時，其使用像素?cái)?shù)據(jù)來基于周圍像 素而執(zhí)行對于每個像素完成色彩信息的去馬賽克處理，由此創(chuàng)建全彩色圖像。
[0051] 如本領(lǐng)域技術(shù)人員公知的那樣，大量方法對于這種去馬賽克處理是可用的。在此， 可以滿意地使用僅使用兩個水平行的像素的簡單去馬賽克處理。作為示例，如果待計(jì)算對 應(yīng)YCbCr值的像素僅具有G值，則將該像素的R值計(jì)算為左右鄰近像素的R值的平均值；原 樣使用G值來確定該像素的G值；并且使用位于該像素的上側(cè)或下側(cè)的像素的B值來確定 該像素的B值。然后，使用R、G和B值，并且將它們代入到預(yù)定轉(zhuǎn)換表達(dá)式中，以計(jì)算YCbCr 值。由于這種去馬賽克處理在本領(lǐng)域是公知的，因此在此省略更詳細(xì)的描述。注意，通過去 馬賽克部分l〇4a和后續(xù)塊的處理所產(chǎn)生的圖像數(shù)據(jù)的彩色空間不限于YCbCr空間。
[0052] 可以滿意地使用簡單去馬賽克處理的原因在于，在需要高質(zhì)量圖像的情況下，可 以使用原始圖像。作為對簡單去馬賽克處理的修改，可以使用從四個RGB像素配置一個像 素的YCbCr值的方法。在此情況下，由于獲得具有原始圖像的1/4大小的去馬賽克圖像，因 此可以消除下文中所描述的金字塔濾波器部分135a的第一濾波器137a。
[0053] 簡單去馬賽克處理部分106如圖3所描述的那樣將例如2X2的四個RGB像素轉(zhuǎn) 換為用于四個像素的YCbCr彩色信號，并且將YCbCr彩色信號發(fā)送到圖像合成單元30和大 小調(diào)整部分l〇8a。關(guān)于一個原始圖像，簡單去馬賽克處理部分106對于輸入至其的整個原 始圖像重復(fù)該處理，以產(chǎn)生在水平方向上具有nW個像素并且在垂直方向上具有nH個像素 的寬度的去馬賽克圖像。該圖像具有當(dāng)在水平方向上具有W個像素并且在垂直方向上具有 Η個像素的作為基準(zhǔn)的圖像在水平方向和垂直方向二者上都乘以η時所獲得的大小。因此， 該圖像在下文中被稱為η2/1去馬賽克圖像。
[0054] 大小調(diào)整部分108a在水平和垂直方向二者上將圖像獲取部分102a所獲取的原始 圖像和去馬賽克部分l〇4a所產(chǎn)生的n 2/l去馬賽克圖像都縮小到1/n倍，以產(chǎn)生基準(zhǔn)圖像 大小的圖像。為此，大小調(diào)整部分l〇8a包括具有用于nW個像素的容量的FIFO緩沖器112 和114以及縮小處理部分110。從每一個均用于保存原始圖像的一個水平行的圖像數(shù)據(jù)的 一個或多個FIFO緩沖器配置FIFO緩沖器112。FIFO緩沖器具有這樣的任務(wù)：直到在來自 單次縮小處理所必須的預(yù)定數(shù)量的行之中的最后一行的像素?cái)?shù)據(jù)從圖像獲取部分l〇2a輸 入至其之后，保存其它一行或多行的圖像數(shù)據(jù)。
[0055] 縮小處理部分110在預(yù)定數(shù)量的行的原始圖像的像素?cái)?shù)據(jù)從圖像獲取部分102a 輸入至其的時間點(diǎn)使用所輸入的像素?cái)?shù)據(jù)來執(zhí)行縮小處理。對于縮小處理，可以使用通常 所使用的方法(例如線性內(nèi)插)。根據(jù)對于縮小處理所應(yīng)用的方法來確定配置FIFO緩沖器 112的FIFO緩沖器的數(shù)量。例如，在用于ηΧη個像素的塊中的每一個的像素值的平均值用 作一個像素值的情況下，為了產(chǎn)生一行縮小圖像，需要η行的像素?cái)?shù)據(jù)。因此，F(xiàn)IFO緩沖器 的數(shù)量是n-1。而在圖3的示例中，示出了多于兩個的FIFO緩沖器，一個FIFO緩沖器可以 用于縮小到1/2倍。
[0056] 此外，從用于分別保存分別與Y信號、Cb信號和Cr信號對應(yīng)的n2/l去馬賽克圖像 的一個水平行的圖像數(shù)據(jù)的一個或多個FIFO緩沖器相似地配置FIFO緩沖器114?？s小處 理部分110在預(yù)定數(shù)量的行的n 2/l去馬賽克圖像的圖像數(shù)據(jù)從去馬賽克部分104a輸入至 其的時間點(diǎn)，使用所輸入的圖像數(shù)據(jù)來執(zhí)行與以上所描述的相似的縮小處理。
[0057] 作為縮小處理的結(jié)果，縮小處理部分110輸出縮小的原始圖像和縮小之后的Y圖 像、Cb圖像和Cr圖像的圖像數(shù)據(jù)，其對于每一行在水平方向上具有W個像素并且在垂直方 向上具有Η個像素的寬度。大小調(diào)整部分108a將數(shù)據(jù)連續(xù)發(fā)送到圖像合成單元30,并且還 將Y圖像、Cb圖像和Cr圖像的數(shù)據(jù)發(fā)送到金字塔濾波器部分135a。由于此時的Y圖像、Cb 圖像和Cr圖像具有基準(zhǔn)大小，因此它們中的每一個在下文中被稱為1/1去馬賽克圖像。注 意，在取決于相機(jī)的分辨率而滿足n=l的情況下，可以省略大小調(diào)整部分108a進(jìn)行的縮小 處理。金字塔濾波器部分135a具有用于將特定圖像分級為多個分辨率并且輸出所得各分 辨率的圖像的功能。對于每一行，將金字塔濾波器部分135a所產(chǎn)生的各分辨率的Y圖像、 Cb圖像和Cr圖像的像素?cái)?shù)據(jù)發(fā)送到圖像合成單元30。
[0058] 圖4描述金字塔濾波器部分135a的細(xì)節(jié)。金字塔濾波器部分135a基本上包括與 所需分辨率級別對應(yīng)的多個1/4縮小濾波器。在圖4中，金字塔濾波器部分135a包括包含 第一濾波器137a、第二濾波器141a和第三濾波器145a的三個等級的濾波器。每個濾波器 執(zhí)行雙線性內(nèi)插彼此鄰近的四個像素的處理，以在算術(shù)上運(yùn)算這四個像素的平均像素值。 相應(yīng)地，在該處理之后的圖像大小是在該處理之前的圖像的圖像大小的1/4。注意，可以容 易地理解，即使濾波器的數(shù)量并非三個等級的濾波器，也可以相似地實(shí)現(xiàn)該實(shí)施例。
[0059] 在第一濾波器137a的前級，布置與Y信號、Cb信號和Cr信號中的每一個對應(yīng)的 W個像素的FIFO緩沖器139。FIFO緩沖器139具有這樣的任務(wù)：保存一個水平行的YCbCr 圖像數(shù)據(jù)，直到下一水平行的圖像數(shù)據(jù)從大小調(diào)整部分l〇8a輸入至其為止。在輸入兩個水 平行的圖像數(shù)據(jù)之后，第一濾波器137a對2X2的四個像素的Y像素值、Cb像素值和Cr像 素值取平均值。通過重復(fù)該處理序列，獲得在水平方向和垂直方向二者上都具有縮小到1/2 的長度的1/1去馬賽克圖像。結(jié)果，將尺寸整體地轉(zhuǎn)換到1/4。將通過轉(zhuǎn)換所獲得的1/4去 馬賽克圖像發(fā)送到圖像合成單元30,并且傳遞到在后級的第二濾波器141a。
[0060] 在第二濾波器141a的前級，布置與Y信號、Cb信號和Cr信號中的每一個對應(yīng)的 用于W/2個像素的一個FIFO緩沖器143。此外，F(xiàn)IFO緩沖器143具有這樣的任務(wù)：保存一 個水平行的YCbCr像素，直到下一水平行的像素?cái)?shù)據(jù)從第一濾波器137a輸入至其為止。在 輸入兩個水平行的像素?cái)?shù)據(jù)之后，第二濾波器141a對2 X 2的四個像素的Y像素值、Cb像 素值和Cr像素值取平均值。通過重復(fù)該處理序列，獲得在水平和垂直方向二者上都具有縮 小到1/2的長度的1/4去馬賽克圖像。結(jié)果，將尺寸整體地轉(zhuǎn)換為1/16。將通過轉(zhuǎn)換所獲 得的1/16去馬賽克圖像發(fā)送到圖像合成單元30,并且傳遞到在后級的第三濾波器145a。
[0061] 此外，雖然用于W/4個像素的FIFO緩沖器147被布置在第三濾波器145a的前級， 但第三濾波器145a重復(fù)與以上所描述的相似的處理序列。第三濾波器145a將1/64去馬 賽克圖像輸出到圖像合成單元30。注意，上述這種金字塔濾波器公開于專利文獻(xiàn)1中，從而 是已知的，因此，在此省略金字塔濾波器部分的更詳細(xì)的描述。
[0062] 以此方式，將連續(xù)縮小了 1/4的圖像數(shù)據(jù)從金字塔濾波器部分135a的濾波器輸入 到圖像合成單元30。據(jù)此可知，由于圖像數(shù)據(jù)連續(xù)地通過金字塔濾波器部分135a中的濾波 器，因此在濾波器的后級所需的FIFO緩沖器可以具有更小的容量。注意，在各級處的濾波 器的數(shù)量不限于三個，而是可以根據(jù)分辨率的期望寬度而合適地確定。
[0063] 此外，圖像拾取裝置12的第二相機(jī)22b具有基本上與第一相機(jī)22a相同的結(jié)構(gòu)， 因此，在附圖中省略第一相機(jī)22a的結(jié)構(gòu)的說明。然而，在以下描述中，第二相機(jī)22b的圖 像獲取部分、去馬賽克部分、金字塔濾波器部分、第一濾波器、第二濾波器和第三濾波器分 別被稱為圖像獲取部分l〇2b、去馬賽克部分104b、大小調(diào)整部分108b、金字塔濾波器部分 135b、第一濾波器137b、第二濾波器141b和第三濾波器145b，其中向其添加了對應(yīng)標(biāo)號。
[0064] 圖5具體描述圖像合成單元30和圖像發(fā)送單元32的配置。參照圖5,圖像合成 單元30包括輸出定時調(diào)整部分150,用于調(diào)整從第一相機(jī)22a和第二相機(jī)22b發(fā)送至其的 每個大小的圖像數(shù)據(jù)到圖像發(fā)送單元32的輸出定時。圖像合成單元30還包括用于輸出定 時調(diào)整的 FIFO 緩沖器 170a、172a、174a、176a、170b、172b、174b 和 176b。注意，雖然在圖 3 和圖4中，單獨(dú)表示Y、Cb和Cr數(shù)據(jù)，并且指示與它們對應(yīng)的用于數(shù)據(jù)輸入和輸出的箭頭標(biāo) 記，但在圖5和后續(xù)附圖中，這些因素被看作一個集合并且由一個箭頭標(biāo)號指示，以簡化說 明。
[0065] FIFO緩沖器170a保存用于從第一相機(jī)22a的大小調(diào)整部分108a發(fā)送至其的縮小 的原始圖像或1/1去馬賽克圖像的一個水平行的像素值。FIFO緩沖器172a、174a和176a分 別保存用于從第一相機(jī)22a的第一濾波器137a、第二濾波器141a和第三濾波器145a發(fā)送 至其的1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的一個水平行的YCbCr 像素值。相應(yīng)地，F(xiàn)IFO緩沖器170a、172a、174a和176a分別保存W、W/2、W/4和W/8像素 值。
[0066] FIFO緩沖器170b保存用于從第二相機(jī)22b的大小調(diào)整部分108b發(fā)送至其的縮小 的原始圖像或1/1去馬賽克圖像的一個水平行的像素值。FIFO緩沖器172b、174b和176b 分別保存從第二相機(jī)22b的第一濾波器137b、第二濾波器141b和第三濾波器145b發(fā)送至 其的1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的一個水平行的YCbCr像 素值。相應(yīng)地，F(xiàn)IFO緩沖器170b、172b、174b和176b分別保存W、W/2、W/4和W/8像素值。 [0067] 輸出定時調(diào)整部分150將從第一相機(jī)22a的圖像獲取部分102a發(fā)送至其的原始 圖像或從去馬賽克部分l〇4a發(fā)送至其的n 2/l去馬賽克圖像的η行的像素?cái)?shù)據(jù)對于每一行 連續(xù)輸出到圖像發(fā)送單元32。此后，輸出定時調(diào)整部分150將FIFO緩沖器170a中存儲的 第一相機(jī)22a的縮小的原始圖像或1/1去馬賽克圖像的一行的圖像數(shù)據(jù)以及FIFO緩沖器 170b中存儲的第二相機(jī)22b的縮小的原始圖像或1/1去馬賽克圖像的一行的像素?cái)?shù)據(jù)按此 順序輸出。
[0068] 此后，輸出定時調(diào)整部分150根據(jù)例如下文中詳細(xì)描述的規(guī)則連續(xù)輸出一行或小 于一行的1/4的范圍內(nèi)和更高縮小率去馬賽克圖像的像素?cái)?shù)據(jù)。注意，取決于原始圖像或 n2/l去馬賽克圖像到圖像合成單元30的輸入定時或該圖像到圖像發(fā)送單元32的輸出定 時，可以提供用于存儲這些圖像的附加 FIFO緩沖器。
[0069] 以此方式，輸出定時調(diào)整部分150調(diào)整輸出定時，從而產(chǎn)生新的像素行，其中，原 始圖像或n2/l去馬賽克圖像的η行、用于左右縮小原始圖像或1/1去馬賽克圖像的一行或 左右1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的一行或一行中的一部 分的像素?cái)?shù)據(jù)循環(huán)連接。如上所述，按光柵順序來執(zhí)行該實(shí)施例中圖像拾取裝置12所執(zhí)行 的處理，其中，從在圖像的左上角處的開始點(diǎn)在圖像的向下方向上重復(fù)從左到右的處理。在 該實(shí)例中，用于一個水平行(一行）的像素是基本處理單位。基本上以如下的流格式來執(zhí)行 從相機(jī)直到圖像發(fā)送單元32的像素?cái)?shù)據(jù)的輸入和輸出以及到主機(jī)終端20的圖像數(shù)據(jù)的傳 輸：以開始于頂行的順序連接圖像的每一行的像素?cái)?shù)據(jù)。
[0070] 此外，從圖像合成單元30輸出的數(shù)據(jù)具有一系列像素值的流的形式，其中，混合 第一相機(jī)22a和第二相機(jī)22b獲取并且產(chǎn)生的各個圖像的數(shù)據(jù)。相應(yīng)地，嚴(yán)格地說，合成圖 像并不產(chǎn)生為二維平面上的圖像。然而，如下文中詳細(xì)描述的那樣，如果將當(dāng)圖像的連接關(guān) 于從圖像合成單元30輸出的流進(jìn)行一輪時的像素的數(shù)量定義為合成圖像的水平寬度，則 該流可以作為具有例如剛描述的寬度的圖像而經(jīng)受后面的處理。
[0071] 結(jié)果，圖像合成單元30產(chǎn)生從原始圖像或n2/l去馬賽克圖像、左右縮小原始圖像 或1/1去馬賽克圖像、左右1/4去馬賽克圖像、左右1/16去馬賽克圖像圖像以及左右1/64 去馬賽克圖像合成的圖像。剛描述的這種虛擬圖像下文中被稱為"合成圖像"。
[0072] 注意，在圖5中，假設(shè)在合成圖像中選擇性地包括可以從第一相機(jī)22a的圖像獲取 部分102a輸入的原始圖像以及可以從去馬賽克部分104a輸入的n 2/l去馬賽克圖像之一。 相似地，假設(shè)在合成圖像中選擇性地包括可以從相機(jī)的大小調(diào)整部分108a和108b輸入的 縮小原始圖像和1/1去馬賽克圖像。因此，僅描述它們中每一個的一個輸入行。這是因?yàn)椋?同樣在用于在主機(jī)終端20等上顯示時，在很多情況下，如果原始圖像和n 2/l去馬賽克圖像 之一或縮小的原始圖像和1/1去馬賽克圖像之一是可用的，則這是足夠的。
[0073] 應(yīng)選擇圖像中的哪一個可以根據(jù)來自主機(jī)終端20的請求而確定，或另外可以是 固定的。在前一種情況下，可以在相機(jī)的輸出側(cè)或在圖像合成單元30的輸入側(cè)提供復(fù)用器 等電路，從而圖像發(fā)送單元32的控制部分182等根據(jù)來自主機(jī)終端20的請求來執(zhí)行復(fù)用 器等的轉(zhuǎn)變控制。替代地，可以在合成圖像中包括所有數(shù)據(jù)，從而下文中所描述的圖像發(fā)送 單元32的數(shù)據(jù)選擇部分184執(zhí)行選擇。相似地，假設(shè)高分辨率的圖像(例如原始圖像或n 2/l 去馬賽克圖像)僅用于顯示，并且在很多情況下不需要左右圖像。因此，在圖5的示例中，僅 從第一相機(jī)22a輸入這些圖像。依據(jù)場合要求，可以從兩個相機(jī)獲取原始圖像或n 2/l去馬 賽克圖像。
[0074] 圖像發(fā)送單元32包括控制部分182、數(shù)據(jù)選擇部分184和數(shù)據(jù)形成部分186?？?制部分182基于來自主機(jī)終端20的請求信號來指令數(shù)據(jù)選擇部分184從合成圖像內(nèi)發(fā)送 出區(qū)域?？刂撇糠?82從主機(jī)終端20進(jìn)一步接收用于請求開始或結(jié)束圖像拾取的信號、用 于指定圖像拾取條件的信號等。然后，控制部分182將信息合適地提供給第一相機(jī)22a的 圖像獲取部分l〇2a和第二相機(jī)22b的圖像獲取部分102b等，以控制圖像拾取處理。然而， 由于公知技術(shù)可以應(yīng)用于控制，因此在此省略控制的詳細(xì)描述。
[0075] 數(shù)據(jù)選擇部分184接受從圖像合成單元30輸入的合成圖像的像素串的數(shù)據(jù)作為 輸入數(shù)據(jù)，基于來自控制部分182的指令來選擇性地提取像素?cái)?shù)據(jù)，并且將像素?cái)?shù)據(jù)發(fā)送 到數(shù)據(jù)形成部分186。如果主機(jī)終端20請求合成圖像中包括的所有數(shù)據(jù)，則數(shù)據(jù)選擇部分 184將用于從圖像合成單元30連續(xù)輸入至其的合成圖像的每一行的所有像素?cái)?shù)據(jù)輸入到 數(shù)據(jù)形成部分186。如果主機(jī)終端20僅請求這些數(shù)據(jù)中的一部分，則數(shù)據(jù)選擇部分184執(zhí) 行從合成圖像中切掉與所請求的數(shù)據(jù)對應(yīng)的區(qū)域。然后，數(shù)據(jù)選擇部分184連接切掉的像 素串的這些數(shù)據(jù)，以重構(gòu)流，并且將該流發(fā)送到數(shù)據(jù)形成部分186。
[0076] 數(shù)據(jù)形成部分186將從數(shù)據(jù)選擇部分184輸入至其的流的格式轉(zhuǎn)換為符合與主機(jī) 終端20的通信協(xié)議的格式，從而該流具有其可以被發(fā)送出去的數(shù)據(jù)格式。然后，通信單元 34將該數(shù)據(jù)格式的流發(fā)送到主機(jī)終端20。例如，數(shù)據(jù)形成部分186將該流轉(zhuǎn)換為用于USB 的端點(diǎn)的每個大小的分組，并且將這些分組寫入到內(nèi)部分組緩沖器(未示出）中。然后，通信 單元34將分組緩沖器中的分組連續(xù)傳送到主機(jī)終端20。
[0077] 圖6示意性地示出圖像拾取裝置12和主機(jī)終端20中的數(shù)據(jù)的形式的基本轉(zhuǎn)變。 在此，作為最簡單的示例，描述在水平方向上具有W個像素并且在垂直方向上具有Η個像素 的寬度的整個幀圖像200的數(shù)據(jù)從圖像拾取裝置12到主機(jī)終端20的發(fā)送。如上所述，以 像素的光柵順序來執(zhí)行圖像數(shù)據(jù)的產(chǎn)生、選擇和發(fā)送，并且連續(xù)地連接一行的像素?cái)?shù)據(jù)，以 形成要用于處理的流。
[0078] 在上述這種情況下從數(shù)據(jù)選擇部分184輸出的數(shù)據(jù)與流202對應(yīng)。在圖6中，流 202的橫坐標(biāo)軸表示時間的經(jīng)過，配置流202的矩形LI、L2、……、LH分別表示幀圖像200 的第一行、第二行、……、第Η行中的像素的數(shù)據(jù)。如果一個像素的數(shù)據(jù)大小是d字節(jié)，則 每個矩形的數(shù)據(jù)大小是WX d字節(jié)。
[0079] 數(shù)據(jù)形成部分186對每個預(yù)定大小的流202進(jìn)行封裝，以產(chǎn)生分組P1、P2、P3、P4、 P5、……。因此，數(shù)據(jù)以分組P1、P2、P3、P4、P5、……的順序從圖像拾取裝置12發(fā)送到主 機(jī)終端20。主機(jī)終端20通過通信單元44接收分組P1、P2、P3、P4、P5、……，并且在信息 處理單元38的控制下將分組的數(shù)據(jù)存儲到主存儲器42中。
[0080] 此時，主機(jī)終端20以光柵順序?qū)⒎纸M的數(shù)據(jù)排列到主存儲器42中，從而它們在初 始幀圖像200的水平方向上具有與像素?cái)?shù)量W對應(yīng)的寬度，并且將數(shù)據(jù)顯影到WXdXH字 節(jié)的連續(xù)地址，由此再現(xiàn)與幀圖像200對應(yīng)的圖像204。在圖6中，配置圖像204的矩形表 示分組的數(shù)據(jù)。取決于分組的數(shù)據(jù)大小，一個分組中所包括的圖像數(shù)據(jù)可以跨越圖像204 的一行的末尾（tale)和下一行的開頭。圖像處理單元40在信息處理單元38的控制下處 理主存儲器42中顯影的圖像204或?qū)D像204與不同的圖像進(jìn)行合成，以渲染待在顯示裝 置16上顯示的圖像。
[0081] 圖7示意性地示出在大小調(diào)整部分108a執(zhí)行的圖像縮小處理之前和之后的各像 素之間的關(guān)系。圖像310是原始圖像或n 2/l去馬賽克圖像，并且具有在水平方向上nW個 像素和在垂直方向上nH個像素的寬度。作為圖像310的內(nèi)部中描繪的最小單位的矩形是 像素，從1到η的行號和列號應(yīng)用于在圖像的左上角位置處的ηΧη個像素。例如剛描述的 圖像的圖像數(shù)據(jù)在原始圖像的情況下從圖像獲取部分l〇2a對于每一行輸入到大小調(diào)整部 分108a，而在去馬賽克圖像的情況下，從去馬賽克部分104a對于每一行輸入到大小調(diào)整部 分 108a。
[0082] 大小調(diào)整部分108a在FIFO緩沖器112和114中保存先前輸入的各行的圖像數(shù)據(jù)， 直到對于縮小處理必須的預(yù)定數(shù)量的行的所有圖像數(shù)據(jù)完全輸入為止。如果嘗試在使用 圖像310的ηΧη個像素的塊的縮小之后產(chǎn)生一個像素，則在第η行的數(shù)據(jù)輸入的時間點(diǎn)， 大小調(diào)整部分108a從FIFO緩沖器中保存的第一行至第（η-1)行讀出像素?cái)?shù)據(jù)。然后，大 小調(diào)整部分l〇8a通過對用于每個塊的像素值取平均值或通過類似的方法來計(jì)算一個像素 值。圖7的圖像310的粗線所限定的矩形與縮小的原始圖像或1/1去馬賽克圖像的一個像 素對應(yīng)。重復(fù)該處理序列直到圖像的行的結(jié)束，以產(chǎn)生縮小的原始圖像或1/1去馬賽克圖 像的一行的像素?cái)?shù)據(jù)。
[0083] 此外，在圖像310的垂直方向上重復(fù)該處理序列，以產(chǎn)生在水平方向和垂直方向 上都縮小到1/n倍的整個縮小的原始圖像或1/1去馬賽克圖像。每當(dāng)大小調(diào)整部分l〇8a產(chǎn) 生一行的像素?cái)?shù)據(jù)時，其就將像素?cái)?shù)據(jù)連續(xù)地輸入到圖像合成單元30和金字塔濾波器部 分135a。以此方式所產(chǎn)生的1/1去馬賽克圖像在下文中以開始于第一行的順序由L (1/1)l、 L(1/1)2、L(1/1)3、…表示。注意，1/1去馬賽克圖像可以如上所述通過后面的處理由相同大小 的縮小的原始圖像替換。
[0084] 圖8是不出1/1去馬賽克圖像、1/4去馬賽克圖像和1/16去馬賽克圖像的像素?cái)?shù) 據(jù)從大小調(diào)整部分108a和金字塔濾波器部分135a的濾波器輸入到圖像合成單元30的定 時的時間圖。注意，雖然圖8描繪了包括1/16去馬賽克圖像的縮小圖像，但即使添加其它一 個或多個縮小的去馬賽克圖像，也可以在原理上應(yīng)用相似的處理。在圖8中，時間步長S1、 S2、S3和S4、……分別表示1/1去馬賽克圖像的第一行、第二行、第三行、第四行、……的 像素?cái)?shù)據(jù)輸入到圖像合成單元30的時段。
[0085] 在該實(shí)施例中，將1/1去馬賽克圖像的一行的像素?cái)?shù)據(jù)輸入的時段設(shè)置為基準(zhǔn)時 間步長，該時間步長與合成圖像的一行的一個像素串對應(yīng)。注意，大小調(diào)整部分l〇8a與當(dāng) n-1行的n2/l去馬賽克圖像的像素?cái)?shù)據(jù)存儲在FIFO緩沖器中然后第η行的n2/l去馬賽克 圖像輸入時同時開始產(chǎn)生開始于行的頂部的1/1去馬賽克圖像的像素?cái)?shù)據(jù)。
[0086] 從而，在輸入1/1去馬賽克圖像的每一行的像素?cái)?shù)據(jù)的每個時間步長內(nèi)由粗箭頭 標(biāo)記所指示的時段內(nèi)，輸入n-1行的n 2/l去馬賽克圖像的至少像素?cái)?shù)據(jù)，并且在圖8中，簡 化該時段內(nèi)的時間軸。在任何情況下，時間步長S1、S2、S3、S4、……也與對于η行輸入n 2/l 去馬賽克圖像的像素?cái)?shù)據(jù)的時段對應(yīng)。這也相似地應(yīng)用于選擇原始圖像作為輸入數(shù)據(jù)的情 況。
[0087] 圖8的頂級、中間級和底級分別指不1/1去馬賽克圖像、1/4去馬賽克圖像和1/16 去馬賽克圖像的輸入定時，一個矩形與一個像素的輸入對應(yīng)。首先，在時間步長S1內(nèi)，1/1 去馬賽克圖像的第一行的像素串L (1/1)l的像素?cái)?shù)據(jù)以行頂部的像素開始的順序輸入。在該 時間步長內(nèi)，由于尚未產(chǎn)生1/4去馬賽克圖像和1/16去馬賽克圖像，因此并不輸入它們。
[0088] 在下一時間步長S2內(nèi)，1/1去馬賽克圖像的第二行的像素串L(1/1)2的像素?cái)?shù)據(jù)以 行頂部開始的順序輸入。此時，金字塔濾波器部分135a使用1/1去馬賽克圖像的第一行的 像素串L (1/1)l和第二行的像素串L(1/1)2的像素?cái)?shù)據(jù)來產(chǎn)生1/4去馬賽克圖像的第一行的像 素串L (1/4)l。因此，在時間步長S2內(nèi)，還輸入像素行的圖像數(shù)據(jù)。
[0089] 例如，使用從1/1去馬賽克圖像的第一行的像素串L(1/1)l內(nèi)的時段206內(nèi)輸入的 兩個像素的像素值以及從第二行的像素串L (1/1)2內(nèi)的時段208內(nèi)的兩個像素的像素值來產(chǎn) 生在1/4去馬賽克圖像的第一行的像素串L(1/4)l的左端處在時段210內(nèi)輸入的像素值。因 此，在時間步長S2內(nèi)，像素串L (1/4)l的像素值的輸入定時從像素串L(1/1)2的對應(yīng)像素的像 素值的輸入定時延遲至少兩個像素的時段。
[0090] 在下一時間步長S3內(nèi)，輸入1/1去馬賽克圖像的第三行的像素串L(1/1)3的像素?cái)?shù) 據(jù)。在該時間步長內(nèi)，尚未產(chǎn)生1/4去馬賽克圖像的第二行的像素?cái)?shù)據(jù)，也尚未產(chǎn)生1/16 去馬賽克圖像，因此，不輸入它們。在下一時間步長S4內(nèi)，S卩：在輸入1/1去馬賽克圖像的 第四行的像素串L (1/1)4的像素值的時段內(nèi)，也與在時間步長S2內(nèi)相似地輸入1/4去馬賽克 圖像的第二像素行L(1/4)2的像素?cái)?shù)據(jù)。
[0091] 此外，金字塔濾波器部分135a使用1/4去馬賽克圖像的第一像素行L(1/4)l和第 二像素行L (1/4)2的像素?cái)?shù)據(jù)來產(chǎn)生1/16去馬賽克圖像的第一像素行L(1/16)l。因此，在時間 步長S4內(nèi)，還輸入像素行的像素?cái)?shù)據(jù)。例如，使用從1/4去馬賽克圖像的第一行的像素串 L(1/4)l內(nèi)的時段210和另一時段212內(nèi)輸入的兩個像素的像素值以及從1/4去馬賽克圖像 的第二行的像素串L (1/4)2內(nèi)的時段214和另一時段216內(nèi)輸入的兩個像素的像素值來產(chǎn)生 從1/16去馬賽克圖像的第一行的像素串L (1/lfal內(nèi)的第一輸入時段218內(nèi)輸入的像素值。
[0092] 因此，在時間步長S4內(nèi)，像素行L(1/16)l的輸入定時從像素串L(1/4)2的對應(yīng)像素的 像素值的輸入定時延遲至少兩個像素的時段。此后，相似地重復(fù)圖像的像素?cái)?shù)據(jù)的輸入，從 而1/1去馬賽克圖像、1/4去馬賽克圖像和1/16去馬賽克圖像的所有像素?cái)?shù)據(jù)輸入到圖像 合成單元30。
[0093] 以此方式，圖像的像素?cái)?shù)據(jù)從第二相機(jī)22b的各塊以及第一相機(jī)22a的各濾波器 作為單獨(dú)流以光柵順序而輸入。圖像合成單元30連接所述流以產(chǎn)生單個流，并且將所述流 輸出到圖像發(fā)送單元32。最簡單地，無論初始圖像如何，都可以按輸入定時的順序來連接像 素值的數(shù)據(jù)。在此情況下，合成處理本身是容易的。然而，必須通過后面的處理來分類并且 提取每個圖像的每一行的數(shù)據(jù)，這使得處理復(fù)雜。
[0094] 另一構(gòu)思是，在每個時間步長內(nèi)，對于單獨(dú)圖像一起放置像素?cái)?shù)據(jù)，以產(chǎn)生像素 串，并且串行連接像素串。在此情況下，待輸出的數(shù)據(jù)的大小按取決于時間步長的以下方式 大量變化。例如，在時間步長S1或S3內(nèi)，僅輸入原始圖像或n2/l去馬賽克圖像和1/1去 馬賽克圖像的像素?cái)?shù)據(jù)，而在時間步長S4內(nèi)，進(jìn)一步輸入1/4去馬賽克圖像和1/16去馬賽 克圖像的像素?cái)?shù)據(jù)。因此，在該實(shí)施例中，從包括不輸入數(shù)據(jù)的時間步長的圖像內(nèi)，利用該 時間步長來輸出之前剛輸入的部分圖像數(shù)據(jù)，從而在時間步長內(nèi)輸出的數(shù)據(jù)的大小幾乎相 等。
[0095] 圖9示意性地示出其中圖像合成單元30連接多種圖像的像素?cái)?shù)據(jù)以產(chǎn)生合成圖 像的方式。從用于原始圖像或n2/l去馬賽克圖像的區(qū)域320以及用于1/1和更高縮小率 去馬賽克圖像的另一區(qū)域322配置合成圖像312。如上所述，合成圖像312使用1/1去馬 賽克圖像的一行的像素?cái)?shù)據(jù)的輸入時段作為基本時段，并且基本上連接在基本時段內(nèi)輸入 的各種圖像的像素串，以產(chǎn)生一個水平行的像素。具體地說，合成圖像312以第一行、第二 行、……、第η行的順序首先原樣連接用于產(chǎn)生1/1去馬賽克圖像的一行的η行的n 2/l去 馬賽克圖像的像素?cái)?shù)據(jù)。這也相似地應(yīng)用于原始圖像。
[0096] 簡而言之，合成圖像312的第一行包括由原始圖像或具有nW個像素的水平寬度的 圖像310的第一行的像素串、第二行的像素串、……、第η行的像素串的連接構(gòu)成的像素行 (箭頭標(biāo)記Α、Β、……、Ν)。此外，對使用通過連接獲得的像素?cái)?shù)據(jù)產(chǎn)生的1/1去馬賽克圖 像的第一行的像素串L(1/1)l (箭頭標(biāo)記Μ)進(jìn)行連接。所得數(shù)據(jù)序列與圖8所示的時間步長 S1對應(yīng)，因此被定義為合成圖像312的第一行。
[0097] 然后，為了產(chǎn)生合成圖像312的第二行，對于產(chǎn)生1/1去馬賽克圖像的第二行所使 用的η行的n 2/l去馬賽克圖像或原始圖像的像素?cái)?shù)據(jù)從第（n+1)行到第2n行以此順序連 接。然后，對使用連接中的像素?cái)?shù)據(jù)所產(chǎn)生的1/1去馬賽克圖像的第二行的像素串L (1/1)2進(jìn) 行連接。由于如圖8所示在此時在時間步長S2內(nèi)還產(chǎn)生1/4去馬賽克圖像的第一行的像 素串L (1/4)l，因此也對其進(jìn)行連接。然而，注意，1/4和更高縮小率去馬賽克圖像的像素串以 比每個時間步長內(nèi)的一行更小的單位連接，以幾乎等于如上所述待輸出的數(shù)據(jù)的大小。下 文中描述特定示例。
[0098] 對于合成圖像312的每一行重復(fù)相似的處理序列，以產(chǎn)生如圖9所示的這種合成 圖像312。注意，雖然從合成圖像312內(nèi)，空矩形僅表示第一行，但像素?cái)?shù)據(jù)合適地代入到其 它區(qū)域中。在以此方式對于η行連接原始圖像或n 2/l去馬賽克圖像的像素?cái)?shù)據(jù)以產(chǎn)生一 行的一個像素串的情況下，合成圖像312的區(qū)域320具有等于初始圖像的1/n倍的在垂直 方向上的大小，即具有如圖9所描述的Η個像素的大小。
[0099] 通過上述這種處理，原始圖像或η2/1去馬賽克圖像的像素?cái)?shù)據(jù)以及1/1去馬賽 克圖像的對應(yīng)像素?cái)?shù)據(jù)被包括到合成圖像312的同一行中，并且可以使得行的數(shù)量在區(qū)域 320與區(qū)域322之間相等。注意，垂直方向上的合成圖像312的大小嚴(yán)格地是等于Η個像素 與包括如下所述的無效區(qū)域的若干像素之和的值。
[0100] 另一方面，通過連接數(shù)量為η的nW個像素，水平方向上的區(qū)域320的大小是nXnW 個像素，如圖9所示。由于圖像合成單元30實(shí)際上連接多行的像素?cái)?shù)據(jù)以產(chǎn)生流并且如上 所述輸出該流，因此合成圖像312并不產(chǎn)生為二維平面。然而，通過如圖9所示的水平寬度 來限定虛擬圖像平面，可以通過與用于普通圖像相似的修剪處理來實(shí)現(xiàn)數(shù)據(jù)選擇部分184 進(jìn)行的數(shù)據(jù)的剪切。
[0101] 圖1〇示意性地示出圖像合成單元30連接1/1和更高縮小率去馬賽克圖像以產(chǎn)生 圖9的區(qū)域322的方式。注意，雖然在圖10中示出僅連接圖8中描繪的三種去馬賽克圖像 的方式以有助于理解，實(shí)際上如下所述交替地連接來自左邊相機(jī)和右邊相機(jī)的圖像數(shù)據(jù)。 在圖10中，SO、SI、S2、S3、……表示以上參照圖8所描述的時間步長，且在單獨(dú)時段內(nèi)輸 入1/1去馬賽克圖像的一行的像素?cái)?shù)據(jù)。
[0102] 在圖10中，在每個時間步長內(nèi)從圖像合成單元30作為部分合成圖像輸出的像素 串在不同圖像當(dāng)中由不同的虛線矩形來指示。如以上參照圖8所描述的那樣，在時間步長 S1內(nèi)，僅輸入1/1去馬賽克圖像的第一行的像素串L(1/1)l的像素?cái)?shù)據(jù)。圖像合成單元30臨 時將像素?cái)?shù)據(jù)存儲到FIFO緩沖器170a中，然后在其輸出原始圖像或n 2/l去馬賽克圖像的 η行的像素?cái)?shù)據(jù)之后，讀出并且輸出臨時存儲的數(shù)據(jù)。注意，從如上所述并且如圖10中所描 繪的W個像素配置1/1去馬賽克圖像的每一行。
[0103] 在下一時間步長S2內(nèi)，在如圖8所示的定時并行輸入1/1去馬賽克圖像的第二行 的像素串L (1/1)2的像素?cái)?shù)據(jù)和1/4去馬賽克圖像的第一行的像素串L(1/4)l的像素?cái)?shù)據(jù)。圖 像合成單元30臨時將所輸入的像素?cái)?shù)據(jù)存儲到FIFO緩沖器170a和172a中。然后，在圖 像合成單元30輸出原始圖像或n 2/l去馬賽克圖像的η行的像素?cái)?shù)據(jù)之后，其從FIFO緩沖 器170a讀出1/1去馬賽克圖像的第二行像素串L (1/1)2的像素?cái)?shù)據(jù)，并且輸出所讀出的像素 數(shù)據(jù)。
[0104] 在輸出1/1去馬賽克圖像的第二行的像素串L(1/1)2的所有像素值之后，然后圖像 合成單元30從FIFO緩沖器172a讀出1/4去馬賽克圖像的第一行的像素串L (1/4) 1，并且輸 出所讀出的數(shù)據(jù)。此時，考慮到隨后的時間步長S3內(nèi)待輸出的數(shù)據(jù)量，僅輸出從1/4去馬 賽克圖像的第一行的像素串L (1/4)l的所有像素當(dāng)中的前一半中的那些像素（圖像平面的左 邊一半中的那些像素）的像素?cái)?shù)據(jù)，而其余數(shù)據(jù)繼續(xù)保存在FIFO緩沖器172a中。
[0105] 在下一時間步長S3內(nèi)，僅輸入1/1去馬賽克圖像的第三行的像素串L(1/1)3的像素 數(shù)據(jù)。圖像合成單元30臨時將輸入的像素?cái)?shù)據(jù)存儲到FIFO緩沖器170a中，并且在其輸 出原始圖像或n 2/l去馬賽克圖像的η行的像素?cái)?shù)據(jù)之后，讀取并且輸出臨時存儲的像素?cái)?shù) 據(jù)。然后，圖像合成單元30從FIFO緩沖器172a讀出尚未輸出的1/4去馬賽克圖像的第一 行的像素串L (1/4)l的后一半（圖像平面中的右邊一半）中的那些像素?cái)?shù)據(jù)，并且輸出所讀出 的像素?cái)?shù)據(jù)。
[0106] 在下一時間步長S4內(nèi)，在如圖8所示的定時并行輸入1/1去馬賽克圖像的第四行 的像素串L (1/1)4的像素?cái)?shù)據(jù)以及1/4去馬賽克圖像的第二行的像素串L(1/4)2和1/16去馬 賽克圖像的第一行的像素串L (1/16)l的像素?cái)?shù)據(jù)。圖像合成單元30臨時將輸入的像素?cái)?shù)據(jù) 存儲到FIFO緩沖器170a、172a和174a中。然后，在輸出原始圖像或n 2/l去馬賽克圖像的 η行的像素?cái)?shù)據(jù)之后，圖像合成單元30從FIFO緩沖器170a讀出1/1去馬賽克圖像的第四 行的像素串L(1/1)4的像素?cái)?shù)據(jù)，并且輸出所讀出的像素?cái)?shù)據(jù)。
[0107] 在輸出1/1去馬賽克圖像的第四行的像素串L(1/1)4的所有像素?cái)?shù)據(jù)之后，隨后從 FIFO緩沖器172a讀出并且輸出1/4去馬賽克圖像的第二行的像素串L(1/4)2的前一半。然 后，輸出1/16去馬賽克圖像的第一行的像素串L(1/16)l。此時，考慮到三個后續(xù)時間步長S5、 S6和S7內(nèi)待輸出的數(shù)據(jù)量，1/16去馬賽克圖像的第一行的像素串L(1/16)l分區(qū)為四個，并且 僅輸出第一分區(qū)的數(shù)據(jù)。其余分區(qū)的數(shù)據(jù)存儲到FIFO緩沖器174a中。
[0108] 在下一時間步長S5內(nèi)，僅輸入1/1去馬賽克圖像的第五行的像素串L(1/1)5的像素 數(shù)據(jù)。圖像合成單元30臨時將像素?cái)?shù)據(jù)存儲到FIFO緩沖器170a中，然后在其輸出原始圖 像或n 2/l去馬賽克圖像的η行的像素?cái)?shù)據(jù)之后，讀出并且輸出臨時存儲的數(shù)據(jù)。然后，圖 像合成單元30從FIFO緩沖器172a讀出尚未輸出的1/4去馬賽克圖像的第二行的像素串 L(1/4)2的后一半的像素?cái)?shù)據(jù)，并且輸出所讀出的像素?cái)?shù)據(jù)。此外，圖像合成單元30輸出尚未 輸出的1/16去馬賽克圖像的第一行的像素串L (1/16)l的第二分區(qū)的像素?cái)?shù)據(jù)。
[0109] 相似地，在下一時間步長S6內(nèi)，在原始圖像或n2/l去馬賽克圖像的η行的像素?cái)?shù) 據(jù)之后，圖像合成單元30輸出1/1去馬賽克圖像的第六行的像素串L (1/1)6的像素?cái)?shù)據(jù)、1/4 去馬賽克圖像的第三行的像素串L(1/4)3的前一半的像素?cái)?shù)據(jù)以及1/16去馬賽克圖像的第 一行的像素串L (1/16)l的第三分區(qū)的像素?cái)?shù)據(jù)。在下一時間步長S7內(nèi)，在原始圖像或n2/l 去馬賽克圖像的η行的像素?cái)?shù)據(jù)之后，圖像合成單元30輸出1/1去馬賽克圖像的第七行的 像素串L(1/1)7的像素?cái)?shù)據(jù)、1/4去馬賽克圖像的第三行的像素串L (1/4)3的后一半的像素?cái)?shù)據(jù) 以及1/16去馬賽克圖像的第一行的像素串L(1/16)l的最后分區(qū)的像素?cái)?shù)據(jù)。
[0110] 具體地說，在包括時間步長S2和S3的兩個時間步長內(nèi)一半接一半地輸出1/4去 馬賽克圖像的第一行的像素串L (1/4)l。在四個時間步長S4、S5、S6和S7內(nèi)按四分之一輸出 1/16去馬賽克圖像的第一行的像素串L (1/16)l。在水平方向上的1/1去馬賽克圖像的像素 數(shù)量是W的情況下，由于1/4去馬賽克圖像和1/16去馬賽克圖像的一行的像素?cái)?shù)量分別是 W/2和W/4,因此如圖10描繪的那樣按時間步長輸出（W/2)/2和（W/4)/4個像素的數(shù)據(jù)。
[0111] 向下重復(fù)上述輸出處理序列，直到圖像的最底行。此時，在輸出1/1去馬賽克圖像 的最底行的像素?cái)?shù)據(jù)的時間點(diǎn)，尚未輸出1/4去馬賽克圖像的最底行的后一半的像素?cái)?shù)據(jù) 和1/16去馬賽克圖像的最底行的其余四分之三的像素?cái)?shù)據(jù)。注意，由于原始圖像或n 2/l去 馬賽克圖像的數(shù)據(jù)以及1/1去馬賽克圖像的數(shù)據(jù)在合成圖像中具有相等數(shù)量的行（H個像 素)，因此在同一行完成它們的數(shù)據(jù)輸出。
[0112] 圖像合成單元30繼續(xù)輸出合成圖像的像素?cái)?shù)據(jù)，直到其完成尚未輸出的數(shù)據(jù)的 輸出為止。具體地說，在緊接在完成1/1去馬賽克圖像的所有行的輸出之后的時間步長S (H+1)內(nèi)，輸出1/4去馬賽克圖像的最底行的后一半的像素?cái)?shù)據(jù)和1/16去馬賽克圖像的最 底行的四個分區(qū)中的第二分區(qū)的像素?cái)?shù)據(jù)。
[0113] 此時，作為已經(jīng)作為原始圖像或n2/l去馬賽克圖像的數(shù)據(jù)而輸出的nXnW個像素 的數(shù)據(jù)和已經(jīng)作為1/1去馬賽克圖像的數(shù)據(jù)而輸出的W個像素的數(shù)據(jù)，首先輸出無效數(shù)據(jù)。 在無效數(shù)據(jù)之后，輸出1/4去馬賽克圖像和1/16去馬賽克圖像的數(shù)據(jù)。在后續(xù)兩個時間 步長S (H+2)和S (H+3)內(nèi)，作為已經(jīng)作為原始圖像或n2/l去馬賽克圖像的數(shù)據(jù)而輸出的 nXnW個像素的數(shù)據(jù)以及已經(jīng)作為1/1去馬賽克圖像和1/4去馬賽克圖像的數(shù)據(jù)而輸出的 W+(W/2)/2像素的數(shù)據(jù)，首先輸出無效數(shù)據(jù)。在無效數(shù)據(jù)之后，輸出1/16去馬賽克圖像的最 底行的四個分區(qū)中的第三分區(qū)和第四分區(qū)的像素?cái)?shù)據(jù)。
[0114] 如果應(yīng)用上述這種輸出處理，則在合成圖像的區(qū)域322內(nèi)，在除了前三個時間步 長和最后三個步長之外的所有時間步長內(nèi)輸出W+ (W/2) /2+ (W/4) /4=21W/16個像素的數(shù) 據(jù)。此外，為了輸出一行的像素?cái)?shù)據(jù)，1/1去馬賽克圖像需要一個時間步長；1/4去馬賽克圖 像需要兩個時間步長；并且1/16去馬賽克圖像需要四個時間步長。因此，輸出一幀的圖像 數(shù)據(jù)所需的時間步長的數(shù)量由H=(H/2) X2=(H/4) X4給定，并且關(guān)于所有圖像是相等的。 輸出三種圖像的一幀的數(shù)據(jù)所需的總時間步長數(shù)量并且因此在垂直方向上的合成圖像312 的像素?cái)?shù)量給定為H+3。
[0115] 從圖像合成單元30輸出的數(shù)據(jù)是如上所述的像素?cái)?shù)據(jù)的枚舉。然而，如果與每個 時間步長對應(yīng)的像素的數(shù)量(即nXnW+21W/16)給定為一個水平行的像素的數(shù)量，則與普通 圖像相似，圖像發(fā)送單元32可以將要在時間步長內(nèi)輸出的數(shù)據(jù)處理為圖像的一個水平行 的數(shù)據(jù)。
[0116] 相應(yīng)地，可以使得每個時間步長與圖像的垂直方向上的像素對應(yīng)，結(jié)果，產(chǎn)生如圖 9所描繪的這種合成圖像312。通過固定如上所述在每個時間步長內(nèi)輸出的像素串中的每 個圖像的數(shù)據(jù)待占用的范圍，原始圖像或n 2/l去馬賽克圖像、1/1去馬賽克圖像、1/4去馬 賽克圖像和1/16去馬賽克圖像的數(shù)據(jù)單獨(dú)配置單一矩形區(qū)域。因此，如果利用該位置，則 可以容易地執(zhí)行用于每個圖像的數(shù)據(jù)的剪切。
[0117] 圖11描述當(dāng)以上參照圖9和10所描述的處理分別對于從第一相機(jī)22a和第二相 機(jī)22b輸出的左邊圖像數(shù)據(jù)和右邊圖像數(shù)據(jù)交替地重復(fù)時所產(chǎn)生的合成圖像的示例。在圖 11的示例中，假設(shè)在原理上拾取用戶1的臉部圖像并且原始圖像具有n=2的分辨率（即在 水平方向上2W個像素和垂直方向上2H個像素的大小)。此外，假設(shè)金字塔濾波器部分135a 產(chǎn)生高達(dá)1/64去馬賽克圖像的去馬賽克圖像。
[0118] 從在水平方向上彼此連接的第一區(qū)域342a、第二區(qū)域342b和第三區(qū)域344配置合 成圖像340。第一區(qū)域342a僅包括原始圖像或n 2/l去馬賽克圖像的第一行、第三行、第五 行、……以及第（2H-1)行的像素串的數(shù)據(jù)。第二區(qū)域342b僅包括原始圖像或n 2/l去馬賽 克圖像的第二行、第四行、……以及第2H行的像素串的數(shù)據(jù)。第三區(qū)域344包括1/1縮小 率去馬賽克圖像和更1?縮小率去馬賽克圖像。在圖11中，虛線箭頭標(biāo)記表不各區(qū)域之間的 連接關(guān)系。
[0119] 原始圖像和n2/l去馬賽克圖像在水平方向和垂直方向上具有等于用作基準(zhǔn)的1/1 去馬賽克圖像的兩倍的大小。因此，如果從每隔另一行提取像素串以產(chǎn)生第一區(qū)域342a和 第二區(qū)域342b，則從在水平方向上2W個像素和在垂直方向上Η個像素的大小的圖像配置它 們。從源自第一相機(jī)22a的1/1去馬賽克圖像224、源自第二相機(jī)22b的1/1去馬賽克圖 像226、源自第一相機(jī)22a的1/4去馬賽克圖像228、源自第二相機(jī)22b的1/4去馬賽克圖 像230、源自第一相機(jī)22a的1/16去馬賽克圖像232、源自第二相機(jī)22b的1/16去馬賽克 圖像234、源自第一相機(jī)22a的1/64去馬賽克圖像236以及源自第二相機(jī)22b的1/64去馬 賽克圖像238配置第三區(qū)域344。
[0120] 在圖11中，在1/1去馬賽克圖像224和226上表示從左邊和右邊所拾取的用戶1 的臉部圖像。其它去馬賽克圖像（即1/4去馬賽克圖像228和230、1/16去馬賽克圖像232 和234以及1/64去馬賽克圖像236和238)是通過將1/1去馬賽克圖像縮小為1/4、1/16和 1/64并且將一個水平行的像素行分區(qū)為兩個、四個和八個然后在垂直方向上排列像素串的 分區(qū)所獲得的圖像。
[0121] 相應(yīng)地，如在每個圖像的頂端處的陰影所指示的那樣，在第三區(qū)域344中，1/1去 馬賽克圖像224和226的一行的像素的區(qū)域與1/4去馬賽克圖像228和230的兩行的像素 的區(qū)域、1/16去馬賽克圖像232和234的四行的像素的區(qū)域以及1/64去馬賽克圖像236 和238的八行的像素的區(qū)域?qū)?yīng)。注意，在圖11中，示出具有比實(shí)際寬度更大的寬度的像 素的一行的寬度，以有助于理解。因此，雖然將密集陰影所指示的無效數(shù)據(jù)的區(qū)域表示得更 寬，但實(shí)際上無效數(shù)據(jù)的區(qū)域據(jù)以上參照圖10所描述的原理最大是七行，并且等于或小于 合成圖像340的總面積的1%。
[0122] 圖像發(fā)送單元32的數(shù)據(jù)選擇部分184僅從合成圖像340剪切主機(jī)終端20所請求 的圖像數(shù)據(jù)。數(shù)據(jù)選擇部分184所執(zhí)行的處理與剪切圖像中的所指定的矩形區(qū)域以去除多 余區(qū)域的普通剪切處理相似。在該實(shí)施例中，處理目標(biāo)并非圖像平面，而是圖像行單位。因 此，如果使得合成圖像的一行的像素?cái)?shù)量的信息可用，則容易將圖像平面的二維坐標(biāo)與流 的一維坐標(biāo)關(guān)聯(lián)，并且可以相似地執(zhí)行待剪切的像素的指定（specification)。
[0123] 在該實(shí)施例中，原始圖像或n2/l去馬賽克圖像、左右1/1去馬賽克圖像、1/4去馬 賽克圖像、1/16去馬賽克圖像以及1/64去馬賽克圖像的數(shù)據(jù)一起放置在合成圖像340上的 矩形區(qū)域中。因此，可以由剪切處理容易地執(zhí)行圖像的剪切。
[0124] 圖12示意性示出根據(jù)來自主機(jī)終端20的請求的圖像數(shù)據(jù)的流。參照圖12,主機(jī)終 端20首先將指定合成圖像中的區(qū)域的數(shù)據(jù)請求信號發(fā)送到圖像拾取裝置12。在此，例如， 主機(jī)終端20指定合成圖像340的垂直方向上的像素的范圍和水平方向上的像素的范圍。
[0125] 在圖12的示例中，指定垂直方向（Y軸)上(最大值，最小值)=(Ys、Ye)的范圍內(nèi)以 及水平方向（X 軸）上(最大值、最小值）=(Xsl、Xel)、（Xs2、Xe2)、（Xs3、Xe3)、（Xs4、Xe4)、 (Xs5、Xe5)和（Xs6、Xe6)的范圍內(nèi)的六個區(qū)域。范圍（Xsl、Xel)和（Xs2、Xe2)內(nèi)的圖像表 示通過從原始圖像或n 2/l去馬賽克圖像提取每隔一行提取像素?cái)?shù)據(jù)所獲得的兩個圖像中 的臉部周圍的區(qū)域。范圍（Xs3、Xe3)和（Xs4、Xe4)內(nèi)的圖像表示左邊相機(jī)和右邊相機(jī)的1/1 去馬賽克圖像中的臉部周圍的區(qū)域。范圍（Xs5、Xe5)內(nèi)的圖像是各相機(jī)之一的整個1/4去 馬賽克圖像。范圍（Xs6、Xe6)內(nèi)的圖像是各相機(jī)之一的整個1/16去馬賽克圖像。
[0126] 數(shù)據(jù)選擇部分184從圖像合成單元30每隔一行輸入的合成圖像內(nèi)剪切所指定的 范圍內(nèi)的像素?cái)?shù)據(jù)。具體地說，數(shù)據(jù)選擇部分184從與Ys對應(yīng)的行的像素?cái)?shù)據(jù)僅提取范圍 (Xsl、Xel)、（Xs2、Xe2)、（Xs3、Xe3)、（Xs4、Xe4)、（Xs5、Xe5)和（Xs6、Xe6)內(nèi)的像素?cái)?shù)據(jù)， 并且連續(xù)將所提取的像素?cái)?shù)據(jù)發(fā)送到數(shù)據(jù)形成部分186。然后，數(shù)據(jù)選擇部分184相似地從 與Ys+1對應(yīng)的行、與Ys+2對應(yīng)的行、……提取同一范圍內(nèi)的像素?cái)?shù)據(jù)，并且將所提取的像 素?cái)?shù)據(jù)發(fā)送到數(shù)據(jù)形成部分186。數(shù)據(jù)形成部分186通過連續(xù)地連接發(fā)送至其的像素?cái)?shù)據(jù) 以形成流或通過封裝像素?cái)?shù)據(jù)來形成用于發(fā)送的數(shù)據(jù)。
[0127] 結(jié)果，主機(jī)終端20所接收到的圖像數(shù)據(jù)是流，其中，對于每一行僅從所剪切的區(qū) 域配置的新的合成圖像240。主機(jī)終端20的信息處理單元38基于在數(shù)據(jù)請求時所指定的 像素的范圍將合成圖像240剪切為單獨(dú)圖像，并且將圖像顯影到主存儲器42的連續(xù)地址。 在此情況下，已經(jīng)分離為兩個分區(qū)圖像的原始圖像或n 2/l去馬賽克圖像以開始于第一像素 行的順序在垂直方向上連續(xù)交替連接，以恢復(fù)初始圖像。此外，其中一行在多行中對折的 1/4縮小率去馬賽克圖像和更1?縮小率去馬賽克圖像在水平方向上連接，以恢復(fù)單獨(dú)行。
[0128] 結(jié)果，在主存儲器42中，從原始圖像或n2/l去馬賽克圖像內(nèi)的臉部周圍的圖像 241、從左邊和右邊1/1去馬賽克圖像內(nèi)的臉部周圍的圖像242和244U/4去馬賽克圖像的 完整圖像246和1/16去馬賽克圖像的完整圖像248得以恢復(fù)。替代地，信息處理單元38可 以將合成圖像240原樣顯影到主存儲器42中，從而在用于圖像處理等的各級處區(qū)分它們。
[0129] 以此方式，主機(jī)終端20可以通過指定合成圖像中的區(qū)域來同時請求一種圖像和 該圖像中的特定區(qū)域。然后，數(shù)據(jù)選擇部分184從合成圖像的單獨(dú)行連續(xù)提取所指定的范 圍內(nèi)的像素?cái)?shù)據(jù)，以同時剪切多個圖像數(shù)據(jù)并且產(chǎn)生僅由必須的圖像數(shù)據(jù)構(gòu)成的新的流。
[0130] 在該模式下，主機(jī)終端20指定多個區(qū)域的垂直方向上的公共范圍。在圖12的示 例中，所有六個指定的區(qū)域在垂直方向上具有（Ys、Ye)的范圍。通過這種指定，即使數(shù)據(jù)選 擇部分184執(zhí)行對于合成圖像的每一行單獨(dú)提取像素?cái)?shù)據(jù)，所提取的范圍在所有行中也是 相同的。結(jié)果，即使連接所提取的像素以形成流，也可以消除所提取的像素的數(shù)量在不同行 之間不同的情況。因此，新的合成圖像240展現(xiàn)出原樣保持所剪切的矩形區(qū)域的圖像平面 的狀態(tài)。因此，主機(jī)終端20可以對于區(qū)域中的每一個基于在水平方向上所請求的像素?cái)?shù)量 從所獲取的流容易地顯影單獨(dú)圖像。
[0131] 如果從圖像拾取裝置12發(fā)送如圖12中所描繪的這種數(shù)據(jù)，則主機(jī)終端20可以執(zhí) 行例如如下所述的處理。具體地說，主機(jī)終端20使用左邊和右邊1/1去馬賽克圖像的臉部 周圍的圖像242和244來執(zhí)行立體匹配，由此獲取目標(biāo)(例如三維空間中的臉部）的位置或 執(zhí)行臉部表情識別。另一方面，主機(jī)終端20僅使用1/4去馬賽克圖像的完整圖像246的臉 部區(qū)域或原始圖像或n 2/l去馬賽克圖像的臉部周圍的圖像241產(chǎn)生提升分辨率的圖像。然 后，主機(jī)終端20響應(yīng)于三維空間中的位置或面度表情識別而執(zhí)行圖像處理，然后顯示所得 圖像。1/16去馬賽克圖像的完整圖像248用于通過粗略臉部檢測處理來指定臉部區(qū)域，并 且調(diào)整所請求的n 2/l去馬賽克圖像或1/1去馬賽克圖像的范圍。
[0132] 然而，主機(jī)終端20所執(zhí)行的處理不限于上述處理，可以取決于主機(jī)終端20的使用 情況來請求各種數(shù)據(jù)組合。此外，在圖12的示例中，原始圖像或n 2/l去馬賽克圖像由剪切 處理剪切并且被發(fā)送，從而以高精度顯示重要位置(例如臉部周圍的區(qū)域)，而無需增加必 須的通信頻帶。另一方面，在可以準(zhǔn)備充足通信頻帶的環(huán)境中，可以通過高清晰度來顯示整 個區(qū)域，而無需執(zhí)行上述剪切。以此方式，也取決于通信頻帶、圖像拾取裝置12或主機(jī)終端 20的處理能力等而合適地調(diào)整待從圖像拾取裝置12發(fā)送的數(shù)據(jù)的類型和范圍。在該實(shí)施 例中，可以僅通過指定合成圖像中的數(shù)據(jù)范圍來容易地實(shí)現(xiàn)這種調(diào)整。
[0133] 在上述實(shí)施例中，實(shí)現(xiàn)即使相機(jī)的分辨率增加也可以通過相似過程來發(fā)送并且處 理圖像數(shù)據(jù)而無需較大地改變配置的系統(tǒng)?，F(xiàn)在，作為另一示例，描述甚至在相機(jī)具有用于 檢測多種物理量的功能的情況下也可以執(zhí)行相似的數(shù)據(jù)發(fā)送和處理的模式。圖13具體描 繪包括用于通過可見光連同色彩信息一起獲取紅外光的信息的功能的第一相機(jī)22a的配 置。例如，在游戲裝置等中，技術(shù)已經(jīng)投入實(shí)踐，其中，分離地提供的輻射構(gòu)件在目標(biāo)上輻射 紅外光，檢測紅外光的反射光以檢測三維空間中的目標(biāo)的位置或運(yùn)動。
[0134] 第一相機(jī)22a的圖像拾取元件連同可見光傳感器一起包括該紅外光傳感器。通過 圖像拾取元件，對于2X2像素的每個塊獲取每個像素具有G值、B值和紅外光量（IR值）的 已拾取圖像的數(shù)據(jù)。注意，圖像拾取裝置12的第二相機(jī)22b也可以具有相同配置，或可以 被配置為這樣：其不包括以上參照圖3所描述的紅外光傳感器。此外，除了可見光傳感器之 外的傳感器待檢測的物理量可以是已經(jīng)作為相機(jī)的檢測目標(biāo)投入實(shí)際使用并且不限于紅 外光的任何物理量(例如紫外光或X射線)。
[0135] 第一相機(jī)22a包括圖像獲取部分402a、數(shù)據(jù)分離部分404a、去馬賽克部分408a、第 一金字塔濾波器部分414a和第二金字塔濾波器部分416a。圖像獲取部分402a以預(yù)定幀速 率讀出圖像拾取元件所曝光的并且包括RGB和IR的值的圖像。該圖像具有在水平方向上 W個像素和在垂直方向上Η個像素的寬度。然而,該圖像可以另外具有在水平方向上nW個 像素和在垂直方向上nH個像素的寬度，并且可以與以上參照圖3所描述的模式組合。每次 完成圖像的一個水平行的曝光，圖像獲取部分402a就將水平行的數(shù)據(jù)發(fā)送到數(shù)據(jù)分離部 分 404a。
[0136] 數(shù)據(jù)分離部分404a包括從具有W個像素的容量的多個（圖13中，三個)FIF0緩沖 器所配置的FIFO緩沖器405以及分離處理部分406。配置FIFO緩沖器405的FIFO緩沖 器被循環(huán)使用并且連續(xù)存儲從圖像獲取部分402a所輸入的已拾取圖像的一個水平行的像 素?cái)?shù)據(jù)，從而可以保存多行的像素?cái)?shù)據(jù)。分離處理部分406從FIFO緩沖器405讀出預(yù)定數(shù) 量的行的已拾取圖像的像素?cái)?shù)據(jù)，并且使用所讀出的圖像來產(chǎn)生每個像素保持一些R、G和 B值的普通RGB圖像以及每個像素保持IR值的紅外圖像，以分離數(shù)據(jù)。
[0137] 圖14示出分離處理部分406進(jìn)行的數(shù)據(jù)的分離處理過程。已拾取圖像430具有 數(shù)據(jù)格式，其中，對于圖14所描繪的2 X 2像素的每個塊(例如粗線框)，每個像素具有G值、 R值、B值和IR值中的某個。注意，具有這些值的各像素的位置關(guān)系不限于圖14中所描繪 的關(guān)系。分離處理部分406首先從已拾取圖像430提取每個塊中的一個所包括的IR值，并 且將IR值放置為塊的像素值，以產(chǎn)生IR圖像432。換句話說，IR圖像432具有在水平方向 和垂直方向二者上都等于已拾取圖像430的一半的大小。
[0138] 然后，分離處理部分406確定具有IR值的已拾取圖像430的那些像素的G值，并 且將G值設(shè)置為像素值以產(chǎn)生與普通RGB圖像相似的格式的RGB圖像434。例如，使用在像 素的左上、右上、左下和右下位置處的四個像素(矩形標(biāo)記)所保持的G值通過雙線性內(nèi)插來 計(jì)算RGB圖像434中的圓形標(biāo)記436所指示的像素的G值。雖然用于G值的計(jì)算方法不限 于此，但在任何情況下，根據(jù)該計(jì)算所需的行的數(shù)量來確定配置FIFO緩沖器405的FIFO緩 沖器的數(shù)量。
[0139] 返回參照圖13,數(shù)據(jù)分離部分404a根據(jù)具有W個像素的水平寬度的已拾取圖像來 計(jì)算相同大小的RGB圖像以及在水平方向和垂直方向上都具有等于已拾取圖像大小的1/2 的大小的IR圖像的像素?cái)?shù)據(jù)，并且輸出每一行的圖像數(shù)據(jù)。將RGB圖像的像素?cái)?shù)據(jù)發(fā)送到 圖像合成單元30和去馬賽克部分408a。將IR圖像的像素?cái)?shù)據(jù)發(fā)送到圖像合成單元30和 第二金字塔濾波器部分416a。去馬賽克部分408a包括具有W個像素的容量的FIFO緩沖器 410和簡單去馬賽克處理部分412,并且從RGB圖像產(chǎn)生具有YCbCr值的去馬賽克圖像。
[0140] 由于去馬賽克圖像具有用于輸入到第一金字塔濾波器部分414a的W個像素的水 平寬度(其為基準(zhǔn)大小)，因此其是1/1去馬賽克圖像。即使在已拾取圖像中包括IR值，但 是由于數(shù)據(jù)分離部分404a產(chǎn)生普通格式的RGB圖像，因此去馬賽克部分408a待執(zhí)行的處 理也可以與以上參照圖3所描述的去馬賽克部分104a所執(zhí)行的處理相似。因此，在此省略 去馬賽克部分408a的描述。
[0141] 將去馬賽克部分408a所產(chǎn)生的YCbCr圖像的數(shù)據(jù)發(fā)送到圖像合成單元30和第一 金字塔濾波器部分414a。第一金字塔濾波器部分414a執(zhí)行與以上參照圖3和圖4所描述 的處理相似的處理，以產(chǎn)生多個分辨率的Y、Cb和Cr圖像，并且將Y、Cb和Cr圖像輸入到圖 像合成單元30。此外，第二金字塔濾波器部分416a將IR圖像分級為與第二金字塔濾波器 部分416a相似的多個分辨率的圖像，并且輸出所得圖像。
[0142] 相應(yīng)地，除了輸入數(shù)據(jù)和輸出數(shù)據(jù)是一種（即IR值）之外，第二金字塔濾波器部分 416a可以具有與以上參照圖3和圖4所描述的金字塔濾波器部分135a相似的配置和功能。 然而，在該實(shí)施例中，輸入到第二金字塔濾波器部分416a的IR圖像具有等于1/4倍基準(zhǔn)大 小的大小，兩個濾波器可以用于縮小處理。
[0143] 圖15描繪與圖13中所描繪的相機(jī)的配置對應(yīng)的圖像合成單元30的配置。圖像 合成單元30包括輸出定時調(diào)整部分450,用于調(diào)整從第一相機(jī)22a和第二相機(jī)22b發(fā)送至 其的各種圖像數(shù)據(jù)對圖像發(fā)送單元32的輸出定時。圖像合成單元30還包括FIFO緩沖器 472a、474a、476a、470b、472b、474b、476b、480a、482a、484a、480b、482b 和 484b，用于輸出定 時調(diào)整。
[0144] 注意，在圖15中，第二相機(jī)22b也具有與圖13中所描繪的配置相似的配置。因 此，第二相機(jī)22b的數(shù)據(jù)分離部分、去馬賽克部分、第一金字塔濾波器部分和第二金字塔濾 波器部分分別被稱為數(shù)據(jù)分離部分404b、去馬賽克部分408b、第一金字塔濾波器部分414b 和第二金字塔濾波器部分416b，其中向其添加對應(yīng)標(biāo)號。
[0145] FIFO緩沖器472a、474a和476a分別保存從第一相機(jī)22a的第一金字塔濾波器部 分414a發(fā)送至其的1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的一行的 YCbCr像素值。相應(yīng)地，F(xiàn)IFO緩沖器472a、474a和476a分別保存W/2、W/4和W/8像素值。 FIFO緩沖器470b保存用于從第二相機(jī)22b的去馬賽克部分408b發(fā)送至其的1/1去馬賽 克圖像的一行的像素值(即W個像素值)。注意，可以替代來自第一相機(jī)22a和第二相機(jī)22b 的1/1去馬賽克圖像而獲取從數(shù)據(jù)分離部分404a和404b發(fā)送的RGB圖像。
[0146] FIFO緩沖器472b、474b和476b分別保存從第二相機(jī)22b的第一金字塔濾波器部 分414b發(fā)送至其的1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克圖像的一行的 YCbCr像素值。相應(yīng)地，F(xiàn)IFO緩沖器472b、474b和476b分別保存W/2、W/4和W/8個像素 值。
[0147] FIFO緩沖器480a還保存從第一相機(jī)22a的數(shù)據(jù)分離部分404a發(fā)送至其的1/4大 小的IR圖像的一行的像素值。FIFO緩沖器482a和484a分別保存從第一相機(jī)22a的第二 金字塔濾波器部分416a發(fā)送至其的1/16大小的IR圖像和1/64大小的IR圖像的一行的 像素值。相應(yīng)地，F(xiàn)IFO緩沖器480a、482a和484a分別保存W/2、W/4和W/8個像素值。
[0148] FIFO緩沖器480b保存從第二相機(jī)22b的數(shù)據(jù)分離部分404b發(fā)送至其的1/4大小 的IR圖像的一行的像素值。FIFO緩沖器482b和484b分別保存從第二相機(jī)22b的第二金 字塔濾波器部分416b發(fā)送至其的1/16大小的IR圖像和1/64大小的IR圖像的一行的像 素值。相應(yīng)地，F(xiàn)IFO緩沖器480b、482b和484b分別保存W/2、W/4和W/8個像素值。
[0149] 輸出定時調(diào)整部分450基本上根據(jù)與以上參照圖5所描繪的策略相似的策略來調(diào) 整圖像數(shù)據(jù)對圖像發(fā)送單元32的輸出定時。具體地說，輸出定時調(diào)整部分450首先將從第 一相機(jī)22a的去馬賽克部分408a發(fā)送至其的1/1去馬賽克圖像的一行的像素?cái)?shù)據(jù)輸出到 圖像發(fā)送單元32。然后，輸出定時調(diào)整部分450輸出FIFO緩沖器470b中所存儲的第二相 機(jī)22b的1/1去馬賽克圖像的一行的像素?cái)?shù)據(jù)。
[0150] 在輸出1/1去馬賽克圖像的第二行和后續(xù)行的時段內(nèi)，1/4去馬賽克圖像、1/16去 馬賽克圖像和1/64去馬賽克圖像的像素?cái)?shù)據(jù)連續(xù)產(chǎn)生并且存儲到FIFO緩沖器中。因此， 圖像的一行的至少部分?jǐn)?shù)據(jù)與在以上參照圖10所描述的情況下相似地循環(huán)輸出。此外，輸 出定時調(diào)整部分450還根據(jù)與用于1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去馬賽克 圖像的規(guī)則相似規(guī)則將單獨(dú)分辨率的IR圖像連續(xù)輸出到去馬賽克圖像。
[0151] 在相機(jī)中，彩色圖像和IR圖像在數(shù)據(jù)分離部分404a和404b進(jìn)行的分離之后經(jīng)受 彼此獨(dú)立的處理。因此，去馬賽克圖像和IR圖像對圖像合成單元30的輸入定時彼此獨(dú)立。 然而，輸出定時調(diào)整部分450根據(jù)預(yù)先確定的規(guī)則來調(diào)整去馬賽克圖像和IR圖像的輸出定 時。例如，調(diào)整輸出定時，從而在合成圖像的同一行中包括具有相等大小的去馬賽克圖像和 IR圖像的對應(yīng)行，并且各圖像單獨(dú)地形成矩形區(qū)域。
[0152] 因此，無論圖像種類如何，都可以有效地執(zhí)行來自主機(jī)終端20的數(shù)據(jù)指定、數(shù)據(jù) 選擇部分184進(jìn)行的剪切、主機(jī)終端20中的圖像的顯影等。至此，可以相反地設(shè)置去馬賽 克圖像和IR圖像的輸出順序(即它們在合成圖像中的排布)。替代地，可以彼此分離并且彼 此并行地產(chǎn)生從去馬賽克圖像配置的合成圖像以及從IR圖像配置的另一合成圖像。
[0153] 圖16描繪以上參照圖13至圖15所描述的配置所產(chǎn)生的合成圖像的示例。參照 圖16,從源自第一相機(jī)22a的1/1去馬賽克圖像510、源自第二相機(jī)22b的1/1去馬賽克圖 像512、源自第一相機(jī)22a的1/4去馬賽克圖像514、源自第二相機(jī)22b的1/4去馬賽克圖 像516、源自第一相機(jī)22a的1/16去馬賽克圖像518、源自第二相機(jī)22b的1/16去馬賽克 圖像520、源自第一相機(jī)22a的1/64去馬賽克圖像522、源自第二相機(jī)22b的1/64去馬賽 克圖像524、源自第一相機(jī)22a的1/4大小IR圖像534、源自第二相機(jī)22b的1/4大小IR 圖像536、源自第一相機(jī)22a的1/16大小IR圖像538、源自第二相機(jī)22b的1/16大小IR 圖像540、源自第一相機(jī)22a的1/64大小IR圖像542以及源自第二相機(jī)22b的1/64大小 IR圖像544配置合成圖像490。
[0154] 在圖16中，分別在1/1去馬賽克圖像510和512上表示從左邊和右邊所拾取的用 戶1的臉部圖像。分別通過將1/1去馬賽克圖像縮小為1/4、1/16和1/64并且將在水平方 向上將通過縮小所獲得的圖像的像素行分區(qū)為1/2U/4和1/8然后在垂直方向上布置通過 分區(qū)的所得圖像來獲得其余去馬賽克圖像（即1/4去馬賽克圖像514和516、1/16去馬賽克 圖像518和520以及1/64去馬賽克圖像522和524)。此外，1/4大小IR圖像、1/16大小 IR圖像和1/64大小IR圖像分別具有與1/4去馬賽克圖像、1/16去馬賽克圖像和1/64去 馬賽克圖像的配置相似的配置。
[0155] 圖像發(fā)送單元32所執(zhí)行的數(shù)據(jù)剪切處理和發(fā)送處理以及對主機(jī)終端20中的主存 儲器42的顯影與以上參照圖12所描述的處理相似。結(jié)果，無論圖像是彩色圖像還是IR圖 像，主機(jī)終端20都可以從圖像拾取裝置12容易地獲取由此待執(zhí)行的處理所需的一種圖像 和圖像的區(qū)域。例如，主機(jī)終端20可以使用具有某種分辨率的IR圖像來識別用戶1的運(yùn) 動或姿勢，并且使用1/16去馬賽克圖像通過臉部識別處理來指定人，并且可以基于1/1去 馬賽克圖像執(zhí)行用于顯示圖像的某種處理。使用IR圖像在目標(biāo)的位置檢測方面的精度在 有光的地方(例如在白天室外地方)惡化。因此，可以響應(yīng)于圖像拾取環(huán)境而在IR圖像與立 體圖像之間改變待獲取的數(shù)據(jù)。此外，在此情況下，主機(jī)終端20可以僅通過改變合成圖像 中的范圍指定而容易地實(shí)現(xiàn)改變。
[0156] 可以響應(yīng)于如上所述的通信頻帶、圖像拾取裝置12或主機(jī)終端20的性能等而調(diào) 整獲取的目標(biāo)的圖像的種類或區(qū)域。此外，當(dāng)主機(jī)終端20獲取數(shù)據(jù)時的速率可以取決于圖 像的種類而變化，從而僅以高速率獲取待用于顯示或跟蹤的圖像數(shù)據(jù)，而以低速率獲取其 它圖像數(shù)據(jù)。此外，在明白無需通過利用紅外光傳感器來執(zhí)行立體匹配或類似情況下，單個 相機(jī)可以用于配置圖像拾取裝置12。此外，兩個相機(jī)可以被配置為彼此不同，以增加能夠獲 取的物理量或分辨率的變化。
[0157] 圖17是示出主機(jī)終端20和圖像拾取裝置12彼此協(xié)作以執(zhí)行信息處理的處理過 程的示例的流程圖。通過用戶將應(yīng)用的開始指令輸入到主機(jī)終端20來開始圖17的流程圖 所示的處理。雖然在圖17中將各步驟表示為直接連接的矩形以有助于理解，但在拾取運(yùn)動 畫面的時段內(nèi)對于像素串和幀并行執(zhí)行各步驟。
[0158] 首先，主機(jī)終端20指定在應(yīng)用程序等中所設(shè)置的初始條件和必須的圖像數(shù)據(jù)，并 且將圖像拾取開始指令和數(shù)據(jù)發(fā)送請求發(fā)布到圖像拾取裝置12(S10)。初始條件包括圖像 拾取裝置12的兩個相機(jī)待拾取的運(yùn)動畫面的分辨率、幀速率、快門速度和視角、是否獲取 IR圖像等。注意，可以通過改變用于圖像拾取元件進(jìn)行的曝光自身的條件設(shè)置或通過稍后 處理來自圖像拾取元件的數(shù)據(jù)來改變相機(jī)待拾取的運(yùn)動畫面的分辨率和幀速率。
[0159] 雖然如上所述以合成圖像的區(qū)域的形式來指定必須的圖像數(shù)據(jù)，但作為初始值， 指定期望用戶存在的區(qū)域的1/1去馬賽克圖像、具有某種分辨率的整個圖像或其他圖像。 接受初始條件的指定和圖像數(shù)據(jù)請求的圖像拾取裝置12的第一相機(jī)22a和第二相機(jī)22b 根據(jù)所接收到的初始條件開始運(yùn)動畫面的圖像拾?。⊿12)。
[0160] 對于每一行處理相機(jī)所獲取的圖像，圖像合成單元30合成每個時間步長內(nèi)輸出 的原始圖像、各種大小的去馬賽克圖像和IR圖像中的至少一些（S14)。然后，圖像發(fā)送單元 32僅從合成圖像剪切在步驟S10所指定的圖像數(shù)據(jù)以產(chǎn)生流，然后將該流發(fā)送到主機(jī)終端 20 (S16 和 S18)。
[0161] 接收數(shù)據(jù)的主機(jī)終端20的圖像處理單元38在主存儲器42中將發(fā)送至其的流 顯影為圖像（S20)。圖像處理單元38使用所顯影的圖像在執(zhí)行期間根據(jù)應(yīng)用來執(zhí)行處理 (S22)。此時，圖像處理根據(jù)場合要求而被請求到圖像處理單元40,圖像處理單元40從主存 儲器42讀出圖像并且執(zhí)行處理或合成。由于在主存儲器42所顯影的圖像數(shù)據(jù)與普通圖像 數(shù)據(jù)相似，因此也可以將圖像數(shù)據(jù)作為紋理（texture)讀出。
[0162] 在步驟S22,圖像處理單元38可以執(zhí)行圖像分析處理(例如立體匹配、跟蹤、臉部 檢測或姿勢檢測)，從而在顯示圖像上反映圖像分析處理的結(jié)果。顯示圖像以此方式產(chǎn)生， 并且顯示在顯示裝置16上（S24和S26)。此外，圖像處理單元38可以基于以上在步驟S22 所描述的圖像分析來指定目標(biāo)的區(qū)域等，從而所請求的圖像數(shù)據(jù)改變。在此情況下，圖像拾 取裝置12的數(shù)據(jù)選擇部分184在處理新的圖像幀的定時根據(jù)指定來改變待剪切的區(qū)域。通 過重復(fù)執(zhí)行在步驟S14至S26的處理，可以在顯示裝置16上連續(xù)顯示使用圖像拾取裝置12 所拾取的圖像所執(zhí)行的信息處理的結(jié)果。
[0163] 通過上述該實(shí)施例，在包括拾取用戶的運(yùn)動圖像等的圖像拾取裝置和利用已拾取 圖像來執(zhí)行圖像顯示的主機(jī)終端的系統(tǒng)中，圖像拾取裝置基于已拾取圖像來產(chǎn)生多種圖像 數(shù)據(jù)。然后，以行為單位循環(huán)連接圖像的像素?cái)?shù)據(jù)以產(chǎn)生流，并且根據(jù)來自主機(jī)終端的請 求來提取并且發(fā)送部分流。因此，可以將在圖像拾取裝置中待提供的存儲器的大小減少到 最低限度，并且無需等待在從圖像拾取到數(shù)據(jù)發(fā)送到主機(jī)終端的所有處理中準(zhǔn)備一幀的數(shù) 據(jù)。因此，可以通過整個系統(tǒng)的低等待時間來執(zhí)行響應(yīng)于運(yùn)動的圖像顯示。
[0164] 此外，連續(xù)連接來自多種圖像數(shù)據(jù)當(dāng)中在相同時段內(nèi)所產(chǎn)生的對應(yīng)行的像素?cái)?shù) 據(jù)，從而多種圖像之間的對應(yīng)關(guān)系變得明確。此時，響應(yīng)于取決于圖像種類的數(shù)據(jù)產(chǎn)生時段 來確定流中待連續(xù)包括的像素?cái)?shù)據(jù)的范圍，從而當(dāng)像素?cái)?shù)據(jù)的連接進(jìn)行一輪時的像素的數(shù) 量基本上相等。圖像拾取裝置基本上從具有高分辨率的圖像產(chǎn)生具有低分辨率的圖像，并 且指示同一區(qū)域的像素的數(shù)量隨著分辨率增加而增加。因此，定性地，例如以像素?cái)?shù)據(jù)的多 行為單位在更大范圍中在流中包括高分辨率圖像。另一方面，例如以在作為一行的部分的 范圍中的像素?cái)?shù)據(jù)為單位在更小的范圍中在流中包括具有較低分辨率的圖像。
[0165] 因此，在流中的連續(xù)范圍中包括關(guān)于圖像上的位置和產(chǎn)生定時具有關(guān)聯(lián)性的像素 數(shù)據(jù)。結(jié)果，可以通過低等待時間來執(zhí)行流的輸出，每單位時間待處理和發(fā)送的數(shù)據(jù)的大小 變得基本上均勻。此外，可以容易地執(zhí)行直到輸出所需的時間、待使用的發(fā)送頻帶以及發(fā)送 所需的時間的估計(jì)，此外，發(fā)送頻帶可能因數(shù)據(jù)大小的突然增加而受抑制的可能性減少。
[0166] 通過將當(dāng)在流中像素?cái)?shù)據(jù)的連接進(jìn)行一輪時的像素的數(shù)量定義為水平寬度，可以 考慮以虛擬方式產(chǎn)生包括多種圖像的合成圖像。由于在流中循環(huán)包括各種圖像的數(shù)據(jù)，因 此各種圖像中的每一種在具有水平寬度的合成圖像中形成矩形區(qū)域。相應(yīng)地，通過指定合 成圖像中的區(qū)域，可以不僅指定一種圖像，而且還可以在提取圖像數(shù)據(jù)的同時指定該圖像 中所包括的區(qū)域。由于該處理與普通剪切處理相似，因此可以容易地合并它。
[0167] 如果合適地控制待在流中包括的像素?cái)?shù)據(jù)的范圍以及將像素?cái)?shù)據(jù)包括到流中的 定時，則無論圖像拾取裝置待獲取的圖像的種類或分辨率如何，都可以實(shí)現(xiàn)上述效果。結(jié) 果，可以通過低成本來實(shí)現(xiàn)能夠準(zhǔn)備分辨率的增加或圖像拾取裝置的功能的增強(qiáng)并且具有 高可擴(kuò)展性的系統(tǒng)，而不較大改變裝置配置。
[0168] 已經(jīng)基于本發(fā)明實(shí)施例描述了本發(fā)明。上述實(shí)施例是說明性的，本領(lǐng)域技術(shù)人員 應(yīng)理解，可以對于實(shí)施例的組件和處理過程的組合進(jìn)行各種修改，這些修改也包括于本發(fā) 明的精神和范圍內(nèi)。
[0169] 本發(fā)明包含與2013年4月26日提交到日本專利局的日本優(yōu)先權(quán)專利申請 JP2013-094402中公開的有關(guān)的主題內(nèi)容，其完整內(nèi)容通過引用合并到此。
【權(quán)利要求】
1. 一種圖像拾取裝置，包括： 圖像數(shù)據(jù)產(chǎn)生單元，被配置為從通過圖像拾取對象的圖像拾取所獲得的已拾取圖像產(chǎn) 生多種圖像的數(shù)據(jù)，并且連續(xù)輸出一個水平行的像素的數(shù)據(jù)； 圖像合成單元，被配置為在對于每種圖像預(yù)先設(shè)置的范圍內(nèi)對于每個像素串循環(huán)連接 從所述圖像數(shù)據(jù)產(chǎn)生單元輸出的所述多種圖像的數(shù)據(jù)，并且輸出所連接的數(shù)據(jù)作為流，以 產(chǎn)生虛擬合成圖像，其包括所述多種圖像，并且其中，當(dāng)所述連接進(jìn)行一輪時的像素串是一 個水平行的像素串；以及 圖像發(fā)送單元，被配置為從連接到所述圖像拾取裝置的主機(jī)終端接受指定所述虛擬 合成圖像中的矩形區(qū)域的數(shù)據(jù)發(fā)送請求，根據(jù)所述數(shù)據(jù)發(fā)送請求從所述流提取并且連接數(shù) 據(jù)，并且將所連接的數(shù)據(jù)作為新的流發(fā)送到所述主機(jī)終端； 所述圖像合成單元將像素串連接為所述多種圖像的流，從而對于其每個水平行，連接 具有等于預(yù)先確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個范 圍，連接具有大于所述基準(zhǔn)圖像大小的大小的這些圖像；以及對于小于一個水平行的其每 個范圍，連接具有小于所述基準(zhǔn)圖像大小的大小的這些圖像。
2. 如權(quán)利要求1所述的圖像拾取裝置，其中，在所述基準(zhǔn)圖像大小具有W個像素的水平 寬度的情況下，所述圖像合成單元連接所述圖像的η行的像素串，其對于每一行具有nW個 像素的水平寬度，η是自然數(shù)。
3. 如權(quán)利要求1或2所述的圖像拾取裝置， 其中，所述圖像數(shù)據(jù)產(chǎn)生單元包括： 金字塔濾波器，被配置為將所述基準(zhǔn)圖像大小的圖像縮小到多個級，以產(chǎn)生具有彼此 不同的大小的多個縮小圖像的數(shù)據(jù)； 大小調(diào)整部分，被配置為將已拾取圖像的大小調(diào)整為所述基準(zhǔn)圖像大小，并且將調(diào)整 了大小的已拾取圖像輸入到所述金字塔濾波器，以及 對于每個像素串，所述圖像合成單元連接在所述大小調(diào)整部分進(jìn)行的調(diào)整之前的大小 的圖像、在所述調(diào)整之后的所述基準(zhǔn)圖像大小的圖像以及所述金字塔濾波器所產(chǎn)生的多個 縮小圖像。
4. 如權(quán)利要求1所述的圖像拾取裝置， 其中，所述圖像數(shù)據(jù)產(chǎn)生單元包括數(shù)據(jù)分離部分，被配置為將包括可見光傳感器和紅 夕卜光傳感器的相機(jī)所拾取的已拾取圖像分離為彩色圖像和紅外圖像， 所述圖像合成單元在單獨(dú)對應(yīng)范圍內(nèi)循環(huán)連接對于每個像素串的所述彩色圖像和所 述紅外圖像，從而所述合成圖像包括所述彩色圖像和所述紅外圖像。
5. 如權(quán)利要求4所述的圖像拾取裝置， 其中，所述圖像數(shù)據(jù)產(chǎn)生單元獲取由兩個相機(jī)拾取的立體圖像作為已拾取圖像，所述 兩個相機(jī)從彼此間隔開已知距離的左視點(diǎn)和右視點(diǎn)對拾取對象的圖像進(jìn)行拾取，以及 所述圖像合成單元在單獨(dú)對應(yīng)范圍內(nèi)循環(huán)連接對于每個像素串的所述立體圖像的彩 色圖像和紅外圖像，從而所述合成圖像包括所述立體圖像的所述彩色圖像和所述紅外圖 像，從而響應(yīng)于所述主機(jī)終端指定矩形區(qū)域，發(fā)送對象的數(shù)據(jù)可以在所述立體圖像與所述 紅外圖像之間轉(zhuǎn)變。
6. -種信息處理系統(tǒng)，包括： 圖像拾取裝置，被配置為從通過圖像拾取對象的圖像拾取所獲得的已拾取圖像產(chǎn)生多 種圖像的數(shù)據(jù)；以及 主機(jī)終端，被配置為獲取所述圖像的至少部分?jǐn)?shù)據(jù)，并且利用所獲取的數(shù)據(jù)來執(zhí)行預(yù) 定信息處理； 所述圖像拾取裝置包括： 圖像數(shù)據(jù)產(chǎn)生單元，被配置為產(chǎn)生所述多種圖像的數(shù)據(jù)，并且對于一個水平行中的每 個像素，連續(xù)輸出所產(chǎn)生的數(shù)據(jù)， 圖像合成單元，被配置為在對于每種圖像預(yù)先設(shè)置的范圍內(nèi)對于每個像素串循環(huán)連接 從所述圖像數(shù)據(jù)產(chǎn)生單元輸出的所述多種圖像的數(shù)據(jù)，并且輸出所連接的數(shù)據(jù)作為流，以 產(chǎn)生虛擬合成圖像，其具有所述多種圖像，并且其中，當(dāng)所述連接進(jìn)行一輪時的像素串是一 個水平行的像素串，以及 圖像發(fā)送單元，被配置為從所述主機(jī)終端接受指定所述虛擬合成圖像中的矩形區(qū)域的 數(shù)據(jù)發(fā)送請求，根據(jù)所述數(shù)據(jù)發(fā)送請求從所述流提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù) 作為新的流發(fā)送到所述主機(jī)終端； 所述圖像合成單元連接所述多種圖像的像素串，從而對于其每個水平行，連接具有等 于預(yù)先確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個范圍，連接 具有大于所述基準(zhǔn)圖像大小的大小的這些圖像；以及對于小于一個水平行的其每個范圍， 連接具有小于所述基準(zhǔn)圖像大小的大小的這些圖像； 所述主機(jī)終端包括： 數(shù)據(jù)請求單元，被配置為通過指定所述虛擬合成圖像的矩形區(qū)域來請求所述圖像拾取 裝置產(chǎn)生的所述多種圖像的至少部分?jǐn)?shù)據(jù)，以及 數(shù)據(jù)顯影單元，被配置為基于所指定的矩形區(qū)域的信息將從所述圖像拾取裝置發(fā)送至 其的所述流分離為單獨(dú)圖像的數(shù)據(jù)，將分離后的數(shù)據(jù)返回到初始像素串中的位置，以恢復(fù) 所述圖像，然后將所述圖像顯影到存儲器中。
7. -種圖像數(shù)據(jù)處理方法，由圖像拾取裝置執(zhí)行，包括： 從圖像拾取元件獲取通過圖像拾取對象的圖像拾取所獲得的已拾取圖像，基于所獲取 的已拾取圖像來產(chǎn)生多種圖像的數(shù)據(jù)，并連續(xù)輸出用于一個水平行的像素的數(shù)據(jù)； 在對于每種圖像預(yù)先設(shè)置的范圍內(nèi)對于每一像素串循環(huán)連接輸出的所述多種圖像的 數(shù)據(jù)，并且輸出所連接的數(shù)據(jù)作為流，以產(chǎn)生虛擬合成圖像，其包括所述多種圖像，并且其 中，當(dāng)所述連接進(jìn)行一輪時的像素串是一個水平行的像素串；以及 從連接到所述圖像拾取裝置的主機(jī)終端接受指定所述虛擬合成圖像中的矩形區(qū)域的 數(shù)據(jù)發(fā)送請求，根據(jù)所述數(shù)據(jù)發(fā)送請求從所述流提取并且連接數(shù)據(jù)，并且將所連接的數(shù)據(jù) 作為新的流發(fā)送到所述主機(jī)終端； 產(chǎn)生所述合成圖像包括：執(zhí)行所述多種圖像的像素串的連接，從而對于其每個水平行， 連接具有等于預(yù)先確定的基準(zhǔn)圖像大小的大小的這些圖像；對于大于一個水平行的其每個 范圍，連接具有大于所述基準(zhǔn)圖像大小的大小的這些圖像；以及對于小于一個水平行的其 每個范圍，連接具有小于所述基準(zhǔn)圖像大小的大小的這些圖像。
【文檔編號】H04N9/04GK104125450SQ201410157876
【公開日】2014年10月29日 申請日期:2014年4月18日 優(yōu)先權(quán)日:2013年4月26日
【發(fā)明者】大場章男, 勢川博之, 齋藤英幸, 小笠原英彥, 稻田徹悟 申請人:索尼電腦娛樂公司