專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有失真校正單元的攝像裝置。
背景技術(shù)：
近年來(lái)，攝像裝置變?yōu)樾⌒突?，使很多人能夠愉快地享受它。?外，攝像裝置的利用方法也在多樣化?？梢栽O(shè)想出各種各樣的攝像環(huán) 境，例如，對(duì)如在會(huì)議等中使用的白板或時(shí)刻表那樣輪廓為矩形且為 平面的被攝像體進(jìn)行攝像的情況，和對(duì)如大廈、建筑物那樣立體的被 攝像體進(jìn)行攝像的情況等。
通常，在從傾斜的角度對(duì)被攝像體進(jìn)行攝像的情況下，由于距攝 像的場(chǎng)所近的地方拍攝的影像大，而離被攝像體越遠(yuǎn)拍攝的影像就越 小，所以在攝像圖像中產(chǎn)生失真，攝像圖像變得不清楚。因此，有關(guān) 具有校正這種失真的功能的攝像裝置的提案和銷售很多。
例如，在特開(kāi)平10 - 210359號(hào)公報(bào)中，公開(kāi)有下述發(fā)明在攝像 裝置中具有測(cè)量部。該測(cè)量部對(duì)距被攝像體的距離和相對(duì)于基準(zhǔn)面的 傾斜角進(jìn)行測(cè)量。使用該測(cè)量部所測(cè)量的測(cè)量值對(duì)攝像圖像的失真進(jìn) 行校正。
但是，在如上所述的現(xiàn)有攝像裝置中，由于必須設(shè)置測(cè)量部，所 以存在攝像裝置的框體大型化的問(wèn)題。由于在近年來(lái)的小型化的攝像 裝置中難以設(shè)置測(cè)量部，所以能夠使用設(shè)置測(cè)量部進(jìn)行圖像校正的圖 像校正方法的攝像裝置受到限制。另外，為了正確進(jìn)行校正，使用復(fù) 雜的校正方式的情況也有很多，給攝像裝置施加負(fù)荷的情況也存在。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述的現(xiàn)有技術(shù)存在的問(wèn)題而提出的，其目的在于 提供一種具有失真校正單元的攝像裝置，該裝置能夠在攝像后在攝像裝置內(nèi)立即校正攝像圖像，用于校正的計(jì)算公式也容易，且計(jì)算量也 少，不會(huì)給攝像裝置增加負(fù)擔(dān)，也不會(huì)給攝像者增加負(fù)擔(dān)。
本發(fā)明的攝像裝置的特征在于包括攝像單元，對(duì)被拍攝體進(jìn)行 攝像；顯示單元，顯示所拍攝的攝像圖像；主控制單元，對(duì)各種處理 操作進(jìn)行控制；失真校正單元，對(duì)攝像圖像的失真進(jìn)行校正；主存儲(chǔ) 單元，對(duì)由所述攝像裝置拍攝的圖像數(shù)據(jù)和所述校正控制單元的處理 操作的處理數(shù)據(jù)進(jìn)行保存；可拆卸的輔助存儲(chǔ)單元，保存攝像圖像和 校正圖像。所述失真校正單元包括輪廓檢索單元、圖像校正單元、和 對(duì)所述輪廓檢索單元和圖像校正單元進(jìn)行控制的校正控制單元。所述 輪廓檢索單元包括像素?cái)?shù)變換單元，對(duì)攝像圖像的像素?cái)?shù)進(jìn)行變換； 色彩空間變換單元，對(duì)色彩空間進(jìn)行變換；分割單元，在縱向或者橫 向上對(duì)圖像進(jìn)行等分分割；直線檢索單元，對(duì)輪廓直線進(jìn)行檢索；輪 廓直線選擇單元，從由所述直線檢索單元檢索的多個(gè)輪廓直線的候選 中選擇最優(yōu)的候選以使所述顯示單元進(jìn)行顯示。所述圖像校正單元包 括交點(diǎn)計(jì)算單元，對(duì)輪廓直線的交點(diǎn)進(jìn)行計(jì)算；幾何投影變換公式 計(jì)算單元，計(jì)算幾何投影變換公式；修整圖像的修整單元和調(diào)整尺寸 的尺寸調(diào)整單元；整數(shù)化單元，對(duì)由所述幾何投影計(jì)算單元計(jì)算的數(shù) 值進(jìn)行整數(shù)化；坐標(biāo)變換單元，通過(guò)坐標(biāo)變換進(jìn)行圖像校正；像素內(nèi) 插單元，進(jìn)行像素內(nèi)插。
另外，其特征在于，所述輪廓檢索單元執(zhí)行在由所述像素?cái)?shù)變換 單元縮小像素?cái)?shù)的圖像中檢索輪廓直線、和獲得所檢索的輪廓直線中 的端點(diǎn)信息的處理。
另外，其特征在于，所述失真校正單元執(zhí)行矩形部提取校正模 式的處理，由所述輪廓檢索單元4企索由四邊形成的矩形的輪廓直線以 進(jìn)行校正；以及直線部提取校正模式的處理，由所述輪廓檢索單元檢 索少于四邊的直線以進(jìn)行校正。
另外，其特征在于，所述像素?cái)?shù)變換單元進(jìn)行將所述攝像圖像的 像素?cái)?shù)縮小變換為320*240像素的處理。
另外，其特征在于，所述輪廓直線選擇單元通過(guò)攝像者的操作將 顯示在所述顯示單元上的輪廓直線的預(yù)定的候選替換為其它的輪廓直線的候選，將其顯示在顯示單元上。另外，其特征在于，所述輪廓直線選擇單元將縱向的直線和橫向 的直線以不同顏色的直線顯示在所述顯示單元上。根據(jù)上述的發(fā)明，本發(fā)明能夠提供一種具有失真校正單元的攝像 裝置，該裝置可以在攝像后在攝像裝置內(nèi)立即校正攝像圖像，用于校 正的計(jì)算公式也容易且計(jì)算量也少，而且不會(huì)給攝像裝置增加負(fù)擔(dān)，也不會(huì)給攝像者增加負(fù)擔(dān)。


圖1為攝像裝置的簡(jiǎn)略框圖；圖2為失真校正單元的功能框圖；圖3為表示攝像裝置的失真校正處理中的處理整體流程的流程圖；圖4為說(shuō)明矩形部提取校正模式中的直線顯示切換處理的補(bǔ)充圖；的圖；圖6為說(shuō)明直線部提取校正模式的雙向校正模式中的直線顯示切 換處理的補(bǔ)充圖；圖7為說(shuō)明直線部提取校正模式的縱向校正模式中的直線顯示切 換處理的補(bǔ)充圖；圖8為說(shuō)明直線部提取校正模式的橫向校正模式中的直線顯示切 換處理的補(bǔ)充圖；圖9為矩形部提取校正模式中的輪廓直線識(shí)別判斷處理的流程圖；圖10為直線部提取校正模式的雙向校正模式中的輪廓直線識(shí)別 判斷處理的流程圖；圖11為直線部提取校正模式的縱向校正模式中的輪廓直線識(shí)別 判斷處理的流程圖；圖12為直線部提取校正模式的橫向校正模式中的輪廓直線識(shí)別判斷處理的流程圖；圖13為縮小像素圖像校正顯示處理的流程圖； 圖14為原圖像校正保存處理的流程圖； 圖15為說(shuō)明交點(diǎn)計(jì)算處理的補(bǔ)充圖；圖16為表示幾何投影變換公式計(jì)算處理中的被攝像體和圖像的 關(guān)系的補(bǔ)充圖；圖17為說(shuō)明幾何投影變換公式計(jì)算處理中的矩形部校正的補(bǔ)充圖；圖18為說(shuō)明尺寸調(diào)整處理的補(bǔ)充圖；圖19為說(shuō)明直線部提取校正模式中的修整處理和尺寸調(diào)整處理 的補(bǔ)充圖；圖20為計(jì)算整數(shù)化處理中的條件的流程圖； 圖21為坐標(biāo)變換處理中用于對(duì)全部像素進(jìn)行坐標(biāo)變換的流程圖； 圖22為說(shuō)明像素內(nèi)插處理的流程圖； 圖23為根據(jù)矩形部提取校正模式的失真校正后的圖像； 圖24為根據(jù)直線部提取校正模式的雙向校正模式的失真校正后 的圖像；圖25為根據(jù)直線部提取校正模式的縱向校正模式的失真校正后 的圖像；圖26為對(duì)根據(jù)矩形部提取校正模式的校正進(jìn)行說(shuō)明的攝像圖像 和失真校正后的圖像。
具體實(shí)施方式
下面，根據(jù)附圖詳細(xì)說(shuō)明用于實(shí)施本發(fā)明的優(yōu)選方式的攝像裝置。 如圖1所示，本實(shí)施方式的攝像裝置1包括攝像單元2，包括調(diào)焦 透鏡、變倍率透鏡和攝像傳感器(CCD或CMOS)等各種光學(xué)系統(tǒng)； 操作單元3，包括上下/左右按鈕、OK按鈕和快門按鈕等；顯示單元4， 用來(lái)顯示攝像圖像和菜單畫(huà)面等，由顯示器(LCD等)形成。另外，本實(shí)施方式的攝像裝置1包括主控制單元5,對(duì)由攝像 單元2進(jìn)行攝像的處理、對(duì)保存攝像圖像的處理，以及對(duì)圖像校正的處理進(jìn)行控制；主存儲(chǔ)單元6，對(duì)由攝像單元2拍攝的圖像數(shù)據(jù)、和 在主控制單元5進(jìn)行預(yù)定處理時(shí)產(chǎn)生的各種處理數(shù)據(jù)進(jìn)行存儲(chǔ)；輔助 存儲(chǔ)單元7，其可拆卸，且為在個(gè)人電腦等外部機(jī)器中也可使用的存 儲(chǔ)卡等。另外，通常在攝像裝置1從傾斜的位置對(duì)被攝像體進(jìn)行攝像的情 況下，由于距攝像裝置近的位置拍攝得大，遠(yuǎn)的位置拍攝得小，所以 攝像圖像產(chǎn)生梯形失真。攝像裝置1包括對(duì)這種梯形失真進(jìn)行校正的 失真校正單元10，攝像者能夠在攝像裝置1中對(duì)所攝像的圖像進(jìn)行校 正。下面，對(duì)本實(shí)施方式的攝像裝置1中的失真校正單元進(jìn)行描述。 如圖2所示，本實(shí)施方式的失真校正單元10包括檢索攝像圖像的被攝 像體的輪廓直線的輪廓檢索單元11、圖像校正單元15、和對(duì)這些單元 進(jìn)行控制的校正控制單元16。該輪廓檢索單元11包括像素變換單元21,執(zhí)行將攝像圖像的 像素?cái)?shù)縮小變換為320*240像素(76,800像素)的處理；色彩空間變 換單元22,將RGB形式的色彩空間變換為YUV形式的色彩空間或者 進(jìn)行相反的變換；分割單元23，將攝像圖像縱向或者橫向分割；直線 檢索單元24,執(zhí)行輪廓直線的檢索；輪廓直線選擇單元25，從;險(xiǎn)索的 輪廓直線的候選中選擇最優(yōu)的輪廓直線的候選。在此，YUV形式的色彩空間是指，由作為亮度信號(hào)的Y信號(hào)、 作為亮度信號(hào)與藍(lán)色成分之差的U信號(hào)、和作為亮度信號(hào)與紅色成分 之差的V信號(hào)的三個(gè)信號(hào)表示顏色的形式，也被稱為Ycbcr。該形式 利用人眼對(duì)彩度不敏感的特性，重點(diǎn)地再現(xiàn)明亮，對(duì)于顏色，是一種 使用與黃色的色差的形式，由于與RGB形式相比，數(shù)據(jù)量少，校正時(shí) 的計(jì)算也簡(jiǎn)單，所以在該校正時(shí)使用。另外，圖像校正單元15包括交點(diǎn)計(jì)算單元31，計(jì)算從攝像圖 像中提取的輪廓直線的交點(diǎn)；幾何投影變換公式計(jì)算單元32,根據(jù)光 學(xué)成像原理計(jì)算幾何投影變換公式；修整單元33;尺寸調(diào)整單元34; 整數(shù)化單元35,將投影變換后的數(shù)值整數(shù)化；坐標(biāo)變換單元36，通過(guò) 坐標(biāo)變換，對(duì)圖像進(jìn)行校正；以及像素內(nèi)插單元37。下面，使用圖3的流程圖對(duì)本實(shí)施方式中的失真校正單元10的處 理流程進(jìn)行描述。如果攝像者對(duì)被拍攝體進(jìn)行攝像(步驟SlOl)、切換到攝像圖像顯示模式，則校正控制單元16執(zhí)行使存儲(chǔ)在主存儲(chǔ)單元 6或輔助存儲(chǔ)單元7的攝像圖像顯示在顯示單元4上的圖像顯示處理 (步驟S105 )，攝像者從顯示單元4顯示的攝像圖像中選擇進(jìn)行失真 校正的照片(步驟SllO)。如果攝像者選擇了進(jìn)行失真校正的照片(步驟SllO)，則校正控 制單元16執(zhí)行校正模式選擇畫(huà)面顯示處理，將用來(lái)選擇在矩形部提取 校正模式和直線部提取校正模式中以哪一種模式進(jìn)行校正的選擇畫(huà)面 顯示在顯示單元4上(步驟S115)。攝像者按照進(jìn)行校正的攝像圖像 的被拍攝體的形狀來(lái)選擇校正模式。另外，矩形部提取校正模式是一種對(duì)如白板和名片那樣被拍攝體 為矩形、且矩形輪廓可被提取的攝像圖像進(jìn)行校正的模式；且校正之 后的圖像為只有上面的輪廓之內(nèi)的圖像，而輪廓之外的圖像則全部被 刪除。直線部提取校正模式中的雙向校正模式也是一種對(duì)如大廈等那 樣矩形部的輪廓可被提取的攝像圖像進(jìn)行校正的模式。另一方面，直 線部提取校正模式中的縱向校正模式和橫向校正模式是一種對(duì)如大廈 等那樣的被拍攝體為非矩形、需要提取直線部作為輪廓來(lái)進(jìn)行校正的 攝像圖像，或者由于圖像只發(fā)生了單方向失真而只需要單方向校正， 或者為了保持圖像的立體感而由攝像者自己決定只需要單方向校正進(jìn) 行校正的模式；另外，直線部提取校正模式與矩形部提取校正模式不 同的是，通過(guò)本模式校正后的圖像為，盡量保留原來(lái)圖像中的所有信 息如除了建筑之外的風(fēng)景或人像等；所以，矩形部校正模式主要用在 白板或者名片等文字信息的攝影場(chǎng)合，而直線部提取校正模式則用在 建筑等風(fēng)景的攝影場(chǎng)合。在校正模式選擇畫(huà)面顯示處理(步驟S115)中，在矩形部提取校 正模式被攝像者選擇的情況下(步驟S120)，校正控制單元16使輪廓 檢索單元11執(zhí)行從變換為縮小像素?cái)?shù)的校正對(duì)象圖像中檢索輪廓直 線的輪廓直線檢索處理，并執(zhí)行輪廓直線識(shí)別判斷處理，判斷從校正 對(duì)象圖像中能否識(shí)別由構(gòu)成矩形的四邊組成的輪廓直線(步驟S200)。在該輪廓直線識(shí)別判斷處理(步驟S200)中，在輪廓檢索單元11能 夠識(shí)別輪廓直線的情況下，校正控制單元16執(zhí)行端點(diǎn)信息保存處理， 將被檢索的多個(gè)輪廓直線的端點(diǎn)作為端點(diǎn)信息保存在主存儲(chǔ)單元6中 (步驟S510)。另外，在輪廓直線識(shí)別判斷處理(步驟S200)中，在 輪廓檢索單元11不能識(shí)別輪廓直線的情況下，校正控制單元16使顯 示單元4顯示不能進(jìn)行校正的顯示，執(zhí)行出錯(cuò)處理，結(jié)束校正(步驟 S150)。在端點(diǎn)信息保存處理(步驟S510)之后，如圖4(a)所示，輪廓 直線選擇單元25使顯示單元4以點(diǎn)來(lái)顯示形成輪廓直線候選的多條直 線的端點(diǎn)信息，同時(shí)在這些多個(gè)端點(diǎn)信息中選擇端點(diǎn)間隔最長(zhǎng)的端點(diǎn) 信息，將該選擇的端點(diǎn)信息的端點(diǎn)間隔作為輪廓直線的最優(yōu)候選來(lái)描 繪直線而顯示。另外，如圖4 (b)所示，輪廓直線選擇單元25執(zhí)行 下述的顯示切換處理(步驟S515 )以使攝像者選擇形成被拍攝體輪廓 的直線，即，如果上下按鈕被攝像者操作，則執(zhí)行顯示切換處理(步 驟S515):在橫向上將當(dāng)前描繪的連接預(yù)定端點(diǎn)間隔的紅色直線切換 為描繪連接其它端點(diǎn)間隔的紅色直線的顯示，將其顯示在顯示單元4 中；如果左右按鈕被攝像者操作，則執(zhí)行顯示切換處理(步驟S515): 在縱向上將當(dāng)前描繪的連接預(yù)定端點(diǎn)間隔的綠色直線切換為描繪連接 其它端點(diǎn)間隔的綠色直線的顯示，將其顯示在顯示單元4中。在直線顯示切換處理之后(步驟S515),校正控制單元16執(zhí)行 OK按鈕判斷處理，判斷OK按鈕是否被攝像者按壓(步驟S550),如 果判斷為OK按鈕被按壓，則執(zhí)行縮小像素?cái)?shù)圖像校正顯示處理，在 縮小像素?cái)?shù)為320*240的像素的圖像中進(jìn)行失真校正，將失真校正后 的圖像以縮小像素?cái)?shù)原樣顯示在顯示單元4的整個(gè)畫(huà)面上(步驟 S600 )。在縮小像素?cái)?shù)圖像校正顯示處理(步驟S600)之后，校正控制單 元16執(zhí)行OK按鈕判斷處理(步驟S710)，在判斷為OK按鈕被按壓 的情況下，如圖5所示，執(zhí)行保存方式選擇畫(huà)面顯示處理，將"覆蓋保 存"、"另存"、"取消，，的圖標(biāo)作為保存方式選擇畫(huà)面顯示在顯示單元4 中(步驟S720 )。另外，在OK按鈕判斷處理(步驟S550，步驟S710)中，在OK 按鈕未被按壓的情況下，如果菜單按鈕被按壓或者在什么都沒(méi)有做的 狀態(tài)下經(jīng)過(guò)1分鐘(步驟S555 ),則校正控制單元16返回校正模式選 擇畫(huà)面顯示處理(步驟S115)。在保存方式選擇畫(huà)面顯示處理(步驟S720)之后，校正控制單元 16執(zhí)行對(duì)攝像者選擇哪個(gè)圖標(biāo)進(jìn)行判斷的選擇圖標(biāo)判斷處理(步驟 S730)。另外，在校正了攝像時(shí)的像素?cái)?shù)的圖像后，根據(jù)在選擇圖標(biāo)判 斷處理(步驟S730)中判斷的保存方式，執(zhí)行原圖像校正保存處理， 將校正后的圖像保存到輔助存儲(chǔ)單元7(步驟S800)，返回圖像顯示處 理(步驟S105)。另外，在選擇圖標(biāo)判斷處理(步驟S730)中，在"取 消，，圖標(biāo)被攝像者選擇的情況下，校正控制單元16執(zhí)行校正模式選擇 畫(huà)面顯示處理(步驟S115)。在校正模式選擇畫(huà)面顯示處理(步驟S115)中，在直線部提取校 正模式被攝像者選擇的情況下(步驟S125)，為了從雙向校正模式、 縱向校正模式、橫向校正模式中選擇校正方式，校正控制單元16執(zhí)行 校正方式選擇畫(huà)面顯示處理，將4交正方式選擇畫(huà)面顯示在顯示單元4 上(步驟S130)。在校正方式選擇畫(huà)面顯示處理(步驟S130)中，在雙向校正^皮攝 像者選擇的情況下(步驟S135 )，校正控制單元16使輪廓檢索單元11 執(zhí)行從變換為縮小像素?cái)?shù)的校正對(duì)象圖像中檢索輪廓直線的輪廓直線 檢索處理，并執(zhí)行輪廓直線識(shí)別判斷處理，對(duì)從校正對(duì)象圖像中能否 識(shí)別縱向和橫向的輪廓直線進(jìn)行判斷(步驟S300)。在該輪廓直線識(shí) 別判斷處理(步驟S300)中，在輪廓檢索單元11能夠識(shí)別輪廓直線 的情況下，校正控制單元16執(zhí)行端點(diǎn)信息保存處理，將檢索的多個(gè)輪 廓直線的端點(diǎn)作為端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S520)。另 外，在輪廓直線識(shí)別判斷處理(步驟S300)中，在輪廓檢索單元11 不能識(shí)別輪廓直線的情況下，校正控制單元16執(zhí)行出錯(cuò)處理(步驟 S150)。在端點(diǎn)信息保存處理(步驟S520)之后，如圖6 (a)所示，輪廓 直線選擇單元25使顯示單元4以點(diǎn)來(lái)顯示成為候選的輪廓直線的多條直線的端點(diǎn)信息，同時(shí)從這些端點(diǎn)信息中選擇端點(diǎn)間距最長(zhǎng)的端點(diǎn)信 息，將該選擇的端點(diǎn)信息的端點(diǎn)間隔作為輪廓直線的 一個(gè)候選來(lái)描繪直線而顯示。另外，如圖6 (b)所示，輪廓直線選擇單元25執(zhí)行下 述的顯示切換處理(步驟S525 )以使攝像者選擇作為校正基準(zhǔn)的直線， 即，如果上下按鈕被攝像者操作，則執(zhí)行顯示切換處理(步驟S525 ): 在橫向上將當(dāng)前描繪的連接預(yù)定端點(diǎn)間隔的紅色直線切換到描繪連接 其它端點(diǎn)間隔的紅色直線的顯示，將其顯示在顯示單元4中；如果左 右按鈕被攝像者操作，則執(zhí)行顯示切換處理(步驟S525 ):在縱向上 將當(dāng)前被描繪的連接預(yù)定端點(diǎn)間隔的綠色直線切換到描繪連接其它端 點(diǎn)間隔的綠色直線的顯示，將其顯示在顯示單元4中。直線顯示切換處理之后(步驟S525 ),與矩形部提取校正模式相 同，校正控制單元16按照0K按鈕判斷處理(步驟S550)、縮小像素 數(shù)圖像校正顯示處理(步驟S600)、 OK按鈕判斷處理(步驟S710)、 保存方式選擇畫(huà)面顯示處理(步驟S720)、選擇圖標(biāo)判斷處理(步驟 S730)、原圖像校正保存處理(步驟S800)的順序執(zhí)行各處理。另外，在校正方式選擇畫(huà)面顯示處理(步驟S130)中，在縱向校 正模式被攝像者選擇的情況下(步驟S140)，校正控制單元16使輪廓 檢索單元11執(zhí)行從變換為縮小像素?cái)?shù)的校正對(duì)象圖像中檢索縱向的 輪廓直線的輪廓直線檢索處理，并執(zhí)行輪廓直線識(shí)別判斷處理，判斷 從校正對(duì)象圖像中能否識(shí)別縱向的輪廓直線(步驟S400)。在該輪廓 直線識(shí)別判斷處理(步驟S400)中，在輪廓檢索單元11能夠識(shí)別縱 向的輪廓直線的情況下，校正控制單元16執(zhí)行端點(diǎn)信息保存處理，將 檢索的多個(gè)輪廓直線的端點(diǎn)作為端點(diǎn)信息保存在主存儲(chǔ)單元6中(步 驟S530 )。另外，在輪廓直線識(shí)別判斷處理(步驟S400)中，在輪廓 檢索單元11不能識(shí)別輪廓直線的情況下，校正控制單元16執(zhí)行出錯(cuò) 處理(步驟S150)。在端點(diǎn)信息保存處理(步驟S530)之后，如圖7 (a)所示，輪廓 直線選擇單元25 4吏顯示單元4以點(diǎn)來(lái)顯示成為候選的輪廓直線的縱向 直線的端點(diǎn)信息，同時(shí)從這些端點(diǎn)信息中選擇端點(diǎn)間距最長(zhǎng)的端點(diǎn)信 息，將該選擇的端點(diǎn)信息的端點(diǎn)間隔作為輪廓直線的一個(gè)候選來(lái)描繪并顯示。另外，如圖7(b)所示，如果左右按鈕被攝像者操作，則輪 廓直線選擇單元25執(zhí)行顯示切換處理(步驟S535 ):從當(dāng)前被描繪的 連接預(yù)定的端點(diǎn)間隔的綠色直線切換到描繪連接其它端點(diǎn)間隔的綠色 直線的顯示，將其顯示在顯示單元4中，使攝像者選擇作為校正基準(zhǔn) 的直線。在直線顯示切換處理之后(步驟S535 )，與上述各校正模式相同， 校正控制單元16按照OK按鈕判斷處理(步驟S550)、縮小像素?cái)?shù)圖 像校正顯示處理(步驟S600)、 OK^姿鈕判斷處理(步驟S710)、保存 方式選擇畫(huà)面顯示處理(步驟S720)、選擇圖標(biāo)判斷處理(步驟S730)、 原圖像校正保存處理(步驟S800)的順序執(zhí)行各處理。而且，在校正方式選擇畫(huà)面顯示處理(步驟S130)中，在橫向校 正模式被攝像者選擇的情況下(步驟S145 )，校正控制單元16使輪廓 檢索單元11執(zhí)行從變換為縮小像素?cái)?shù)的校正對(duì)象圖像中檢索橫向的 輪廓直線的輪廓直線檢索處理，并執(zhí)行輪廓直線識(shí)別判斷處理，對(duì)從 校正對(duì)象圖像中能否識(shí)別橫向的輪廓直線進(jìn)行判斷(步驟S450)。在 該輪廓直線識(shí)別判斷處理(步驟S450)中，在輪廓檢索單元11能夠 識(shí)別橫向的輪廓直線的情況下，校正控制單元16執(zhí)行將檢索的多個(gè)輪 廓直線的端點(diǎn)作為端點(diǎn)信息保存在主存儲(chǔ)單元6中的端點(diǎn)信息保存處 理(步驟S540)。另外，在輪廓直線識(shí)別判斷處理(步驟S450)中， 在輪廓檢索單元11不能識(shí)別輪廓直線的情況下，校正控制單元16執(zhí) 行出錯(cuò)處理(步驟S150)。在端點(diǎn)信息保存處理(步驟S540)之后，如圖8 (a)所示，輪廓 直線選擇單元25使顯示單元4以點(diǎn)來(lái)顯示成為候選的輪廓直線的橫向 直線的端點(diǎn)信息，同時(shí)從這些端點(diǎn)信息中選擇端點(diǎn)間距最長(zhǎng)的端點(diǎn)信 息，將該選擇的端點(diǎn)信息的端點(diǎn)間隔作為輪廓直線的 一 個(gè)候選來(lái)描繪 直線而顯示。另外，如圖8(b)所示，如果上下按鈕被攝像者操作， 則輪廓直線選擇單元25執(zhí)行顯示切換處理(步驟S545 ):從當(dāng)前被顯 示的連接預(yù)定端點(diǎn)間隔的紅色直線切換到描繪連接其它端點(diǎn)間隔的紅 色直線的顯示，將其顯示在顯示單元4中，使攝像者選擇作為校正基 準(zhǔn)的直線。在直線顯示切換處理之后(步驟S545 )，與上述各校正模式相同， 校正控制單元16按照OK按鈕判斷處理(步驟S550)、縮小像素?cái)?shù)圖 像校正顯示處理(步驟S600)、 OK按鈕判斷處理(步驟S710)、保存 方式選擇畫(huà)面顯示處理(步驟S720)、選擇圖標(biāo)判斷處理(步驟S730)、 原圖像校正保存處理(步驟S800)的順序執(zhí)行各處理。下面，使用圖9的流程圖對(duì)圖3中的矩形部提取校正模式時(shí)的輪 廓直線識(shí)別判斷處理(步驟S200)進(jìn)行描述。校正控制單元16執(zhí)行 如下處理像素?cái)?shù)縮小處理，使像素?cái)?shù)變換單元21將作為校正對(duì)象的 攝像圖像變換為320*240像素的縮小像素?cái)?shù)圖像(步驟S201 );色彩 空間變更處理，使色彩空間變換單元22將縮小像素?cái)?shù)的圖像的色彩空 間變換為YUV形式(步驟S204);和橫向分割處理，使分割單元23 在橫向上三等分分割該圖像(步驟S206)。在橫向分割處理(步驟S206)之后，校正控制單元16首先設(shè)置 Flag-0，使直線檢索單元24檢索在校正對(duì)象圖像的左側(cè)1/3區(qū)域內(nèi)長(zhǎng) 度為圖像高度的1/3以上的直線，執(zhí)行左區(qū)域直線識(shí)別判斷處理，判 斷能否識(shí)別成為對(duì)象的直線(步驟S208)。在該左區(qū)域直線識(shí)別判斷 處理(步驟S208)中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正 控制單元16執(zhí)行左區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為 輪廓直線的候選，并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步 驟S210)。另外，在左區(qū)域直線識(shí)別判斷處理(步驟S208 )中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，4交正控制單元16凈丸4于Flag加1的Flag 加法處理(步驟S214),釆用圖像的左框作為輪廓直線，并執(zhí)行左區(qū) 域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S210)。另外，校正控制單元16使直線檢索單元24檢索在校正對(duì)象圖像 的右側(cè)1/3區(qū)域內(nèi)長(zhǎng)度為圖像高度的1/3以上的直線，執(zhí)行右區(qū)域直線 識(shí)別判斷處理，判斷能否識(shí)別成為對(duì)象的直線(步驟S212)。在該右 區(qū)域直線識(shí)別判斷處理(步驟S212)中判斷為能夠識(shí)別成為對(duì)象的直 線的情況下，校正控制單元16執(zhí)行右區(qū)域直線保存處理，將識(shí)別的一 條或多條直線作為候選的輪廓直線，并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S216)。然后，校正控制單元16執(zhí)行縱向分割處 理，使分割單元23在縱向上三等分分割該圖像(步驟S218)。另外，在右區(qū)域直線識(shí)別判斷處理(步驟S212)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag 加法處理(步驟S220)，并執(zhí)行Flag判斷處理，判斷Flag的總和是否 未超過(guò)2 (步驟S222 )。在該Flag判斷處理(步驟S222 )中Flag的總 和超過(guò)2的情況下，校正控制單元16執(zhí)行出錯(cuò)處理(步驟S224),在 Flag的總和為1以下的情況下，采用圖像的右框作為輪廓直線，并執(zhí) 行右區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S216)。在縱向分割處理(步驟S218)之后，校正控制單元16使直線檢 索單元24檢索能否識(shí)別在上側(cè)1/3區(qū)域內(nèi)長(zhǎng)度為圖像寬度的1/3以上 的直線，執(zhí)行上區(qū)域直線識(shí)別判斷處理，判斷能否識(shí)別成為對(duì)象的直 線(步驟S226)。在該上區(qū)域直線識(shí)別判斷處理中判斷為能夠識(shí)別成 為對(duì)象的直線的情況下，校正控制單元16執(zhí)行上區(qū)域直線保存處理， 將識(shí)別的 一條或多條直線作為輪廓直線的候選，并將該直線的端點(diǎn)信 息保存在主存儲(chǔ)單元6中(步驟S228 )。另外，在上區(qū)域直線識(shí)別判斷處理(步驟S226)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag 加法處理(步驟S232 )，并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S234)。在該Flag判斷處理(步驟S234 )中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行出錯(cuò)處理(步驟S224)， 在Flag的總和為1以下的情況下，采用圖像的上框作為輪廓直線，并 執(zhí)行上區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S228 )。另外，在上區(qū)域直線保存處理(步驟S228)之后，校正控制單元 16使直線檢索單元24檢索能否識(shí)別在下側(cè)1/3區(qū)域內(nèi)長(zhǎng)度為圖像寬度 的1/3以上的直線，執(zhí)行下區(qū)域直線識(shí)別判斷處理，判斷能否識(shí)別成 為對(duì)象的直線(步驟S230)。在該下區(qū)域直線識(shí)別判斷處理中判斷為 能夠識(shí)別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行下區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為輪廓直線的候選，并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S236)。另外，在下區(qū)域直線識(shí)別判斷處理(步驟S230 )中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag力。1的Flag 加法處理(步驟S238 )，并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S240 )。在該Flag判斷處理(步驟S240 )中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行錯(cuò)誤處理(步驟S224), 在Flag的總和為1以下的情況下，采用圖像的下框作為輪廓直線，并 執(zhí)行下區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S236)。也就是說(shuō)，矩形部提取校正模式中的輪廓直線識(shí)別判斷處理是一 種下述的處理在由上下端部的1/3的區(qū)域和左右端部的1/3區(qū)域形成 的各四個(gè)區(qū)域中，在三個(gè)以上的區(qū)域內(nèi)能夠識(shí)別具有預(yù)定長(zhǎng)度以上的長(zhǎng)度的直線的情況下可以進(jìn)行校正。但是，在四個(gè)區(qū)域內(nèi)，在兩個(gè)以 上的區(qū)域內(nèi)不能識(shí)別具有預(yù)定長(zhǎng)度以上的長(zhǎng)度的直線的情況下，不能 進(jìn)行校正，從而選擇其他的校正模式。該矩形部提取校正模式在被拍攝體在攝像圖像整體中所占的比例 大的情況下，也就是說(shuō)，在對(duì)如名片和白板這樣的被拍攝體的圖像進(jìn) 行校正的情況下是一種優(yōu)秀的模式，而對(duì)于被拍攝體在攝像圖像整體 中所占的比例小的情況下的校正是一種不適合的模式。另外，在結(jié)束了輪廓直線識(shí)別判斷處理(步驟S200)后，校正控 制單元16將識(shí)別的多條直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S510)，使顯示單元4以點(diǎn)來(lái)顯示所識(shí)別的多條直線的端點(diǎn)信息，輪廓 直線選擇單元25在四個(gè)區(qū)域的各區(qū)域中自動(dòng)地選擇所識(shí)別的直線中 長(zhǎng)度最長(zhǎng)的直線，以直線描繪和顯示所選擇的端點(diǎn)間隔(步驟S515)。使用圖IO的流程圖對(duì)圖3所示的雙向校正模式時(shí)的輪廓直線識(shí)別 判斷處理(步驟S300)進(jìn)行描述。校正控制單元16執(zhí)行像素?cái)?shù)縮小 處理，在像素?cái)?shù)變換單元21中將校正對(duì)象的攝像圖像變換為320*240 像素的縮小像素?cái)?shù)圖像(步驟S301),執(zhí)行色彩空間變更處理，使色 彩空間變換單元22將縮小像素?cái)?shù)的圖像的色彩空間變換為YUV形式(步驟S304)，和執(zhí)行橫向分割處理，使分割單元23在橫向上二等分 分割該圖像(步驟S306 )。在橫向分割處理(步驟S306)之后，校正控制單元16首先設(shè)置 Flag = 0，使直線檢索單元24檢索在校正對(duì)象圖像的左半部分的區(qū)域 內(nèi)長(zhǎng)度為圖像高度的1/4以上的直線，執(zhí)行左區(qū)域直線識(shí)別判斷處理， 判斷能否識(shí)別成為對(duì)象的直線(步驟S308)。在該左區(qū)域直線識(shí)別判 斷處理(步驟S308 )中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校 正控制單元16執(zhí)行左區(qū)域直線保存處理，將識(shí)別的 一條或多條直線作 為輪廓直線的候選，并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步 驟S310)。另外，在左區(qū)域直線識(shí)別判斷處理(步驟S308 )中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag 加法處理(步驟S314)，采用圖像的左框作為輪廓直線，并執(zhí)行左區(qū) 域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S310)。另外，在左區(qū)域直線保存處理(步驟S310)之后，校正控制單元 16使直線檢索單元24檢索在校正對(duì)象圖像的右半部分的區(qū)域內(nèi)長(zhǎng)度 為圖像高度的1/4以上的直線，執(zhí)行右區(qū)域直線識(shí)別判斷處理，判斷 能否識(shí)別成為對(duì)象的直線(步驟S312)。在該右區(qū)域直線識(shí)別判斷處 理中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行 右區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為輪廓直線的候選 并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S316)。然后， 校正控制單元16執(zhí)行使分割單元23在縱向上二等分分割該圖像的縱 向分割處理(步驟S318)。另外，在右區(qū)域直線識(shí)別判斷處理(步驟S312)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag力。1的Flag 加法處理(步驟S320 ),并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S322)。在該Flag判斷處理(步驟S322 )中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行出錯(cuò)處理(步驟S324)， 在Flag的總和為l以下的情況下，采用圖像的右框作為輪廓直線，并 執(zhí)行右區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S316)。
在縱向分割處理(步驟S318)之后，校正控制單元16使直線檢 索單元24檢索能否識(shí)別在上半部分區(qū)域內(nèi)長(zhǎng)度為圖像寬度的1/6以上 的直線，執(zhí)行上區(qū)域直線識(shí)別判斷處理，判斷能否識(shí)別成為對(duì)象的直 線(步驟S326)。在該上區(qū)域直線識(shí)別判斷處理(步驟S326)中判斷 為能夠識(shí)別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行上區(qū)域直 線保存處理，將識(shí)別的一條或多條直線作為輪廓直線的候選并將該直 線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S328 )。
另外，在上區(qū)域直線識(shí)別判斷處理(步驟S326)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag 加法處理(步驟S332 ),并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S334)。在該Flag判斷處理(步驟S334)中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行錯(cuò)誤處理(步驟S324 )， 在Flag的總和為1以下的情況下，采用圖像的上框作為輪廓直線，并 執(zhí)行上區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S328)。
另外，在上區(qū)域直線保存處理(步驟S328 )之后，校正控制單元 16使直線檢索單元24檢索能否識(shí)別在下半部分區(qū)域內(nèi)長(zhǎng)度為圖像寬 度的1/6以上的直線，執(zhí)行能否識(shí)別成為對(duì)象的直線的下區(qū)域直線識(shí) 別判斷處理(步驟S330 )。在該下區(qū)域直線識(shí)別判斷處理(步驟S330) 中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行下 區(qū)域直線保存處理，將識(shí)別的 一條或多條直線作為輪廓直線的候選并 將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S336)。另外，在下區(qū)域直線識(shí)別判斷處理(步驟S330)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag 加法處理(步驟S338 ),并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S340)。在該Flag判斷處理(步驟S340)中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行錯(cuò)誤處理(步驟S324), 在Flag的總和為1以下的情況下，采用圖像的下框作為輪廓直線，并 執(zhí)行下區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S336 )。也就是說(shuō)，直線部提取校正模式的雙向校正模式中的輪廓直線識(shí) 別判斷處理是一種下述的處理在由圖像的上下半部分的區(qū)域和圖像 的左右半部分的區(qū)域形成的四個(gè)區(qū)域中，在三個(gè)以上的區(qū)域內(nèi)能夠識(shí) 別預(yù)定長(zhǎng)度以上的直線的情況下可以進(jìn)行校正，但是，在四個(gè)區(qū)域內(nèi)， 在兩個(gè)以上的區(qū)域內(nèi)不能識(shí)別預(yù)定長(zhǎng)度以上的直線的情況下，不能進(jìn) 行校正，從而選擇其他的校正才莫式。如果對(duì)該矩形部提取校正才莫式和直線部提取校正才莫式的雙向校正模式進(jìn)行比較，則在直線部提取校正模式的雙向校正模式中，由于如 果在圖像的上下半部分和左右半部分的區(qū)域內(nèi)能夠識(shí)別預(yù)定長(zhǎng)度以上 的直線就可以進(jìn)行校正，所以即使在攝像圖像整體中被拍攝體所占的 比例小的情況下也可以進(jìn)行校正，在被拍攝體為大廈等的情況下這種 模式具有優(yōu)勢(shì)。另外，在結(jié)束了輪廓直線識(shí)別判斷處理(步驟S300)后，校正控 制單元16將識(shí)別的多條直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S520)，使顯示單元4以點(diǎn)來(lái)顯示所識(shí)別的多條直線的端點(diǎn)信息，輪廓 直線選擇單元25在四個(gè)區(qū)域的各區(qū)域中自動(dòng)地選擇所識(shí)別的直線中 長(zhǎng)度最長(zhǎng)的直線作為輪廓直線的最優(yōu)的候選，以直線描繪并顯示端點(diǎn) 間隔(步驟S525 )。下面，使用圖11的流程圖對(duì)圖3所示的縱向校正模式中的輪廓直 線識(shí)別判斷處理(步驟S400)進(jìn)行描述。校正控制單元16執(zhí)行如下 處理像素?cái)?shù)縮小處理，使像素?cái)?shù)變換單元21將校正對(duì)象的攝像圖像 變換為320*240像素的縮小像素?cái)?shù)圖像(步驟S401 );色彩空間變更 處理，使色彩空間變換單元22將縮小像素?cái)?shù)的圖像的色彩空間變換為 YUV形式(步驟S404);和橫向分割處理，使分割單元23在橫向上 二等分分割該圖像(步驟S406)。在橫向分割處理(步驟S406)之后，校正控制單元16首先設(shè)置 Flag = 0,使直線檢索單元24檢索在校正對(duì)象圖像的左半部分的區(qū)域 內(nèi)長(zhǎng)度為圖像高度的1/4以上的直線，并執(zhí)行左區(qū)域直線識(shí)別判斷處 理，判斷能否識(shí)別成為對(duì)象的直線(步驟S408 )。在該左區(qū)域直線識(shí)別判斷處理(步驟S408 )中判斷為能夠識(shí)別成為對(duì)象的直線的情況下， 校正控制單元16執(zhí)行左區(qū)域直線保存處理，將識(shí)別的一條或多條直線 作為輪廓直線的候選并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中 (步驟S410)。另外，在左區(qū)域直線識(shí)別判斷處理(步驟S408)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag力口 1的Flag 加法處理(步驟S414)，釆用圖像的左框作為輪廓直線，并執(zhí)行左區(qū) 域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S410)。另外，在左區(qū)域直線保存處理(步驟S410)中，校正控制單元16 使直線檢索單元24檢索在校正對(duì)象圖像的右半部分的區(qū)域內(nèi)長(zhǎng)度為 圖像高度的1/4以上的直線，執(zhí)行右區(qū)域直線識(shí)別判斷處理，判斷能 否識(shí)別成為對(duì)象的直線(步驟S412)。在該右區(qū)域直線識(shí)別判斷處理 (步驟S412)中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正控制 單元16執(zhí)行右區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為輪廓 直線的候選，并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S416),結(jié)束輪廓直線識(shí)別判斷處理。另外，在右區(qū)域直線識(shí)別判斷處理(步驟S412)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag力口 1的Flag 加法處理(步驟S418 )，并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S420)。在該Flag判斷處理(步驟S420)中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行出錯(cuò)處理(步驟S422)， 在Flag的總和為1以下的情況下，采用圖像的右框作為輪廓直線，并 執(zhí)行右區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S416)，結(jié)束輪廓直線識(shí)別判斷處理。也就是說(shuō)，直線部提取校正模式的縱向校正模式中的直線檢索單 元的處理是一種下述的處理在左右半部分的區(qū)域中，在能夠識(shí)別即 使一條在預(yù)定長(zhǎng)度以上的直線的情況下，也能夠進(jìn)行校正，如果對(duì)雙 向校正4莫式和縱向校正4莫式進(jìn)行比較，則在以雙向校正模式進(jìn)行4交正 的情況下，至少在三個(gè)區(qū)域內(nèi)需要預(yù)定長(zhǎng)度以上的直線。但是，在縱 向校正模式中，由于如果在一個(gè)區(qū)域內(nèi)能夠識(shí)別預(yù)定長(zhǎng)度以上的直線就可以進(jìn)行校正，所以是一種適于對(duì)風(fēng)景圖像等進(jìn)行校正的優(yōu)秀模式。 另外，在結(jié)束輪廓直線識(shí)別判斷處理(步驟S400)后，校正控制單元16將識(shí)別的多條直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S530 )，使顯示單元4以點(diǎn)來(lái)顯示所識(shí)別的多條直線的端點(diǎn)信息，輪廓 直線選擇單元25在兩個(gè)區(qū)域的各區(qū)域中自動(dòng)地選擇所識(shí)別的直線中 長(zhǎng)度最長(zhǎng)的直線作為輪廓直線的最優(yōu)的候選，以直線描繪和顯示端點(diǎn) 間隔(步驟S535 )。下面，使用圖12的流程圖對(duì)圖3所示的橫向校正模式中的輪廓直 線識(shí)別判斷處理(步驟S450)進(jìn)行描述。校正控制單元16執(zhí)行像素 數(shù)縮小處理，使像素?cái)?shù)變換單元21將校正對(duì)象的攝像圖像變換為 320*240像素的縮小像素?cái)?shù)圖像(步驟S451 );執(zhí)行色彩空間變換處理， 使色彩空間變換單元22將縮小像素?cái)?shù)的圖像的色彩空間變換為YUV 形式(步驟S454);和執(zhí)行縱向分割處理，使分割單元23在縱向上二 等分分割該圖像(步驟S456)。在縱向分割處理(步驟S456)之后，校正控制單元16首先設(shè)置 Flag = 0，使直線檢索單元24檢索能否識(shí)別在上半部分的區(qū)域內(nèi)長(zhǎng)度 為圖像寬度的1/6以上的直線，執(zhí)行上區(qū)域直線識(shí)別判斷處理，以判 斷能否識(shí)別成為對(duì)象的直線(步驟S458 )。在上區(qū)域直線識(shí)別判斷處 理(步驟S458 )中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正控 制單元16執(zhí)行上區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為輪 廓直線的候選并將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S460 )。在上區(qū)域直線識(shí)別判斷處理(步驟S458 )中判斷為不能識(shí)別成為 對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag加1的Flag加法處 理(步驟S464),采用圖像的上框作為輪廓直線，并執(zhí)行上區(qū)域直線 保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S460)。另外，上區(qū)域直線保存處理(步驟S460)之后，校正控制單元16 使直線檢索單元24檢索能否識(shí)別在下半部分的區(qū)域內(nèi)長(zhǎng)度為圖像寬 度的1/6以上的直線，執(zhí)行能否識(shí)別成為對(duì)象的直線的下區(qū)域直線識(shí) 別判斷處理(步驟S462)。在下區(qū)域直線識(shí)別判斷處理(步驟S462)中判斷為能夠識(shí)別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行下 區(qū)域直線保存處理，將識(shí)別的一條或多條直線作為輪廓直線的候選而將該直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟S466 )。另外，在下區(qū)域直線識(shí)別判斷處理(步驟S462)中判斷為不能識(shí) 別成為對(duì)象的直線的情況下，校正控制單元16執(zhí)行Flag力。1的Flag 加法處理(步驟S468 )，并執(zhí)行判斷Flag的總和是否未超過(guò)2的Flag 判斷處理(步驟S470)。在該Flag判斷處理(步驟S470)中Flag的 總和超過(guò)2的情況下，校正控制單元16執(zhí)行錯(cuò)誤處理(步驟S472 )。 在Flag的總和為l以下的情況下，采用圖像的下框作為輪廓直線，并 執(zhí)行下區(qū)域直線保存處理，將端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S466)，在Flag的總和為1以下的情況下，結(jié)束輪廓直線識(shí)別判斷處 理。也就是說(shuō)，直線部提取校正模式的橫向校正模式中的直線檢索單 元的處理是一種下述的處理在上下半部分的區(qū)域中，在能夠識(shí)別即 使一條在預(yù)定長(zhǎng)度以上的直線的情況下，也能夠進(jìn)行校正，與縱向校 正模式相同，是一種適于對(duì)將風(fēng)景等作為被拍攝體的攝像圖像進(jìn)行校 正的優(yōu)秀模式。另外，在結(jié)束輪廓直線識(shí)別判斷處理(步驟S450)后，校正控制 單元16將識(shí)別的多條直線的端點(diǎn)信息保存在主存儲(chǔ)單元6中(步驟 S540)，使顯示單元4以點(diǎn)來(lái)顯示所識(shí)別的多條直線的端點(diǎn)信息，輪廓 直線選擇單元25在兩個(gè)區(qū)域的各區(qū)域中自動(dòng)地選擇所識(shí)別的直線中 長(zhǎng)度最長(zhǎng)的直線作為輪廓直線的最好的候選，以直線描繪和顯示端點(diǎn) 間隔(步驟S545 )。使用圖13的流程圖對(duì)圖3所示的縮小像素?cái)?shù)圖像校正顯示處理 (步驟S600)進(jìn)行描述。校正控制單元16執(zhí)行縮小像素?cái)?shù)圖像交點(diǎn) 計(jì)算處理，使交點(diǎn)計(jì)算單元31在320*240像素的縮小像素?cái)?shù)的圖像中 計(jì)算識(shí)別的輪廓直線的交點(diǎn)(步驟S601)，并執(zhí)行幾何投影變換公式 計(jì)算處理，使幾何投影變換公式計(jì)算單元32計(jì)算遵循光學(xué)成像原理的 幾何投影變換公式(步驟S605 )。另外，在所有的校正模式中，即使是在一個(gè)區(qū)域中不能識(shí)別輪廓直線的情況下也可以進(jìn)行校正，但是在縮小像素?cái)?shù)圖像交點(diǎn)計(jì)算處理 (步驟S601)中，為了計(jì)算出交點(diǎn)，即使在不能識(shí)別的區(qū)域中也必須 確定預(yù)定的直線。因此，在本實(shí)施方式中，對(duì)于不能識(shí)別的區(qū)域，釆 用相應(yīng)區(qū)域中的圖像的外框作為輪廓直線，來(lái)計(jì)算與其它識(shí)別直線的 交點(diǎn)。另外，在直線部提取校正模式的縱向校正模式中，由于不存在與縱向直線交叉的橫向的直線，所以校正控制單元16將圖像的上下框作 為輪廓直線，通過(guò)交點(diǎn)計(jì)算單元31計(jì)算出與所識(shí)別的縱向直線的交 點(diǎn)。另外，在直線部提取校正模式的橫向校正模式中，由于不存在與 橫向直線交叉的縱向的直線，所以校正控制單元16將圖像的左右框作 為輪廓直線，通過(guò)交點(diǎn)計(jì)算單元31計(jì)算出與所識(shí)別的橫向直線的交 點(diǎn)。另外，校正控制單元16執(zhí)行修整處理，使修整單元33修整作為 圖像中的校正對(duì)象的被拍攝體，并執(zhí)行通過(guò)尺寸調(diào)整單元34對(duì)修整處 理后的圖像進(jìn)行尺寸調(diào)整的尺寸調(diào)整處理(步驟S610)。而且，校正 控制單元16執(zhí)行如下處理整數(shù)化處理，使整數(shù)化單元35對(duì)通過(guò)幾 何投影變換公式導(dǎo)出的數(shù)值進(jìn)行整數(shù)化(步驟S620 );坐標(biāo)變換處理， 通過(guò)使坐標(biāo)變換單元36進(jìn)行坐標(biāo)變換來(lái)校正圖像失真(步驟S630 ); 像素內(nèi)插處理，使像素內(nèi)插單元37內(nèi)插像素(步驟S640 );和校正后 縮小像素?cái)?shù)圖像顯示處理，使校正后的圖像顯示在顯示單元4上(步 驟S690 )。使用圖14的流程圖對(duì)圖3所示的原圖像校正保存處理(步驟 S800)進(jìn)行描述。校正控制單元16執(zhí)行原圖像交點(diǎn)計(jì)算處理，使交點(diǎn) 計(jì)算單元31計(jì)算作為攝像時(shí)像素?cái)?shù)圖像的原圖像中的輪廓直線的交 點(diǎn)(步驟S801)，并執(zhí)行幾何投影變換公式計(jì)算處理，使幾何投影變 換公式計(jì)算單元32計(jì)算遵循光學(xué)成像原理的幾何投影變換公式幾何 投影(步驟S805 )。另外，校正控制單元16執(zhí)行修整處理，使修整單元33對(duì)作為圖 像中的校正對(duì)象的被拍攝體進(jìn)行修整，并執(zhí)行尺寸調(diào)整處理，通過(guò)尺<formula>formula see original document page 24</formula>寸調(diào)整單元34對(duì)修整處理后的圖像進(jìn)行尺寸調(diào)整(步驟S810)。另外， 校正控制單元16執(zhí)行使整數(shù)化單元35對(duì)通過(guò)幾何投影變換公式導(dǎo)出 的數(shù)值進(jìn)行整數(shù)化的整數(shù)化處理(步驟S820)、執(zhí)行通過(guò)使坐標(biāo)變換 單元36進(jìn)行坐標(biāo)變換來(lái)校正圖像失真的坐標(biāo)變換處理(步驟S830 )、 執(zhí)行使像素內(nèi)插單元37內(nèi)插像素的像素內(nèi)插處理(步驟S840 )、執(zhí)行 將校正后的圖像保存在輔助存儲(chǔ)單元7中的校正后原圖像保存處理 (步驟S890)。下面，描述圖13所示的縮小像素?cái)?shù)圖像交點(diǎn)計(jì)算處理(步驟 S60l)。通常，通過(guò)任意的點(diǎn)(;n，n)和(z2,:r2)的直線以算式(1)求解，<formula>formula see original document page 24</formula>所以通過(guò)(n， ;n)和(Z2, y2)的算式和通過(guò)(X3， ;n)和(義4， y4)的算式 為算式(2),<formula>formula see original document page 24</formula>如果通過(guò)該算式(2)求解兩條直線的交點(diǎn)，則為算式(3)，<formula>formula see original document page 24</formula>, …(3)<formula>formula see original document page 24</formula>4)利用該算式(3)，求解圖15(a)所示的四條輪廓直線DlZ)2、 Zl"、i li 2、 "lf/2的交點(diǎn)。如圖15 (b)所示，如果將"l"2和i li 2的交點(diǎn)設(shè) 為W)、將MD2和丄1Z2的交點(diǎn)設(shè)為(x2， J2)、將"丄2和"1"2的交點(diǎn)設(shè) 為("，少3)、將f/l(/2和i li 2的交點(diǎn)設(shè)為("，")，并設(shè)定貝(貝Z，"^)、 D2(D2義，"2y)、丄1(丄1I,丄D0、 Z2(丄2X,丄2y)、 、 i 2(i 2X,i <formula>formula see original document page 24</formula><formula>formula see original document page 25</formula>
y3 = x4 = }4 =
由此，可計(jì)算出各交點(diǎn)的坐標(biāo)。
另外，通過(guò)圖14所示的原圖像交點(diǎn)計(jì)算處理(步驟S801)求解 的原圖像的交點(diǎn)坐標(biāo)，若將攝像時(shí)攝像圖像的像素?cái)?shù)設(shè)為。*6,將原 圖像與320*240像素的縮小像素?cái)?shù)圖像之間的系數(shù)設(shè)為K,則 《=a/320。因此，與在上述圖13的縮小像素?cái)?shù)的圖像的交點(diǎn)計(jì)算處理 (步驟S601 )中求解的輪廓直線的交點(diǎn)相對(duì)應(yīng)的原圖像的輪廓直線的 交點(diǎn)為
<formula>formula see original document page 25</formula>下面，對(duì)由圖13和圖14的幾何投影變換公式計(jì)算單元32進(jìn)行的
幾何投影變換公式計(jì)算處理(步驟S605、步驟805 )中的、幾何投影
變換公式的計(jì)算方法進(jìn)行描述。如圖16所示，在將矩形的被拍攝體中 的四個(gè)頂點(diǎn)坐標(biāo)設(shè)為n，『1) 、 "2("2， F2，『2) 、 53([/3, 『3)、
54("4，^，『4)，將顯示單元4的畫(huà)面中顯示的實(shí)際上成像在攝像傳感 器上的圖像中與該別，^2，53，^4相對(duì)應(yīng)的頂點(diǎn)坐標(biāo)分別設(shè)為 /M(Xl,n，Zl) 、 /iV2(^2，;K2，Z2) 、 /iV3(義3,:n,Z3) 、 /iV4(X4，y4,Z4)時(shí)，因?yàn)?br> 為平面，所以^1 = 22 = 23 = 24 = -/,而且，算式(4) 算式(8)成立。
<formula>formula see original document page 25</formula>(4)<formula>formula see original document page 26</formula>
假設(shè)<formula>formula see original document page 26</formula>，將其代入算式(4) ~算式(8)
進(jìn)行整理，則算式(9)成立。
<formula>formula see original document page 26</formula>在此情況下，設(shè)<formula>formula see original document page 26</formula>，將其代入算式(9)，求出a和b，則
為算式(10)。<formula>formula see original document page 26</formula>
由于拍攝的攝像圖像為平面，所以可設(shè)矩形的被拍攝體的圖像被 校正后顯示為如圖17所示的矩形別們S354,設(shè)立以直線別S2作為x 軸、直線S253作為y軸的坐標(biāo)，在該平面上耳又任意一點(diǎn)Or([/,r) ( C/,r 也可以為負(fù)數(shù))，將矩形部51S25354的高度作為丄，寬度作為H， S = E, 7 =乙，將其應(yīng)用于圖16所示的被拍攝體的矩形部SLB2S3S4，
考慮點(diǎn)or時(shí)，可獲得算式(11)。
<formula>formula see original document page 26</formula>另外，在將與圖16中的被拍攝體的矩形部5152S354上的一點(diǎn)
or(t/，r，r)相對(duì)應(yīng)的4il象圖像上的點(diǎn)設(shè)為/iv(i，y，z)，即設(shè)為/iv(x,;r,-/)
時(shí)，根據(jù)算式(4)可獲得算式(12)。
<formula>formula see original document page 26</formula>根據(jù)算式(11)和算式(12)可獲得算式(13),<formula>formula see original document page 27</formula> …(13)
而且，在算式(4) ~算式(6)、算式(13)中，若設(shè)
<formula>formula see original document page 27</formula>…(14)
在算式(14)中，若設(shè)"=^, 6 = ^，對(duì)S和T進(jìn)行求解，則可獲得 算式(15)。
<formula>formula see original document page 27</formula> (15)
另外，若對(duì)X和Y進(jìn)行求解，則可獲得算式(16)。<formula>formula see original document page 27</formula> (16) 另外，根據(jù)以上的計(jì)算可知，矩形被拍攝體的縱橫比為算式(17)。
<formula>formula see original document page 27</formula> (17)
下面，對(duì)圖13和圖14所示的由修整單元33和尺寸調(diào)整單元34 進(jìn)行的修整處理和尺寸調(diào)整處理(步驟S610、步驟S810)進(jìn)行描述。 此外，由于該處理因矩形部提取校正模式和直線部提取校正模式的不 同而不同，所以各自分別進(jìn)行描述。
在矩形部提取校正模式中，在對(duì)將白板和名片作為被拍攝體的攝 像圖像進(jìn)行校正時(shí)，校正控制單元16使修整單元33在攝像圖像中修 整白板或名片的部分，并刪除其它圖像。然后，校正控制單元16使尺寸調(diào)整單元34將修整后的圖像調(diào)整為與修整前的像素?cái)?shù)相同的像素 數(shù)的圖像。
另夕卜，由于標(biāo)準(zhǔn)的顯示單元4的顯示畫(huà)面的縱一黃比為3 : 4，所以 在對(duì)圖像進(jìn)行尺寸調(diào)整時(shí)，對(duì)通過(guò)算式(17)求解的矩形被拍攝體的 縱橫比L/H和標(biāo)準(zhǔn)的顯示畫(huà)面的縱橫比3/4進(jìn)行比較，在比較的結(jié)果 為矩形被拍攝體的縱橫比L/H比標(biāo)準(zhǔn)的顯示畫(huà)面的縱橫比3/4小的情 況下，如圖18(a)所示，進(jìn)行尺寸調(diào)整以使矩形被拍攝體的橫向長(zhǎng) 度H與顯示畫(huà)面的橫向長(zhǎng)度相同，并在圖像的上下端部插入預(yù)定的背 景色。
另外，相反地，在矩形被拍纟聶體的縱橫比L/H比標(biāo)準(zhǔn)的顯示畫(huà)面 的縱橫比3/4大的情況下，如圖18(b)所示，進(jìn)行尺寸調(diào)整以使矩形 被拍攝體的縱向長(zhǎng)度L與顯示畫(huà)面的縱向長(zhǎng)度相同，并在圖像的左右 端部插入預(yù)定的背景色。
在直線部提取校正模式中，在對(duì)以大廈和風(fēng)景作為被拍攝體的攝 像圖像進(jìn)行校正時(shí)，與將名片等作為被拍攝體的情況不同，由于被拍 攝體是一種不僅利用檢索識(shí)別的直線確定的輪廓內(nèi)部是重要的、而且 輪廓外部也是重要的被拍攝體，所以必須確定如何取得作為修整標(biāo)準(zhǔn) 的四個(gè)頂點(diǎn)，根據(jù)所確定的預(yù)定的四個(gè)頂點(diǎn)使修整單元3 3進(jìn)行修整， 使尺寸調(diào)整單元34進(jìn)行尺寸調(diào)整。
也就是說(shuō)，如圖19 (a)所示，校正控制單元16根據(jù)算式(15) 計(jì)算出與圖像的四個(gè)頂點(diǎn)n, /2， /3, /4相對(duì)應(yīng)的& :r值，根據(jù)計(jì)算出的<s, r 值計(jì)算出Mojc92,S3) 、 Mz'"on,S4)、 Majc(n,r2)、 M/"(r3，:r4),由此獲得與
頂點(diǎn)/1,/2, /3, /4相對(duì)應(yīng)的校正后的如圖19 ( b )所示的頂點(diǎn)01,02,03,04 。 然后，獲得由該校正后的頂點(diǎn)01,02,03,04包圍的區(qū)域內(nèi)的最大矩形區(qū) i或的頂點(diǎn)M l, M 2， M 3， Wo4 。
而且，校正控制單元16根據(jù)算式(16)計(jì)算出與該校正后的頂點(diǎn) 7Vol，7Vo2,A^3，M 4相對(duì)應(yīng)的圖 19 ( a )所示的原圖像的四點(diǎn) M力l， M"2， Mw3， M"4 ，將此四點(diǎn)Mwl, M"2， Mw3, M'"4作為才交正后的圖 <象的頂 點(diǎn)，進(jìn)行與上述的輪廓部提取校正模式的修整處理和尺寸調(diào)整處理相 同的處理。> 下面，對(duì)由如圖13和圖14所示的整數(shù)化單元35進(jìn)行的整數(shù)化處 理(步驟S620、步驟820)進(jìn)行描述。該處理是利用算式(16)的計(jì) 算，但是，為了使攝像裝置計(jì)算用的算式(16)簡(jiǎn)潔，提高運(yùn)算速度， 設(shè)定C1二"2、 C2 = (X1-aX2)、 C3 = (M3-a義2) 、 C4 = (l-a)、 C5 = (6-a)、 C6 = a"、 C7 = (n-a")、 C8二,-W2)而將算式(16)變換為算式(18)。
<formula>formula see original document page 29</formula>
在實(shí)際處理圖像的情況下，由于必須對(duì)每個(gè)像素進(jìn)行處理，所以 在用于算式(18)中的數(shù)值存在小數(shù)點(diǎn)的情況下將給攝像裝置的運(yùn)算 單元帶來(lái)負(fù)擔(dān)。因此，對(duì)主要的數(shù)值進(jìn)行C語(yǔ)言中的int32型的整數(shù) 化處理。然后，通過(guò)幾何投影變換將校正的圖像的縱橫長(zhǎng)度設(shè)為丄,i/， 在圖像中取任意像素力，將S,r的值設(shè)為 〃仏_//Z (0^//, 0^丄)，來(lái) 進(jìn)行Cl ~ C8的整數(shù)化處理的計(jì)算。
在此，由于C2和C8在C1-C8中是較大的數(shù)值，所以校正控制 單元16以/1 =匸2*丄*10/&、 /2二C8承i7"0/A:來(lái)執(zhí)行圖20的流程圖所示 的處理以計(jì)算A:的值。也就是說(shuō)，校正控制單元16以^ = 10來(lái)執(zhí)行是否 為/1〉231或/2〉2"的判斷處理(步驟S622)，在為/1〉231或/2〉2"的情況下， 執(zhí)行yt每次加1的處理(步驟S624),直到/1〉231且/2〉231不成立為止， 通過(guò)循環(huán)進(jìn)行這些處理來(lái)計(jì)算A:的值。然后，使用/1〉23'和/2〉231變?yōu)椴?成立時(shí)的H直，使整數(shù)化單元35執(zhí)行整數(shù)化處理(步驟S626)。
然后，通過(guò)上述的整數(shù)化處理計(jì)算出下述的值
<formula>formula see original document page 29</formula>
另外，然后以o代替s,:r。
下面，對(duì)由如圖13和圖14所示的坐標(biāo)變換單元36進(jìn)行的坐標(biāo)變 換處理(步驟S630、步驟830)進(jìn)行描述。由于通過(guò)當(dāng)前為止的計(jì)算可計(jì)算出與校正的圖像上的任意 一 點(diǎn)or(z', y)相對(duì)應(yīng)的原圖像上的點(diǎn) /AA(義,y)的坐標(biāo)，所以對(duì)于所有的像素，可進(jìn)行計(jì)算與on"力相對(duì)應(yīng)的
原圖像上的點(diǎn)/w(義,y)的坐標(biāo)的校正。
在對(duì)該所有的像素進(jìn)行校正時(shí)，如圖21的流程圖所示，首先執(zhí)行 從!' = 0，) = 0的原點(diǎn)開(kāi)始起將/每次加1的處理(步驟S632)，并執(zhí)行 判斷/值是否達(dá)到z/的數(shù)值的/值判斷處理(步驟S634),在/值判 斷處理(步驟S634)中/值達(dá)到/z的情況下，執(zhí)行y加1而再次使z一O 的處理(步驟S636 ),并執(zhí)行判斷y值是否達(dá)到丄的y值判斷處理(步 驟S638 )。然后，通過(guò)循環(huán)進(jìn)行上述處理直到y(tǒng)值達(dá)到Z為止，來(lái)對(duì)全 部像素進(jìn)行校正。
另外，由于當(dāng)前CCD和CMOS的制造技術(shù)發(fā)達(dá)，存在即使是相 同的顯示畫(huà)面像素?cái)?shù)也不同的攝像裝置，因此以下的變換也是必須的。 假設(shè)像素?cái)?shù)為^4*5 、 CCD或CMOS的尺寸為"i/(mw)、焦距為/(wm), 則在計(jì)算中坐標(biāo)必須乘以i:"或。
下面，對(duì)由如圖13和圖14所示的像素內(nèi)插單元37進(jìn)行的像素內(nèi) 插處理(步驟S640、步驟840)進(jìn)行描述。在圖像中像素單位的坐標(biāo) 為整數(shù)，但是由于以算式(18)計(jì)算的數(shù)值通常帶有小數(shù)點(diǎn)，所以在 單純地對(duì)該帶有小數(shù)點(diǎn)的數(shù)值進(jìn)行整數(shù)化處理來(lái)進(jìn)行圖像變換的情況 下將引起畫(huà)質(zhì)變壞。
因此，將H作為x的整數(shù)部、將W作為x的小數(shù)部分、將[y]作為少 的整數(shù)部、將W作為y的小數(shù)部分，來(lái)進(jìn)行圖22的流程圖所示的處理。 像素內(nèi)插單元37執(zhí)行計(jì)算與07U力相對(duì)應(yīng)的原圖像上的點(diǎn)/7V(;c，力的 坐標(biāo)的處理(步驟S642),在W為0以上且小于1/3的情況下(步驟 S644)，使用[x]作為相應(yīng)的原圖像上的點(diǎn)的橫坐標(biāo)(步驟S646)，在W 為1/3以上且小于2/3的情況下(步驟S648)，同時(shí)使用[x]和[;c + l]作 為相應(yīng)的原圖像上的點(diǎn)的橫坐標(biāo)(步驟S650)，在W為2/3以上且小 于1的情況下(步驟S652)，使用[x + l]作為相應(yīng)的原圖像上的點(diǎn)的橫 坐標(biāo)(步驟S654)。
另外，與x坐標(biāo)相同，在少坐標(biāo)中像素內(nèi)插單元37也執(zhí)行下述步 驟在W為0以上且小于1/3的情況下(步驟S656)，使用W作為相應(yīng)的原圖像上的點(diǎn)的縱坐標(biāo)(步驟S658 ),在W為1/3以上且未超過(guò) 2/3的情況下(步驟S660),同時(shí)使用[y]和[y + l]作為相應(yīng)的原圖像上的 點(diǎn)的縱坐標(biāo)(步驟S662),在W為2/3以上且小于1的情況下(步驟 S664),使用[y + l]作為相應(yīng)的原圖像上的點(diǎn)的縱坐標(biāo)(步驟S666)。
由上面的才黃坐標(biāo)與纟從坐標(biāo)可以組合成 一 點(diǎn)、兩點(diǎn)或者四點(diǎn)的三種 情況；例如，；c = 1.5,y = 1.5,則橫坐標(biāo)為1和2,縱坐標(biāo)為l和2，這樣 ^更組合成四個(gè)點(diǎn)(U),(1,2),(2,1),(2，2)。(也就是i兌，々!/&;c = 1.5，:》; = 1.5 ，貝'J 由于同時(shí)使用[x]和[x + l]的兩個(gè)點(diǎn)作為x值，則義=1,2,由于同時(shí)使用W 和[y + l]的兩個(gè)點(diǎn)也作為y <直，則；;=1,2 ， 對(duì)應(yīng)的坐標(biāo)1奪為 (x ，力=(1,1) , (1,2) , (2 ，1) ， (2 ,2)的四個(gè)點(diǎn)，乂人而與Or(z'，力相乂十應(yīng)的/W(jc,力^1奪 被表示為一點(diǎn)、兩點(diǎn)或者四點(diǎn)的三種點(diǎn)。)
像素內(nèi)插單元37在滿足由這些處理所確定的橫坐標(biāo)或縱坐標(biāo)的 數(shù)值的原圖像中的一點(diǎn)或者兩點(diǎn)或者四點(diǎn)中計(jì)算YUV平均值(步驟 S668 )。該步驟S668中的計(jì)算YUV色彩空間的YUV平均值的算式為 算式(19) ~算式(21)，
<formula>formula see original document page 31</formula>19)
<formula>formula see original document page 31</formula>20)
<formula>formula see original document page 31</formula>21)
在這些算式中，"表示與or(/,y)相對(duì)應(yīng)的原圖像上的/;v(;c,力點(diǎn)的個(gè)數(shù)。 另外，使用從與or(z',y)相對(duì)應(yīng)的/w(x,力的坐標(biāo)計(jì)算的該F,i7,『作為與 or" y)相對(duì)應(yīng)的校正圖像上的點(diǎn)的信息。
通過(guò)上述的失真校正處理，在以矩形部提取校正模式進(jìn)行校正的 情況下，如圖4所示的失真的掛歷的圖像如圖23所示，失真基本消失。 而且，由于進(jìn)行了修整，所以掛歷部分成為被強(qiáng)調(diào)的圖像。
另外，在圖6所示的被拍攝體為橫長(zhǎng)的建筑物、且以直線部提取 校正模式的雙向校正模式對(duì)失真的攝像圖像進(jìn)行校正的情況下，如圖
24所示，對(duì)被拍攝體的圖像依據(jù)計(jì)算的縱橫比進(jìn)行修整和尺寸調(diào)整，以使其與圖像框的寬度相同，從而變成失真被校正的圖像。
而且，在以直線部提取校正對(duì)莫式的縱向校正模式進(jìn)行校正的情況
下，對(duì)于如圖7所示的失真的大廈的圖像，如圖25所示，對(duì)被拍攝體
的圖像依據(jù)計(jì)算的縱橫比進(jìn)行修整和尺寸調(diào)整以使其與攝像框的高度
相同，從而變成失真被校正的圖像。而且，如圖26(a)所示的失真 的名片的圖像也可以如圖26 (b)所示地對(duì)失真進(jìn)行校正，名片部分 被修整而變成被強(qiáng)調(diào)的圖像，同時(shí)被拍攝體圓的失真的圖像也變回圓形。
根據(jù)本實(shí)施方式的攝像裝置，由于輪廓直線選擇單元25從檢索自 圖像中的多條直線之中選擇輪廓直線最優(yōu)的候選，所以能夠進(jìn)行不需 要攝像者操作的失真的校正。另一方面，在攝像者對(duì)輪廓直線的候選 進(jìn)行變更的情況下，能夠分別在縱向和橫向上選擇輪廓直線的候選， 例如在選擇縱向的輪廓直線后選擇橫向的輪廓直線，所以即使在存在 多個(gè)輪廓直線的候選的情況下，與從多個(gè)矩形的輪廓中選擇候選的情 況相比也能夠減少操作的數(shù)量。
例如，在縱向上有四條輪廓直線的候選，4黃向上也有四條輪廓直 線的候選的情況下，在從多個(gè)矩形的輪廓中選擇候選的情況下由于存 在16種矩形輪廓，所以最多需要進(jìn)行16次操作，但是通過(guò)如本實(shí)施 例那樣分別選擇縱向和橫向，那么以縱向4次、橫向4次最多8次操 作就可以完成選擇輪廓直線候選。
另外，由于分顏色顯示縱向的輪廓直線候選和橫向的輪廓直線候 選，所以即使在攝像裝置1具有的小的液晶顯示畫(huà)面中也可以容易辨 別輪廓直線的候選。
由于以320*240像素的縮小像素?cái)?shù)的圖像校正攝像圖像，所以在 攝像者一邊觀察顯示在顯示單元4上的圖像一邊操作圖標(biāo)時(shí)，數(shù)據(jù)的 計(jì)算量變小，計(jì)算所需的像素?cái)?shù)減少，處理上不花費(fèi)時(shí)間。因此，校 正過(guò)程中的計(jì)算時(shí)的待機(jī)時(shí)間幾乎不存在，攝像者能夠舒適地使用攝 像裝置1。
另外，在以縮小像素?cái)?shù)的圖像進(jìn)行校正后，由于對(duì)原圖像中相對(duì) 應(yīng)的坐標(biāo)進(jìn)行計(jì)算來(lái)進(jìn)行校正，所以與從起初在原圖像中進(jìn)行校正相比，計(jì)算變得簡(jiǎn)單。而且，由于根據(jù)光學(xué)成像原理計(jì)算幾何投影變換 公式來(lái)進(jìn)行校正，所以計(jì)算也變得容易。進(jìn)一步地，在進(jìn)行幾何投影 變換單元的數(shù)值的整數(shù)化處理后通過(guò)坐標(biāo)變換進(jìn)行圖像的校正，所以 不需要進(jìn)行小數(shù)點(diǎn)以下的計(jì)算，運(yùn)算單元承擔(dān)的負(fù)擔(dān)小，即使以內(nèi)置 于小型攝像裝置中的運(yùn)算單元也可以容易地進(jìn)行計(jì)算。
而且，由于最后進(jìn)行像素內(nèi)插處理，所以校正后的圖像的畫(huà)質(zhì)良 好，而且，由于對(duì)被拍攝體進(jìn)行修整來(lái)校正，所以被拍攝體較大地顯 示在顯示畫(huà)面上，能夠提供容易看見(jiàn)的攝像圖像。
另外，本發(fā)明并不限于上述的實(shí)施方式，例如，在將攝像圖像變
換為320*240像素的變換單元中縮小圖像的像素?cái)?shù)不限于320*240， 根據(jù)DSP (Digital Signal Processor:數(shù)字信號(hào)處理器)的計(jì)算能力也 可以為小的像素?cái)?shù)，也可以為大的像素?cái)?shù)。另外，由圖像分割單元進(jìn) 行的圖像分割處理雖然在本實(shí)施例中是進(jìn)行二等分或者三等分，但是 并不限于此。另外，檢索輪廓直線時(shí)的條件雖然在本實(shí)施例中是使用 圖像的縱橫長(zhǎng)度的1/2或者1/3等，但是該條件并不限于此。
權(quán)利要求
1. 攝像裝置，其特征在于，包括攝像單元，對(duì)被拍攝體進(jìn)行攝像；顯示單元，顯示所攝像的攝像圖像；主控制單元，對(duì)各種處理操作進(jìn)行控制；失真校正單元，對(duì)攝像圖像的失真進(jìn)行校正；主存儲(chǔ)單元，保存由所述攝像單元拍攝的圖像數(shù)據(jù)和所述校正控制單元的處理操作的處理數(shù)據(jù)；可拆卸的輔助存儲(chǔ)單元，保存攝像圖像和校正圖像，所述失真校正單元包括輪廓檢索單元、圖像校正單元、和對(duì)所述輪廓檢索單元和圖像校正單元進(jìn)行控制的校正控制單元，所述輪廓檢索單元包括像素?cái)?shù)變換單元，對(duì)攝像圖像的像素?cái)?shù)進(jìn)行變換；色彩空間變換單元，對(duì)色彩空間進(jìn)行變換；分割單元，在縱向或者橫向上等分分割圖像；直線檢索單元，檢索輪廓直線；輪廓直線選擇單元，從由所述直線檢索單元檢索的多個(gè)輪廓直線的候選中選擇最優(yōu)的候選，并使其顯示在所述顯示單元上，所述圖像校正單元包括交點(diǎn)計(jì)算單元，計(jì)算輪廓直線的交點(diǎn)；幾何投影變換公式計(jì)算單元，計(jì)算幾何投影變換公式；修整圖像的修整單元和調(diào)整尺寸的尺寸調(diào)整單元；整數(shù)化單元，將由所述幾何投影計(jì)算單元計(jì)算的數(shù)值整數(shù)化；坐標(biāo)變換單元，通過(guò)坐標(biāo)變換進(jìn)行圖像校正；像素內(nèi)插單元，進(jìn)行像素的內(nèi)插。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述輪廓檢索 單元執(zhí)行在由所述像素?cái)?shù)變換單元縮小像素?cái)?shù)的圖像中檢索輪廓直 線、獲取所檢索的輪廓直線中的端點(diǎn)信息的處理。
3. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，所述失真校正單元執(zhí)行矩形部提取校正模式的處理，由所述輪廓檢索單元檢索由四邊組 成的矩形的輪廓直線以進(jìn)行校正；以及直線部提取校正模式的處理，由所述輪廓;險(xiǎn)索單元檢索少于四邊 的直線以進(jìn)行才交正。
4. 根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，所述像素?cái)?shù)變 換單元執(zhí)行將所述攝像圖像的像素?cái)?shù)縮小變換為320*240像素的處 理。
5. 根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，所述輪廓直線 選擇單元通過(guò)攝像者的操作，將顯示在所述顯示單元上的輪廓直線的 預(yù)定的候選替換為其它輪廓直線的候選，并將其顯示在顯示單元上。
6. 根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于，所述輪廓直線 選擇單元以不同顏色的直線將縱向的直線和^f黃向的直線顯示在所述顯示單元上。
全文摘要
本發(fā)明提供一種具有失真校正單元的攝像裝置，能夠在攝像后在攝像裝置內(nèi)立即校正攝像圖像，用于校正的計(jì)算公式也容易，且計(jì)算量也少，不會(huì)給攝像裝置和攝像者增加負(fù)擔(dān)。本發(fā)明的攝像裝置包括攝像單元、顯示單元、主控制單元、失真校正單元(10)、主存儲(chǔ)單元和輔助存儲(chǔ)單元。失真校正單元(10)包括輪廓檢索單元(11)、圖像校正單元(15)和校正控制單元(16)。輪廓檢索單元(11)包括像素?cái)?shù)變換單元(21)、色彩空間變換單元(22)、分割單元(23)、直線檢索單元(24)和輪廓直線選擇單元(25)。圖像校正單元(15)包括交點(diǎn)計(jì)算單元(31)、幾何投影變換公式計(jì)算單元(32)、修整單元(33)和尺寸調(diào)整單元(34)、整數(shù)化單元(35)、坐標(biāo)變換單元(36)和像素內(nèi)插單元(37)。
文檔編號(hào)H04N9/64GK101287066SQ20071009047
公開(kāi)日2008年10月15日 申請(qǐng)日期2007年4月12日 優(yōu)先權(quán)日2007年4月12日
發(fā)明者曾君獻(xiàn) 申請(qǐng)人:Hoya株式會(huì)社