專(zhuān)利名稱(chēng)：具有全景攝像功能的手機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于光學(xué)技術(shù)、計(jì)算機(jī)圖像處理技術(shù)和計(jì)算機(jī)軟件技術(shù)在移動(dòng)通信設(shè)備方面的應(yīng)用，主要適用于帶有攝像功能的手機(jī)以及掌上電腦PDA等小型的具有移動(dòng)計(jì)算設(shè)備上。
背景技術(shù)：
目前市場(chǎng)上銷(xiāo)售的具有攝像功能的手機(jī)在攝像時(shí)要將手機(jī)上的攝像頭瞄準(zhǔn)攝像目標(biāo)，通過(guò)這種攝像方法拍攝到的圖像的范圍限制在攝像頭瞄準(zhǔn)的小視野內(nèi)，不能一次拍攝360度范圍內(nèi)的全景圖像。
近年發(fā)展起來(lái)的全景視覺(jué)傳感器ODVS(OmniDirectional Vision Sensors)為實(shí)時(shí)獲取場(chǎng)景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度)，能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；這種ODVS攝像機(jī)可以在全景拍攝到半球視野中的所有情況。能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大。
隨著Internet的飛速發(fā)展和移動(dòng)通信技術(shù)的日益成熟，兩者的相互滲透和融合的步伐正在加快。21世紀(jì)是“移動(dòng)為王”的時(shí)代已經(jīng)成為業(yè)內(nèi)人士和廣大消費(fèi)者的共識(shí)。手機(jī)作為“移動(dòng)為王”的時(shí)代的杰出代表，發(fā)展非常迅猛?，F(xiàn)有手機(jī)的款式五花八門(mén)，功能也日益強(qiáng)大，正朝著移動(dòng)數(shù)據(jù)中心的目標(biāo)堅(jiān)定地邁進(jìn)。要使手機(jī)擺脫單純的”傻瓜型”移動(dòng)通訊工具的形象，真正成為智能化的數(shù)據(jù)終端，我們就必須賦予它“靈魂”。除了底層硬件芯片的強(qiáng)有力支持，操作系統(tǒng)(OS)就成為這種“靈魂”的關(guān)鍵提供者。同樣地，OS在手機(jī)中也扮演著類(lèi)似的重要角色。在操作系統(tǒng)之上開(kāi)發(fā)應(yīng)用程序可以避免直接和最底層硬件打交道，并能夠方便實(shí)現(xiàn)許多較為復(fù)雜的功能，可謂好處多多。沒(méi)有OS的支持，現(xiàn)在使用的手機(jī)就不可能擁有花樣不斷翻新、令人眼花繚亂的功能。目前市場(chǎng)上的高檔手機(jī)都具有嵌入式的操作系統(tǒng)。
因此如何通過(guò)全景光學(xué)成像技術(shù)、計(jì)算機(jī)圖象處理技術(shù)、嵌入式系統(tǒng)技術(shù)為移動(dòng)通信設(shè)備領(lǐng)域提供一種快速、可靠的視覺(jué)信息采集途徑，獲取一個(gè)場(chǎng)景圖像時(shí)，只要將手機(jī)高高舉起，不用瞄準(zhǔn)目標(biāo)就可以獲得場(chǎng)景的實(shí)時(shí)圖像。
(三)

發(fā)明內(nèi)容
為了克服現(xiàn)有的攝像頭手機(jī)不能獲取實(shí)時(shí)全景圖像，圖形容易變形的不足，本發(fā)明提供一種能夠獲取實(shí)時(shí)全景圖像、獲取實(shí)時(shí)不變形的透視和全景圖像的具有全景攝像功能的手機(jī)。
本發(fā)明為解決其技術(shù)問(wèn)題采用的技術(shù)方案為一種具有全景攝像功能的手機(jī)，包括微處理器、攝像部件、存儲(chǔ)器、顯示裝置，所述的微處理器包括用于實(shí)現(xiàn)通訊功能的手機(jī)模塊，其特征在于所述的攝像裝置包括反射部件、透鏡、CCD攝像裝置組成，所述的反射部件包括雙曲線面鏡，CCD攝像裝置位于雙曲線面鏡的虛焦點(diǎn)位置，透鏡位于CCD攝像裝置與雙曲線面鏡之間，所述的攝像裝置通過(guò)視頻輸入接口與微處理器通信連接，所述的顯示裝置與微處理器的視頻輸出接口連接，所述的微處理器還包括圖像采集模塊，用于采集CCD攝像裝置上的圖像；圖像存儲(chǔ)模塊，用于將采集的圖像數(shù)據(jù)存入存儲(chǔ)器；圖像預(yù)處理模塊，用于將采集的圖像去噪、平滑處理；所述的微處理器還包括圖像初始化模塊，用于確定所采集的全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，查找半徑變化時(shí)相應(yīng)圓周上像素平均值變化最大的值所對(duì)應(yīng)的(r，x*0，y*0)，其計(jì)算式為max(r,x*0,y*0)|1ΔrΣk{Gσ(r)ΣmI(x*,y*)}|...(1)]]>其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(2)ΣmI(x*,y*)=I[(kΔrcos(mΔβ)+x*0),(kΔrsin(mΔβ)+y*0)]...(3)]]>I(x*，y*)為圖像的像素，r為圓周的半徑，G為對(duì)原圖像進(jìn)行平滑的高斯模板，Δr表示半徑搜索的步長(zhǎng)，Δβ表示沿著圓弧分隔的角度的步長(zhǎng)；圖像展開(kāi)處理模塊，用于將CCD攝像裝置獲得的圓形全方位圖像通過(guò)幾何變換展開(kāi)成矩形柱面全景圖像；圖像輸出模塊，用于將展開(kāi)后的矩形柱面全景圖像輸出到顯示裝置。
進(jìn)一步，所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；近似展開(kāi)計(jì)算單元，用于根據(jù)上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑，將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，設(shè)定中間圓的半徑r1＝(r+R)/2，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；建立矩形柱面全景圖像中任意一點(diǎn)像素坐標(biāo)P**(x**，y**)與圓形全方位圖像中的像素坐標(biāo)Q*(x*，y*)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x*＝y(tǒng)*/(tan(360x**/π(R+r)))(4)y*＝(y**+r)cosβ(5)上式中，x**，y**為矩形柱面全景圖像的像素坐標(biāo)值，x*，y*為圓形全方位圖像的像素坐標(biāo)值，R為圓形全方位圖像的外徑，r為圓形全方位圖像的內(nèi)徑，β為圓形全方位圖像坐標(biāo)的方位角。
或者是，所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；映射矩陣展開(kāi)單元，用于根據(jù)上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑，將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)Q*(x*，y*)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，建立從Q*(x*，y*)到P**(x**，y**)的映射矩陣對(duì)應(yīng)關(guān)系，其計(jì)算式為P**(x**，y**)←M×Q*(x*，y*) (6)上式中，Q*(x*，y*)為全方位圖像上的各個(gè)像素坐標(biāo)的矩陣，M為從全方位圖像坐標(biāo)到矩形柱面全景圖像坐標(biāo)的對(duì)應(yīng)關(guān)系矩陣，P**為矩形柱面全景圖像上的各個(gè)像素坐標(biāo)的矩陣。
又或者是，所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；極坐標(biāo)展開(kāi)計(jì)算單元，用于根據(jù)全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，r*為圖像上任意點(diǎn)距離內(nèi)圓的徑向長(zhǎng)度，方位角為β＝tan-1(y*/x*)，建立極坐標(biāo)(r*，β)，與全方位內(nèi)外圓邊界的交點(diǎn)坐標(biāo)分別為(x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)(r*，β)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x**(r*,β)=(1-r*)x*inner(β)+r*x*outer(β)y**(r*,β)=(1-r*)y*inner(β)+r*y*outer(β)...(7).]]>再進(jìn)一步，圖像展開(kāi)處理模塊還包括插值計(jì)算單元，用于消除在所述的展開(kāi)單元取整計(jì)算所帶來(lái)的誤差，計(jì)算得到的矩形柱面全景圖像的某個(gè)像素坐標(biāo)P**(x**，y**)的像素點(diǎn)為(k0，j0)，所述的像素點(diǎn)坐標(biāo)落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四個(gè)相鄰整數(shù)像素為頂點(diǎn)坐標(biāo)所構(gòu)成的正方形內(nèi)，用式(8)插值計(jì)算P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)(8)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*)所述的插值計(jì)算單元的輸入端連接展開(kāi)計(jì)算單元的輸出端，所述的插值計(jì)算單元的輸出端連接圖像輸出模塊。
更進(jìn)一步，圖像展開(kāi)處理模塊還包括圖像增強(qiáng)單元，用于對(duì)圖像輸出單元輸出的像素均衡化，計(jì)算式為S(rk)=T(rk)=1NΣi=0kN(ri)...(9)]]>上式中，變換函數(shù)為灰度級(jí)累積分布函數(shù)T(r)，設(shè)原始圖像的灰度級(jí)為rk，S(r)為變換后圖像的灰度分布函數(shù)，N為圖像中的像素總數(shù)，N(ri)為圖像中灰度級(jí)為ri的像素總數(shù)。
所述的圖像預(yù)處理模塊包括圖像濾波單元，用于采用二維Gabor濾波器對(duì)圓形全方位圖像進(jìn)行濾波；圖像質(zhì)量判斷單元，用于采用二維FFT變換計(jì)算頻域高頻能量，并比較所得的高頻能量值與預(yù)設(shè)的下限值，在高頻能量值大于下限值時(shí)選擇性地輸出全方位圖像。
所述的手機(jī)的光學(xué)部分的結(jié)構(gòu)為所述的反射部件還包括非透光圓錐體、透明圓柱體，所述的雙曲線面鏡位于圓柱體的上端，且面部的凹口向內(nèi)伸入圓柱體內(nèi)，所述的雙曲線面鏡的底面為反射面；所述的反射面中央固定連接所述的圓錐體，所述的圓錐體的錐角向下；所述的雙曲線面鏡、圓錐體、圓柱體的旋轉(zhuǎn)軸在同一中心軸線上；所述的透鏡位于圓柱體內(nèi)的下方；所述的攝像裝置包括CCD攝像頭、底座，所述的CCD攝像頭安裝在底座上部中央，所述的底座上開(kāi)有與所述的圓柱體的壁厚相同的圓槽；所述的圓錐體填充非透光性物質(zhì)或者用遮光性涂料來(lái)噴涂其表面；所述的底座上設(shè)有透鏡固定架，所述的透鏡安裝在透鏡固定架上。
所述的攝像部件為旋轉(zhuǎn)式，所述的攝像部件通過(guò)旋轉(zhuǎn)軸安裝在手機(jī)外殼上。
所述的攝像部件為伸縮式，所述的攝像部件通過(guò)伸縮軸安裝在手機(jī)外殼上。
本發(fā)明的工作原理是圖1、圖2是表示本發(fā)明的具有全景攝像功能的手機(jī)的光學(xué)系統(tǒng)的原理圖，圖1是仰視圖，圖2是正視圖。雙曲線鏡面1有2個(gè)焦點(diǎn)(0，0，c)、(0，0，-c)，CCD攝像裝置12配置在與雙曲線鏡面中心軸同軸的一個(gè)焦點(diǎn)(0，0，-c)上。根據(jù)這樣配置，能對(duì)CCD傳感器周?chē)?60°方位進(jìn)行攝像。如圖2所示，進(jìn)入雙曲線鏡面的中心的光，根據(jù)雙曲面的鏡面特性向著其虛焦點(diǎn)折射。實(shí)物圖像經(jīng)雙曲面鏡反射到聚光透鏡6中成像，在該成像平面上的一個(gè)點(diǎn)P1(x*1，y*1)對(duì)應(yīng)著實(shí)物在空間上的一個(gè)點(diǎn)的坐標(biāo)A(x1，y1，z1)，大五角星為空間上的一個(gè)點(diǎn)A(x1，y1，z1)；中五角星為入射到雙曲線面鏡上的圖像的空間坐標(biāo)P1(x1，y1)。
圖1、圖2中所示的雙曲面鏡構(gòu)成的光學(xué)系統(tǒng)可以由下面5個(gè)等式表示；((X2+Y2)/a2)-(Z2/b2)＝-1 (Z＞0) (10)c=a2+b2...(11)]]>β＝tan-1(Y/X)(12)α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(13)γ=tan-1[f/(X2+Y2)]...(14)]]>式中X，Y，Z表示空間坐標(biāo)，c表示雙曲面鏡的焦點(diǎn)，2c表示兩個(gè)焦點(diǎn)之間的距離，a，b分別是雙曲面鏡的實(shí)軸和虛軸的長(zhǎng)度，β表示入射光線在XY平面上的夾角—方位角，α表示入射光線在XZ平面上的夾角—俯角，f表示成像平面到雙曲面鏡的虛焦點(diǎn)的距離。
由式(1)可以在三維空間上作出一個(gè)雙葉雙曲面，如圖3所示，該雙曲面有2個(gè)焦點(diǎn)(0，0，c)、(0，0，-c)，并對(duì)稱(chēng)與XY平面，本專(zhuān)利將CCD配置在與雙曲面中心軸同軸的另一個(gè)焦點(diǎn)(0，0，-c)上，替換在XY平面下的一個(gè)雙曲面，如圖4所示，進(jìn)入雙曲線鏡面的中心(0，0，c)的光，根據(jù)雙曲面的鏡面特性向著其虛焦點(diǎn)(0，0，-c)折射。
根據(jù)圖5、圖6來(lái)說(shuō)明360°全方位進(jìn)行攝像的原理，空間上的一個(gè)點(diǎn)A(x1，y1，z1)(圖中用大五角星表示)經(jīng)雙曲線鏡面1進(jìn)入凹部鏡面，入射到雙曲線面鏡1上的圖像的空間坐標(biāo)點(diǎn)P1(x1，y1)(圖中用中五角星表示)，反射到透鏡6上對(duì)應(yīng)有一個(gè)投影點(diǎn)P1(x*1，y*1)(圖6中用小五角星表示)，通過(guò)透鏡6的光線變成平行光投射到CCD攝像裝置12，這時(shí)在CCD攝像裝置12上成像的圖像是一種發(fā)生形變的環(huán)狀圖像，微處理器通過(guò)視頻接口讀入該環(huán)狀圖像，采用軟件對(duì)該環(huán)狀圖像進(jìn)行展開(kāi)得到全方位的圖像并顯示在顯示裝置上。
上面提到的具有全景攝像功能的手機(jī)的反射部件中有一個(gè)防止光飽和的圓錐體，因此在成像平面上有一個(gè)黑色圓形，該黑色圓形的圓心就是全方位圖像的展開(kāi)中心點(diǎn)，全方位圖像中心定位是為了減少在展開(kāi)過(guò)程中不同心而造成的圖像失真，利用全方位圖像中心定位的算法，可以檢測(cè)拍到的一幅圖像中迅速找到全方位圖像的展開(kāi)中心點(diǎn)，而不需要人工干預(yù)，這對(duì)于全方位攝像裝置的實(shí)用化有十分重要的意義。
本專(zhuān)利中采用Daugman的圓模板匹配法進(jìn)行全方位圖像的展開(kāi)中心點(diǎn)的定位。在拍攝獲取的全方位圖像中，灰度分布存在著一定的差異，一般而言全方位展開(kāi)部分比圓錐體反射部分亮。然后根據(jù)全方位的形狀是圓環(huán)形的情況，利用圓形檢測(cè)匹配器的方法分割全方位，其數(shù)學(xué)方程為 其中Gσ(r)=(1/2πσ)e-((r-r0)2/2σ2),]]>I(x*，y*)為圖像的象素；r為圓周的半徑；G為對(duì)原圖像進(jìn)行平滑的高斯模板。公式(1-1)的物理意義是，查找隨著半徑r變化相應(yīng)圓周上象素平均值變化最大的值所對(duì)應(yīng)的(r，x*0，y*0)，以此來(lái)確定全方位圖像的展開(kāi)中心點(diǎn)和圓錐體反射部分的邊緣。卷積用來(lái)對(duì)圖像進(jìn)行平滑，消除區(qū)域邊緣中噪聲的影響，平滑模板的大小與定位的精度有關(guān)。為了方便公式(1-1)的離散化實(shí)現(xiàn)，利用卷積性質(zhì)，把公式(1-1)轉(zhuǎn)化為 其中∂Gσ(r)∂r≈Gσ(n)=1ΔrGσ(nΔr)-1ΔrGσ((n-1)Δr)...(1-3)]]>對(duì)公式(1-2)進(jìn)行離散化，用累加和Σ來(lái)代替卷積和曲線積分，轉(zhuǎn)換為max(r,x*0,y*0)|1ΔrΣk{Gσ(r)ΣmI(x*,y*)}|...(1)]]>
其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(2)ΣmI(x*,y*)=I[(kΔrcos(mΔβ)+x*0),(kΔrsin(mΔβ)+y*0)]...(3)]]>Δr表示半徑搜索的步長(zhǎng)，Δβ表示沿著圓弧分隔的角度的步長(zhǎng)。也可以對(duì)式(14)進(jìn)行改進(jìn)，使得能更好的定位全方位內(nèi)邊緣 其中r′略小于r，它們之間的距離是一定的，且r′隨著r變化；λ為預(yù)設(shè)的值，防止分母為0。式(1-4)利用了這樣一個(gè)事實(shí)，即圓錐體反射部分的灰度分布總是均勻的。因此，當(dāng)搜索的圓弧與圓錐體反射部分的邊緣很好匹配時(shí)，式(1-4)的分母非常小，因而式(1-4)會(huì)有一個(gè)突變值，這個(gè)突變值的位置就是全方位圖像的展開(kāi)中心點(diǎn)的位置。
進(jìn)一步，在展開(kāi)方法上本專(zhuān)利中采用了一種快速的近似展開(kāi)算法，能夠?qū)r(shí)間消耗和對(duì)各種參數(shù)的要求降到最小，同時(shí)盡可能的保持有用的信息?？紤]到后面幾個(gè)步驟的算法中，β分量即方位角度的信息是最需要的；而在豎直方向上，發(fā)生一些形變對(duì)結(jié)果幾乎沒(méi)有什么影響，這種展開(kāi)的快速近似算法，如圖7、圖8、圖9所示。圖7為反射平面成像示意圖，圖8為透鏡成像平面成像示意圖，圖9為展開(kāi)平面示意圖。圖8是圓形全方位圖像，其中內(nèi)徑為r，外徑為R，內(nèi)外徑之間的是圖像的有效區(qū)域，現(xiàn)將其展開(kāi)成圖9的矩形全景圖，展開(kāi)規(guī)則有三條，(1)X*軸為起始位置，按逆時(shí)針?lè)绞秸归_(kāi)；(2)左圖中X*軸與內(nèi)徑r的交點(diǎn)O，對(duì)應(yīng)到右圖中左下角的原點(diǎn)O(0，0)；(3)展開(kāi)后的右圖的寬度等于左圖中虛線所示的圓的周長(zhǎng)。其中虛線圓為左圖內(nèi)外徑的同心圓，且其半徑r1＝(r+R)/2。
設(shè)圓形8的圓心O*坐標(biāo)(x*0，y*0)，展開(kāi)的矩形圖左下角原點(diǎn)坐標(biāo)O**(0，0)，矩形圖C)中任意一點(diǎn)P**＝(x**，y**)所對(duì)應(yīng)的點(diǎn)在圓形圖中的坐標(biāo)為(x*，y*)。下面我們需要求的是(x*，y*)和(x**，y**)的對(duì)應(yīng)關(guān)系。根據(jù)幾何關(guān)系可以得到如下公式β＝tan-1(y*/x*)(15)r1＝(r+R)/2(16)令虛線圓的半徑r1＝(r+R)/2，目的是為了讓展開(kāi)后的圖看起來(lái)形變均勻一些。
x*＝y(tǒng)*/(tan(360x**/π(R+r)))(4)y*＝(y**+r)cosβ (5)從式(4)、(5)可以得到圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系。該方法實(shí)質(zhì)上是做了一個(gè)圖像插值的過(guò)程。展開(kāi)后，虛線上方的圖像是橫向壓縮過(guò)的，虛線下方的圖像是橫向拉伸過(guò)的，而在虛線本身上的點(diǎn)則保持不變。
另一種方法是根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣。由于這種一一對(duì)應(yīng)關(guān)系，通過(guò)映射矩陣方法能把轉(zhuǎn)變成不變形的全景圖像。通過(guò)M映射矩陣可以建立起式(6)關(guān)系。
P**(x**，y**)←M×P*(x*，y*) (6)根據(jù)式(6)，對(duì)于成像平面上的每個(gè)像素P*(x*，y*)在全方位圖像上有一個(gè)點(diǎn)P**(x**，y**)對(duì)應(yīng)，建立了M映射矩陣后，實(shí)時(shí)圖像處理的任務(wù)可以得到簡(jiǎn)化。每次在成像平面上得到的變形的全方位圖像完成查表運(yùn)算，生成不變形的全方位圖像顯示到顯示器上或者保存在存儲(chǔ)單元中或者通過(guò)Web服務(wù)發(fā)布到網(wǎng)頁(yè)上。
再一種方法是利用極坐標(biāo)系，全方位的圖像內(nèi)外邊界都為圓形，因此可以簡(jiǎn)單地利用幾何方法歸一。以圓錐體反射部分的圓心為起點(diǎn)，與全方位內(nèi)外邊界的交點(diǎn)坐標(biāo)分別為(xp(θ)，yp(θ))和(xs(θ)，ys(θ))，利用下式x(r,θ)=(1-r)xp(θ)+rxs(θ)y(r,θ)=(1-r)yp(θ)+rys(θ)...(17)]]>可將全方位圖像中的每個(gè)點(diǎn)一一映射到極坐標(biāo)(r，θ)中，如圖10所示。
將壓縮的、圓形的全方位圖像展開(kāi)成矩形的柱面全景圖像，由于成像平面上的某個(gè)像素P*(x*，y*)與全方位圖像上的點(diǎn)P**(x**，y**)存在著非線形的幾何關(guān)系，全方位圖像上的點(diǎn)P**(x**，y**)的像素可能不正好是成像平面上的某個(gè)像素P*(x*，y*)，在這種情況下，本專(zhuān)利中采用插入法來(lái)解決小數(shù)坐標(biāo)的像素值，如圖11所示，假定計(jì)算得到的一個(gè)像素(k0，j0)，計(jì)算方法可以采用上述介紹的兩種方法中的一種，像素(k0，j0)落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)為頂點(diǎn)坐標(biāo)所構(gòu)成的正方形內(nèi)P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)(8)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*)通過(guò)式(8)的插值計(jì)算能夠消除在展開(kāi)變化時(shí)產(chǎn)生的取整所帶來(lái)的誤差，也可以采用其他一些插值計(jì)算方法，如樣條法、平均法以及二次插入法等方法。
本發(fā)明的有益效果為1、能夠獲取實(shí)時(shí)全景圖像、透視和全景圖像實(shí)時(shí)不變形；2、能夠把半球視野中的信息壓縮成一幅圖像，圖像的信息量很大；3、光學(xué)部分結(jié)構(gòu)合理，使用壽命長(zhǎng)；3、圓錐體具有防止光飽和功能；4、攝像頭可以設(shè)置成旋轉(zhuǎn)式或伸縮式，外觀美觀。


圖1為具有全景攝像功能的手機(jī)的攝像部件的光學(xué)原理的仰視圖；圖2為有全景攝像功能的手機(jī)的攝像部件的光學(xué)原理的主視圖；圖3為一個(gè)雙葉雙曲面的三維示意圖；圖4為在雙葉雙曲面中用CCD攝像單元替換另一個(gè)虛雙曲面的示意圖；圖5為全空間上的一個(gè)光點(diǎn)在成像平面上光路的說(shuō)明示意圖；圖6為圖5的雙曲線鏡面?zhèn)鹊难鲆晥D；圖7為反射平面成像示意圖；圖8為透鏡成像平面成像的圓形全方位圖像的示意圖；圖9為展開(kāi)平面的柱形全景圖像的示意圖；圖10為極坐標(biāo)展開(kāi)算法的圖像轉(zhuǎn)化示意圖；圖11為像素插值圖解示意圖；圖12為具有全景攝像功能的手機(jī)的光學(xué)部分的結(jié)構(gòu)圖；圖13為實(shí)施例1的手機(jī)結(jié)構(gòu)圖；圖14為實(shí)施例2的手機(jī)結(jié)構(gòu)圖；圖15為實(shí)施例3的手機(jī)結(jié)構(gòu)圖；圖16為實(shí)施例4的手機(jī)結(jié)構(gòu)圖；圖17為實(shí)施例1、2的微處理器的結(jié)構(gòu)框圖；圖18為實(shí)施例3的微處理器的結(jié)構(gòu)框圖；圖19為實(shí)施例4的微處理器的結(jié)構(gòu)框圖；圖20為微處理器的圖像初始化單元的流程圖；圖21為微處理器的圖像展開(kāi)成全景圖像的流程圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
實(shí)施例1參照?qǐng)D12、圖13、圖17、圖20、圖21，一種具有全景攝像功能的手機(jī)，包括微處理器15、攝像裝置、存儲(chǔ)器17、顯示裝置16，所述的微處理器15包括用于實(shí)現(xiàn)通訊功能的手機(jī)模塊，所述的攝像部件包括反射部件、透鏡6、CCD攝像裝置12組成，所述的反射部件包括雙曲線面鏡1，CCD攝像裝置12位于雙曲線面鏡1的虛焦點(diǎn)位置，透鏡6位于CCD攝像裝置12與雙曲線面鏡1之間，所述的攝像裝置12通過(guò)視頻輸入接口與微處理器15通信連接，所述的顯示裝置16與微處理器15的視頻輸出接口連接，所述的微處理器15還包括圖像采集模塊24，用于采集CCD攝像裝置上的圖像；圖像存儲(chǔ)模塊25，用于將采集的圖像數(shù)據(jù)存入存儲(chǔ)器；圖像預(yù)處理模塊26，用于將采集的圖像去噪、平滑處理；所述的微處理器還包括圖像初始化模塊35，用于確定所采集的全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，查找半徑變化時(shí)相應(yīng)圓周上像素平均值變化最大的值所對(duì)應(yīng)的(r，x*0，y*0)，其計(jì)算式為max(r,x*0,y*0)|1ΔrΣk{Gσ(r)ΣmI(x*,y*)}|...(1)]]>其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(2)ΣmI(x*,y*)=I[(kΔrcos(mΔβ)+x*0),(kΔrsin(mΔβ)+y*0)]...(3)]]>I(x*，y*)為圖像的像素，r為圓周的半徑，G為對(duì)原圖像進(jìn)行平滑的高斯模板，Δr表示半徑搜索的步長(zhǎng)，Δβ表示沿著圓弧分隔的角度的步長(zhǎng)；圖像初始化處理模塊35，首先進(jìn)行濾波、去噪，然后確定圓心和內(nèi)外圓半徑處理單元37中完成上述(1)、(2)、(3)式的計(jì)算，通過(guò)保存處理結(jié)果單元38將計(jì)算結(jié)果保存在文件中，以便在圖像展開(kāi)處理模塊29中調(diào)用；圖像展開(kāi)處理模塊29，用于將CCD攝像裝置獲得的圓形全方位圖像通過(guò)幾何變換展開(kāi)成矩形柱面全景圖像；圖像輸出模塊34，用于將展開(kāi)后的矩形柱面全景圖像輸出到顯示裝置。
本實(shí)施例采用近似展開(kāi)算法，所述的圖像展開(kāi)處理模塊29包括讀取坐標(biāo)信息單元30，將上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑等數(shù)據(jù)讀取到程序中以便展開(kāi)計(jì)算；近似展開(kāi)計(jì)算單元31，將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，設(shè)定中間圓的半徑r1＝(r+R)/2，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；用于建立矩形柱面全景圖像中任意一點(diǎn)像素坐標(biāo)P**(x**，y**)與圓形全方位圖像中的像素坐標(biāo)Q*(x*，y*)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x*＝y(tǒng)*/(tan(360x**/π(R+r)))(4)y*＝(y**+r)cosβ(5)上式中，x**，y**為矩形柱面全景圖像的像素坐標(biāo)值，x*，y*為圓形全方位圖像的像素坐標(biāo)值，R為圓形全方位圖像的外徑，r為圓形全方位圖像的內(nèi)徑，β為圓形全方位圖像坐標(biāo)的方位角。
再進(jìn)一步，上述展開(kāi)單元的計(jì)算方法得到全景圖像，對(duì)圖像進(jìn)行進(jìn)一步的處理，圖像展開(kāi)處理模塊29還包括插值計(jì)算單元32，用于消除在所述的展開(kāi)單元取整計(jì)算所帶來(lái)的誤差，計(jì)算得到的矩形柱面全景圖像的某個(gè)像素坐標(biāo)P**(x**，y**)的像素點(diǎn)為(k0，j0)，所述的像素點(diǎn)坐標(biāo)落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四個(gè)相鄰整數(shù)像素為頂點(diǎn)坐標(biāo)所構(gòu)成的正方形內(nèi)，用式(8)插值計(jì)算P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)(8)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*)所述的插值計(jì)算單元32的輸入端連接展開(kāi)計(jì)算單元31的輸出端，所述的插值計(jì)算單元32的輸出端連接圖像增強(qiáng)單元33。
更進(jìn)一步，圖像展開(kāi)處理模塊29還包括圖像增強(qiáng)單元33，用于對(duì)圖像輸出單元輸出的像素均衡化，計(jì)算式為S(rk)=T(rk)=1NΣi=0kN(ri)...(9)]]>上式中，變換函數(shù)為灰度級(jí)累積分布函數(shù)T(r)，設(shè)原始圖像的灰度級(jí)為rk，S(r)為變換后圖像的灰度分布函數(shù)，N為圖像中的像素總數(shù)，N(ri)為圖像中灰度級(jí)為ri的像素總數(shù)。
所述的圖像預(yù)處理模塊26包括圖像濾波單元27，用于采用二維Gabor濾波器對(duì)圓形全方位圖像進(jìn)行濾波；圖像質(zhì)量判斷單元28，用于采用二維FFT(傅立葉)變換計(jì)算頻域高頻能量，并比較所得的高頻能量值與預(yù)設(shè)的下限值，在高頻能量值大于下限值時(shí)選擇性地輸出全方位圖像。
本發(fā)明的光學(xué)部分的結(jié)構(gòu)為所述的反射部件還包括非透光圓錐體10、透明圓柱體9，所述的雙曲線面鏡1位于圓柱體9的上端，且面部的凹口向內(nèi)伸入圓柱體9內(nèi)，所述的雙曲線面鏡1的底面為反射面；所述的反射面中央固定連接所述的圓錐體10，所述的圓錐體10的錐角向下；所述的雙曲線面鏡1、圓錐體10、圓柱體9的旋轉(zhuǎn)軸在同一中心軸線上；所述的透鏡6位于圓柱體9內(nèi)的下方；所述的攝像裝置包括CCD攝像頭12、底座11，所述的CCD攝像頭12安裝在底座11上部中央，所述的底座11上開(kāi)有與所述的圓柱體9的壁厚相同的圓槽；所述的圓錐體10填充非透光性物質(zhì)或者用遮光性涂料來(lái)噴涂其表面；所述的底座11上設(shè)有透鏡固定架8，所述的透鏡6安裝在透鏡固定架8上。
全方位攝像的光學(xué)系統(tǒng)由多個(gè)零部件所構(gòu)成，為了降低制造成本，該光學(xué)系統(tǒng)也可以由單個(gè)成形的零部件構(gòu)成。圖12是表示各零部件相對(duì)的位置關(guān)系圖。本專(zhuān)利中又將全方位攝像的光學(xué)系統(tǒng)分為上部和下部?jī)蓚€(gè)單元，光學(xué)系統(tǒng)的上部單元，首先形成一個(gè)雙曲線面鏡1的凹部，從上述凹部的最深部向著突出方向沿著中心軸線形成一個(gè)圓錐體10，圓柱體9由透明合成樹(shù)脂或玻璃等的透明材料壓注而成。凹部和圓錐體10最好與圓柱體9成型時(shí)同時(shí)形成。其次要對(duì)上述凹部實(shí)施鍍銀的鏡面處理，對(duì)上述圓錐體10填充非透光性物質(zhì)，也可以對(duì)上述圓錐體10用遮光性涂料來(lái)噴涂其表面。經(jīng)過(guò)這樣的工序得到的光學(xué)系統(tǒng)的上部單元，凹部成為雙曲面鏡，填充非透光性物質(zhì)的圓錐體10具有防止在光學(xué)畫(huà)像的光飽和功能。下部單元的底座11由有色合成樹(shù)脂材料壓注而成，在裝配下部單元時(shí)，首先將透鏡6固定在透鏡固定架8上，再將CCD攝像頭12放進(jìn)底座11中的固定CCD攝像裝置的位置上，然后再將透鏡固定架8裝配到底座11中的固定透鏡固定架11的位置上。在完成了光學(xué)系統(tǒng)的上部和下部?jī)蓚€(gè)單元的裝配后，就可以將全方位攝像的光學(xué)系統(tǒng)進(jìn)行組裝，底座11上開(kāi)有一個(gè)與圓柱體9的壁厚相同的圓槽，將光學(xué)系統(tǒng)的上部單元對(duì)準(zhǔn)下部單元施加一定的力就能完成整個(gè)全方位攝像的光學(xué)系統(tǒng)的裝配過(guò)程。按這種生產(chǎn)方式和裝配所構(gòu)成的全方位攝像的光學(xué)系統(tǒng)有良好的生產(chǎn)性、加工成本低。能保證透鏡6和雙曲線面鏡1的位置關(guān)系以及透鏡6和CCD攝像頭12的位置關(guān)系。
參照?qǐng)D13，所述的攝像頭為旋轉(zhuǎn)式攝像頭，所述的攝像頭通過(guò)旋轉(zhuǎn)軸安裝在底座上，所述的攝像頭安裝在手機(jī)外殼的右側(cè)。
本發(fā)明的工作原理是圖1、圖2是表示本發(fā)明的具有全景攝像功能的手機(jī)的光學(xué)系統(tǒng)的原理圖，圖1是仰視圖，圖2是正視圖。雙曲線面鏡1有2個(gè)焦點(diǎn)(0，0，c)、(0，0，-c)，CCD攝像裝置12配置在與雙曲線面鏡中心軸同軸的一個(gè)焦點(diǎn)(0，0，-c)上。根據(jù)這樣配置，能對(duì)CCD傳感器周?chē)?60°方位進(jìn)行攝像。如圖2所示，進(jìn)入雙曲線面鏡的中心的光，根據(jù)雙曲面的鏡面特性向著其虛焦點(diǎn)折射。實(shí)物圖像經(jīng)雙曲面鏡反射到聚光透鏡6中成像，在該成像平面上的一個(gè)點(diǎn)P1(x*1，y*1)對(duì)應(yīng)著實(shí)物在空間上的一個(gè)點(diǎn)的坐標(biāo)A(x1，y1，z1)，大五角星為三維空間上的一個(gè)點(diǎn)A(x1，y1，z1)；中五角星為入射到雙曲線面鏡上的圖像的三維空間坐標(biāo)P(x1，y1，z1)。
圖1、圖2中所示的雙曲面鏡構(gòu)成的光學(xué)系統(tǒng)可以由下面5個(gè)等式表示；((X2+Y2)/a2)-(Z2/b2)＝-1 (Z＞0) (10)c=a2+b2...(11)]]>β＝tan-1(Y/X)(12)α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (13)γ=tan-1[f/(X2+Y2)]...(14)]]>式中X，Y，Z表示空間坐標(biāo)，c表示雙曲面鏡的焦點(diǎn)，2c表示兩個(gè)焦點(diǎn)之間的距離，a，b分別是雙曲面鏡的實(shí)軸和虛軸的長(zhǎng)度，β表示入射光線在XY平面上的夾角—方位角，α表示入射光線在XZ平面上的夾角—俯角，f表示成像平面到雙曲面鏡的虛焦點(diǎn)的距離。
由式(1)可以在三維空間上作出一個(gè)雙葉雙曲面，如圖3所示，該雙曲面有2個(gè)焦點(diǎn)(0，0，c)、(0，0，-c)，并對(duì)稱(chēng)與XY平面，本專(zhuān)利將CCD配置在與雙曲面中心軸同軸的另一個(gè)焦點(diǎn)(0，0，-c)上，替換在XY平面下的一個(gè)雙曲面，如圖4所示，進(jìn)入雙曲線面鏡的中心(0，0，c)的光，根據(jù)雙曲面的鏡面特性向著其虛焦點(diǎn)(0，0，-c)折射。
根據(jù)圖5、圖6來(lái)說(shuō)明360°全方位進(jìn)行攝像的原理，空間上的一個(gè)點(diǎn)A(x1，y1，z1)(圖中用大五角星表示)經(jīng)雙曲線面鏡1進(jìn)入凹部鏡面，入射到雙曲線面鏡1上的圖像的空間坐標(biāo)點(diǎn)P1(x1，y1，z1)(圖中用中五角星表示)，反射到透鏡6上對(duì)應(yīng)有一個(gè)投影點(diǎn)P1(x*1，y*1)(圖6中用小五角星表示)，通過(guò)透鏡6的光線變成平行光投射到CCD攝像裝置12，這時(shí)在CCD攝像裝置12上成像的圖像是一種發(fā)生形變的環(huán)狀圖像，微處理器通過(guò)視頻接口讀入該環(huán)狀圖像，采用軟件對(duì)該環(huán)狀圖像進(jìn)行展開(kāi)得到全方位的圖像并顯示在顯示裝置上。
上面提到的全方位攝像裝置中有一個(gè)防止光飽和的圓錐體，因此在成像平面上有一個(gè)黑色圓形，該黑色圓形的圓心就是全方位圖像的展開(kāi)中心點(diǎn)，全方位圖像中心定位是為了減少在展開(kāi)過(guò)程中不同心而造成的圖像失真，利用全方位圖像中心定位的算法，可以檢測(cè)拍到的一幅圖像中迅速找到全方位圖像的展開(kāi)中心點(diǎn)，而不需要人工干預(yù)，這對(duì)于全方位攝像裝置的實(shí)用化有十分重要的意義。
本專(zhuān)利中采用Daugman的圓模板匹配法進(jìn)行全方位圖像的展開(kāi)中心點(diǎn)的定位。在拍攝獲取的全方位圖像中，灰度分布存在著一定的差異，一般而言全方位展開(kāi)部分比圓錐體反射部分亮。然后根據(jù)全方位的形狀是圓環(huán)形的情況，利用圓形檢測(cè)匹配器的方法分割全方位，其數(shù)學(xué)方程為 其中Gσ(r)=(1/2πσ)e-((r-r0)2/2σ2),]]>I(x*，y*)為圖像的象素；r為圓周的半徑；G為對(duì)原圖像進(jìn)行平滑的高斯模板。公式(1-1)的物理意義是，查找隨著半徑r變化相應(yīng)圓周上象素平均值變化最大的值所對(duì)應(yīng)的(r，x*0，y*0)，以此來(lái)確定全方位圖像的展開(kāi)中心點(diǎn)和圓錐體反射部分的邊緣。卷積用來(lái)對(duì)圖像進(jìn)行平滑，消除區(qū)域邊緣中噪聲的影響，平滑模板的大小與定位的精度有關(guān)。為了方便公式(1-1)的離散化實(shí)現(xiàn)，利用卷積性質(zhì)，把公式(1-1)轉(zhuǎn)化為 其中∂Gσ(r)∂r≈Gσ(n)=1ΔrGσ(nΔr)-1ΔrGσ((n-1)Δr)...(1-3)]]>對(duì)公式(1-2)進(jìn)行離散化，用累加和Σ來(lái)代替卷積和曲線積分，轉(zhuǎn)換為max(r,x*0,y*0)|1ΔrΣk{Gσ(r)ΣmI(x*,y*)}|...(1)]]>其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(2)ΣmI(x*,y*)=I[(kΔrcos(mΔβ)+x*0),(kΔrsin(mΔβ)+y*0)]...(3)]]>Δr表示半徑搜索的步長(zhǎng)，Δβ表示沿著圓弧分隔的角度的步長(zhǎng)。也可以對(duì)式(14)進(jìn)行改進(jìn)，使得能更好的定位全方位內(nèi)邊緣
其中r′略小于r，它們之間的距離是一定的，且r′隨著r變化；λ為預(yù)設(shè)的值，防止分母為0。式(1-4)利用了這樣一個(gè)事實(shí)，即圓錐體反射部分的灰度分布總是均勻的。因此，當(dāng)搜索的圓弧與圓錐體反射部分的邊緣很好匹配時(shí)，式(1-4)的分母非常小，因而式(1-4)會(huì)有一個(gè)突變值，這個(gè)突變值的位置就是全方位圖像的展開(kāi)中心點(diǎn)的位置。
進(jìn)一步，在展開(kāi)方法上本專(zhuān)利中采用了一種快速的近似展開(kāi)算法，能夠?qū)r(shí)間消耗和對(duì)各種參數(shù)的要求降到最小，同時(shí)盡可能的保持有用的信息。考慮到后面幾個(gè)步驟的算法中，β分量即方位角度的信息是最需要的；而在豎直方向上，發(fā)生一些形變對(duì)結(jié)果幾乎沒(méi)有什么影響，這種展開(kāi)的快速近似算法，如圖7、圖8、圖9所示。圖7為反射平面成像示意圖，圖8為透鏡成像平面成像示意圖，圖9為展開(kāi)平面示意圖。圖8是圓形全方位圖像，其中內(nèi)徑為r，外徑為R，內(nèi)外徑之間的是圖像的有效區(qū)域，現(xiàn)將其展開(kāi)成圖9的矩形全景圖，展開(kāi)規(guī)則有三條，(1)X*軸為起始位置，按逆時(shí)針?lè)绞秸归_(kāi)；(2)左圖中X*軸與內(nèi)徑r的交點(diǎn)O，對(duì)應(yīng)到右圖中左下角的原點(diǎn)O(0，0)；(3)展開(kāi)后的右圖的寬度等于左圖中虛線所示的圓的周長(zhǎng)。其中虛線圓為左圖內(nèi)外徑的同心圓，且其半徑r1＝(r+R)/2。
設(shè)圓形8的圓心O*坐標(biāo)(x*0，y*0)，展開(kāi)的矩形圖左下角原點(diǎn)坐標(biāo)O**(0，0)，矩形9中任意一點(diǎn)P**＝(x**，y**)所對(duì)應(yīng)的點(diǎn)在圓形圖中的坐標(biāo)為(x*，y*)。下面我們需要求的是(x*，y*)和(x**，y**)的對(duì)應(yīng)關(guān)系。根據(jù)幾何關(guān)系可以得到如下公式β＝tan-1(y*/x*)(15)r1＝(r+R)/2 (16)令虛線圓的半徑r1＝(r+R)/2，目的是為了讓展開(kāi)后的圖看起來(lái)形變均勻一些。
x*＝y(tǒng)*/(tan(360x**/π(R+r)))(4)y*＝(y**+r)cosβ (5)
從式(4)、(5)可以得到圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系。該方法實(shí)質(zhì)上是做了一個(gè)圖像插值的過(guò)程。展開(kāi)后，虛線上方的圖像是橫向壓縮過(guò)的，虛線下方的圖像是橫向拉伸過(guò)的，而在虛線本身上的點(diǎn)則保持不變。
參照?qǐng)D13，所述的攝像部件為旋轉(zhuǎn)式攝像頭，所述的攝像部件通過(guò)旋轉(zhuǎn)軸14安裝在手機(jī)外殼13的右側(cè)。
實(shí)施例2參照?qǐng)D12、圖14、圖17、圖20、圖21，本實(shí)施例的光學(xué)部分、電子部分基本構(gòu)成、工作原理與實(shí)施例1基本相同，不同之處在于參照?qǐng)D14，所述的攝像部件為旋轉(zhuǎn)式攝像頭，所述的攝像部件通過(guò)旋轉(zhuǎn)軸14安裝在手機(jī)外殼13的上端。
實(shí)施例3參照?qǐng)D12、圖15、圖18、圖20、圖21，本實(shí)施例的光學(xué)部分、電子部分基本構(gòu)成、工作原理與實(shí)施例1基本相同，不同之處在于圖像展開(kāi)處理模塊采用映射矩陣展開(kāi)算法展開(kāi)處理模塊29包括讀取坐標(biāo)信息單元30，將上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑等數(shù)據(jù)讀取到程序中以便展開(kāi)計(jì)算；映射矩陣展開(kāi)單元39，將上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑，將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)Q*(x*，y*)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，建立從Q*(x*，y*)到P**(x**，y**)的映射矩陣對(duì)應(yīng)關(guān)系，其計(jì)算式為P**(x**，y**)←M×Q*(x*，y*) (6)上式中，Q*(x*，y*)為全方位圖像上的各個(gè)像素坐標(biāo)的矩陣，M為從全方位圖像坐標(biāo)到矩形柱面全景圖像坐標(biāo)的對(duì)應(yīng)關(guān)系矩陣，P**為矩形柱面全景圖像上的各個(gè)像素坐標(biāo)的矩陣。
本實(shí)施例的展開(kāi)計(jì)算方法的原理為根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對(duì)應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣。由于這種一一對(duì)應(yīng)關(guān)系，通過(guò)映射矩陣方法能把轉(zhuǎn)變成不變形的全景圖像。通過(guò)M映射矩陣可以建立起式(6)關(guān)系。
P**(x**，y**)←M×P*(x*，y*)(6)根據(jù)式(6)，對(duì)于成像平面上的每個(gè)像素P*(x*，y*)在全方位圖像上有一個(gè)點(diǎn)P**(x**，y**)對(duì)應(yīng)，建立了M映射矩陣后，實(shí)時(shí)圖像處理的任務(wù)可以得到簡(jiǎn)化。每次在成像平面上得到的變形的全方位圖像完成查表運(yùn)算，生成不變形的全方位圖像顯示到顯示器上或者保存在存儲(chǔ)單元中或者通過(guò)Web服務(wù)發(fā)布到網(wǎng)頁(yè)上。
參照?qǐng)D18，所述的攝像部件為伸縮式攝像頭，所述的攝像頭通過(guò)伸縮軸15安裝在手機(jī)外殼13的上端的右側(cè)。
實(shí)施例4參照?qǐng)D12、圖15、圖19、圖20、圖21，本實(shí)施例的光學(xué)部分、電子部分基本構(gòu)成、基本原理與實(shí)施例1基本相同，不同之處在于圖像展開(kāi)處理模塊采用極坐標(biāo)展開(kāi)算法展開(kāi)處理模塊29包括讀取坐標(biāo)信息單元30，將上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑等數(shù)據(jù)讀取到程序中以便展開(kāi)計(jì)算；極坐標(biāo)展開(kāi)計(jì)算單元40，用于將全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，r為圖像上任意點(diǎn)距離內(nèi)圓的徑向長(zhǎng)度，方位角為β＝tan-1(y*/x*)，建立極坐標(biāo)(r*，β)，與全方位內(nèi)外圓邊界的交點(diǎn)坐標(biāo)分別為(x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)(r*，β)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x**(r*,β)=(1-r*)x*inner(β)+r*x*outer(β)y**(r*,β)=(1-r*)y*inner(β)+r*y*outer(β)...(17).]]>可將全方位圖像中的每個(gè)點(diǎn)一一映射到極坐標(biāo)(r，β)中，如圖10所示。
參照?qǐng)D19，所述的攝像部件為伸縮式攝像頭，所述的攝像部件通過(guò)伸縮軸15安裝在手機(jī)外殼13的上端的左側(cè)。
權(quán)利要求
1.一種具有全景攝像功能的手機(jī)，包括微處理器、攝像部件、存儲(chǔ)器、顯示裝置，所述的微處理器包括用于實(shí)現(xiàn)通訊功能的手機(jī)模塊，其特征在于所述的攝像部件包括反射部件、透鏡、CCD攝像裝置組成，所述的反射部件包括雙曲線面鏡，CCD攝像裝置位于雙曲線面鏡的虛焦點(diǎn)位置，透鏡位于CCD攝像裝置與雙曲線面鏡之間，所述的攝像裝置通過(guò)視頻輸入接口與微處理器通信連接，所述的顯示裝置與微處理器的視頻輸出接口連接，所述的微處理器還包括圖像采集模塊，用于采集CCD攝像裝置上的圖像；圖像存儲(chǔ)模塊，用于將采集的圖像數(shù)據(jù)存入存儲(chǔ)器；圖像預(yù)處理模塊，用于將采集的圖像去噪、平滑處理；所述的微處理器還包括圖像初始化模塊，用于確定所采集的全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，查找半徑變化時(shí)相應(yīng)圓周上像素平均值變化最大的值所對(duì)應(yīng)的(r，x*0，y*0)，其計(jì)算式為max(r,x*0,y*0)|1ΔrΣk{Gσ(r)ΣmI(x*,y*)}|---(1)]]>其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(2)ΣmI(x*,y*)=I[(kΔrcos(mΔβ)+x*0),(kΔrsin(mΔβ)+y*0)]---(3)]]>I(x*，y*)為圖像的像素，r為圓周的半徑，G為對(duì)原圖像進(jìn)行平滑的高斯模板，Δr表示半徑搜索的步長(zhǎng)，Δβ表示沿著圓弧分隔的角度的步長(zhǎng)；圖像展開(kāi)處理模塊，用于將CCD攝像裝置獲得的圓形全方位圖像通過(guò)幾何變換展開(kāi)成矩形柱面全景圖像；圖像輸出模塊，用于將展開(kāi)后的矩形柱面全景圖像輸出到顯示裝置。
2.如權(quán)利要求1所述的具有全景攝像功能的手機(jī)，其特征在于所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；近似展開(kāi)計(jì)算單元，用于將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，設(shè)定中間圓的半徑r1＝(r+R)/2，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；建立矩形柱面全景圖像中任意一點(diǎn)像素坐標(biāo)P**(x**，y**)與圓形全方位圖像中的像素坐標(biāo)Q*(x*，y*)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x*＝y(tǒng)*/(tan(360x**/π(R+r)))(4)y*＝(y**+r)cosβ(5)上式中，x**，y**為矩形柱面全景圖像的像素坐標(biāo)值，x*，y*為圓形全方位圖像的像素坐標(biāo)值，R為圓形全方位圖像的外徑，r為圓形全方位圖像的內(nèi)徑，β為圓形全方位圖像坐標(biāo)的方位角。
3.如權(quán)利要求1所述的具有全景攝像功能的手機(jī)，其特征在于所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；映射矩陣展開(kāi)單元，用于將圓形全方位圖像的中心坐標(biāo)設(shè)定平面坐標(biāo)系的原點(diǎn)O**(0，0)、X*軸、Y*軸，圖像的內(nèi)徑為r，外徑為R，方位角為β＝tan-1(y*/x*)；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)Q*(x*，y*)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，建立從Q*(x*，y*)到P**(x**，y**)的映射矩陣對(duì)應(yīng)關(guān)系，其計(jì)算式為P**(x**，y**)←M×Q*(x*，y*)(6)上式中，Q*(x*，y*)為全方位圖像上的各個(gè)像素坐標(biāo)的矩陣，M為從全方位圖像坐標(biāo)到矩形柱面全景圖像坐標(biāo)的對(duì)應(yīng)關(guān)系矩陣，P**為矩形柱面全景圖像上的各個(gè)像素坐標(biāo)的矩陣。
4.如權(quán)利要求1所述的具有全景攝像功能的手機(jī)，其特征在于所述的圖像展開(kāi)處理模塊包括讀取坐標(biāo)信息單元，用于讀取上述初始化模塊中計(jì)算得到的圓形全方位圖像的中心坐標(biāo)以及圖像的內(nèi)外圓半徑；極坐標(biāo)展開(kāi)計(jì)算單元，用于根據(jù)全方位圖像的中心點(diǎn)的位置和內(nèi)徑為r、外徑為R，r*為圖像上任意點(diǎn)距離內(nèi)圓的徑向長(zhǎng)度，方位角為β＝tan-1(y*/x*)，建立極坐標(biāo)(r*，β)，與全方位內(nèi)外圓邊界的交點(diǎn)坐標(biāo)分別為(x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全景圖像以坐標(biāo)原點(diǎn)O**(0，0)、X**軸、Y**軸為平面坐標(biāo)系，將圓形全方位圖像中的內(nèi)徑為r與X*軸的交點(diǎn)(r，0)作為坐標(biāo)原點(diǎn)O**(0，0)，以方位角β逆時(shí)針?lè)较蛘归_(kāi)；根據(jù)圓形全方位圖像中的任意一點(diǎn)像素坐標(biāo)(r*，β)與矩形柱面全景圖像中像素坐標(biāo)P**(x**，y**)的對(duì)應(yīng)關(guān)系，其計(jì)算式為x**(r*,β)=(1-r*)x*inner(β)+r*x*outer(β)y**(r*,β)=(1-r*)y*inner(β)+r*y*outer(β)---(7).]]>
5.如權(quán)利要求1-4之一所述的具有全景攝像功能的手機(jī)，其特征在于圖像展開(kāi)處理模塊還包括插值計(jì)算單元，用于消除在所述的展開(kāi)單元取整計(jì)算所帶來(lái)的誤差，計(jì)算得到的矩形柱面全景圖像的某個(gè)像素坐標(biāo)P**(x**，y**)的像素點(diǎn)為(k0，j0)，所述的像素點(diǎn)坐標(biāo)落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四個(gè)相鄰整數(shù)像素為頂點(diǎn)坐標(biāo)所構(gòu)成的正方形內(nèi)，用式(8)插值計(jì)算P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*)(8)所述的插值計(jì)算單元的輸入端連接展開(kāi)計(jì)算單元的輸出端，所述的插值計(jì)算單元的輸出端連接圖像輸出模塊。
6.如權(quán)利要求5所述的具有全景攝像功能的手機(jī)，其特征在于圖像展開(kāi)處理模塊還包括圖像增強(qiáng)單元，用于對(duì)圖像輸出單元輸出的像素均衡化，計(jì)算式為S(rk)=T(rk)=1NΣi=0kN(ri)---(9)]]>上式中，變換函數(shù)為灰度級(jí)累積分布函數(shù)T(r)，設(shè)原始圖像的灰度級(jí)為rk，S(r)為變換后圖像的灰度分布函數(shù)，N為圖像中的像素總數(shù)，N(r1)為圖像中灰度級(jí)為ri的像素總數(shù)。
7.如權(quán)利要求6所述的具有全景攝像功能的手機(jī)，其特征在于所述的圖像預(yù)處理模塊包括圖像濾波單元，用于采用二維Gabor濾波器對(duì)圓形全方位圖像進(jìn)行濾波；圖像質(zhì)量判斷單元，用于采用二維FFT變換計(jì)算頻域高頻能量，并比較所得的高頻能量值與預(yù)設(shè)的下限值，在高頻能量值大于下限值時(shí)選擇性地輸出全方位圖像。
8.如權(quán)利要求5所述的具有全景攝像功能的手機(jī)，其特征在于所述的反射部件還包括非透光圓錐體、透明圓柱體，所述的雙曲線面鏡位于圓柱體的上端，且面部的凹口向內(nèi)伸入圓柱體內(nèi)，所述的雙曲線面鏡的底面為反射面；所述的反射面中央固定連接所述的圓錐體，所述的圓錐體的錐角向下；所述的雙曲線面鏡、圓錐體、圓柱體的旋轉(zhuǎn)軸在同一中心軸線上；所述的透鏡位于圓柱體內(nèi)的下方；所述的攝像裝置包括CCD攝像頭、底座，所述的CCD攝像頭安裝在底座上部中央，所述的底座上開(kāi)有與所述的圓柱體的壁厚相同的圓槽；所述的圓錐體填充非透光性物質(zhì)或者用遮光性涂料來(lái)噴涂其表面；所述的底座上設(shè)有透鏡固定架，所述的透鏡安裝在透鏡固定架上。
9.如權(quán)利要求8所述的具有全景攝像功能的手機(jī)，其特征在于所述的攝像部件為旋轉(zhuǎn)式，所述的攝像部件通過(guò)旋轉(zhuǎn)軸安裝在手機(jī)外殼上。
10.如權(quán)利要求8所述的具有全景攝像功能的手機(jī)，其特征在于所述的攝像部件為伸縮式，所述的攝像部件通過(guò)伸縮軸安裝在手機(jī)外殼上。
全文摘要
一種具有全景攝像功能的手機(jī)，包括微處理器、攝像部件、存儲(chǔ)器、顯示裝置，微處理器包括用于實(shí)現(xiàn)通訊功能的手機(jī)模塊，攝像部件包括反射部件、透鏡、CCD攝像裝置組成，反射部件包括雙曲線面鏡，CCD攝像裝置位于雙曲線面鏡的虛焦點(diǎn)位置，透鏡位于CCD攝像裝置與雙曲線面鏡之間，攝像裝置通過(guò)視頻輸入接口與微處理器通信連接，顯示屏與微處理器的視頻輸出接口連接，微處理器還包括圖像采集模塊，圖像存儲(chǔ)模塊，圖像預(yù)處理模塊，圖像初始化模塊，圖像展開(kāi)處理模塊，用于圓形全方位圖像通過(guò)幾何變換展開(kāi)成矩形柱面全景圖像；圖像輸出模塊。手機(jī)中的微處理器執(zhí)行上述模塊將壓縮的、圓形的全方位圖像展開(kāi)成矩形的柱面全景圖像并實(shí)時(shí)地顯示在手機(jī)的顯示屏上。
文檔編號(hào)G02B13/06GK1878241SQ20051004998
公開(kāi)日2006年12月13日 申請(qǐng)日期2005年6月7日 優(yōu)先權(quán)日2005年6月7日
發(fā)明者湯一平, 唐軼峻, 葉永杰, 金順敬 申請(qǐng)人:浙江工業(yè)大學(xué)