專利名稱：遙感影像的快速正射糾正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遙感影像的正射糾正方法，更具體而言涉及一種利用多核CPU進(jìn)行數(shù)據(jù)調(diào)度，同時(shí)通過(guò)特定的處理方法利用圖形處理器GPU (Graphic Processing Unit, 即計(jì)算機(jī)上的顯卡)實(shí)現(xiàn)并行化的影像重采樣，從而實(shí)現(xiàn)航空航天遙感影像的快速正射糾正方法。
背景技術(shù)：
隨著遙感技術(shù)的發(fā)展，通過(guò)遙感技術(shù)所獲得的遙感影像或數(shù)據(jù)的用途越來(lái)越廣， 例如應(yīng)用于測(cè)繪，農(nóng)業(yè)，林業(yè)，地質(zhì)，水文，環(huán)境等各個(gè)社會(huì)信息服務(wù)領(lǐng)域。傳統(tǒng)的遙感影像正射糾正一般包括兩個(gè)步驟第一，通過(guò)外業(yè)測(cè)量或已有的地形圖資料采集數(shù)據(jù)信息；第二，將獲得的數(shù)據(jù)信息導(dǎo)入專業(yè)的遙感或數(shù)字?jǐn)z影測(cè)量系統(tǒng)完成影像的正射糾正。目前航空航天影像的正射糾正過(guò)程都是利用CPU以串行方式對(duì)影像進(jìn)行投影變換和重采樣(如線性內(nèi)插)。近年來(lái)傳感器技術(shù)的進(jìn)步帶來(lái)的是海量數(shù)據(jù)的處理需求，傳統(tǒng)的基于CPU串式影像正射糾正不能夠滿足目前對(duì)快速正射影像的生產(chǎn)的要求。目前解決快速正射影像糾正多采用分布式集群的方式利用多機(jī)器CPU進(jìn)行處理，這樣雖然可以提高系統(tǒng)處理正射影像的速度，但由于受多機(jī)IO的限制，分布式正射影像生產(chǎn)能夠提高的速度有限，同時(shí)也提高了單位正射影像生產(chǎn)成本。高度并行化的GPU是當(dāng)前主流計(jì)算系統(tǒng)的一個(gè)組成部分，由于GPU具有并行的處理架構(gòu)，因此在處理數(shù)字圖形圖像的速度上比CPU更具得天獨(dú)厚的優(yōu)勢(shì)。采用GPU進(jìn)行正射糾正，既可以充分利用個(gè)人電腦或圖形工作站現(xiàn)有的GPU硬件計(jì)算功能，同時(shí)又使得正射糾正處理速度和數(shù)據(jù)吞吐量方面要遠(yuǎn)超出基于CPU的糾正方法。因此本發(fā)明提出了一種基于GPU的快速正射糾正方法，可以為遙感軟件系統(tǒng)提供高性能的準(zhǔn)實(shí)時(shí)正射影像糾正能力，以滿足社會(huì)各相關(guān)領(lǐng)域?qū)φ溆跋窨焖偕a(chǎn)的要求。

發(fā)明內(nèi)容
本發(fā)明則是通過(guò)一定的處理方法，將傳統(tǒng)正射糾正過(guò)程中影像投影變換以及影像采樣這類的任務(wù)映射到GPU支持的圖形繪制流水線上，充分利用GPU強(qiáng)大的并行處理能力和高帶寬的數(shù)據(jù)傳輸能力實(shí)現(xiàn)航空航天遙感影像的快速正射糾正。利用本方法，可以使得正射糾正速度比在傳統(tǒng)CPU上進(jìn)行處理要快10倍以上，從而可以實(shí)現(xiàn)航空航天遙感影像的準(zhǔn)實(shí)時(shí)正射糾正。


下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說(shuō)明
圖1是本發(fā)明利用圖形處理單元進(jìn)行正射糾正處理時(shí)，使用迭代單片量測(cè)計(jì)算的示意
圖；圖2是本發(fā)明利用圖形處理單元進(jìn)行正射糾正處理時(shí)，使用原始影像四個(gè)角點(diǎn)計(jì)算正射影像地理范圍的示意圖3是本發(fā)明中將虛擬正射影像進(jìn)行分解的示意圖； 圖4是本發(fā)明中矢量平面頂點(diǎn)和頂點(diǎn)連接的拓?fù)潢P(guān)系示意圖； 圖5是本發(fā)明中將正射糾正過(guò)程映射成OpenGL 3D繪制操作的框圖； 圖6是本發(fā)明中多核CPU與GPU相結(jié)合的正射糾正處理方法的邏輯框圖。
具體實(shí)施例方式下面說(shuō)明本發(fā)明中利用圖形處理單元對(duì)遙感影像進(jìn)行快速正射糾正處理的基本過(guò)程。第一步，首先利用傳感器幾何模型、原始影像四個(gè)角點(diǎn)坐標(biāo)、數(shù)字高程模型以及正射影像地面分解率(GSD)，通過(guò)自動(dòng)單片迭代量測(cè)技術(shù)快速計(jì)算出四個(gè)角點(diǎn)4的地理坐標(biāo)
(JQ^) ！ €{0,1,2,3}，然后分別計(jì)算X和Y方向最大值JT—^maxCi^l^^ma^iQ和最
小值Ima = Inm(Xj)i^ = mm(i；),則利用下列公式形成一個(gè)寬為V0W，高為VOH的虛擬正射
影像；
VOW = Xmax -Xmm VOH = Ymax — Ymin第二步考慮到圖形處理器處理的數(shù)據(jù)量有限，而遙感影像的數(shù)據(jù)量和尺寸都非常大，因此需要進(jìn)行分塊處理。首先通過(guò)OpenGL函數(shù)獲取當(dāng)前系統(tǒng)中圖形處理器支持紋理和視口的尺寸信息，然后自動(dòng)選擇一個(gè)合理長(zhǎng)(GW)寬(GH)將虛擬正射影像分解成NXXNY 塊小虛擬正射影像，參見(jiàn)圖2所示，其中=NX = ceil (VOW/GW) NY = ceil(V0H/GH) (ceil 為向上取整函數(shù)，由于VOW/GW和VOH/GH不是整數(shù)，所以取距離計(jì)算后浮點(diǎn)數(shù)最近的一個(gè)較大的整數(shù))。第三步將第二步分解得到的每一個(gè)虛擬小塊正射影像，按照?qǐng)D3所示的三角網(wǎng)方式構(gòu)成一個(gè)矢量平面。圖3中的黑色實(shí)心圓代表虛擬小塊正射影的每一個(gè)像素，利用這些像素的地理坐標(biāo)以及連接索引關(guān)系，通過(guò)OpenGL的矢量Buffer對(duì)象方式加載到圖形處
理單元。第四步按照每一個(gè)虛擬小正射影像地理范圍，從數(shù)字高程模型中提取覆蓋此小正射影像范圍的數(shù)字高程模型數(shù)據(jù)，通過(guò)OpenGL的浮點(diǎn)紋理Buffer對(duì)象方式加載到圖形處理單元中，同時(shí)還在原始影像上提取在此小正射影像范圍內(nèi)的原始影像，以圖像紋理方式加載到圖形處理單元中。第五步利用GPU執(zhí)行并行正射糾正任務(wù)。參見(jiàn)圖5，此時(shí)要做的主要工作是把待求解的任務(wù)映射到GPU支持的圖形繪制流水線上。本方法是將正射糾正任務(wù)的輸入數(shù)據(jù)利用第三步和第四步得到的頂點(diǎn)位置、拓?fù)潢P(guān)系信息、浮點(diǎn)高程紋理和影像紋理等圖形繪制要素來(lái)表達(dá)，而相應(yīng)的處理算法則被分解為一系列的執(zhí)行步驟，并改寫(xiě)為GPU的頂點(diǎn)處理程序和片段處理程序，然后，調(diào)用OpenGL 3D API (如glTeXImage2D等函數(shù))執(zhí)行圖形繪制操作，圖形繪制流水線調(diào)用相應(yīng)的片段程序進(jìn)行處理；最后，保存在后臺(tái)幀緩存中的繪制結(jié)果就是本算法的正射糾正輸出數(shù)據(jù)。將正射糾正任務(wù)映射到GPU圖形繪制流水線的具體方法描述如下
(1)將DEM數(shù)據(jù)、虛擬正射影像物方坐標(biāo)和拓?fù)溥B接關(guān)系以及原始影像數(shù)據(jù)通過(guò) glTexImage2D和glVertexPointer等3D API載入GPU中，并在GPU中分配相應(yīng)的存儲(chǔ)空間；
(2)將共線方程或有理多項(xiàng)式模型計(jì)算物方到像方坐標(biāo)的整個(gè)過(guò)程，利用GLSL語(yǔ)言編寫(xiě)，然后利用glSiaderSource裝載進(jìn)OpenGL流水線中，并調(diào)用glCompileraiader編譯，生成GPU中的頂點(diǎn)處理程序，實(shí)現(xiàn)從浮點(diǎn)紋理上內(nèi)插高程值，并通過(guò)共線方程或有理多項(xiàng)式模型計(jì)算每個(gè)頂點(diǎn)所對(duì)應(yīng)的影像紋理坐標(biāo)，同時(shí)還將輸入的正射影像物方坐標(biāo)轉(zhuǎn)成像點(diǎn)坐標(biāo)，從而將GPU中缺省的頂點(diǎn)程序改寫(xiě)成專為正射影像處理定制的頂點(diǎn)處理程序；
(3)將背景色和正射影像無(wú)效區(qū)處理算法利用GLSL語(yǔ)言編寫(xiě)，然后利用 glShaderSource裝載進(jìn)OpenGL流水線中，并調(diào)用glCompiIerSiader編譯，生成GPU中的片段處理程序，從而改寫(xiě)GPU中缺省的片段處理程序，實(shí)現(xiàn)正射影像糾正中背景色和無(wú)效區(qū)填色等處理工作；
(4)利用glBindFramebuffer函數(shù)在GPU中構(gòu)建一個(gè)后臺(tái)幀緩沖對(duì)象，并利用 glFramebufferRenderbuffer函數(shù)將一個(gè)GPU繪制對(duì)象與幀緩沖對(duì)象進(jìn)行管理，從而將 OpenGL的圖形繪制流水線輸出改為后臺(tái)處理；
(5)調(diào)用glDrawElements函數(shù)將正射糾正的任務(wù)添加到GPU的3D流水線中；
(6)調(diào)用glBindBuffer在GPU中開(kāi)辟一塊接收GPU處理后的正射影像緩沖對(duì)象，然后調(diào)用glReadPixels函數(shù)從該GPU緩沖對(duì)象中獲取正射影像塊。第六步重復(fù)3到5步的處理，完成余下所有小虛擬正射影像的糾正，然后根據(jù)地理坐標(biāo)進(jìn)行簡(jiǎn)單拼接，寫(xiě)入最終的正射影像文件，完成整個(gè)影像正射糾正處理任務(wù)。上述方法是利用GPU正射糾正的核心，但每次只能對(duì)一塊小虛擬正射影像進(jìn)行準(zhǔn)實(shí)時(shí)糾正，為了充分利用現(xiàn)在的多核CPU的數(shù)據(jù)調(diào)度能力，本發(fā)明還采用了多核CPU與GPU 相結(jié)合的正射糾正處理方法，可以同時(shí)對(duì)多塊虛擬小正射影像塊進(jìn)行GPU糾正。本方法的難點(diǎn)在于多線程間數(shù)據(jù)同步以及多線程間競(jìng)爭(zhēng)性地使用有限的GPU性能，為此本方法設(shè)計(jì)了一種并行隊(duì)列，通過(guò)線程間的信號(hào)同步、事件通知等機(jī)制，可以有效地處理這些問(wèn)題，其處理邏輯圖如圖6。第一步根據(jù)當(dāng)前CPU的核數(shù)，在系統(tǒng)中啟動(dòng)若干調(diào)度執(zhí)行單元，也是通常說(shuō)的數(shù)據(jù)調(diào)度線程。同時(shí)還在系統(tǒng)中啟動(dòng)若干GPU糾正執(zhí)行單元，也就是通常所說(shuō)的數(shù)據(jù)處理線程。第二步將方法(一)中的第二步分解到的NXXNY塊小虛擬正射影像的坐標(biāo)數(shù)據(jù)、拓?fù)潢P(guān)系數(shù)據(jù)、高程模型以及原始影像數(shù)據(jù)，添加到系統(tǒng)的并行共享待糾正隊(duì)列中。并行共享待糾正隊(duì)列需要處理多核并行調(diào)度和多核并行GPU糾正這兩功能模塊的數(shù)據(jù)同步問(wèn)題，這類似實(shí)現(xiàn)多對(duì)多的“生產(chǎn)-消費(fèi)”這一并行計(jì)算模式。第三步在多核并行GPU糾正中，每個(gè)GPU糾正執(zhí)行單元利用方法(一)實(shí)現(xiàn)GPU的準(zhǔn)實(shí)時(shí)正射糾正，然后將糾正結(jié)果添加到并行共享待寫(xiě)入隊(duì)列中。第四步在并行共享待寫(xiě)入隊(duì)列的另一頭，則由一個(gè)正射影像拼接寫(xiě)入線程，將這些已經(jīng)糾正好的數(shù)據(jù)進(jìn)行簡(jiǎn)單拼接，最后寫(xiě)入正射影像文件，完成最終的正射影像處理。本發(fā)明開(kāi)發(fā)了一種專有算法，使得支持OpenGL 2. 0標(biāo)準(zhǔn)的顯卡可以利用數(shù)字高程模型(DEM)對(duì)具有有理多項(xiàng)式模型或共線方程參數(shù)的遙感影像進(jìn)行實(shí)時(shí)正射糾正。由于本發(fā)明充分應(yīng)用了 GPU硬件加速技術(shù)，并且GPU糾正是并行的，而且因此可以實(shí)現(xiàn)基于GPU 遙感影像的準(zhǔn)實(shí)時(shí)正射糾正。
權(quán)利要求
1.一種遙感影像的快速正射糾正方法，該方法包括以下步驟第一步，利用傳感器幾何模型、原始影像四個(gè)角點(diǎn)坐標(biāo)、數(shù)字高程模型以及正射影像地面分解率(GSD)，快速估計(jì)出正射影像的寬(VOW)和高(VOH)，形成一個(gè)V0W*V0H的虛擬正射影像；第二步，進(jìn)行分塊處理，將虛擬正射影像分解成NXXNY塊小虛擬正射影像，其中NX = ceil(V0ff/Gff) NY = ceil (VOH/GH) (ceil 為向上取整函數(shù)，由于 V0W/GW 和 V0H/GH 不是整數(shù)，所以取距離計(jì)算后浮點(diǎn)數(shù)最近的一個(gè)較大的整數(shù))；第三步將第二步分解得到的每一個(gè)虛擬小塊正射影像，利用每個(gè)像素所對(duì)應(yīng)的平面地理坐標(biāo)構(gòu)成一個(gè)矢量平面，將這些像素所對(duì)應(yīng)的地理坐標(biāo)以及連接索引關(guān)系以矢量對(duì)象方式加載到圖形處理單元；第四步按照每一個(gè)虛擬的小正射影像地理范圍，提取覆蓋此小正射影像范圍的數(shù)字高程模型數(shù)據(jù)，并以浮點(diǎn)紋理方式加載到圖形處理單元中，同時(shí)在原始影像上提取在此小正射影像范圍內(nèi)的原始影像，以圖像紋理方式加載到圖形處理單元中；第五步利用GPU執(zhí)行并行正射糾正任務(wù)，把待求解的任務(wù)映射到GPU支持的圖形繪制流水線上，利用第三步和第四步得到的頂點(diǎn)位置、拓?fù)潢P(guān)系信息、浮點(diǎn)高程紋理和影像紋理等圖形繪制要素，執(zhí)行圖形繪制操作，圖形繪制流水線調(diào)用相應(yīng)的片段程序進(jìn)行處理；最后保存在后臺(tái)幀緩存中的繪制結(jié)果就是本算法的正射糾正輸出數(shù)據(jù)；第六步重復(fù)3到5步的處理，完成余下所有小虛擬正射影像的糾正，然后根據(jù)地理坐標(biāo)進(jìn)行簡(jiǎn)單拼接，生成最終的正射影像文件。
2.如權(quán)利要求1所述的遙感影像正射糾正方法，其中第一步的快速估計(jì)正射糾正影響是通過(guò)自動(dòng)單片迭代量測(cè)技術(shù)實(shí)現(xiàn)的。
3.如權(quán)利要求1所述的遙感影像正射糾正方法，其中第二步的分塊處理是通過(guò)OpenGL 函數(shù)獲取當(dāng)前系統(tǒng)中圖形處理器支持紋理和視口的尺寸信息，然后自動(dòng)選擇一個(gè)合理長(zhǎng) (Gff)寬(GH)將虛擬正射影像分解成NXXNY塊小虛擬正射影像。
4.如權(quán)利要求1所述的遙感影像正射糾正方法，其中第三步的加載是通過(guò)OpenGL的矢量Buffer對(duì)象方式加載到圖形處理單元的。
5.如權(quán)利要求1所述的遙感影像正射糾正方法，其中第四步對(duì)數(shù)字高程模型數(shù)據(jù)是通過(guò)OpenGL的浮點(diǎn)紋理Buffer對(duì)象方式加載到圖形處理單元中的。
6.如權(quán)利要求1所述的遙感影像正射糾正方法，其中執(zhí)行圖形繪制操作的處理算法被分解為一系列的執(zhí)行步驟，并改寫(xiě)為GPU的頂點(diǎn)處理程序和片段處理程序。
7.如權(quán)利要求1所述的遙感影像正射糾正方法，還采用了多核CPU與GPU相結(jié)合的正射糾正處理方法，該方法包括第一步根據(jù)當(dāng)前CPU的核數(shù)，在系統(tǒng)中啟動(dòng)若干調(diào)度執(zhí)行單元； 第二步權(quán)利要求1中分解到的NXXNY塊小虛擬正射影像的坐標(biāo)數(shù)據(jù)、拓?fù)潢P(guān)系數(shù)據(jù)、 高程模型以及原始影像數(shù)據(jù)，添加到系統(tǒng)的并行共享待糾正隊(duì)列中；第三步在多核并行GPU糾正中，每個(gè)GPU糾正執(zhí)行單元實(shí)現(xiàn)GPU的準(zhǔn)實(shí)時(shí)正射糾正， 然后將糾正結(jié)果添加到并行共享待寫(xiě)入隊(duì)列中；第四步在并行共享待寫(xiě)入隊(duì)列的另一頭，由一個(gè)正射影像拼接寫(xiě)入線程，將這些已經(jīng)糾正好的數(shù)據(jù)進(jìn)行簡(jiǎn)單拼接，最后寫(xiě)入正射影像文件，完成最終的正射影像處理。
全文摘要
本申請(qǐng)涉及一種遙感影像的快速正射糾正方法，利用多核CPU進(jìn)行數(shù)據(jù)調(diào)度，通過(guò)特定的處理方法將傳統(tǒng)正射糾正過(guò)程中影像投影變換以及影像采樣這類的任務(wù)映射到GPU支持的圖形繪制流水線上，利用GPU強(qiáng)大的并行處理能力和高帶寬的數(shù)據(jù)傳輸能力實(shí)現(xiàn)航空航天遙感影像的快速正射糾正。
文檔編號(hào)G06K9/32GK102184397SQ20111010268
公開(kāi)日2011年9月14日 申請(qǐng)日期2011年4月25日 優(yōu)先權(quán)日2011年4月25日
發(fā)明者孫鈺珊, 張力, 杜全葉, 艾海濱, 董啟明 申請(qǐng)人:中國(guó)測(cè)繪科學(xué)研究院