基于結(jié)構(gòu)激光線的文檔圖像畸變矯正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實施例涉及數(shù)字圖像處理和計算機(jī)視覺技術(shù)領(lǐng)域，尤其是涉及基于結(jié)構(gòu)激 光線的文檔圖像畸變矯正方法。
【背景技術(shù)】
[0002] 傳統(tǒng)的平板式掃描儀在掃描積厚文檔（如書刊）時，由于文檔的書脊區(qū)域無法完 全平展緊貼掃描儀的玻璃平板表面，最終導(dǎo)致得到的文本圖像在書脊區(qū)域出現(xiàn)顯著的圖像 畸變、非均勻陰影等掃描缺陷。這些掃描缺陷會嚴(yán)重影響后續(xù)的文檔圖像分析工作（如文 檔圖像的版面分割、字符識別等）。因此，作為常用的文檔掃描工具，傳統(tǒng)的平板式掃描儀通 常不適用于非平面文檔的高質(zhì)量掃描工作。
[0003] 為實現(xiàn)書籍等文檔的高質(zhì)量掃描，人們先后提出了一系列技術(shù)來試圖解決具有彎 曲表面形狀的文檔圖像高質(zhì)量掃描問題。這些技術(shù)可大致分為兩大類：基于軟件的方法和 基于硬件輔助的方法。前者通常對獲取的畸變圖像利用算法首先估計得到圖像的畸變函 數(shù)，然后通過圖像變換矯正圖像中的畸變失真；而后者則通常在圖像采集過程中，借助某種 硬件設(shè)備來輔助實現(xiàn)文檔圖像的高質(zhì)量采集。
[0004] 基于軟件的方法關(guān)鍵在于正確的估計文檔圖像的畸變函數(shù)，常用的方法包括基于 圖像局部形變的技術(shù)、基于Shape-from-X的技術(shù)、基于頁面曲面模型化的技術(shù)、基于多視 點圖像的技術(shù)等?；趫D像局部形變的技術(shù)注意到文檔圖像中通常存在大量的文本行。而 對于無畸變的圖像，這些文本行通常都是水平方向、平行排列的。因此，該方法首先分割并 提取文檔圖像中文本行，并估計每條文本行對應(yīng)的文本行基線，然后將彎曲的文本行基線 拉成一條水平直線，并將文本行中的單詞逐個旋轉(zhuǎn)并沿矯正的基線重新排列，從而矯正文 本行的彎曲。利用這種方法矯正后的圖像，文字識別精度能夠得到顯著提升，然而該方法矯 正后的圖像視覺質(zhì)量不高，圖像中仍存在大量的畸變，且無法矯正非文本區(qū)域的圖像畸變。
[0005] 基于shape-from-X的技術(shù)利用圖像中的某種視覺線索來恢復(fù)文檔頁面的3D形 狀，從而構(gòu)造圖像的畸變矯正函數(shù)。這些視覺線索包括陰影、輪廓、紋理等。在現(xiàn)有技術(shù)中， 以頁面的陰影曲面最為常用。該技術(shù)通過分析頁面陰影與頁面形狀之間的約束關(guān)系，得到 二者所滿足的約束方程，求解該方程得到頁面的3D曲面。最后利用該曲面完成圖像幾何畸 變的矯正。該技術(shù)對頁面陰影要求較高，僅適用于光源受控環(huán)境下的圖像采集。
[0006] 基于頁面曲面模型化的技術(shù)則假設(shè)頁面的彎曲形狀為某種特定類型的曲面，如柱 面或可展曲面，從而利用該假設(shè)來約束頁面曲面的估計。這其中，柱面假設(shè)是最為常用的一 種假設(shè)。為估計透視變換下的柱面模型的參數(shù)，該技術(shù)通常進(jìn)一步限定相機(jī)拍攝的視角、距 離、姿態(tài)等，且還需預(yù)先知道文檔頁面的尺寸等額外物理信息。這些苛刻條件為實際應(yīng)用造 成了很多不便。此外，為準(zhǔn)確估計柱面模型的參數(shù)，需要精確的分割并提取文檔圖像中水平 文本行，在對尚不成熟的文本行精確提取和擬合技術(shù)提出了很高的要求。由于文檔版面類 型的多樣性以及圖像獲取過程中引入的畸變、噪聲等影響，精確的分割并提取水平文本行 基線在實際中非常困難，從而嚴(yán)重制約了該方法的實際應(yīng)用。
[0007] 可展曲面假設(shè)是另一種常用的頁面形狀假設(shè)。由于文檔頁面總可以展開至平面 上，因此，與柱面假設(shè)相比，該假設(shè)更具一般性。注意到可展曲面可由逐條平面片很好逼近， 有研究者最新提出采用分片薄板樣條曲面來近似可展曲面，用于圖像幾何畸變的矯正。該 技術(shù)利用目前成熟的平面透視失真矯正技術(shù)，對薄板樣條曲面逐片矯正，最后對這些矯正 后的結(jié)果拼接完成圖像的矯正。然而，由于無可避免的估計誤差，拼接后的圖像中常存在裂 縫、重疊等缺陷。這些缺陷大大影響了圖像矯正后的視覺效果。此外，由于透視失真與非線 性幾何形變失真的復(fù)合，該技術(shù)無法徹底矯正圖像中存在的幾何畸變，存在矯正殘留誤差 大、算法復(fù)雜等缺點。
[0008] 近來，有研究者還提出了基于多視點圖像的文檔圖像畸變矯正技術(shù)。該技術(shù)通過 獲取同一文檔不同視點下的多幅圖像，從中提取圖像特征進(jìn)行配準(zhǔn)，進(jìn)而利用多視幾何和 極線約束估計頁面的3D形狀。為了精確估計頁面的3D形狀，該技術(shù)需要對不同視點下拍 攝的圖像進(jìn)行精確的特征點配準(zhǔn)。然而，由于圖像畸變的影響，在畸變嚴(yán)重的地方特征點匹 配精度很差，從而導(dǎo)致該區(qū)域的形狀估計誤差大，得到的形變函數(shù)無法有效的矯正該區(qū)域 的圖像畸變。
[0009] 與基于軟件的方法不同，基于硬件輔助的技術(shù)在圖像采集階段就引入特定的硬件 裝備來輔助書籍文檔圖像的采集。代表性的技術(shù)包括基于3D掃描儀的技術(shù)、基于V-bed的 書籍掃描技術(shù)和基于V-head的書籍掃描技術(shù)?；?D掃描儀的技術(shù)利用3D掃描儀直接 獲取文檔頁面的3D深度信息，基于這些信息重構(gòu)頁面曲面的3D形狀，最后通過一個保角映 射和紋理映射將扭曲的圖像映射至平面上，來矯正圖像的幾何扭曲。這類方法通常對圖像 的幾何形變類型不加限制，能夠適用于圖像中多種類型的幾何畸變的矯正。然而，由于額外 需要價格昂貴的3D掃描儀輔助圖像矯正，這類方法在實際中并不常用。并且，由于深度數(shù) 據(jù)中幾何拓?fù)潢P(guān)系的缺失，3D頁面形狀的重構(gòu)還存在計算量大、數(shù)值不穩(wěn)定等缺點，這些進(jìn) 一步限制的這類方法在實際中的應(yīng)用。
[0010] 基于V-bed的掃描技術(shù)設(shè)計了一種V形的底座來方便地放置打開的書頁。放置在 V形底座上的書頁，通過手指輕壓或借助于透明的玻璃平板覆壓可防止頁面出現(xiàn)顯著的形 變。在采集頁面圖像時，該技術(shù)通常利用兩部高分辨率相機(jī)分別拍攝書籍的左右頁面。該 技術(shù)能夠防止書籍圖像采集過程中產(chǎn)生顯著畸變，然而為了得到高質(zhì)量的頁面圖像，在掃 描一本書不同厚度部分時，常需要不斷調(diào)整V形底座張開的角度。此外，該技術(shù)利用按壓來 防止書籍頁面出現(xiàn)變形，這種技術(shù)屬于接觸式掃描方法，不適用于易損古籍的掃描。
[0011] 基于V-head的書籍掃描技術(shù)利用專門設(shè)計的V形掃描頭，并結(jié)合V形底座對書籍 進(jìn)行掃描。這種掃描技術(shù)專門用于對積厚書籍的圖像掃描。掃描的時候，將一本厚書打開 向上放置于V形底座上，然后將V形掃描頭插入頁面并調(diào)整高度將書籍頁面壓緊，防止頁面 出現(xiàn)彎曲變形。該技術(shù)與基于V-bed的掃描技術(shù)類似，屬于一種接觸式的掃描技術(shù)，不適用 于易損古籍的掃描。此外，基于V-head的掃描技術(shù)是專門針對書籍文檔的掃描而設(shè)計的， 不能用于其他文檔的掃描，因此，其應(yīng)用范圍在實際中受到很大限制。
[0012] 有鑒于此，特提出本發(fā)明。

【發(fā)明內(nèi)容】

[0013] 本發(fā)明實施例的主要目的在于提供一種基于結(jié)構(gòu)激光線的文檔圖像畸變矯正方 法，其至少部分地解決了如何矯正非平面文檔圖像的幾何畸變的技術(shù)問題。
[0014] 為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了以下技術(shù)方案：
[0015] -種基于結(jié)構(gòu)激光線的文檔圖像畸變矯正方法，該方法至少可以包括：
[0016] 對相機(jī)內(nèi)、外參數(shù)進(jìn)行標(biāo)定，并計算結(jié)構(gòu)激光線所在的平面方程；
[0017] 獲取文檔圖像；
[0018] 提取激光線；
[0019] 根據(jù)標(biāo)定的相機(jī)內(nèi)、外參數(shù)、所述結(jié)構(gòu)激光線所在的平面方程以及所述提取的激 光線，估計所述文檔圖像的3D頁面準(zhǔn)線；
[0020] 根據(jù)所述3D頁面準(zhǔn)線，對可展曲面進(jìn)行插值；
[0021] 對所述插值的可展曲面進(jìn)行展開；
[0022] 根據(jù)所述展開的可展曲面，對圖像畸變進(jìn)行矯正。
[0023] 進(jìn)一步地，所述對相機(jī)內(nèi)、外參數(shù)進(jìn)行標(biāo)定，具體包括：
[0024] 根據(jù)棋盤格圖案標(biāo)定塊，得到標(biāo)定塊圖像，根據(jù)相機(jī)標(biāo)定算法計算相機(jī)的內(nèi)參 數(shù)；
[0025] 在所述標(biāo)定塊圖像上建立世界坐標(biāo)系，根據(jù)所述相機(jī)標(biāo)定算法計算相機(jī)對應(yīng)的外 參數(shù)。
[0026] 進(jìn)一步地，所述計算結(jié)構(gòu)激光線所在的平面方程，具體包括：
[0027] 根據(jù)所述相機(jī)外參數(shù)和內(nèi)參數(shù)，計算所述激光線上的點在世界坐標(biāo)系下的3D坐 標(biāo)，利用最小二乘算法對同一激光線上的3D坐標(biāo)點進(jìn)行平面擬合。
[0028] 進(jìn)一步地，所述獲取文檔圖像具體包括：
[0029] 利用兩條一字線激光器照射文檔，開啟和關(guān)閉激光器電源，同時利用相機(jī)拍攝文 檔頁面圖像。
[0030] 進(jìn)一步地，所述提取激光線，具體包括：
[0031] 提取所述文檔圖像的紅色通道圖像，