專利名稱：書籍讀取系統(tǒng)及書籍讀取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及書籍讀取系統(tǒng)及書籍讀取方法。尤其，本發(fā)明涉及適用于一邊翻開裝訂的書籍一邊自動(dòng)讀取書籍中所記載的信息的技術(shù)。
背景技術(shù)：
利用多張圖像還原形狀的技術(shù)從模型的建模到建筑物的還原持續(xù)產(chǎn)生大量具有魅力的應(yīng)用。但是，該大量的技術(shù)一直以對(duì)象物體為剛體為前提來解決各種課題。在對(duì)象為非剛體的情況下，由于形狀變形的大前提的不同，要求采用新的方法解決問題。作為對(duì)象為非剛體時(shí)的形狀還原，近年來提出了一些方法，但尚未確立如剛體的情況那般標(biāo)準(zhǔn)的方法。因此，在計(jì)算機(jī)視覺的領(lǐng)域成為挑戰(zhàn)的課題。認(rèn)為非剛體的變形估計(jì)具有技術(shù)挑戰(zhàn)性，并且即使在其應(yīng)用中，從產(chǎn)業(yè)檢查到娛樂領(lǐng)域均可以廣泛地做出創(chuàng)新的貢獻(xiàn)。在目前為止的相同的方法涉及的報(bào)告中未提議確定的應(yīng)用開展，但提出了高適用性的途徑。例如，進(jìn)行用于估計(jì)紙、罐、T恤衫、游艇的帆等的變形的評(píng)價(jià)實(shí)驗(yàn)。特別是以材質(zhì)的非伸縮性為限制條件進(jìn)行利用且將焦點(diǎn)置于只變形的還原。在此，認(rèn)為現(xiàn)有的變形模型所導(dǎo)入的對(duì)象的非伸縮性的意思是，只要對(duì)象本來是從平面變形的，就可以展開成平坦的狀態(tài)。該展開的操作在還原問題上可能具有重要的意義。具體而言，可以利用對(duì)所有的觀測(cè)圖像展開的紋理圖像只存在一種的條件。這樣，利用觀測(cè)到的圖像一并實(shí)施對(duì)象表面的紋理的還原時(shí)，認(rèn)為在應(yīng)用和技術(shù)上的兩個(gè)側(cè)面具有大的優(yōu)點(diǎn)。認(rèn)為這種技術(shù)對(duì)于書籍電子化的領(lǐng)域有貢獻(xiàn)。近年來，面向書籍電子化的需求在全世界變高。書籍電子化需要高速性和高精確，但兼?zhèn)淦鋬烧叩南到y(tǒng)尚未實(shí)現(xiàn)。至此，通常將書籍按一頁固定并依次對(duì)相對(duì)平坦的狀態(tài)的紙面進(jìn)行電子化的樣式，存在需要時(shí)間的問題。為解決該問題，提倡不在書籍的頁面翻開動(dòng)作中停止動(dòng)作而進(jìn)行電子化的書籍翻開掃描(Book Flipping Scanning)(下述非專利文獻(xiàn)I)。認(rèn)為通過該新的方法，從業(yè)務(wù)用途到個(gè)人用途根據(jù)各種必要性產(chǎn)生幾個(gè)系統(tǒng)結(jié)構(gòu)。例如，提出了通過使用三維傳感器，實(shí)時(shí)獲取形狀，使用該形狀的信息校正通過照相機(jī)獲取的失真的書籍圖像的類型的系統(tǒng)(下述非專利文獻(xiàn)I)。但是，該系統(tǒng)僅由I臺(tái)照相機(jī)構(gòu)成，并且每一頁僅拍攝一次，因此，在書籍圖像的分辨率低這一點(diǎn)及紙面重疊產(chǎn)生死角這一點(diǎn)上有改善的余地。現(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)非專利文獻(xiàn)1: [I] T. Nakashima, Y. ffatanabe, T. Komuro, and M.1shikawa. Bookflipping scanning. 22nd Symposium on User Interface Software and Technology(UIST2009) (Victoria, 2009. 10. 5) /Adjunct Proceedings, pp. 79 — 80，2009.

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，在執(zhí)行將翻開動(dòng)作中的書籍連續(xù)電子化的系統(tǒng)時(shí)，有時(shí)因翻開中的某頁面的背后隱藏下一頁面，或者沒有預(yù)料的頁面失真，因而不能獲取適宜的書籍圖像。于是，可能不能適當(dāng)?shù)剡€原書籍圖像。另外，高速的照相機(jī)由于分辨率會(huì)降低，所以存在電子化的書籍圖像的精確度低的問題。S卩，為了書籍電子化，在這一點(diǎn)上有改善的余地。本發(fā)明是鑒于所述的情況而創(chuàng)立的。本發(fā)明的目的在于，提供一種為了一邊翻開頁面一邊獲取正確的書籍圖像而可利用的技術(shù)。用于解決課題的方案解決所述的課題的發(fā)明如以下項(xiàng)目所記載。(項(xiàng)目I)一種書籍讀取系統(tǒng)，其特征在于，具備頁面狀態(tài)測(cè)定部、書籍圖像獲取部和數(shù)據(jù)處理部，

所述頁面狀態(tài)測(cè)定部的結(jié)構(gòu)為測(cè)定已翻開的書籍的頁面狀態(tài)，所述書籍圖像獲取部具備多個(gè)第一照相機(jī)，所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為從彼此不同的方向分別獲取有關(guān)所述書籍的頁面的書籍圖像，所述數(shù)據(jù)處理部的結(jié)構(gòu)為使用由所述頁面狀態(tài)測(cè)定部測(cè)定的所述書籍的頁面狀態(tài)的信息校正由所述書籍圖像獲取部獲取的所述書籍圖像。(項(xiàng)目2)如項(xiàng)目I所述的書籍讀取系統(tǒng)，其中，所述頁面狀態(tài)測(cè)定部具備用于朝向所述書籍的頁面投影既定的圖案的圖案光源，所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為進(jìn)一步獲取投影了所述圖案的頁面的形狀圖像。(項(xiàng)目3)如項(xiàng)目2所述的書籍讀取系統(tǒng)，其中，所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為在從所述圖案光源投影所述圖案的定時(shí)獲取所述形狀圖像且在未從所述圖案光源投影所述圖案的定時(shí)獲取所述書籍圖像。(項(xiàng)目4)如項(xiàng)目I所述的書籍讀取系統(tǒng)，其中，所述頁面狀態(tài)測(cè)定部具備形狀圖像用的第二照相機(jī)，所述第二照相機(jī)具備使從所述圖案光源投影的波長(zhǎng)的光透過且遮蔽其以外的環(huán)境光的濾波器，所述圖案光源的結(jié)構(gòu)為使用既定的波長(zhǎng)的光朝向所述書籍的頁面投影所述既定的圖案，由此，所述第二照相機(jī)能夠獲取投影于所述書籍的頁面的所述既定的圖案。(項(xiàng)目5)如項(xiàng)目I 4中任一項(xiàng)所述的書籍讀取系統(tǒng)，其中，
所述第一照相機(jī)的結(jié)構(gòu)為在所述書籍的每一頁面獲取多張的書籍圖像，所述數(shù)據(jù)處理部的結(jié)構(gòu)為通過統(tǒng)一所述多張的書籍圖像的信息從而提高校正了頁面形狀的失真的書籍圖像的精確度。發(fā)明效果根據(jù)本發(fā)明，獲取利用多個(gè)第一照相機(jī)拍攝印刷于書籍的紙面的字符或繪畫的圖像(書籍圖像)，因此，與單一的照相機(jī)的情況相比，能夠更高精度地校正書籍圖像而將書籍的信息電子化。進(jìn)而，本發(fā)明的其它目的在于，通過統(tǒng)一對(duì)變形中的紙面拍攝了多次的書籍圖像，從而與僅根據(jù)對(duì)一個(gè)頁面拍攝了一次的書籍圖像進(jìn)行校正的情況相比，進(jìn)行高質(zhì)量的書籍電子化。


圖1是表示本發(fā)明的第一實(shí)施方式中的書籍讀取系統(tǒng)的概略性結(jié)構(gòu)的方框圖。圖2是用于說明本發(fā)明第一實(shí)施方式中的照相機(jī)及圖案光源的配置的說明圖。圖3是用于說明本發(fā)明第一實(shí)施方式中的書籍讀取系統(tǒng)的整體的動(dòng)作的流程圖。圖4是用于說明獲取頁面初始形狀的步驟的流程圖。圖5是用于說明可展面的說明圖。圖6是用于說明可展面的平面展開的說明圖。圖7是用于說明頁面位置的估計(jì)的說明圖。圖8是用于說明可展面的估計(jì)的說明圖。圖9是用于說明還原展開的校正圖像的步驟的說明圖。圖10是用于說明頁面形狀的還原的流程圖。圖11是用于說明還原頁面的三維形狀的步驟的說明圖。圖12是表示本發(fā)明第二實(shí)施方式的書籍讀取系統(tǒng)的概略性結(jié)構(gòu)的方框圖。
具體實(shí)施例方式下面，參照

本發(fā)明第一實(shí)施方式的書籍讀取系統(tǒng)。(第一實(shí)施方式的結(jié)構(gòu))本實(shí)施方式的書籍讀取系統(tǒng)具備書籍圖像獲取部1、頁面狀態(tài)測(cè)定部2、數(shù)據(jù)處理部3、控制部4 (參照?qǐng)D1)。書籍圖像獲取部I具備多個(gè)第一照相機(jī)11和擴(kuò)散光源12。多個(gè)第一照相機(jī)11為從彼此不同的方向分別獲取有關(guān)書籍的頁面的書籍圖像的結(jié)構(gòu)。第一照相機(jī)11在書籍的信息中被陣列狀配置。另外，第一照相機(jī)11朝向書籍配置，可拍攝書籍的各頁面。在第一照相機(jī)11為多臺(tái)的情況下，優(yōu)選以能夠?qū)捻撁娣指钆臄z的方式進(jìn)行配置。另外，各照相機(jī)的拍攝區(qū)域優(yōu)選為重復(fù)。第一照相機(jī)11為奇數(shù)臺(tái)的情況下，在上述的偶數(shù)臺(tái)照相機(jī)的配置的基礎(chǔ)上，優(yōu)選剩余的一臺(tái)以能夠拍攝頁面整體的方式進(jìn)行配置。另外，上述第一照相機(jī)優(yōu)選在每次翻開一張頁面時(shí)，可以以能夠拍攝多張書籍圖像的程度進(jìn)行高速動(dòng)作。擴(kuò)散光源12通過控制部4與第一照相機(jī)11的動(dòng)作時(shí)期同步進(jìn)行動(dòng)作。即，擴(kuò)散光源12在第一照相機(jī)11獲取書籍圖像時(shí)接通，容易獲取鮮明的書籍圖像。擴(kuò)散光源12照射第一照相機(jī)11應(yīng)拍攝的書籍。但是，在環(huán)境光充足的情況下，可以省略擴(kuò)散光源12。頁面狀態(tài) 測(cè)定部2為測(cè)定已翻開的書籍的頁面狀態(tài)的結(jié)構(gòu)。更詳細(xì)而言，本實(shí)施方式的頁面狀態(tài)測(cè)定部2具備圖案光源22。圖案光源22用于朝向書籍的頁面投影既定的圖案。在本實(shí)施方式中，由多個(gè)第一照相機(jī)11獲取照射了來自圖案光源22的圖案的頁面的圖像(形狀圖像)。另外，作為圖案光源22，在本實(shí)施方式中使用投影儀。更詳細(xì)而言，多個(gè)第一照相機(jī)11為在從圖案光源投影圖案的定時(shí)(第f 幀)獲取形狀圖像，在未從圖案光源投影圖案的定時(shí)(第f+1幀)獲取書籍圖像的結(jié)構(gòu)。圖案光源22可以設(shè)置多臺(tái)。但是，在以下的說明中，假定圖案光源22為一臺(tái)。此外，關(guān)于形狀圖像，也如后述，優(yōu)選以能夠按每一頁面拍攝多張的方式構(gòu)成。圖2表不第一照相機(jī)11和圖案光源22的配置例。圖2是從側(cè)面觀測(cè)系統(tǒng)和書籍的動(dòng)作的圖。假設(shè)書籍被一頁一頁地翻開。圖中表示某瞬間的書籍的樣態(tài)，但紙面總是變動(dòng)。在此，將書籍的裝訂部中心設(shè)為原點(diǎn)0，將水平軸設(shè)為X軸，將垂直軸設(shè)為y軸。將到紙面的中心的距離設(shè)為r，根據(jù)翻開動(dòng)作描繪同軸心的半徑為r的半圓。此時(shí)，若將翻開的紙面的旋轉(zhuǎn)角設(shè)為9，則期望將照相機(jī)11和圖案光源設(shè)置在成為如下的位置。
(x,y) = (rcosfl + DsinD, y = rsinG 士 Dros_)在此，D是書籍的紙面的中心和至設(shè)置照相機(jī)/圖案光源的距離，是由各器件(照相機(jī)至光源)的畫角決定的參數(shù)。因此，在同模型描繪的曲線上任意并排照相機(jī)和光源。在此，假設(shè)所有的照相機(jī)和光源的位置關(guān)系和內(nèi)部參數(shù)被預(yù)先獲取。將該獲取作業(yè)稱作校準(zhǔn)(calibration)。因此，在本實(shí)施方式中可以進(jìn)行所有的照相機(jī)圖像之間的坐標(biāo)變換。數(shù)據(jù)處理部3為使用由頁面狀態(tài)測(cè)定部2測(cè)定的書籍的頁面狀態(tài)的信息校正由書籍圖像獲取部I獲取的書籍圖像的結(jié)構(gòu)。更具體而言，該實(shí)施方式的數(shù)據(jù)處理部3具備頁面初始形狀獲取部31、校正圖像還原部32、形狀還原部33。有關(guān)數(shù)據(jù)處理部3的具體的動(dòng)作后述。數(shù)據(jù)處理部3例如可以由安裝于計(jì)算機(jī)硬件的計(jì)算機(jī)程序構(gòu)成?？刂撇?用于在既定的定時(shí)使書籍圖像獲取部I和頁面狀態(tài)測(cè)定部2動(dòng)作。關(guān)于控制部4的書籍圖像獲取部I及頁面狀態(tài)測(cè)定部2的動(dòng)作定時(shí)后述。另外，控制部4例如也可以由安裝于計(jì)算機(jī)硬件的計(jì)算機(jī)程序構(gòu)成。(第一實(shí)施方式的動(dòng)作)下面，參照?qǐng)D3說明本實(shí)施方式的書籍讀取系統(tǒng)的動(dòng)作。(圖3的步驟SA-1及2)首先，通過控制部4驅(qū)動(dòng)頁面狀態(tài)測(cè)定部2和書籍圖像獲取部1，分別獲取書籍的形狀圖像和書籍圖像。更具體而言,例如,在t時(shí)刻 擴(kuò)散光源發(fā)光，同時(shí)由多個(gè)第一照相機(jī)11獲取書籍圖像。接著，在t+1時(shí)刻圖案光源發(fā)光，同時(shí)由多個(gè)第一照相機(jī)獲取形狀圖像。通過重復(fù)該動(dòng)作，能夠獲取多張書籍圖像及形狀圖像。書籍圖像和形狀圖像的拍攝周期可以根據(jù)頁面翻開速度適宜決定，優(yōu)選以在從各頁面的頁面翻開開始到頁面翻開終點(diǎn)為止的期間能夠獲取多個(gè)書籍圖像和形狀圖像的方式設(shè)定拍攝周期。
獲取的書籍圖像及形狀圖像依次被送入數(shù)據(jù)處理部3。(圖3 的步驟 SA-3)下面，通過數(shù)據(jù)處理部3的頁面初始形狀獲取部31獲取有關(guān)形狀圖像的各拍攝時(shí)刻的頁面初始形狀。進(jìn)一步參照?qǐng)D4說明該處理。(圖4 的步驟 SB-1)(關(guān)于可展面)在此，說明在本實(shí)施方式的說明中提及的可展面?？烧姑媸侵冈谧鳛橹本€向量I移動(dòng)時(shí)的包絡(luò)面而描繪的曲面中曲面上的任意點(diǎn)的高斯曲率為0的曲面。在此，將描繪可展面的各直線稱作母線。另外，將連接母線(rulings)的曲線向量、稱作準(zhǔn)線(directrix)(參照?qǐng)D5)?？烧姑娴囊话闶揭訶 (s, r) = y (s)+rl (s)記述。s是曲線、的曲線長(zhǎng)，r表示單位向量I的方向和長(zhǎng)度。作為可展面的記述例，有如下的式子。
權(quán)利要求
1.一種書籍讀取系統(tǒng)，其特征在于， 具備頁面狀態(tài)測(cè)定部、書籍圖像獲取部和數(shù)據(jù)處理部， 所述頁面狀態(tài)測(cè)定部的結(jié)構(gòu)為測(cè)定已翻開的書籍的頁面狀態(tài)， 所述書籍圖像獲取部具備多個(gè)第一照相機(jī)， 所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為從彼此不同的方向分別獲取有關(guān)所述書籍的頁面的書籍圖像， 所述數(shù)據(jù)處理部的結(jié)構(gòu)為使用由所述頁面狀態(tài)測(cè)定部測(cè)定的所述書籍的頁面狀態(tài)的信息校正由所述書籍圖像獲取部獲取的所述書籍圖像。
2.如權(quán)利要求1所述的書籍讀取系統(tǒng)，其中， 所述頁面狀態(tài)測(cè)定部具備用于朝向所述書籍的頁面投影既定的圖案的圖案光源， 所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為進(jìn)一步獲取投影了所述圖案的頁面的形狀圖像。
3.如權(quán)利要求2所述的書籍讀取系統(tǒng)，其中， 所述多個(gè)第一照相機(jī)的結(jié)構(gòu)為在從所述圖案光源投影所述圖案的定時(shí)獲取所述形狀圖像且在未從所述圖案光源投影所述圖案的定時(shí)獲取所述書籍圖像。
4.如權(quán)利要求1所述的書籍讀取系統(tǒng)，其中， 所述頁面狀態(tài)測(cè)定部具備形狀圖像用的第二照相機(jī)， 所述第二照相機(jī)具備使從所述圖案光源投影的波長(zhǎng)的光透過且遮蔽其以外的環(huán)境光的濾波器， 所述圖案光源的結(jié)構(gòu)為使用既定的波長(zhǎng)的光朝向所述書籍的頁面投影所述既定的圖案， 由此，所述第二照相機(jī)能夠獲取投影于所述書籍的頁面的所述既定的圖案。
5.如權(quán)利要求1 4中任一項(xiàng)所述的書籍讀取系統(tǒng)，其中， 所述第一照相機(jī)的結(jié)構(gòu)為在所述書籍的每一頁面獲取多張的書籍圖像， 所述數(shù)據(jù)處理部的結(jié)構(gòu)為通過統(tǒng)一所述多張的書籍圖像的信息從而提高校正了頁面形狀的失真的書籍圖像的精確度。
全文摘要
提供一種一邊翻開裝訂的書籍一邊高速讀取記載于書籍的信息的技術(shù)。頁面狀態(tài)測(cè)定部(2)測(cè)定已翻開的書籍的頁面狀態(tài)。書籍圖像獲取部(1)的多個(gè)第一照相機(jī)(11)從彼此不同的方向多次分別獲取有關(guān)書籍的頁面的書籍圖像。數(shù)據(jù)處理部(3)使用由頁面狀態(tài)測(cè)定部(2)測(cè)定的書籍的頁面狀態(tài)的信息修正由書籍圖像獲取部(1)獲取的書籍圖像。
文檔編號(hào)G06T1/00GK103069452SQ20118004010
公開日2013年4月24日 申請(qǐng)日期2011年8月19日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者渡邊義浩, 石川正俊, 柴山裕樹 申請(qǐng)人:國(guó)立大學(xué)法人東京大學(xué)