專利名稱：一種利用平面接口獲取多媒體信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用平面接口獲取多媒體信息的方法，屬于計(jì)算機(jī)通信技術(shù)領(lǐng)域。
背景技術(shù)：
報(bào)紙、印刷品、紙質(zhì)文檔這樣的平面媒介具有直觀和查閱方便的優(yōu)點(diǎn)，但它本身只能夠向讀者提供文字與圖片信息。為了通過平面媒介獲取多媒體形式的信息，可利用平面媒介作為訪問電子資源的接口。這種基于報(bào)紙、印刷品、紙質(zhì)文檔等平面媒介的接口可稱為“平面接口”。目前以紙質(zhì)文檔或印刷品這樣的平面接口訪問電子資源的方法主要有以下兩種1、通過識(shí)別報(bào)紙、文檔上的文字或圖像的方法。由于識(shí)別的方法難度較大，目前識(shí)別的魯棒性和準(zhǔn)確性都還有待提高。目前做得較成功的是光學(xué)字符識(shí)別，多用于文字識(shí)別，圖書的電子制作等領(lǐng)域。這種識(shí)別對(duì)于輸入有較高的要求，需要人工指定圖像中待識(shí)別的區(qū)域。因此還不太符合報(bào)紙、文檔等媒介的人機(jī)交互。
2、通過在物體表面貼上印有視覺編碼的標(biāo)簽的方法。目前較流行的視覺編碼是二維條形碼。這種編碼一般具有易于識(shí)別(識(shí)別的準(zhǔn)確性和魯棒性較高)，存儲(chǔ)信息豐富等特點(diǎn)。通過識(shí)別物體上的二維條形碼，可以得到物體的電子信息。但一個(gè)編碼只能訪問一種電子信息。比如世界杯期間《新京報(bào)》推出的，利用貼在報(bào)紙上代表特定視頻段的二維條形碼作為接口來觀看足球賽視頻的服務(wù)。用戶將手機(jī)攝像頭對(duì)準(zhǔn)二維條形碼，通過二維條形碼的識(shí)別，手機(jī)可以播放對(duì)應(yīng)的足球視頻。通過將報(bào)紙和二維條形碼的結(jié)合，報(bào)紙、文檔等紙質(zhì)媒介可以變成一個(gè)集平媒、電視、廣播、互聯(lián)網(wǎng)的優(yōu)勢(shì)為一體的四維全媒體。但是這種應(yīng)用下的交互是一種靜態(tài)的交互，即有二維條形碼的地方才能有人與紙質(zhì)媒介的交互。而在紙質(zhì)媒介的其他地方(沒有二維條形碼的地方)，用戶依然無法與之交互。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種利用平面接口獲取多媒體信息的方法，利用計(jì)算機(jī)視覺中的運(yùn)動(dòng)跟蹤方法，使對(duì)電子資源的訪問不受視覺編碼位置的限制，攝像頭可移動(dòng)到平面媒介上用戶感興趣的任何區(qū)域，從而實(shí)現(xiàn)動(dòng)態(tài)定位和信息訪問的目的。
本發(fā)明提出的利用平面接口獲取多媒體信息的方法，包括以下步驟(1)對(duì)多個(gè)平面接口進(jìn)行編號(hào)；(2)分別建立上述多個(gè)平面接口信息與多媒體信息之間的對(duì)應(yīng)關(guān)系；(3)分別獲取上述多個(gè)平面接口的圖像，并轉(zhuǎn)化為灰度圖后存儲(chǔ)，從灰度圖中提取圖像特征，建立平面接口信息與相應(yīng)的圖像特征之間的全局映射表；(4)獲取一個(gè)平面接口的當(dāng)前圖像，確定該當(dāng)前圖像所在的平面接口編號(hào)，根據(jù)該平面接口編號(hào)和上述全局映射表確定該當(dāng)前圖像與相應(yīng)平面接口的初始變換，并根據(jù)該初始變換，得到該當(dāng)前圖像在相應(yīng)平面接口的初始位置；
(5)從上述一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像，并轉(zhuǎn)化為灰度圖，從灰度圖中提取圖像特征，根據(jù)該圖像特征和上述全局映射表，確定該后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置，并顯示；(6)用戶根據(jù)顯示信息進(jìn)行平面接口信息的選擇操作，獲取多媒體信息。
上述方法中的平面接口信息，可以為表格、文字段落、圖形、圖像中的任何一種。
上述方法中，根據(jù)后續(xù)圖像特征和映射表，確定后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置的方法，包括以下步驟(1)將上述初始位置處的平面接口的灰度圖像經(jīng)過初始變換，得到中間圖像M，根據(jù)初始變換關(guān)系，從全局映射表獲取該中間圖像M區(qū)域的局部映射表；(2)從一個(gè)平面接口中獲取第一幀后續(xù)圖像I，并轉(zhuǎn)化為灰度圖，根據(jù)中間圖像M的局部映射表，確定圖像I與中間圖像M的變換關(guān)系S；(3)將上述初始變換關(guān)系與變換關(guān)系S進(jìn)行乘法運(yùn)算，得到變換關(guān)系Y，作為圖像I與平面接口圖像之間的變換關(guān)系，得到圖像I在平面接口中的位置。
(4)從一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像J，并轉(zhuǎn)化為灰度圖，根據(jù)變換關(guān)系Y得到中間圖像N，并從全局映射表中獲取該中間圖像N區(qū)域的局部映射表；(5)根據(jù)中間圖像N的局部映射表，確定圖像J與中間圖像N的變換關(guān)系T；(6)將上述變換關(guān)系T與Y進(jìn)行乘法運(yùn)算，得到變換關(guān)系Z，作為圖像J與平面接口圖像之間的變換關(guān)系，得到圖像J在平面接口中的位置。
本發(fā)明提出的利用平面接口獲取多媒體信息的方法，克服了多媒體信息獲取過程對(duì)平面接口中特定圖標(biāo)的依賴，實(shí)現(xiàn)用戶與平面接口任意位置的信息交互。這樣，用戶的信息交互與平面接口的模型建立都得到極大的方便，從而使本發(fā)明方法可以更廣泛、更便捷的應(yīng)用在各種印刷平面媒體中。


圖1是本發(fā)明方法中平面接口的實(shí)例示意圖，其中圖1(a)、圖1(b)分別是兩種不同的圖示。
圖2是從圖1(a)中獲取的圖像的示意圖。
圖3是從圖1(a)中提取的平面接口信息的圖像特征示意圖。
具體實(shí)施例方式
本發(fā)明提出的利用平面接口獲取多媒體信息的方法，首先對(duì)多個(gè)平面接口進(jìn)行編號(hào)，如圖1(a)中的“1”、圖1(b)中的“2”所示；分別建立多個(gè)平面接口信息與多媒體信息之間的對(duì)應(yīng)關(guān)系；分別獲取多個(gè)平面接口的圖像(如采用掃描、照相等方法，也可以使用該平面接口的原始電子文檔)，如圖2所示，并轉(zhuǎn)化為灰度圖后存儲(chǔ)，從灰度圖中提取圖像特征，如圖3所示，是從圖1(a)中提取的圖像特征，建立平面接口信息與相應(yīng)的圖像特征之間的全局映射表；獲取一個(gè)平面接口的當(dāng)前圖像，確定該當(dāng)前圖像所在的平面接口編號(hào)，根據(jù)該平面接口編號(hào)和上述全局映射表確定該當(dāng)前圖像與相應(yīng)平面接口的初始變換，并根據(jù)該初始變換，得到該當(dāng)前圖像在相應(yīng)平面接口的初始位置；當(dāng)前圖像與全局映射表之間存在Homography變換關(guān)系，其中H表示Homography關(guān)系。定義變換關(guān)系的函數(shù)如下ε＝∫∫w[P(H(X))-I(X)]2w(X)dX從一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像，并轉(zhuǎn)化為灰度圖，從灰度圖中提取圖像特征，根據(jù)該圖像特征和上述全局映射表，確定該后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置，令Hcp為當(dāng)前圖像到前一當(dāng)前圖像的變換關(guān)系函數(shù)，Hpp為前一當(dāng)前圖像到全局映射表的變換函數(shù)。則當(dāng)前圖像與前一當(dāng)前圖像的轉(zhuǎn)換關(guān)系函數(shù)可以寫為ε＝∫∫w[P(Hpp(Hcp(X)))-I(X)]2w(X)dX令J(X)＝P(Hpp(X))。如果攝像頭移動(dòng)速度有限，則假定前一當(dāng)前圖像與當(dāng)前圖像的變換只存在平移運(yùn)動(dòng)，通過簡(jiǎn)化變換關(guān)系函數(shù)并將變換關(guān)系函數(shù)離散化，用迭代方式來求解上述變換關(guān)系函數(shù)中的各種參數(shù)，如下式wi(n)＝1/(1+ri2(xi，θ(n-1))/(σ(n-1))2)上述各式中，w為轉(zhuǎn)換關(guān)系函數(shù)中與攝像頭移動(dòng)速度有關(guān)的權(quán)重參數(shù)，n為當(dāng)前圖像序列的編號(hào)，x，θ，σ為當(dāng)前圖像特征值。
根據(jù)上述計(jì)算結(jié)果顯示當(dāng)前圖像在平面接口中的位置，最后用戶根據(jù)該顯示信息進(jìn)行平面接口信息的選擇操作，以獲取多媒體信息。
上述方法中的平面接口信息，可以為表格、文字段落、圖形、圖像中的任何一種，如圖1(a)中包括了文字段落和圖像，圖1(b)中包括了文字段落、表格和圖形。
上述方法中，根據(jù)后續(xù)圖像特征和映射表，確定后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置的方法，包括以下步驟(1)將上述初始位置處的平面接口的灰度圖像經(jīng)過初始變換，得到中間圖像M，根據(jù)初始變換關(guān)系，從全局映射表獲取該中間圖像M區(qū)域的局部映射表；(2)從一個(gè)平面接口中獲取第一幀后續(xù)圖像I，并轉(zhuǎn)化為灰度圖，根據(jù)中間圖像M的局部映射表，確定圖像I與中間圖像M的變換關(guān)系S；(3)將上述初始變換關(guān)系與變換關(guān)系S進(jìn)行乘法運(yùn)算，得到變換關(guān)系Y，作為圖像I與平面接口圖像之間的變換關(guān)系，得到圖像I在平面接口中的位置。
(4)從一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像J，并轉(zhuǎn)化為灰度圖，根據(jù)變換關(guān)系Y得到中間圖像N，并從全局映射表中獲取該中間圖像N區(qū)域的局部映射表；(5)根據(jù)中間圖像N的局部映射表，確定圖像J與中間圖像N的變換關(guān)系T；(6)將上述變換關(guān)系T與Y進(jìn)行乘法運(yùn)算，得到變換關(guān)系Z，作為圖像J與平面接口圖像之間的變換關(guān)系，得到圖像J在平面接口中的位置。
權(quán)利要求
1.一種利用平面接口獲取多媒體信息的方法，其特征在于該方法包括以下步驟(1)對(duì)多個(gè)平面接口進(jìn)行編號(hào)；(2)分別建立上述多個(gè)平面接口信息與多媒體信息之間的對(duì)應(yīng)關(guān)系；(3)分別獲取上述多個(gè)平面接口的圖像，并轉(zhuǎn)化為灰度圖后存儲(chǔ)，從灰度圖中提取圖像特征，建立平面接口信息與相應(yīng)的圖像特征之間的全局映射表；(4)獲取一個(gè)平面接口的當(dāng)前圖像，確定該當(dāng)前圖像所在的平面接口編號(hào)，根據(jù)該平面接口編號(hào)和上述全局映射表確定該當(dāng)前圖像與相應(yīng)平面接口的初始變換，并根據(jù)該初始變換，得到該當(dāng)前圖像在相應(yīng)平面接口的初始位置；(5)從上述一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像，并轉(zhuǎn)化為灰度圖，從灰度圖中提取圖像特征，根據(jù)該圖像特征和上述全局映射表，確定該后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置，并顯示；(6)用戶根據(jù)顯示信息進(jìn)行平面接口信息的選擇操作，獲取多媒體信息。
2.如權(quán)利要求1所述的方法，其特征在于其中所述的平面接口信息為表格、文字段落、圖形、圖像中的任何一種。
3.如權(quán)利要求1所述的方法，其特征在于其中所述的根據(jù)該后續(xù)圖像特征和映射表，確定后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置的方法，包括以下步驟(1)將上述初始位置處的平面接口的灰度圖像經(jīng)過初始變換，得到中間圖像M，根據(jù)初始變換關(guān)系，從全局映射表獲取該中間圖像M區(qū)域的局部映射表；(2)從一個(gè)平面接口中獲取第一幀后續(xù)圖像I，并轉(zhuǎn)化為灰度圖，根據(jù)中間圖像M的局部映射表，確定圖像I與中間圖像M的變換關(guān)系S；(3)將上述初始變換關(guān)系與變換關(guān)系S進(jìn)行乘法運(yùn)算，得到變換關(guān)系Y，作為圖像I與平面接口圖像之間的變換關(guān)系，得到圖像I在平面接口中的位置。(4)從一個(gè)平面接口中繼續(xù)獲取后續(xù)圖像J，并轉(zhuǎn)化為灰度圖，根據(jù)變換關(guān)系Y得到中間圖像N，并從全局映射表中獲取該中間圖像N區(qū)域的局部映射表；(5)根據(jù)中間圖像N的局部映射表，確定圖像J與中間圖像N的變換關(guān)系T；(6)將上述變換關(guān)系T與Y進(jìn)行乘法運(yùn)算，得到變換關(guān)系Z，作為圖像J與平面接口圖像之間的變換關(guān)系，得到圖像J在平面接口中的位置。
全文摘要
本發(fā)明涉及一種利用平面接口獲取多媒體信息的方法，屬于計(jì)算機(jī)通信技術(shù)領(lǐng)域。首先對(duì)多個(gè)平面接口進(jìn)行編號(hào)；分別建立其上的信息與多媒體信息之間的對(duì)應(yīng)關(guān)系；分別獲取平面接口的圖像及其圖像特征，建立平面接口信息與圖像特征之間的全局映射表；根據(jù)平面接口的當(dāng)前圖像，確定該當(dāng)前圖像在相應(yīng)平面接口的初始位置；從平面接口后續(xù)圖像的灰度圖中提取圖像特征，根據(jù)該圖像特征和上述全局映射表，確定該后續(xù)圖像在相應(yīng)平面接口的當(dāng)前位置，并顯示；用戶根據(jù)顯示信息進(jìn)行平面接口信息的選擇操作，獲取多媒體信息。本發(fā)明方法克服了多媒體信息獲取過程對(duì)平面接口中特定圖標(biāo)的依賴，實(shí)現(xiàn)用戶與平面接口任意位置的信息交互。
文檔編號(hào)G06F3/00GK1900929SQ20061008884
公開日2007年1月24日 申請(qǐng)日期2006年7月20日 優(yōu)先權(quán)日2006年7月20日
發(fā)明者徐光祐, 陶霖密, 朱蘭天 申請(qǐng)人:清華大學(xué)