基于智能眼鏡的遮擋物透視方法及裝置的制造方法
【專利摘要】本發(fā)明提供了一種基于智能眼鏡的遮擋物透視方法及裝置，該方法包括：通過智能眼鏡采集使用者視野的第一圖像并識別所述第一圖像中的遮擋物圖像；通過至少一圖像采集設(shè)備采集使用者視野的第二圖像；利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。本發(fā)明通過利用所述第二圖像中對應(yīng)遮擋物圖像的部分替換第一圖像中的遮擋物圖像，能夠?qū)崿F(xiàn)透視遮擋物。
【專利說明】
基于智能眼鏡的遮擋物透視方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機交互技術(shù)領(lǐng)域，尤其涉及一種基于智能眼鏡的遮擋物透視方法及
目.0
【背景技術(shù)】
[0002]在有遮擋物存在的情況下，往往容易形成視野死角，觀察者無法獲得遮擋物阻擋部分的視野，從而容易引發(fā)種種問題。例如，各種駕駛艙中擋風玻璃的立柱會形成視野死角，車門部分也會遮擋觀察者的視野。近年來，由于智能眼鏡的發(fā)展，透視物體成為可能。然而，目前的智能眼鏡只能用來透視物體的內(nèi)部結(jié)構(gòu)，不能透視整個物體，例如遮擋物，而且需要預先知道物體的內(nèi)部結(jié)構(gòu)圖像才能對物體進行透視。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種基于智能眼鏡的遮擋物透視方法及裝置，以解決現(xiàn)有智能眼鏡無法透視遮擋物的問題。
[0004]本發(fā)明提供一種基于智能眼鏡的遮擋物透視方法，包括:通過智能眼鏡采集使用者視野的第一圖像并識別所述第一圖像中的遮擋物圖像;通過至少一圖像采集設(shè)備采集使用者視野的第二圖像;利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。
[0005]一個實施例中，利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像，包括:從所述第一圖像中除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，所述第二特征點與所述第一特征點一一對應(yīng);根據(jù)所有所述第一特征點和所有所述第二特征點，計算得到由所述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣;利用所述圖像變換矩陣對所述第二圖像進行圖像變換;將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像。
[0006]—個實施例中，從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，包括:通過特征提取算法從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點。
[0007]—個實施例中，去除所述遮擋物圖像后的所述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的所述遮擋物圖像。
[0008]—個實施例中，在將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像之前，還包括:根據(jù)所述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。
[0009]—個實施例中，通過智能眼鏡識別所述第一圖像中的遮擋物圖像，包括:根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別所述第一圖像中的遮擋物圖像。
[0010]—個實施例中，該方法還包括:在使用者視野內(nèi)的畫面發(fā)生變化時，所述智能眼鏡更新所述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的所述第一圖像和更新后的所述第二圖像重新生成所述無遮擋圖像。
[0011]—個實施例中，該方法還包括:在使用者的視角發(fā)生變化時，所述智能眼鏡依據(jù)所述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新所述第一圖像;若是，通過所述智能眼鏡更新所述第一圖像，并基于更新后的所述第一圖像重新生成所述無遮擋圖像。
[0012]—個實施例中，還包括:在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集所述第二圖像，并基于重新采集的所述第二圖像重新生成所述無遮擋圖像。
[0013]—個實施例中，所述遮擋物相對于使用者的方向角與所述圖像采集設(shè)備的成像視角之差小于90度。
[0014]—個實施例中，所述圖像采集設(shè)備的個數(shù)為多個，通過多個圖像采集設(shè)備采集使用者視野的第二圖像，包括:通過各所述圖像采集設(shè)備采集使用者視野的第三圖像;將各所述第三圖像拼接在一起形成無遮擋物的所述第二圖像。
[0015]本發(fā)明還提供一種基于智能眼鏡的遮擋物透視裝置，包括:遮擋物圖像獲取單元，用于通過智能眼鏡采集使用者視野的第一圖像并識別所述第一圖像中的遮擋物圖像;替換圖像獲取單元，用于通過至少一圖像采集設(shè)備采集使用者視野的第二圖像;無遮擋圖像生成單元，用于利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。
[0016]—個實施例中，所述無遮擋圖像生成單元包括:特征點提取模塊，用于從所述第一圖像中除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，所述第二特征點與所述第一特征點一一對應(yīng);變換矩陣生成模塊，用于根據(jù)所有所述第一特征點和所有所述第二特征點，計算得到由所述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣；圖像變換模塊，用于利用所述圖像變換矩陣對所述第二圖像進行圖像變換;無遮擋圖像生成模塊，用于將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像。
[0017]—個實施例中，所述特征點提取模塊包括:特征提取算法模塊，用于通過特征提取算法從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點。
[0018]—個實施例中，所述無遮擋圖像生成模塊還用于執(zhí)行:去除所述遮擋物圖像后的所述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的所述遮擋物圖像。
[0019]—個實施例中，所述無遮擋圖像生成單元還包括:初始定位模塊，用于根據(jù)所述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。
[0020]—個實施例中，所述遮擋物圖像獲取單元包括:遮擋物圖像獲取模塊，用于根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別所述第一圖像中的遮擋物圖像。
[0021]—個實施例中，該裝置還包括:第一圖像更新單元，用于在使用者視野內(nèi)的畫面發(fā)生變化時，所述智能眼鏡更新所述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的所述第一圖像和更新后的所述第二圖像重新生成所述無遮擋圖像。
[0022]—個實施例中，該裝置還包括:第二圖像更新單元，用于在使用者的視角發(fā)生變化時，所述智能眼鏡依據(jù)所述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新所述第一圖像;無遮擋圖像更新單元，用于若是，通過所述智能眼鏡更新所述第一圖像，并基于更新后的所述第一圖像重新生成所述無遮擋圖像。
[0023]—個實施例中，該裝置還包括:第三圖像更新單元，用于在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集所述第二圖像，并基于重新采集的所述第二圖像重新生成所述無遮擋圖像。
[0024]—個實施例中，所述替換圖像獲取單元還用于執(zhí)行:所述遮擋物相對于使用者的方向角與所述圖像采集設(shè)備的成像視角之差小于90度。
[0025]—個實施例中，所述圖像采集設(shè)備的個數(shù)為多個，所述替換圖像獲取單元包括:第三圖像獲取模塊，用于通過各所述圖像采集設(shè)備采集使用者視野的第三圖像;第二圖像獲取模塊，用于將各所述第三圖像拼接在一起形成無遮擋物的所述第二圖像。
[0026]本發(fā)明實施例的基于智能眼鏡的遮擋物透視方法及裝置，利用智能眼鏡的攝像頭采集到的使用者視野的圖像，通過多種方法分析并識別得到視野中遮擋物的位置和圖像，利用外置的圖像采集設(shè)備采集被遮擋的視野的圖像，并將被遮擋的部分用外置探測器采集到的圖像進行替換，再將替換圖像與使用者視野圖像進行配準、拼接，如此一來，使用智能眼鏡能夠在觀察遮擋物的時候能看到被遮擋物遮擋的圖像，從而能夠產(chǎn)生透視遮擋物的效果，以此可以有效的去除使用者視野內(nèi)由該遮擋物造成的死角。
【附圖說明】
[0027]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中:
[0028]圖1是本發(fā)明實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖；
[0029]圖2是本發(fā)明一實施例中拼接生成使用者視野的無遮擋圖像的方法流程示意圖；
[0030]圖3是本發(fā)明另一實施例中拼接生成使用者視野的無遮擋圖像的方法流程示意圖；
[0031 ]圖4是本發(fā)明又一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖；
[0032]圖5是本發(fā)明再一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖；
[0033]圖6是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖；
[0034]圖7是本發(fā)明一實施例中通過多個圖像采集設(shè)備采集使用者視野的第二圖像的方法流程示意圖；
[0035]圖8是本發(fā)明一實施例中拼接得到第二圖像的方法的流程示意圖；
[0036]圖9是本發(fā)明一實施例中智能眼鏡采集的第一圖像的示意圖；
[0037]圖10是本發(fā)明一實施例中圖像采集設(shè)備采集到的包含對應(yīng)圖9所示遮擋物圖像部分的第二圖像的示意圖；
[0038]圖11是根據(jù)圖9和圖1O所不圖像拼接而成的無遮擋物圖像的不意圖；
[0039]圖12是本發(fā)明一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖；
[0040]圖13是本發(fā)明一實施例中無遮擋圖像生成單元的結(jié)構(gòu)示意圖；
[0041 ]圖14是本發(fā)明一實施例中無遮擋圖像生成單元的結(jié)構(gòu)示意圖；
[0042]圖15是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖；
[0043]圖16是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖；
[0044]圖17是本發(fā)明又一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖；
[0045]圖18是本發(fā)明一實施例的替換圖像獲取單元的結(jié)構(gòu)示意圖。
【具體實施方式】
[0046]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合附圖對本發(fā)明實施例做進一步詳細說明。在此，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，但并不作為對本發(fā)明的限定。本發(fā)明實施例中各步驟的順序僅用于示意性說明方法實施的過程，步驟順序可根據(jù)需要做適當調(diào)整，本發(fā)明對此不作限定。
[0047]本發(fā)明的基于智能眼鏡的遮擋物透視方法，在佩戴智能眼鏡的狀態(tài)下，創(chuàng)造性地借助輔助探測器，例如外置攝像頭，并利用該輔助探測器采集被遮擋部分的圖像，或者說該探測器可以覆蓋到使用者由于遮擋物的遮擋而造成的視野死角，然后將被遮擋部分和探測器采集到的圖像進行拼接，從而得到視野死角的圖像。將視野內(nèi)的遮擋物體透明化處理，能夠達到消除視野死角的目的。
[0048]圖1是本發(fā)明實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖。如圖1所示，本發(fā)明實施例的基于智能眼鏡的遮擋物透視方法，可包括步驟:
[0049]S110:通過智能眼鏡采集使用者視野的第一圖像并識別上述第一圖像中的遮擋物圖像；
[0050]S120:通過至少一圖像采集設(shè)備采集使用者視野的第二圖像；
[0051]S130:利用上述第二圖像中對應(yīng)上述遮擋物圖像的部分替換上述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。
[0052]在上述步驟SllO中，該智能眼鏡可以是各種不同的智能眼鏡，其上一般設(shè)有圖像采集設(shè)備，例如攝像頭。上述使用者通常是指佩戴上述智能眼鏡的用戶，由于智能眼鏡的圖像采集設(shè)備所在位置與人眼位置的距離很近，所以使用者能夠看到的圖像，智能眼鏡也可以看到。遮擋物可使使用者的視野產(chǎn)生盲區(qū)，被遮擋物遮擋的部分使用者無法觀察到，例如車窗的立柱會擋住車內(nèi)人員的部分視野。
[0053]—個實施例中，可近似認為使用者和智能眼鏡二者看到的圖像相同，可以忽略其二者之間的圖像簡單形變，以此可以簡化圖像處理過程。
[0054]另一個實施例中，使用者視野即自然視野與智能眼鏡的圖像采集設(shè)備二者所看到圖像的差異可以基于人眼與智能眼鏡的圖像采集設(shè)備的位置關(guān)系進行校正或修正，以此可以提高智能眼鏡顯示屏上圖像的真實性，可以提升使用者體驗。
[0055]一個實施例中，使用者視野即自然視野與智能眼鏡的圖像采集設(shè)備二者所看到圖像的差異，可以使用雙攝像機進行相機標定的方法進行校正。具體而言，可將人眼位置放置一臺攝像機，將該攝像機采集到的標定板圖像與智能眼鏡攝像頭采集到的標定板圖像進行對比，得到一個圖像的變換矩陣T。將所有經(jīng)過智能眼鏡采集到的圖像在顯示到人眼前都經(jīng)過矩陣T的變換，從而可以得到一個近似在人眼位置采集到并顯示圖像。
[0056]該第一圖像可以通過該智能眼鏡上的圖像采集設(shè)備采集。該第一圖像中的遮擋物圖像可以通過該智能眼鏡中的處理器或額外設(shè)置的處理器進行圖像分析獲得，即可以判斷使用者視野內(nèi)是否存在遮擋物。使用者視野內(nèi)可以存在多個遮擋物，上述遮擋物圖像可以是多個。一個實施例中，可以通過對智能眼鏡的攝像頭拍攝到的遮擋物進行一定的識別，從而判斷使用哪部分的圖像進行替換，使用智能眼鏡識別的過程也可以通過智能眼鏡自身的陀螺儀設(shè)備輔助參考，以此智能眼鏡的攝像頭可以識別出視野內(nèi)是否存在遮擋物，并使用相應(yīng)的圖像進行替換。由于整個視野的視野死角可被圖像采集裝置覆蓋，所以遮擋物周邊的圖像和被遮擋的圖像可以有效的進行拼接，這樣可以更好的判斷出視野所在的位置并使用相應(yīng)的圖像進行替換。
[0057]—個實施例中，上述智能眼鏡可以是可透視型智能眼鏡。該可透視型智能眼鏡的顯示屏可允許自然光穿透，以此可以在保證使用者觀看智能眼鏡顯示圖像的同時也可以看到自然真實視野。上述智能眼鏡中產(chǎn)生的圖像可與真實視野中的目標圖像發(fā)生疊加，使用智能眼鏡中處理過的圖像覆蓋部分真實視野中的遮擋物圖像，以此可以達到透視遮擋物的效果。被遮擋的圖像可以由一個或者多個圖像采集裝置采集獲得，其中，至少有I個圖像采集裝置可以不被遮擋物遮擋。
[0058]在上述步驟S120中，圖像采集設(shè)備可以是各種能夠采集圖像的設(shè)備，例如相機、攝像頭、紅外圖像探測器等。上述圖像采集設(shè)備可以安裝在各種不同位置，只要能拍攝到被遮擋物遮擋的使用者視野的圖像即可，換言之，需要覆蓋被遮擋物遮擋的視野的位置，即覆蓋到使用者的視野死角，能夠采集到被遮擋部分的圖像，例如上述圖像采集設(shè)備設(shè)置在車頂?shù)倪吘壍奈恢?，可以覆蓋車窗立柱的視野死角的。
[0059]較佳地，上述圖像采集設(shè)備設(shè)置在上述遮擋物的背面，以此可以保證被遮擋物遮擋的使用者視野的圖像一定可以被采集到。
[0060]一個實施例中，利用一個上述圖像采集設(shè)備可以拍到所有遮擋物所遮擋的視野的圖像時，可以僅使用一個圖像采集設(shè)備采集上述第二圖像。另一實施例中，同時使用多個圖像采集設(shè)備同時拍攝遮擋物所遮擋的視野的不同部分的圖像，不同圖像采集設(shè)備所采集圖像可拼接在一起，生成包含所有或整個遮擋物所遮擋視野的圖像。
[0061]—個實施例中，上述圖像采集設(shè)備的位置可以和遮擋物的位置相對固定，以此可以極大減少圖像處理的運算量，可以提高圖像處理效果。
[0062]在上述步驟S130中，第二圖像中對應(yīng)上述遮擋物圖像的部分可以指遮擋物所遮擋的使用者視野的圖像。例如，車窗立柱遮擋住使用者視野內(nèi)的交通指示燈，則第二圖像中對應(yīng)上述遮擋物圖像的部分可以是交通指示燈的圖像。該無遮擋圖像可知透視遮擋物后的圖像。上述圖像采集設(shè)備采集的圖像可以通過多種方式傳送處理器處理，例如通過無線或有線方式，該處理器可以是該智能眼鏡上的處理器，或者是額外設(shè)置的處理器。圖像采集設(shè)備可以實時采集被遮擋物遮擋的使用者視野的圖像，并可實時更新智能眼鏡顯示屏上顯示的無遮擋圖像。
[0063]本發(fā)明實施例中，通過圖像采集設(shè)備采集包括被遮擋物遮擋的使用者視野的圖像，可不需要預先知道被遮擋物遮擋住的圖像。通過利用上述第二圖像中對應(yīng)遮擋物圖像的部分替換上述第一圖像中的遮擋物圖像，并拼接生成使用者視野的無遮擋圖像，可以實現(xiàn)透視遮擋物整個物體。如此一來，可以克服現(xiàn)有智能眼鏡只能用來透視物體內(nèi)部結(jié)構(gòu)，而不能透視整個物體的缺點，還可以突破現(xiàn)有智能眼鏡需要預先知道物體內(nèi)部結(jié)構(gòu)圖像的局限性。
[0064]圖2是本發(fā)明一實施例中拼接生成使用者視野的無遮擋圖像的方法流程示意圖。如圖2所示，在上述步驟S130中，利用上述第二圖像中對應(yīng)上述遮擋物圖像的部分替換上述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像的方法，可包括步驟:
[0065]S131:從上述第一圖像中除遮擋物圖像之外的圖像部分和上述第二圖像分別提取多個第一特征點和多個第二特征點，上述第二特征點與上述第一特征點一一對應(yīng)；
[0066]S132:根據(jù)所有上述第一特征點和所有上述第二特征點，計算得到由上述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣；
[0067]S133:利用上述圖像變換矩陣對上述第二圖像進行圖像變換；
[0068]S134:將圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分與去除上述遮擋物圖像后的上述第一圖像拼接在一起生成上述無遮擋圖像。
[0069]在上述步驟S131中，上述第一特征點和第二特征點可以是相應(yīng)圖像中能夠反映物體形狀的點，例如圖像中的物體的頂點或拐點，可以由該點的強度的梯度變化得到。具體將圖像中的哪些點作為特征點，可視需要而定。上述第二特征點與上述第一特征點--對應(yīng)，
可指上述第二特征點與上述第一特征點為使用者視野中同一點畫面所對應(yīng)的圖像上的點。特征點的數(shù)量越多越，圖像拼接的越準確，一個實施例中，成對的特征點(第一特征點和第二特征點成對出現(xiàn))至少為5對，這有利于圖像變換矩陣結(jié)果的正確和穩(wěn)定。
[0070]—個實施例中，可以提取第一圖像中除遮擋物圖像之外的圖像部分中的所有第一特征點，可以提取第二圖像中的所有第二特征點，并可記錄相應(yīng)特征點的特征向量和特征值，進一步可通過提取的所有第一特征點和所有第二特征點依據(jù)特征向量和特征值進行匹配，并可將匹配成功的第一特征點和第二特征點用于計算上述圖像變換矩陣，即最初提取的第一特征點和第二特征點數(shù)量可不同，例如第二特征點數(shù)量多于第一特征點數(shù)量。
[0071]在上述步驟S132?S133中，上述第二圖像是從上述圖像采集設(shè)備的成像視角進行拍攝，上述第一圖像是從使用者視角拍攝，該兩視角不同時，上述第二圖像和上述第一圖像中的共同圖像部分一般會有相對變形。利用上述圖像變換矩陣對該第二圖像進行圖像變換，可以該第二圖像由像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角，可以消除圖像變形問題。
[0072]在上述步驟S134中，可以通過對比上述第一圖像和圖像變換后的上述第二圖像，得到圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分;去除上述第一圖像中的遮擋物圖像;之后，再將圖像變換后的第二圖像中對應(yīng)上述遮擋物圖像的部分與去除遮擋物圖像后的第一圖像拼接在一起。
[0073]特征提取算法可有很多種，例如，對圖片進行多次虛化處理，將每次虛化后的圖片與虛化前圖進行差值得到一個向量矩陣。這樣可以堆疊形成3*3*3的一個立方體中查找。中心點比周邊的點都大或者都小的值就為特征點。同時記錄一下特征點的特征向量和該特征點在各個方向的梯度作為該特征點的特征值。如果兩特征點的特征值和特征向量均相同，同時用可認為這兩個特征點是同一個點即相互對應(yīng)。這個變換矩陣可是一個3*3的矩陣。由特征點對應(yīng)解方程求最小方差可以得到這個3*3的矩陣。
[0074]本實施例中，通過上述圖像變換矩陣對上述第二圖像進行圖像變換，在拼接生成無遮擋圖像，以此，可以防止在圖像采集設(shè)備的成像視角與使用者視野的角度(智能眼鏡成像視角)不一致的情況下，被遮擋部分的成像不夠直觀，造成使用者視野的混亂，從而影響使用者的正常視野的問題。
[0075]—個實施例中，在上述步驟S131中，從上述第一圖像中的除遮擋物圖像之外的圖像部分和上述第二圖像分別提取多個第一特征點和多個第二特征點的方法，【具體實施方式】可以是:通過特征提取算法從上述第一圖像中的除遮擋物圖像之外的圖像部分和上述第二圖像分別提取多個第一特征點和多個第二特征點。
[0076]上述特征提取算法可以提取出拐點，拐點可指與周邊其他的像素點變化差異較大的點。舉例來說，如果圖像上存在一條豎直的邊，顯然邊的左右兩邊都與邊所在的線的像素變化較大，但是這條邊不能成為特征點即拐點，因為邊是一條線，一條線上有太多的點，無法準確判斷其中哪個點可以作為拐點。再例如，如果兩條邊相交，那么就必然有一個交點，并且這個交點與它周邊的像素相比在任何方向上差異都較大。并且這個交點是唯一的一個，它并不會沿著邊產(chǎn)生多個拐點，所以，可以選取這個交點作為特征點，也就是拐點。由此可知，特征點一般可以是圖像中物體的尖角的位置。上述特征點包括上述第一特征點和第二特征點。
[0077]一個實施例中，在上述步驟S134中，去除上述遮擋物圖像后的上述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的上述遮擋物圖像。本實施例中，將遮擋物的圖像部分去除，同時保留被遮擋的邊緣部分，可以作為圖像拼接的依據(jù)，提高圖像拼接質(zhì)量。在去除掉遮擋部分時，未遮擋部分可被保留下來，在圖像的拼接時，未遮擋部分與遮擋部分相接的部分圖像可在顯示的時候做一定的處理使顯示看起來更自然。該保留的邊緣部分的值可以使用固定的像素，或可以根據(jù)相拼接的像素之間的差值來決定寬度。一個實施例中，上述邊緣部分的寬度不少于5個像素，以此可以便于圖像顯示的平滑。
[0078]另一個實施例中，上述邊緣部分的寬度可以為O?5個像素，或者可將遮擋物的邊緣進行擴張操作，使去掉的遮擋物圖像比實際的遮擋物圖像可大一些，以此，可使拼接后的圖像更自然且更平滑。
[0079]圖3是本發(fā)明另一實施例中拼接生成使用者視野的無遮擋圖像的方法流程示意圖。如圖3所示，圖2所示的拼接生成使用者視野的無遮擋圖像的方法，在將圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分與去除上述遮擋物圖像后的上述第一圖像拼接在一起生成上述無遮擋圖像(步驟S134)之前，還可包括步驟:
[0080]S135:根據(jù)上述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分與去除上述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。本實施例中，參考外置圖像采集設(shè)備的角度和位置等信息作為圖像拼接的初始定位信息可以加快圖像拼接的速度。
[0081]在上述步驟S135中，上述圖像采集設(shè)備與遮擋物的位置較佳地是相對固定的，被遮擋的圖像可與圖像采集設(shè)備采集到的圖像存在一定的相對關(guān)系。該空間位置信息可以是圖像采集設(shè)備和遮擋物的相對空間位置，此時，當發(fā)現(xiàn)遮擋物的位置后，可以將該相對空間位置的信息記錄下來，在此條件下，遮擋物和圖像采集設(shè)備之間可以認為是不發(fā)生相對運動的，所以可以定位到遮擋物的位置信息并利用該位置信息進行圖像拼接，例如，某個角度方向上存在遮擋物，那么這個角度方向上的圖像采集設(shè)備采集到的信息可以用來替換遮擋物圖像。如此一來，在使用智能眼鏡做圖像拼接的操作的時候，拼接過程中需要搜尋對應(yīng)特征點(第一特征點和對應(yīng)的第二特征點)的圖像的范圍可以大大減小，從而可以提高圖像處理速度。一個實施例中，同時可以利用智能眼鏡本身的陀螺儀提供方向等的信息，可以預先知曉遮擋物與智能眼鏡使用者存在的角度關(guān)系，也就是說使用者是否朝遮擋物的方向觀察了，這可以作為是否顯示透視圖像或者拼接預算的一個輔助依據(jù)。在一實施例中，可同時存在多個圖像采集設(shè)備的情況下，多個圖像采集設(shè)備之間的相對位置可以固定，以此進行一次多個圖像采集設(shè)備的圖像拼接以后，只需要保留圖像變換矩陣并應(yīng)用到新的圖像即可，無需要每次都對圖像進行特征提取和尋找對應(yīng)特征點的操作，以此可以提高圖像處理速度。
[0082]—個實施例中，在上述步驟SllO中，通過智能眼鏡識別上述第一圖像中的遮擋物圖像的方法，【具體實施方式】可以是:根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別上述第一圖像中的遮擋物圖像。
[0083]具體地，例如可根據(jù)圖形標記所在的邊界區(qū)域識別遮擋物圖像。第一圖像在圖像處理過程中可提取圖像的邊界，這樣可以將整個第一圖像劃分為很多區(qū)域，恒定屬性或者圖形標記所在的區(qū)域可被認定為遮擋物，該區(qū)域的圖像可被替換。
[0084]本實施例中，該圖形標記可以是預先再遮擋物上設(shè)置的唯一標記，用以識別該遮擋物。識別第一圖像中的遮擋物圖像的方法可包括遮擋物的顏色、圖案、相對位置或者特征標識等。顏色可指遮擋物的自身顏色相對恒定，可以通過一段時間的采集將遮擋物的顏色限定與某個范圍這樣對該顏色的物體在作為遮擋物的判定中可以給予一定加權(quán)。圖案和特征標識本質(zhì)相同，可是指符合特定圖案特征作為識別，識別后可將所在的輪廓識別為遮擋物。相對位置可是采用陀螺儀的方式記錄遮擋物和使用者之間的相對關(guān)系從而應(yīng)用與對遮擋物的識別中。對遮擋物的識別的方法可以是物體識別的算法。
[0085]通過智能眼鏡記錄遮擋物體的特征，或者在遮擋物上使用圖形標記，或者通過記錄遮擋物的空間位置，例如通過智能眼鏡陀螺儀記錄遮擋物與智能眼鏡所成角度，從而可在智能眼鏡朝向該角度時識別出該遮擋物。視野死角和遮擋物本身一般不太發(fā)生變化，通過對遮擋物本身屬性比較恒定這一特點來達到對遮擋物得識別，可以提高遮擋物識別的準確度。例如，遮擋物的顏色比較固定，幾乎不發(fā)生變化，在自然視野變化時，遮擋物的自身的圖像也不變化等特征識別標定出遮擋物或視野死角。自然視野中的遮擋物部分可被記錄下來并被移除掉。
[0086]—個實施例中，視野內(nèi)未發(fā)現(xiàn)遮擋物，可無需進行圖像的替換操作，可以使用智能眼鏡攝像頭所拍攝的圖案。如果是透過式智能眼鏡也可以采用不顯示的方法直接讓使用者透過鏡片直接觀察而不進行顯示，使用者可以透過智能眼鏡直接看到自然視野，該智能眼鏡可以是透過式的智能眼鏡，例如類似googleglass和hololens的智能眼鏡。
[0087]圖4是本發(fā)明又一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖。如圖4所示，圖1所示的基于智能眼鏡的遮擋物透視方法，還可包括步驟:
[0088]S140:在使用者視野內(nèi)的畫面發(fā)生變化時，上述智能眼鏡更新上述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的上述第一圖像和更新后的所述第二圖像重新生成上述無遮擋圖像。
[0089]本實施例中，當被遮擋的自然視野發(fā)生變化的時候，例如使用者頭部發(fā)生位移，可以依據(jù)智能眼鏡自身的陀螺儀數(shù)據(jù)調(diào)整更新上述無遮擋圖像。具體地，可以更新上述第一圖像和上述第二圖像，并基于更新后的第一圖像和更新后的第二圖像，利用上述步驟S120?S130重新生成無遮擋圖像。如此一來，可以在使用者視野內(nèi)的畫面發(fā)生變化時實現(xiàn)無遮擋圖像的實時更新。一個實施例中，上述圖像采集設(shè)備可實時采集第二圖像，可在需要時利用重新采集的第二圖像對更新之前的第二圖像。
[0090]—個實施例中，當智能眼鏡使用者的視角發(fā)生變化的時候，可先判斷新視野中是否存在遮擋物，再重復上述必要步驟。判斷視野內(nèi)遮擋物的方法可以是，首先，使用圖像采集設(shè)備對圖像進行相對完整的拼接，形成一幅完整圖像，將此圖像作為模板，參考智能眼鏡拍攝到的圖像和智能眼鏡自身的陀螺儀信息，選出模板上的部分圖像區(qū)域作為視野窗口，對比圖像采集設(shè)備采集到的視野窗口和智能眼鏡自身拍攝到的圖像，判斷出遮擋物。使用圖像采集設(shè)備采集到的圖像，對遮擋圖像進行替換。
[0091]圖5是本發(fā)明再一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖。如圖5所示，圖1所示的基于智能眼鏡的遮擋物透視方法，還可包括步驟:
[0092]S150:在使用者的視角發(fā)生變化時，上述智能眼鏡依據(jù)上述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新上述第一圖像；
[0093]S160:若是，通過上述智能眼鏡更新上述第一圖像，并基于更新后的上述第一圖像重新生成上述無遮擋圖像。
[0094]在上述步驟S150中，設(shè)定位置可以是智能眼鏡外的各個位置，例如車上。根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)可以在各種情形下確定使用者的視角變化情況，例如在車行駛的過程中確定使用者視角是否發(fā)生變化。
[0095]在上述步驟S160中，當根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)判斷使用者的視角變化超過一設(shè)定角度時，可通過智能眼鏡更新該第一圖像，并基于更新后的第一圖像生成無遮擋圖像，以此可以在使用者視角發(fā)生變化時，實時更新無遮擋圖像。
[0096]在其他實施例中，若根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)判斷使用者的視角變化不超過上述設(shè)定角度，可近似認為使用者視角未發(fā)生變化，則可不更新第一圖像。一個實施例中，上述圖像采集設(shè)備可以是攝像機，此時，可以實時采集第二圖像，并可實時更新上述第二圖像，第二圖像可以是一直被重新采集，并可視需要用于生成上述無遮擋物圖像。
[0097]本實施例中，第二圖像可以重新采集，也可以不重新采集，只要第二圖像中仍可包括被更新后的第一圖像中的遮擋物所遮擋的使用者視野即可。
[0098]圖6是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視方法的流程示意圖。如圖6所示，圖1所示的基于智能眼鏡的遮擋物透視方法，還可包括步驟:
[0099]S170:在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集上述第二圖像，并基于重新采集的上述第二圖像重新生成上述無遮擋圖像。
[0100]本實施例中，該另一圖像采集設(shè)備是相對于使用者的視角發(fā)生變化前用于采集上述第二圖像而言的圖像采集設(shè)備，可以是上述多個圖像采集設(shè)備中的另一個。該另一圖像采集設(shè)備可以采集到使用者的新的視角內(nèi)遮擋物所遮擋的使用者視野的圖像。該另一圖像采集設(shè)備和上述圖像采集設(shè)備在成像角度和/或位置上可以不同。根據(jù)使用者視角的不同，使用不同的圖像采集設(shè)備采集第二圖像，可以保證更多中使用者視角下均可以透視遮擋物。
[0101]—個實施例中，圖1所示的基于智能眼鏡的遮擋物透視方法，上述遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差小于90度。
[0102]本實施例中，遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差小于90度，可以克服由于三維的實際的空間和表達二維信息的圖像之間的差異，提高透視結(jié)果的越準確度。其他實施例中，遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差可以是其他角度，例如可根據(jù)圖像采集設(shè)備可采集的視場角確定，例如可以是圖像采集設(shè)備的鏡頭視角的1/2。一個實施例中，該視角差可以是30度及以下，以此可獲得比較理想的圖像。另一實施例中，圖像采集設(shè)備可采用180度廣角鏡頭，此時該視角差可接近達90度，可通過多個鏡頭采集的圖像拼接得到全景鏡頭的圖像。
[0103]圖7是本發(fā)明一實施例中通過多個圖像采集設(shè)備采集使用者視野的第二圖像的方法流程示意圖。上述圖像采集設(shè)備的個數(shù)為多個，如圖7所示，通過多個圖像采集設(shè)備采集使用者視野的第二圖像的方法，可包括步驟:
[0104]S121:通過各上述圖像采集設(shè)備采集使用者視野的第三圖像；
[0105]S122:將各上述第三圖像拼接在一起形成無遮擋物的上述第二圖像。
[0106]在上述步驟S121中，各上述圖像采集設(shè)備的視角和/或位置可以各部相同，可以采集不同的上述第三圖像。
[0107]在上述步驟S122中，通過將各第三圖像拼接在一起形成無遮擋物的第二圖像，可以在一個圖像采集設(shè)備不能采集完整的遮擋物遮擋的視野圖像時，將各個圖像采集設(shè)備采集的部分的遮擋物遮擋的視野圖像拼接在一起，構(gòu)成完整的遮擋物遮擋的視野圖像，從而用于替換上述第一圖像中的遮擋物圖像。
[0108]另一實施例中，拼接形成的上述第二圖像可比一幅上述第三圖像具有更寬廣的視野的圖像，在使用者視野內(nèi)的畫面發(fā)生變化和/或使用者視角發(fā)生變化時，只要上述第二圖像仍能夠包括遮擋物遮擋的視野的圖像，可以不用更新上述第二圖像，若第一圖像發(fā)生變化，可直接在該第二圖像中找到與更新后的第一圖像對應(yīng)位置的圖像即可，以此可以提高圖像處理速度。
[0109]圖8是本發(fā)明一實施例中拼接得到第二圖像的方法的流程示意圖。如圖8所示，在上述步驟S122中，將各上述第三圖像拼接在一起形成無遮擋物的上述第二圖像的方法，可包括步驟:
[0110]S1221:從各上述第三圖像中除遮擋物圖像之外的圖像部分分別提取多個第三特征點，不同上述第三圖像中第三特征點一一對應(yīng)；
[0111]S1222:根據(jù)不同上述第三圖像中第三特征點，計算得到由其他圖像采集設(shè)備的成像視角轉(zhuǎn)換為其中一個圖像采集設(shè)備的成像視角的圖像轉(zhuǎn)換矩陣；
[0112]S1223:利用上述圖像轉(zhuǎn)換矩陣對上述其他圖像采集設(shè)備所采集的第三圖像進行圖像變換；
[0113]S1224:將圖像變換后的第三圖像與上述其中一個圖像采集設(shè)備采集的第三圖像拼接，以得到對應(yīng)上述第一圖像中整個上述遮擋物圖像的圖像。
[0114]本實施例中，具體實現(xiàn)方法可與圖2所示的拼接方法類似，例如在上述步驟SI221中，可以采用特征點提取算法提取上述第三特征點。在上述步驟S1224中，可利用各待拼接圖像中的對應(yīng)遮擋物圖像的部分替換遮擋物圖像，剪裁、拼接構(gòu)成對應(yīng)上述第一圖像中整個遮擋物圖像的圖像。
[0115]—個具體實施例中，透視遮擋物方法可以包括步驟:
[0116](I)使用智能眼鏡對遮擋物圖像進行識別，通過對目標物體外部標定的識別，判斷出需要被透視的遮擋物，或者通過智能眼鏡自身的陀螺儀記錄遮擋物的方向，或者通過對遮擋物自身的識別達到標定出遮擋物的目的。
[0117](2)使用外置探測器采集到被遮擋的圖像。
[0118](3)在外置圖像和存在遮擋物的自然視野中尋找對應(yīng)特征點。
[0119](4)求出圖像變換矩陣和經(jīng)變換的外置探測器圖像。
[0120](5)將圖像疊加到原存在遮擋物的圖像中。
[0121](6)使用新圖像疊加或者替換遮擋物部分圖像。
[0122](7)在自然視野發(fā)生變化時，重復以上操作，使被遮擋物上疊加的圖像根據(jù)被遮擋的內(nèi)容不停發(fā)生變化。
[0123](8)智能眼鏡使用者視野發(fā)生變化時，先判斷是否存在遮擋物，如果不存在遮擋物則不進行圖像替換，如果存在遮擋物則重復進行(1)-(7)操作。
[0124](9)使用全部探測器所得圖像進行拼接后的圖像作為模板，將智能眼鏡所拍攝圖像和智能眼鏡陀螺儀信息數(shù)據(jù)作為窗口在模板上搜索，得到被遮擋物遮擋的對應(yīng)圖像完成替換。
[0125]本實施例的方法，視野死角和遮擋物遮擋住的部分可能是實時變化的，這部分數(shù)據(jù)可具有實時性;一種可透視智能眼鏡及其透視方法的透視結(jié)果是物體的內(nèi)部結(jié)構(gòu)，該內(nèi)部結(jié)構(gòu)可是相對固定的，可無實時性，基本上也不會隨時間的變化而變化。本發(fā)明可以應(yīng)用于交通、軍事視野死角有較大危害的場所，同時由于可以實時的透視遮擋的物體，從而保證了結(jié)果顯示的準確和可用。
[0126]圖9是本發(fā)明一實施例中智能眼鏡采集的第一圖像的示意圖。智能眼鏡看到的圖像可以近似認為是使用者的自然視野內(nèi)看到的圖像。如圖9所示，智能眼鏡采集的第一圖像300中包含遮擋物圖像301和非遮擋物圖像302。使用者視野的盲區(qū)(對應(yīng)遮擋物圖像301)在視野的右側(cè)。其他實施例中，盲區(qū)也可能在視野的左側(cè)、上方、下方、周邊環(huán)繞或者中心等。在第一圖像300中除遮擋物圖像301以外的部分即非遮擋物圖像302中，可以選擇第一特征點Al ,BUCl、D1、E1、F1，該些特征點為拐點或交點。
[0127]圖10是本發(fā)明一實施例中圖像采集設(shè)備采集到的包含對應(yīng)圖9所示遮擋物圖像部分的第二圖像的示意圖。如圖10所示，采集到的第二圖像400既包含對應(yīng)圖9中遮擋物圖像301的圖像，也包含至少部分地對應(yīng)上述非遮擋物圖像302的圖像。第二圖像400中可以找到對應(yīng)第一特征點厶1、81、(:1、0^1、？1的第二特征點厶2、82、02、02』2、？2。第二圖像400中的五角星圖像相對于圖9所示的五角星圖像有所變形，且對應(yīng)第一特征點Cl的第二特征點C2位置有所遮擋。只要第二圖像400中的遮擋物圖像不包括對應(yīng)第一圖像300中遮擋物圖像301的部分即可。
[0128]圖9中的第一特征點六131、(:1、0^1小1和圖10中的第二特征點42、82、02、02』2、F2并不一定能很好地重合，對圖10進行圖像變換后，可以使第一特征點Al ,BUCl、D1、E1、F1和第二特征點42、82、02、02』212很好地重合在一起，以便實現(xiàn)圖像拼接，使拼接后的圖像符合人眼的自然視野。
[0129]其他實施例中，可以使用多個圖像采集設(shè)備進行圖像的采集，從而保證對被遮擋視野和自然視野的完全覆蓋。不同圖像采集設(shè)備得到的圖像之間可以采用圖像拼接的方式將圖像連接到一起得到上述第二圖像400。
[0130]圖11是根據(jù)圖9和圖1O所不圖像拼接而成的無遮擋物圖像的不意圖。如圖11所不，利用圖像變換后的第二圖像400中對應(yīng)遮擋物圖像301的部分替換第一圖像300中的遮擋物圖像301，可以得到無遮擋物圖像500，其中替換部分圖像501用虛線視出。圖像拼接起來形成一幅完整圖像，或者也可以將被遮擋物遮擋住的圖像使用虛擬的圖像顯示出來，視野死角可通過這種手段去除。最后將圖像采集設(shè)備采集到的被遮擋部分的圖像拼接到現(xiàn)有視野范圍的圖像上完成對遮擋物的透視。
[0131]本發(fā)明實施例的基于智能眼鏡的遮擋物透視方法，利用智能眼鏡的攝像頭采集到的使用者視野的圖像，通過多種方法分析并識別得到視野中遮擋物的位置和圖像，利用外置的圖像采集設(shè)備采集被遮擋的視野的圖像，并將被遮擋的部分用外置探測器采集到的圖像進行替換，再將替換圖像與使用者視野圖像進行配準、拼接，如此一來，使用智能眼鏡能夠在觀察遮擋物的時候能看到被遮擋物遮擋的圖像，從而能夠產(chǎn)生透視遮擋物的效果，以此可以有效的去除使用者視野內(nèi)由該遮擋物造成的死角。
[0132]基于與圖1所示的基于智能眼鏡的遮擋物透視方法相同的發(fā)明構(gòu)思，本申請實施例還提供了一種基于智能眼鏡的遮擋物透視裝置，如下面實施例上述。由于該基于智能眼鏡的遮擋物透視裝置解決問題的原理與基于智能眼鏡的遮擋物透視方法相似，因此該基于智能眼鏡的遮擋物透視裝置的實施可以參見基于智能眼鏡的遮擋物透視方法的實施，重復之處不再贅述。
[0133]圖12是本發(fā)明一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖。如圖12所示，本發(fā)明實施例的基于智能眼鏡的遮擋物透視裝置，可包括:遮擋物圖像獲取單元210、替換圖像獲取單元220及無遮擋圖像生成單元230，上述各單元順序連接。
[0134]遮擋物圖像獲取單元210用于通過智能眼鏡采集使用者視野的第一圖像并識別上述第一圖像中的遮擋物圖像。
[0135]替換圖像獲取單元220用于通過至少一圖像采集設(shè)備采集使用者視野的第二圖像。
[0136]無遮擋圖像生成單元230用于利用上述第二圖像中對應(yīng)上述遮擋物圖像的部分替換上述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。
[0137]在遮擋物圖像獲取單元210中，該智能眼鏡可以是各種不同的智能眼鏡，其上一般設(shè)有圖像采集設(shè)備，例如攝像頭。上述使用者通常是指佩戴上述智能眼鏡的用戶，由于智能眼鏡的圖像采集設(shè)備所在位置與人眼位置的距離很近，所以使用者能夠看到的圖像，智能眼鏡也可以看到。遮擋物可使使用者的視野產(chǎn)生盲區(qū)，被遮擋物遮擋的部分使用者無法觀察到，例如車窗的立柱會擋住車內(nèi)人員的部分視野。
[0138]—個實施例中，可近似認為使用者和智能眼鏡二者看到的圖像相同，可以忽略其二者之間的圖像簡單形變，以此可以簡化圖像處理過程。
[0139]另一個實施例中，使用者視野即自然視野與智能眼鏡的圖像采集設(shè)備二者所看到圖像的差異可以基于人眼與智能眼鏡的圖像采集設(shè)備的位置關(guān)系進行校正或修正，以此可以提高智能眼鏡顯示屏上圖像的真實性，可以提升使用者體驗。
[0140]—個實施例中，使用者視野即自然視野與智能眼鏡的圖像采集設(shè)備二者所看到圖像的差異，可以使用雙攝像機進行相機標定的方法進行校正。具體而言，可將人眼位置放置一臺攝像機，將該攝像機采集到的標定板圖像與智能眼鏡攝像頭采集到的標定板圖像進行對比，得到一個圖像的變換矩陣T。將所有經(jīng)過智能眼鏡采集到的圖像在顯示到人眼前都經(jīng)過矩陣T的變換，從而可以得到一個近似在人眼位置采集到并顯示圖像。
[0141]該第一圖像可以通過該智能眼鏡上的圖像采集設(shè)備采集。該第一圖像中的遮擋物圖像可以通過該智能眼鏡中的處理器或額外設(shè)置的處理器進行圖像分析獲得，即可以判斷使用者視野內(nèi)是否存在遮擋物。使用者視野內(nèi)可以存在多個遮擋物，上述遮擋物圖像可以是多個。一個實施例中，可以通過對智能眼鏡的攝像頭拍攝到的遮擋物進行一定的識別，從而判斷使用哪部分的圖像進行替換，使用智能眼鏡識別的過程也可以通過智能眼鏡自身的陀螺儀設(shè)備輔助參考，以此智能眼鏡的攝像頭可以識別出視野內(nèi)是否存在遮擋物，并使用相應(yīng)的圖像進行替換。由于整個視野的視野死角可被圖像采集裝置覆蓋，所以遮擋物周邊的圖像和被遮擋的圖像可以有效的進行拼接，這樣可以更好的判斷出視野所在的位置并使用相應(yīng)的圖像進行替換。
[0142]—個實施例中，上述智能眼鏡可以是可透視型智能眼鏡。該可透視型智能眼鏡的顯示屏可允許自然光穿透，以此可以在保證使用者觀看智能眼鏡顯示圖像的同時也可以看到自然真實視野。上述智能眼鏡中產(chǎn)生的圖像可與真實視野中的目標圖像發(fā)生疊加，使用智能眼鏡中處理過的圖像覆蓋部分真實視野中的遮擋物圖像，以此可以達到透視遮擋物的效果。被遮擋的圖像可以由一個或者多個圖像采集裝置采集獲得，其中，至少有I個圖像采集裝置可以不被遮擋物遮擋。
[0143]在替換圖像獲取單元220中，圖像采集設(shè)備可以是各種能夠采集圖像的設(shè)備，例如相機、攝像頭、紅外圖像探測器等。上述圖像采集設(shè)備可以安裝在各種不同位置，只要能拍攝到被遮擋物遮擋的使用者視野的圖像即可，換言之，需要覆蓋被遮擋物遮擋的視野的位置，即覆蓋到使用者的視野死角，能夠采集到被遮擋部分的圖像，例如上述圖像采集設(shè)備設(shè)置在車頂?shù)倪吘壍奈恢?，可以覆蓋車窗立柱的視野死角的。
[0144]較佳地，上述圖像采集設(shè)備設(shè)置在上述遮擋物的背面，以此可以保證被遮擋物遮擋的使用者視野的圖像一定可以被采集到。
[0145]—個實施例中，利用一個上述圖像采集設(shè)備可以拍到所有遮擋物所遮擋的視野的圖像時，可以僅使用一個圖像采集設(shè)備采集上述第二圖像。另一實施例中，同時使用多個圖像采集設(shè)備同時拍攝遮擋物所遮擋的視野的不同部分的圖像，不同圖像采集設(shè)備所采集圖像可拼接在一起，生成包含所有或整個遮擋物所遮擋視野的圖像。
[0146]—個實施例中，上述圖像采集設(shè)備的位置可以和遮擋物的位置相對固定，以此可以極大減少圖像處理的運算量，可以提高圖像處理效果。
[0147]在無遮擋圖像生成單元230中，第二圖像中對應(yīng)上述遮擋物圖像的部分可以指遮擋物所遮擋的使用者視野的圖像。例如，車窗立柱遮擋住使用者視野內(nèi)的交通指示燈，則第二圖像中對應(yīng)上述遮擋物圖像的部分可以是交通指示燈的圖像。該無遮擋圖像可知透視遮擋物后的圖像。上述圖像采集設(shè)備采集的圖像可以通過多種方式傳送處理器處理，例如通過無線或有線方式，該處理器可以是該智能眼鏡上的處理器，或者是額外設(shè)置的處理器。圖像采集設(shè)備可以實時采集被遮擋物遮擋的使用者視野的圖像，并可實時更新智能眼鏡顯示屏上顯示的無遮擋圖像。
[0148]本發(fā)明實施例中，通過圖像采集設(shè)備采集包括被遮擋物遮擋的使用者視野的圖像，可不需要預先知道被遮擋物遮擋住的圖像。通過利用上述第二圖像中對應(yīng)遮擋物圖像的部分替換上述第一圖像中的遮擋物圖像，并拼接生成使用者視野的無遮擋圖像，可以實現(xiàn)透視遮擋物整個物體。如此一來，可以克服現(xiàn)有智能眼鏡只能用來透視物體內(nèi)部結(jié)構(gòu)，而不能透視整個物體的缺點，還可以突破現(xiàn)有智能眼鏡需要預先知道物體內(nèi)部結(jié)構(gòu)圖像的局限性。
[0149]圖13是本發(fā)明一實施例中無遮擋圖像生成單元的結(jié)構(gòu)示意圖。如圖13所示，上述無遮擋圖像生成單元230可包括:特征點提取模塊231、變換矩陣生成模塊232、圖像變換模塊233及無遮擋圖像生成模塊234，上述各模塊順序連接。
[0150]特征點提取模塊231用于從上述第一圖像中除遮擋物圖像之外的圖像部分和上述第二圖像分別提取多個第一特征點和多個第二特征點，上述第二特征點與上述第一特征點
——對應(yīng)。
[0151]變換矩陣生成模塊232用于根據(jù)所有上述第一特征點和所有上述第二特征點，計算得到由上述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣。
[0152]圖像變換模塊233用于利用上述圖像變換矩陣對上述第二圖像進行圖像變換。
[0153]無遮擋圖像生成模塊234用于將圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分與去除上述遮擋物圖像后的上述第一圖像拼接在一起生成上述無遮擋圖像。
[0154]在特征點提取模塊231中，上述第一特征點和第二特征點可以是相應(yīng)圖像中能夠反映物體形狀的點，例如圖像中的物體的頂點或拐點，可以由該點的強度的梯度變化得到。具體將圖像中的哪些點作為特征點，可視需要而定。上述第二特征點與上述第一特征點一一對應(yīng)，可指上述第二特征點與上述第一特征點為使用者視野中同一點畫面所對應(yīng)的圖像上的點。特征點的數(shù)量越多越，圖像拼接的越準確，一個實施例中，成對的特征點(第一特征點和第二特征點成對出現(xiàn))至少為5對，這有利于圖像變換矩陣結(jié)果的正確和穩(wěn)定。
[0155]—個實施例中，可以提取第一圖像中除遮擋物圖像之外的圖像部分中的所有第一特征點，可以提取第二圖像中的所有第二特征點，并可記錄相應(yīng)特征點的特征向量和特征值，進一步可通過提取的所有第一特征點和所有第二特征點依據(jù)特征向量和特征值進行匹配，并可將匹配成功的第一特征點和第二特征點用于計算上述圖像變換矩陣，即最初提取的第一特征點和第二特征點數(shù)量可不同，例如第二特征點數(shù)量多于第一特征點數(shù)量。
[0156]在變換矩陣生成模塊232和圖像變換模塊233中，上述第二圖像是從上述圖像采集設(shè)備的成像視角進行拍攝，上述第一圖像是從使用者視角拍攝，該兩視角不同時，上述第二圖像和上述第一圖像中的共同圖像部分一般會有相對變形。利用上述圖像變換矩陣對該第二圖像進行圖像變換，可以該第二圖像由像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角，可以消除圖像變形問題。
[0157]在無遮擋圖像生成模塊234中，可以通過對比上述第一圖像和圖像變換后的上述第二圖像，得到圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分;去除上述第一圖像中的遮擋物圖像;之后，再將圖像變換后的第二圖像中對應(yīng)上述遮擋物圖像的部分與去除遮擋物圖像后的第一圖像拼接在一起。
[0158]本實施例中，通過上述圖像變換矩陣對上述第二圖像進行圖像變換，在拼接生成無遮擋圖像，以此，可以防止在圖像采集設(shè)備的成像視角與使用者視野的角度(智能眼鏡成像視角)不一致的情況下，被遮擋部分的成像不夠直觀，造成使用者視野的混亂，從而影響使用者的正常視野的問題。
[0159]一個實施例中，上述特征點提取模塊231可包括:特征提取算法模塊2311。
[0160]特征提取算法模塊2311用于通過特征提取算法從上述第一圖像中的除遮擋物圖像之外的圖像部分和上述第二圖像分別提取多個第一特征點和多個第二特征點。
[0161]上述特征提取算法可以提取出拐點，拐點可指與周邊其他的像素點變化差異較大的點。舉例來說，如果圖像上存在一條豎直的邊，顯然邊的左右兩邊都與邊所在的線的像素變化較大，但是這條邊不能成為特征點即拐點，因為邊是一條線，一條線上有太多的點，無法準確判斷其中哪個點可以作為拐點。再例如，如果兩條邊相交，那么就必然有一個交點，并且這個交點與它周邊的像素相比在任何方向上差異都較大。并且這個交點是唯一的一個，它并不會沿著邊產(chǎn)生多個拐點，所以，可以選取這個交點作為特征點，也就是拐點。由此可知，特征點一般可以是圖像中物體的尖角的位置。上述特征點包括上述第一特征點和第二特征點。
[0162]—個實施例中，上述無遮擋圖像生成模塊234還用于執(zhí)行:去除上述遮擋物圖像后的上述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的上述遮擋物圖像。
[0163]本實施例中，將遮擋物的圖像部分去除，同時保留被遮擋的邊緣部分，可以作為圖像拼接的依據(jù)，提高圖像拼接質(zhì)量。在去除掉遮擋部分時，未遮擋部分可被保留下來，在圖像的拼接時，未遮擋部分與遮擋部分相接的部分圖像可在顯示的時候做一定的處理使顯示看起來更自然。該保留的邊緣部分的值可以使用固定的像素，或可以根據(jù)相拼接的像素之間的差值來決定寬度。一個實施例中，上述邊緣部分的寬度不少于5個像素，以此可以便于圖像顯示的平滑。
[0164]另一個實施例中，上述邊緣部分的寬度可以為O?5個像素，或者可將遮擋物的邊緣進行擴張操作，使去掉的遮擋物圖像比實際的遮擋物圖像可大一些，以此，可使拼接后的圖像更自然且更平滑。
[0165]圖14是本發(fā)明一實施例中無遮擋圖像生成單元的結(jié)構(gòu)示意圖。如圖14所示，上述無遮擋圖像生成單元230還可包括:初始定位模塊235，連接于上述圖像變換模塊233和上述無遮擋圖像生成模塊234之間。
[0166]初始定位模塊235用于根據(jù)上述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的上述第二圖像中對應(yīng)上述遮擋物圖像的部分與去除上述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。
[0167]在初始定位模塊235中，上述圖像采集設(shè)備與遮擋物的位置較佳地是相對固定的，被遮擋的圖像可與圖像采集設(shè)備采集到的圖像存在一定的相對關(guān)系。該空間位置信息可以是圖像采集設(shè)備和遮擋物的相對空間位置，此時，當發(fā)現(xiàn)遮擋物的位置后，可以將該相對空間位置的信息記錄下來，在此條件下，遮擋物和圖像采集設(shè)備之間可以認為是不發(fā)生相對運動的，所以可以定位到遮擋物的位置信息并利用該位置信息進行圖像拼接，例如，某個角度方向上存在遮擋物，那么這個角度方向上的圖像采集設(shè)備采集到的信息可以用來替換遮擋物圖像。如此一來，在使用智能眼鏡做圖像拼接的操作的時候，拼接過程中需要搜尋對應(yīng)特征點(第一特征點和對應(yīng)的第二特征點)的圖像的范圍可以大大減小，從而可以提高圖像處理速度。一個實施例中，同時可以利用智能眼鏡本身的陀螺儀提供方向等的信息，可以預先知曉遮擋物與智能眼鏡使用者存在的角度關(guān)系，也就是說使用者是否朝遮擋物的方向觀察了，這可以作為是否顯示透視圖像或者拼接預算的一個輔助依據(jù)。在一實施例中，可同時存在多個圖像采集設(shè)備的情況下，多個圖像采集設(shè)備之間的相對位置可以固定，以此進行一次多個圖像采集設(shè)備的圖像拼接以后，只需要保留圖像變換矩陣并應(yīng)用到新的圖像即可，無需要每次都對圖像進行特征提取和尋找對應(yīng)特征點的操作，以此可以提高圖像處理速度。
[0168]一個實施例中，上述遮擋物圖像獲取單元210可包括:遮擋物圖像獲取模塊211。
[0169]遮擋物圖像獲取模塊211用于根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別上述第一圖像中的遮擋物圖像。
[0170]具體地，例如可根據(jù)圖形標記所在的邊界區(qū)域識別遮擋物圖像。第一圖像在圖像處理過程中可提取圖像的邊界，這樣可以將整個第一圖像劃分為很多區(qū)域，恒定屬性或者圖形標記所在的區(qū)域可被認定為遮擋物，該區(qū)域的圖像可被替換。
[0171]本實施例中，該圖形標記可以是預先再遮擋物上設(shè)置的唯一標記，用以識別該遮擋物。識別第一圖像中的遮擋物圖像的方法可包括遮擋物的顏色、圖案、相對位置或者特征標識等。顏色可指遮擋物的自身顏色相對恒定，可以通過一段時間的采集將遮擋物的顏色限定與某個范圍這樣對該顏色的物體在作為遮擋物的判定中可以給予一定加權(quán)。圖案和特征標識本質(zhì)相同，可是指符合特定圖案特征作為識別，識別后可將所在的輪廓識別為遮擋物。相對位置可是采用陀螺儀的方式記錄遮擋物和使用者之間的相對關(guān)系從而應(yīng)用與對遮擋物的識別中。對遮擋物的識別的方法可以是物體識別的算法。
[0172]通過智能眼鏡記錄遮擋物體的特征，或者在遮擋物上使用圖形標記，或者通過記錄遮擋物的空間位置，例如通過智能眼鏡陀螺儀記錄遮擋物與智能眼鏡所成角度，從而可在智能眼鏡朝向該角度時識別出該遮擋物。視野死角和遮擋物本身一般不太發(fā)生變化，通過對遮擋物本身屬性比較恒定這一特點來達到對遮擋物得識別，可以提高遮擋物識別的準確度。例如，遮擋物的顏色比較固定，幾乎不發(fā)生變化，在自然視野變化時，遮擋物的自身的圖像也不變化等特征識別標定出遮擋物或視野死角。自然視野中的遮擋物部分可被記錄下來并被移除掉。
[0173]—個實施例中，視野內(nèi)未發(fā)現(xiàn)遮擋物，可無需進行圖像的替換操作，可以使用智能眼鏡攝像頭所拍攝的圖案。如果是透過式智能眼鏡也可以采用不顯示的方法直接讓使用者透過鏡片直接觀察而不進行顯示，使用者可以透過智能眼鏡直接看到自然視野，該智能眼鏡可以是透過式的智能眼鏡，例如類似googleglass和hololens的智能眼鏡。
[0174]圖15是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖。如圖15所示，圖12所示的基于智能眼鏡的遮擋物透視裝置，還可包括:第一圖像更新單元240，與上述無遮擋圖像生成單元230連接。
[0175]第一圖像更新單元240用于在使用者視野內(nèi)的畫面發(fā)生變化時，上述智能眼鏡更新上述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的上述第一圖像和更新后的所述第二圖像重新生成上述無遮擋圖像。
[0176]本實施例中，當被遮擋的自然視野發(fā)生變化的時候，例如使用者頭部發(fā)生位移，可以依據(jù)智能眼鏡自身的陀螺儀數(shù)據(jù)調(diào)整更新上述無遮擋圖像。具體地，可以更新上述第一圖像和上述第二圖像，并基于更新后的第一圖像重新生成無遮擋圖像和更新后的第二圖像。如此一來，可以在使用者視野內(nèi)的畫面發(fā)生變化時實現(xiàn)無遮擋圖像的實時更新。一個實施例中，上述圖像采集設(shè)備可實時采集第二圖像，可在需要時利用重新采集的第二圖像對更新之前的第二圖像。
[0177]圖16是本發(fā)明另一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖。如圖16所示，圖12所示的基于智能眼鏡的遮擋物透視裝置，還可包括:第二圖像更新單元250和無遮擋圖像更新單元260，二者相互連接，第二圖像更新單元250與上述無遮擋圖像生成單元230連接。
[0178]第二圖像更新單元250用于在使用者的視角發(fā)生變化時，上述智能眼鏡依據(jù)上述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新上述第一圖像。
[0179]無遮擋圖像更新單元260用于若是，通過上述智能眼鏡更新上述第一圖像，并基于更新后的上述第一圖像重新生成上述無遮擋圖像。
[0180]在第二圖像更新單元250中，設(shè)定位置可以是智能眼鏡外的各個位置，例如車上。根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)可以在各種情形下確定使用者的視角變化情況，例如在車行駛的過程中確定使用者視角是否發(fā)生變化。
[0181]在無遮擋圖像更新單元260中，當根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)判斷使用者的視角變化超過一設(shè)定角度時，可通過智能眼鏡更新該第一圖像，并基于更新后的第一圖像生成無遮擋圖像，以此可以在使用者視角發(fā)生變化時，實時更新無遮擋圖像。
[0182]在其他實施例中，若根據(jù)智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和該設(shè)定位置的陀螺儀的檢測數(shù)據(jù)判斷使用者的視角變化不超過上述設(shè)定角度，可近似認為使用者視角未發(fā)生變化，則可不更新第一圖像。
[0183]本實施例中，第二圖像可以重新采集，也可以不重新采集，只要第二圖像中仍可包括被更新后的第一圖像中的遮擋物所遮擋的使用者視野即可。一個實施例中，上述圖像采集設(shè)備可以是攝像機，此時，可以實時采集第二圖像，并可實時更新上述第二圖像，第二圖像可以是一直被重新采集，并可視需要用于生成上述無遮擋物圖像。
[0184]圖17是本發(fā)明又一實施例的基于智能眼鏡的遮擋物透視裝置的結(jié)構(gòu)示意圖。如圖17所示，圖12所示的基于智能眼鏡的遮擋物透視裝置，還可包括:第三圖像更新單元270，與上述無遮擋圖像生成單元230連接。
[0185]第三圖像更新單元270用于在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集上述第二圖像，并基于重新采集的上述第二圖像重新生成上述無遮擋圖像。
[0186]本實施例中，該另一圖像采集設(shè)備是相對于使用者的視角發(fā)生變化前用于采集上述第二圖像而言的圖像采集設(shè)備，可以是上述多個圖像采集設(shè)備中的另一個。該另一圖像采集設(shè)備可以采集到使用者的新的視角內(nèi)遮擋物所遮擋的使用者視野的圖像。該另一圖像采集設(shè)備和上述圖像采集設(shè)備在成像角度和/或位置上可以不同。根據(jù)使用者視角的不同，使用不同的圖像采集設(shè)備采集第二圖像，可以保證使用者透視遮擋物的視角更廣。
[0187]—個實施例中，上述替換圖像獲取單元220還用于執(zhí)行:上述遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差90度。
[0188]本實施例中，遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差小于90度，可以克服由于三維的實際的空間和表達二維信息的圖像之間的差異，提高透視結(jié)果的越準確度。其他實施例中，遮擋物相對于使用者的方向角與上述圖像采集設(shè)備的成像視角之差可以是其他角度，例如可根據(jù)圖像采集設(shè)備可采集的視場角確定，例如可以是圖像采集設(shè)備的鏡頭視角的1/2。一個實施例中，該視角差可以是30度及以下，以此可獲得比較理想的圖像。另一實施例中，圖像采集設(shè)備可采用180度廣角鏡頭，此時該視角差可接近達90度，可通過多個鏡頭采集的圖像拼接得到全景鏡頭的圖像。
[0189]圖18是本發(fā)明一實施例的替換圖像獲取單元的結(jié)構(gòu)示意圖。如圖18所示，上述圖像采集設(shè)備的個數(shù)為多個，上述替換圖像獲取單元220可包括:第三圖像獲取模塊221和第二圖像獲取模塊222，二者相互連接。
[0190]第三圖像獲取模塊221用于通過各上述圖像采集設(shè)備采集使用者視野的第三圖像。
[0191]第二圖像獲取模塊222用于將各上述第三圖像拼接在一起形成無遮擋物的上述第二圖像。
[0192]在第三圖像獲取模塊221中，各上述圖像采集設(shè)備的視角和/或位置可以各部相同，可以采集不同的上述第三圖像。
[0193]在第二圖像獲取模塊222中，通過將各第三圖像拼接在一起形成無遮擋物的第二圖像，可以在一個圖像采集設(shè)備不能采集完整的遮擋物遮擋的視野圖像時，將各個圖像采集設(shè)備采集的部分的遮擋物遮擋的視野圖像拼接在一起，構(gòu)成完整的遮擋物遮擋的視野圖像，從而用于替換上述第一圖像中的遮擋物圖像。
[0194]另一實施例中，拼接形成的上述第二圖像可比一幅上述第三圖像具有更寬廣的視野的圖像，在使用者視野內(nèi)的畫面發(fā)生變化和/或使用者視角發(fā)生變化時，只要上述第二圖像仍能夠包括遮擋物遮擋的視野的圖像，可以不用更新上述第二圖像，若第一圖像發(fā)生變化，可直接在該第二圖像中找到與更新后的第一圖像對應(yīng)位置的圖像即可，以此可以提高圖像處理速度。
[0195]本發(fā)明實施例的基于智能眼鏡的遮擋物透視裝置，利用智能眼鏡的攝像頭采集到的使用者視野的圖像，通過多種方法分析并識別得到視野中遮擋物的位置和圖像，利用外置的圖像采集設(shè)備采集被遮擋的視野的圖像，并將被遮擋的部分用外置探測器采集到的圖像進行替換，再將替換圖像與使用者視野圖像進行配準、拼接，如此一來，使用智能眼鏡能夠在觀察遮擋物的時候能看到被遮擋物遮擋的圖像，從而能夠產(chǎn)生透視遮擋物的效果，以此可以有效的去除使用者視野內(nèi)由該遮擋物造成的死角。
[0196]在本說明書的描述中，參考術(shù)語“一個實施例”、“一個具體實施例”、“一些實施例”、“例如”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。
[0197]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。
[0198]本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0199]這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0200]這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0201]以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種基于智能眼鏡的遮擋物透視方法，其特征在于，包括: 通過智能眼鏡采集使用者視野的第一圖像并識別所述第一圖像中的遮擋物圖像； 通過至少一圖像采集設(shè)備采集使用者視野的第二圖像； 利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。2.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像，包括: 從所述第一圖像中除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，所述第二特征點與所述第一特征點一一對應(yīng)； 根據(jù)所有所述第一特征點和所有所述第二特征點，計算得到由所述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣； 利用所述圖像變換矩陣對所述第二圖像進行圖像變換； 將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像。3.如權(quán)利要求2所述的基于智能眼鏡的遮擋物透視方法，其特征在于，從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，包括: 通過特征提取算法從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點。4.如權(quán)利要求2所述的基于智能眼鏡的遮擋物透視方法，其特征在于， 去除所述遮擋物圖像后的所述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的所述遮擋物圖像。5.如權(quán)利要求2所述的基于智能眼鏡的遮擋物透視方法，其特征在于，在將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像之前，還包括: 根據(jù)所述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。6.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，通過智能眼鏡識別所述第一圖像中的遮擋物圖像，包括: 根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別所述第一圖像中的遮擋物圖像。7.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，還包括: 在使用者視野內(nèi)的畫面發(fā)生變化時，所述智能眼鏡更新所述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的所述第一圖像和更新后的所述第二圖像重新生成所述無遮擋圖像。8.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，還包括: 在使用者的視角發(fā)生變化時，所述智能眼鏡依據(jù)所述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新所述第一圖像； 若是，通過所述智能眼鏡更新所述第一圖像，并基于更新后的所述第一圖像重新生成所述無遮擋圖像。9.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，還包括: 在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集所述第二圖像，并基于重新采集的所述第二圖像重新生成所述無遮擋圖像。10.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，所述遮擋物相對于使用者的方向角與所述圖像采集設(shè)備的成像視角之差小于90度。11.如權(quán)利要求1所述的基于智能眼鏡的遮擋物透視方法，其特征在于，所述圖像采集設(shè)備的個數(shù)為多個，通過多個圖像采集設(shè)備采集使用者視野的第二圖像，包括: 通過各所述圖像采集設(shè)備采集使用者視野的第三圖像； 將各所述第三圖像拼接在一起形成無遮擋物的所述第二圖像。12.一種基于智能眼鏡的遮擋物透視裝置，其特征在于，包括: 遮擋物圖像獲取單元，用于通過智能眼鏡采集使用者視野的第一圖像并識別所述第一圖像中的遮擋物圖像； 替換圖像獲取單元，用于通過至少一圖像采集設(shè)備采集使用者視野的第二圖像； 無遮擋圖像生成單元，用于利用所述第二圖像中對應(yīng)所述遮擋物圖像的部分替換所述第一圖像中的遮擋物圖像，拼接生成使用者視野的無遮擋圖像。13.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述無遮擋圖像生成單元包括: 特征點提取模塊，用于從所述第一圖像中除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點，所述第二特征點與所述第一特征點一一對應(yīng)； 變換矩陣生成模塊，用于根據(jù)所有所述第一特征點和所有所述第二特征點，計算得到由所述圖像采集設(shè)備的成像視角轉(zhuǎn)換為使用者視角的圖像變換矩陣； 圖像變換模塊，用于利用所述圖像變換矩陣對所述第二圖像進行圖像變換； 無遮擋圖像生成模塊，用于將圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的所述第一圖像拼接在一起生成所述無遮擋圖像。14.如權(quán)利要求13所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述特征點提取模塊包括: 特征提取算法模塊，用于通過特征提取算法從所述第一圖像中的除遮擋物圖像之外的圖像部分和所述第二圖像分別提取多個第一特征點和多個第二特征點。15.如權(quán)利要求13所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述無遮擋圖像生成模塊還用于執(zhí)行: 去除所述遮擋物圖像后的所述第一圖像的邊緣的設(shè)定像素寬度區(qū)域包含部分的所述遮擋物圖像。16.如權(quán)利要求13所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述無遮擋圖像生成單元還包括: 初始定位模塊，用于根據(jù)所述圖像采集設(shè)備的成像角度及空間位置信息，對圖像變換后的所述第二圖像中對應(yīng)所述遮擋物圖像的部分與去除所述遮擋物圖像后的第一圖像之間的拼接位置進行初始定位。17.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述遮擋物圖像獲取單元包括: 遮擋物圖像獲取模塊，用于根據(jù)遮擋物的恒定屬性或遮擋物上的圖形標記，識別所述第一圖像中的遮擋物圖像。18.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，還包括: 第一圖像更新單元，用于在使用者視野內(nèi)的畫面發(fā)生變化時，所述智能眼鏡更新所述第一圖像，所述圖像采集設(shè)備重新采集所述第二圖像以更新所述第二圖像，并基于更新后的所述第一圖像和更新后的所述第二圖像重新生成所述無遮擋圖像。19.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，還包括: 第二圖像更新單元，用于在使用者的視角發(fā)生變化時，所述智能眼鏡依據(jù)所述智能眼鏡上的陀螺儀的檢測數(shù)據(jù)和一設(shè)定位置的陀螺儀的檢測數(shù)據(jù)確定是否需要更新所述第一圖像； 無遮擋圖像更新單元，用于若是，通過所述智能眼鏡更新所述第一圖像，并基于更新后的所述第一圖像重新生成所述無遮擋圖像。20.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，還包括: 第三圖像更新單元，用于在使用者的視角發(fā)生變化后，使用另一圖像采集設(shè)備重新采集所述第二圖像，并基于重新采集的所述第二圖像重新生成所述無遮擋圖像。21.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述替換圖像獲取單元還用于執(zhí)行: 所述遮擋物相對于使用者的方向角與所述圖像采集設(shè)備的成像視角之差小于90度。22.如權(quán)利要求12所述的基于智能眼鏡的遮擋物透視裝置，其特征在于，所述圖像采集設(shè)備的個數(shù)為多個，所述替換圖像獲取單元包括: 第三圖像獲取模塊，用于通過各所述圖像采集設(shè)備采集使用者視野的第三圖像； 第二圖像獲取模塊，用于將各所述第三圖像拼接在一起形成無遮擋物的所述第二圖像。
【文檔編號】G06T3/00GK106056534SQ201610373513
【公開日】2016年10月26日
【申請日】2016年5月31日
【發(fā)明人】付楠, 謝耀欽, 朱艷春, 余紹德, 陳昳麗, 張志誠
【申請人】中國科學院深圳先進技術(shù)研究院