本文涉及但不限于光學技術和終端技術,尤指一種獲取校正參數(shù)的方法和裝置。
背景技術:
采用雙目相機能夠獲得深度信息,但是由于雙目相機中的兩個攝像頭之間存在一定的距離,導致兩個攝像頭之間的視場不能完全重合,使得采用兩個攝像頭同時拍攝一個點時,該點在兩個攝像頭拍攝得到的圖像上的位置不相同,給后期雙目相機的應用帶來困難,因此,需要對雙目相機中的兩個攝像頭拍攝得到的圖像進行校正,而相關技術中并未給出有效的校正方法。
技術實現(xiàn)要素:
為了解決上述問題,本發(fā)明實施例提出了一種獲取校正參數(shù)的方法,能夠校正雙目相機中兩個攝像頭拍攝得到的圖像,以減小同一個點在兩個攝像頭拍攝得到的圖像上的位置差異。
為了達到上述目的,本發(fā)明實施例提出了一種獲取校正參數(shù)的裝置,包括:
建立模塊,用于建立坐標系:建立預設對象所在的第一物理坐標系、第一攝像頭所在的第二物理坐標系和對應的第一像素坐標系、第二攝像頭所在的第三物理坐標系和對應的第二像素坐標系、設置在第二物理坐標系和第三物理坐標系之間的第四物理坐標系和對應的第三像素坐標系;
獲取模塊,用于采用第一攝像頭獲取預設對象的第一圖像,同時采用第二攝像頭獲取預設對象的第二圖像;
處理模塊,用于從第一圖像中獲取與第二圖像重疊的第三圖像,從第二圖像中獲取與第一圖像重疊的第四圖像;
計算模塊,用于根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)。
可選的,所述獲取模塊還用于:
采用所述第一攝像頭獲取第五圖像,同時采用所述第二攝像頭獲取第六圖像;
所述裝置還包括:
校正模塊,用于根據所述第一參數(shù)對第五圖像進行校正;根據所述第二參數(shù)對第六圖像進行校正。
可選的,所述第一參數(shù)包括:所述第四物理坐標系到所述第二物理坐標系的第一旋轉矩陣和第一攝像頭參數(shù);所述第二參數(shù)包括:所述第四物理坐標系到所述第三物理坐標系的第二旋轉矩陣和第二攝像頭參數(shù);
所述計算模塊具體用于:
初始化第一權值系數(shù)矩陣和第二權值系數(shù)矩陣;
根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣和所述第二旋轉矩陣;
根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標;其中,i為大于或等于1的整數(shù);
根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第二攝像頭參數(shù)將所述第i預設點在第三物理坐標系的坐標轉換成所述第i預設點在第二像素坐標系下的第二像素坐標;
根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣;
根據增量矩陣對第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)進行更新;
根據更新后的第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)繼續(xù)執(zhí)行所述根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣或所述第二旋轉矩陣的步驟,直到迭代次數(shù)大于或等于預設次數(shù),輸出第一參數(shù)和第二參數(shù)。
可選的,所述計算模塊具體用于采用以下方式實現(xiàn)根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標:
根據第一權值系數(shù)矩陣計算第一物理坐標系投影到第四物理坐標系的第一變換矩陣;
根據第一變換矩陣和第一旋轉矩陣計算第一物理坐標系投影到第二物理坐標系的第二變換矩陣,根據第一變換矩陣和第二旋轉矩陣計算第一物理坐標系投影到第三物理坐標系的第三變換矩陣;
根據第二變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第三變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標。
可選的,所述計算模塊具體用于采用以下方式實現(xiàn)根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標:
將第i預設點在第二物理坐標系的坐標投影到第一像素坐標系得到第i預設點在第一像素坐標系下的第一物理坐標,將第i預設點在第三物理坐標系的坐標投影到第二像素坐標系得到第i預設點在第二像素坐標系下的第二物理坐標;
根據第一物理坐標和所述第一攝像頭參數(shù)計算第i預設點在第一像素坐標系下的第一像素坐標,根據第二物理坐標和所述第二攝像頭參數(shù)計算第i預設點在第二像素坐標系下的第二像素坐標。
可選的,所述計算模塊具體用于采用以下方式實現(xiàn)根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣:
根據第i預設點在所述第三圖像中的坐標和第一像素坐標計算第i預設點的第一差值,根據第i預設點在所述第四圖像中的坐標和第一像素坐標計算第i預設點的第二差值,所有預設點的第一差值和第二差值組成差值矩陣;
計算所有預設點的第一物理坐標和第二物理坐標關于所述第一權值系數(shù)矩陣、所述第二權值系數(shù)矩陣、所述第一攝像頭參數(shù)和所述第二攝像頭參數(shù)的雅可比矩陣;
根據雅可比矩陣和差值矩陣計算增量矩陣。
可選的,所述計算模塊具體用于采用以下方式實現(xiàn)所述根據雅可比矩陣和差值矩陣計算增量矩陣包括:
按照公式plus=(Jac'Jac)\(Jac'residusl)計算所述增量矩陣;
其中,plus為所述增量矩陣,Jac為所述雅可比矩陣,residusl為所述差值矩陣。
本發(fā)明實施例還提出了一種獲取校正參數(shù)的方法,包括:
建立坐標系:建立預設對象所在的第一物理坐標系、第一攝像頭所在的第二物理坐標系和對應的第一像素坐標系、第二攝像頭所在的第三物理坐標系和對應的第二像素坐標系、設置在第二物理坐標系和第三物理坐標系之間的第四物理坐標系和對應的第三像素坐標系;
采用第一攝像頭獲取預設對象的第一圖像,同時采用第二攝像頭獲取預設對象的第二圖像;
從第一圖像中獲取與第二圖像重疊的第三圖像,從第二圖像中獲取與第一圖像重疊的第四圖像;
根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)。
可選的,該方法還包括:
采用所述第一攝像頭獲取第五圖像,同時采用所述第二攝像頭獲取第六圖像;
根據所述第一參數(shù)對第五圖像進行校正;
根據所述第二參數(shù)對第六圖像進行校正。
可選的,所述第一參數(shù)包括:所述第四物理坐標系到所述第二物理坐標系的第一旋轉矩陣和第一攝像頭參數(shù);所述第二參數(shù)包括:所述第四物理坐標系到所述第三物理坐標系的第二旋轉矩陣和第二攝像頭參數(shù);
所述根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)包括:
初始化第一權值系數(shù)矩陣和第二權值系數(shù)矩陣;
根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣和所述第二旋轉矩陣;
根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標;其中,i為大于或等于1的整數(shù);
根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第二攝像頭參數(shù)將所述第i預設點在第三物理坐標系的坐標轉換成所述第i預設點在第二像素坐標系下的第二像素坐標;
根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣;
根據增量矩陣對第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)進行更新;
根據更新后的第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)繼續(xù)執(zhí)行所述根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣或所述第二旋轉矩陣的步驟,直到迭代次數(shù)大于或等于預設次數(shù),輸出第一參數(shù)和第二參數(shù)。
可選的,所述根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標包括:
根據第一權值系數(shù)矩陣計算第一物理坐標系投影到第四物理坐標系的第一變換矩陣;
根據第一變換矩陣和第一旋轉矩陣計算第一物理坐標系投影到第二物理坐標系的第二變換矩陣,根據第一變換矩陣和第二旋轉矩陣計算第一物理坐標系投影到第三物理坐標系的第三變換矩陣;
根據第二變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第三變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標。
可選的,所述根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標:
將第i預設點在第二物理坐標系的坐標投影到第一像素坐標系得到第i預設點在第一像素坐標系下的第一物理坐標,將第i預設點在第三物理坐標系的坐標投影到第二像素坐標系得到第i預設點在第二像素坐標系下的第二物理坐標;
根據第一物理坐標和所述第一攝像頭參數(shù)計算第i預設點在第一像素坐標系下的第一像素坐標,根據第二物理坐標和所述第二攝像頭參數(shù)計算第i預設點在第二像素坐標系下的第二像素坐標。
可選的,所述根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣包括:
根據第i預設點在所述第三圖像中的坐標和第一像素坐標計算第i預設點的第一差值,根據第i預設點在所述第四圖像中的坐標和第一像素坐標計算第i預設點的第二差值,所有預設點的第一差值和第二差值組成差值矩陣;
計算所有預設點的第一物理坐標和第二物理坐標關于所述第一權值系數(shù)矩陣、所述第二權值系數(shù)矩陣、所述第一攝像頭參數(shù)和所述第二攝像頭參數(shù)的雅可比矩陣;
根據雅可比矩陣和差值矩陣計算增量矩陣。
可選的,所述根據雅可比矩陣和差值矩陣計算增量矩陣包括:
按照公式plus=(Jac'Jac)\(Jac'residusl)計算所述增量矩陣;
其中,plus為所述增量矩陣,Jac為所述雅可比矩陣,residusl為所述差值矩陣。
與相關技術相比,本發(fā)明實施例包括:建立坐標系:建立預設對象所在的第一物理坐標系、第一攝像頭所在的第二物理坐標系和對應的第一像素坐標系、第二攝像頭所在的第三物理坐標系和對應的第二像素坐標系、設置在第二物理坐標系和第三物理坐標系之間的第四物理坐標系和對應的第三像素坐標系;同時采用第一攝像頭獲取預設對象的第一圖像和采用第二攝像頭獲取預設對象的第二圖像;從第一圖像中獲取與第二圖像重疊的第三圖像,從第二圖像中獲取與第一圖像重疊的第四圖像;根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)。通過本發(fā)明實施例的方案,通過建立的坐標系和預設對象的第三圖像和第四圖像來獲取兩個攝像頭用于校正圖像的參數(shù),以便后續(xù)跟進用于校正圖像的參數(shù)對兩個攝像頭獲得的圖像進行校正,為后續(xù)進行圖像的校正奠定了基礎,從而實現(xiàn)了校正雙目相機中兩個攝像頭拍攝得到的圖像,以減小同一個點在兩個攝像頭拍攝得到的圖像上的位置差異。
附圖說明
下面對本發(fā)明實施例中的附圖進行說明,實施例中的附圖是用于對本發(fā)明的進一步理解,與說明書一起用于解釋本發(fā)明,并不構成對本發(fā)明保護范圍的限制。
圖1為實現(xiàn)本發(fā)明各個實施例的移動終端的可選硬件結構示意圖;
圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖;
圖3為本發(fā)明第一實施例獲取校正參數(shù)的方法的流程圖;
圖4為本發(fā)明第一實施例建立的坐標系的示意圖;
圖5為本發(fā)明第一實施例計算第一參數(shù)和第二參數(shù)的方法的流程圖;
圖6(a)為本發(fā)明第一實施例第五圖像和第六圖像的示意圖;
圖6(b)為本發(fā)明第一實施例第五圖像和第六圖像的容差示意圖;
圖7(a)為本發(fā)明第一實施例校正后的第五圖像和第六圖像的示意圖;
圖7(b)為本發(fā)明第一實施例校正后的第五圖像和校正后的第六圖像的容差示意圖;
圖8為本發(fā)明第二實施例獲取校正參數(shù)的裝置的結構組成示意圖。
本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結合實施例,參照附圖做進一步說明。
具體實施方式
為了便于本領域技術人員的理解,下面結合附圖對本發(fā)明作進一步的描述,并不能用來限制本發(fā)明的保護范圍。需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的各種方式可以相互組合。
應當理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
現(xiàn)在將參考附圖描述實現(xiàn)本發(fā)明各個實施例的移動終端。在后續(xù)的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明,其本身并沒有特定的意義。因此,"模塊"與"部件"可以混合地使用。
移動終端可以以各種形式來實施。例如,本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數(shù)字TV、臺式計算機等等的固定終端。下面,假設終端是移動終端。然而,本領域技術人員將理解的是,除了特別用于移動目的的元件之外,根據本發(fā)明的實施方式的構造也能夠應用于固定類型的終端。
圖1為實現(xiàn)本發(fā)明各個實施例的移動終端的可選硬件結構示意。
移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端,但是應理解的是,并不要求實施所有示出的組件??梢蕴娲貙嵤└嗷蚋俚慕M件。將在下面詳細描述移動終端的元件。
無線通信單元110通常包括一個或多個組件,其允許移動終端100與無線通信系統(tǒng)或網絡之間的無線電通信。例如,無線通信單元可以包括移動通信模塊112。
移動通信模塊112將無線電信號發(fā)送到基站(例如,接入點、節(jié)點B等等)、外部終端以及服務器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據。
A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機121,相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據進行處理。處理后的圖像幀可以顯示在顯示單元151上。經相機121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質)中或者經由無線通信單元110進行發(fā)送,可以根據移動終端的構造提供兩個或更多相機121。
接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數(shù)據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外,具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式,因此,識別裝置可以經由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如,數(shù)據信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿咏K端100內的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數(shù)據。
另外,當移動終端100與外部底座連接時,接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸?shù)揭苿咏K端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準確地安裝在底座上的信號。輸出單元150被構造為以視覺、音頻和/或觸覺方式提供輸出信號(例如,音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151等等。
顯示單元151可以顯示在移動終端100中處理的信息。例如,當移動終端100處于電話通話模式時,顯示單元151可以顯示與通話或其它通信(例如,文本消息收發(fā)、多媒體文件下載等等)相關的用戶界面(UI)或圖形用戶界面(GUI)。當移動終端100處于視頻通話模式或者圖像捕獲模式時,顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關功能的UI或GUI等等。
同時,當顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏時,顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構造為透明狀以允許用戶從外部觀看,這可以稱為透明顯示器,典型的透明顯示器可以例如為TOLED(透明有機發(fā)光二極管)顯示器等等。根據特定想要的實施方式,移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置),例如,移動終端可以包括外部顯示單元(未示出)和內部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等,或者可以暫時地存儲己經輸出或將要輸出的數(shù)據(例如,電話簿、消息、靜態(tài)圖像、視頻等等)。而且,存儲器160可以存儲關于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的數(shù)據。
存儲器160可以包括至少一種類型的存儲介質,所述存儲介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如,SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態(tài)隨機訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且,移動終端100可以與通過網絡連接執(zhí)行存儲器160的存儲功能的網絡存儲裝置協(xié)作。
控制器180通??刂埔苿咏K端的總體操作。例如,控制器180執(zhí)行與語音通話、數(shù)據通信、視頻通話等等相關的控制和處理。另外,控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據的多媒體模塊1810,多媒體模塊1810可以構造在控制器180內,或者可以構造為與控制器180分離。控制器180可以執(zhí)行模式識別處理,以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。
電源單元190在控制器180的控制下接收外部電力或內部電力并且提供操作各元件和組件所需的適當?shù)碾娏Α?/p>
這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質來實施。對于硬件實施,這里描述的實施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施,在一些情況下,這樣的實施方式可以在控制器180中實施。對于軟件實施,諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當?shù)木幊陶Z言編寫的軟件應用程序(或程序)來實施,軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。
至此,己經按照其功能描述了移動終端。下面,為了簡要起見,將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此,本發(fā)明能夠應用于任何類型的移動終端,并且不限于滑動型移動終端。
如圖1中所示的移動終端100可以被構造為利用經由幀或分組發(fā)送數(shù)據的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。
現(xiàn)在將參考圖2描述其中根據本發(fā)明的移動終端能夠操作的通信系統(tǒng)。
這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如,由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地,長期演進(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例,下面的描述涉及CDMA通信系統(tǒng),但是這樣的教導同樣適用于其它類型的系統(tǒng)。
參考圖2,CDMA無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC280被構造為與公共電話交換網絡(PSTN)290形成接口。MSC280還被構造為與可以經由回程線路耦接到基站270的BSC275形成接口?;爻叹€路可以根據若干己知的接口中的任一種來構造,所述接口包括例如E1/T1、ATM,IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是,如圖2中所示的系統(tǒng)可以包括多個BSC2750。
每個BS270可以服務一個或多個分區(qū)(或區(qū)域),由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠離BS270。或者,每個分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個BS270可以被構造為支持多個頻率分配,并且每個頻率分配具有特定頻譜(例如,1.25MHz,5MHz等等)。
分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術語。在這樣的情況下,術語"基站"可以用于籠統(tǒng)地表示單個BSC275和至少一個BS270?;疽部梢员环Q為"蜂窩站"。或者,特定BS270的各分區(qū)可以被稱為多個蜂窩站。
如圖2中所示,廣播發(fā)射器(BT)295將廣播信號發(fā)送給在系統(tǒng)內操作的移動終端100。如圖1中所示的廣播接收模塊111被設置在移動終端100處以接收由BT295發(fā)送的廣播信號。在圖2中,示出了幾個全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。
在圖2中,描繪了多個衛(wèi)星300,但是理解的是,可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的GPS模塊115通常被構造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術或者在GPS跟蹤技術之外,可以使用可以跟蹤移動終端的位置的其它技術。另外,至少一個GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。
作為無線通信系統(tǒng)的一個典型操作,BS270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個反向鏈路信號被在特定BS270內進行處理。獲得的數(shù)據被轉發(fā)給相關的BSC275。BSC提供通話資源分配和包括BS270之間的軟切換過程的協(xié)調的移動管理功能。BSC275還將接收到的數(shù)據路由到MSC280,其提供用于與PSTN290形成接口的額外的路由服務。類似地,PSTN290與MSC280形成接口,MSC與BSC275形成接口,并且BSC275相應地控制BS270以將正向鏈路信號發(fā)送到移動終端100。
基于上述移動終端硬件結構以及通信系統(tǒng),提出本發(fā)明方法各個實施例。
如圖3所示,本發(fā)明第一實施例提出一種獲取校正參數(shù)的方法,包括:
步驟300、建立坐標系:建立預設對象所在的第一物理坐標系、第一攝像頭所在的第二物理坐標系和對應的第一像素坐標系、第二攝像頭所在的第三物理坐標系和對應的第二像素坐標系、設置在第二物理坐標系和第三物理坐標系之間的第四物理坐標系和對應的第三像素坐標系。
本步驟中,如圖4所示,第一物理坐標系P、第二物理坐標系OL、第三物理坐標系OR、第四物理坐標系O為三維坐標系,第一像素坐標系Pl、第二像素坐標系Pr和第三像素坐標系P0為二維坐標系。
其中,第一物理坐標系可以根據實際需要隨意設置,可以設置第二物理坐標系的z軸與第一攝像頭的光軸平行,第三物理坐標系的z軸與第二攝像頭的光軸平行,第四物理坐標系是一個虛擬的物理坐標系,可以設置第四物理坐標系的原點到第二物理坐標系的原點的距離和到第三物理坐標系的原點的距離相等。
第一像素坐標系是與第一攝像頭的探測器相對應的坐標系,第二像素坐標系是與第二攝像頭的探測器相對應的坐標系,第三像素坐標系是與第四物理坐標系所在的虛擬攝像頭的探測器相對應的坐標系,這三個像素坐標系均可以根據實際需求進行設定。
本步驟中,第一攝像頭和第二攝像頭組成雙目攝像頭,具有共同的視場,其可以是位于同一水平面的左攝像頭和右攝像頭,也可以是位于同一垂直面的上攝像頭和下攝像頭,也可以是其他的情況,本發(fā)明實施例對此不作限定。
步驟301、采用第一攝像頭獲取預設對象的第一圖像,同時采用第二攝像頭獲取預設對象的第二圖像。
步驟302、從第一圖像中獲取與第二圖像重疊的第三圖像,從第二圖像中獲取與第一圖像重疊的第四圖像。
步驟303、根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)。
本步驟中,第一參數(shù)包括:第四物理坐標系到第二物理坐標系的第一旋轉矩陣R0和第一攝像頭參數(shù)。
第二參數(shù)包括:第四物理坐標系到第三物理坐標系的第二旋轉矩陣R1和第二攝像頭參數(shù)。
其中,第一攝像頭參數(shù)包括:第一攝像頭在第二物理坐標系的x軸方向的焦距fx0、第一攝像頭在第二物理坐標系的y軸方向的焦距fy0,第一攝像頭的光心(即第二物理坐標系的原點)投影到第一像素坐標系下的像素坐標的x軸坐標cx0、第一攝像頭的光心投影到第一像素坐標系下的像素坐標的y軸坐標cy0。
第二攝像頭參數(shù)包括:第二攝像頭在第三物理坐標系的x軸方向的焦距fx1、第二攝像頭在第三物理坐標系的y軸方向的焦距fy1,第二攝像頭的光心(即第三物理坐標系的原點)投影到第二像素坐標系下的像素坐標的x軸坐標cx1、第二攝像頭的光心投影到第二像素坐標系下的像素坐標的y軸坐標cy1。
本步驟中,參見圖5,根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)包括:
步驟500、初始化第一權值系數(shù)矩陣a和第二權值系數(shù)矩陣b;
本步驟中,第一權值系數(shù)矩陣a為6行1列的矩陣,第二權值系數(shù)矩陣b為3行1列的矩陣,即a=[a1;a2;a3;a4;a5;a6],b=[b1;b2;b3]。
初始化時,可以將第一權值系數(shù)矩陣a和第二權值系數(shù)矩陣b初始化為零矩陣,即a=[0;0;0;0;0;0],b=[0;0;0],當然,也可以將第一權值系數(shù)矩陣a和第二權值系數(shù)矩陣初始化為其他值,本發(fā)明實施例對此不作限定。
步驟501、根據第二權值系數(shù)矩陣b計算所述第一旋轉矩陣R0和所述第二旋轉矩陣R1;
本步驟中,按照公式計算第一旋轉矩陣R0,按照公式計算第二旋轉矩陣R1。
步驟502、根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標pw投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標Pc0_i,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標pw投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標Pc1_i;其中,i為大于或等于1的整數(shù);包括:
根據第一權值系數(shù)矩陣a計算第一物理坐標系投影到第四物理坐標系的第一變換矩陣M;根據第一變換矩陣M和第一旋轉矩陣R0計算第一物理坐標系投影到第二物理坐標系的第二變換矩陣M0,根據第一變換矩陣M和第二旋轉矩陣R1計算第一物理坐標系投影到第三物理坐標系的第三變換矩陣M1。
其中,按照公式
計算第一變換矩陣M;
其中,為第一物理坐標系P投影到第四物理坐標系O在x軸上的偏移,為第一物理坐標系P投影到第四物理坐標系O在y軸上的偏移,為第一物理坐標系P投影到第四物理坐標系O在z軸上的偏移,為第一物理坐標系P的x軸繞第四物理坐標系O的x軸旋轉的旋轉矩陣,為第一物理坐標系P的y軸繞第四物理坐標系O的y軸旋轉的旋轉矩陣,為第一物理坐標系P的z軸繞第四物理坐標系O的z軸旋轉的旋轉矩陣。
其中,按照公式M0=[R0,-R0C0;0,0,0,1]M計算第二變換矩陣M0,按照公式M0=[R1,-R1C1;0,0,0,1]M計算第三變換矩陣M1。
其中,C0為第四物理坐標系O的原點到第二物理坐標系OL的原點的距離,C1為第四物理坐標系O的原點到第三物理坐標系OR的原點的距離。
其中,按照公式計算第i預設點在第二物理坐標系的坐標Pc0_i,按照公式計算第i預設點在第三物理坐標系的坐標Pc1_i。
其中,Pc0_i(x)為第i預設點在第二物理坐標系的x軸坐標,Pc0_i(y)為
第i預設點在第二物理坐標系的y軸坐標,Pc0_i(z)為第i預設點在第二物理坐標系的z軸坐標,Pc1_i(x)為第i預設點在第三物理坐標系的x軸坐標,Pc1_i(y)為第i預設點在第三物理坐標系的y軸坐標,Pc1_i(z)為第i預設點在第三物理坐標系的z軸坐標,pw(x)為第i預設點在第一物理坐標系中的x軸坐標,pw(y)為第i預設點在第一物理坐標系中的y軸坐標,pw(z)為第i預設點在第一物理坐標系中的z軸坐標。
步驟503、根據第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標Pc0_i轉換成第i預設點在第一像素坐標系下的第一像素坐標Pc0_i_pixiel,根據第二攝像頭參數(shù)將第i預設點在第三物理坐標系的坐標Pc0_i_pixiel轉換成第i預設點在第二像素坐標系下的第二像素坐標Pc1_i_pixiel。包括:
將第i預設點在第二物理坐標系的坐標Pc0_i投影到第一像素坐標系得到第i預設點在第一像素坐標系下的第一物理坐標c_y0_i,將第i預設點在第三物理坐標系的坐標Pc1_i投影到第二像素坐標系得到第i預設點在第二像素坐標系下的第二物理坐標c_y1_i;根據第一物理坐標c_y0_i和所述第一攝像頭參數(shù)計算第i預設點在第一像素坐標系下的第一像素坐標Pc0_i_pixiel,根據第二物理坐標c_y1_i和所述第二攝像頭參數(shù)計算第i預設點在第二像素坐標系下的第二像素坐標Pc1_i_pixiel;
其中,可以采用本領域技術人員的熟知技術實現(xiàn)將第i預設點在第二物理坐標系的坐標Pc0_i投影到第一像素坐標系得到第i預設點在第一像素坐標系下的第一物理坐標c_y0_i,將第i預設點在第三物理坐標系的坐標Pc1_i投影到第二像素坐標系得到第i預設點在第二像素坐標系下的第二物理坐標c_y1_i,并不用于限定本發(fā)明實施例的保護范圍,這里不再贅述。
其中,按照公式Pc0_i_pixel(x)=c_y0_i(x)fx0+cx0和Pc0_i_pixel(y)=c_y0_i(y)fy0+cy0計算第i預設點在第一像素坐標系下的第一像素坐標Pc0_i_pixiel,按照公式Pc1_i_pixel(x)=c_y1_i(x)fx1+cx1和Pc1_i_pixel(y)=c_y1_i(y)fy1+cy1計算第i預設點在第二像素坐標系下的第二像素坐標Pc1_i_pixiel。
其中,Pc0_i_pixiel(x)為第i預設點在第一像素坐標系下的第一像素坐標的x軸坐標,Pc0_i_pixiel(y)為第i預設點在第一像素坐標系下的第一像素坐標的y軸坐標,c_y0_i(x)為第一物理坐標的x軸坐標,c_y0_i(y)為第一物理坐標的y軸坐標,Pc1_i_pixiel(x)為第i預設點在第二像素坐標系下的第二像素坐標的x軸坐標,Pc1_i_pixiel(y)為第i預設點在第二像素坐標系下的第二像素坐標的y軸坐標,c_y1_i(x)為第二物理坐標的x軸坐標,c_y1_i(y)為第二物理坐標的y軸坐標。
步驟504、根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣。包括:
根據第i預設點在所述第三圖像中的坐標P0_i和第一像素坐標Pc0_i_pixiel計算第i預設點的第一差值error0_i,根據第i預設點在所述第四圖像中的坐標P1_i和第一像素坐標Pc0_i_pixiel計算第i預設點的第二差值error1_i,所有預設點的第一差值error0_i和第二差值error1_i組成差值矩陣residusl;計算所有預設點的第一物理坐標c_y0_i和第二物理坐標c_y1_i關于所述第一權值系數(shù)矩陣a、所述第二權值系數(shù)矩陣b、所述第一攝像頭參數(shù)和所述第二攝像頭參數(shù)的雅可比矩陣Jac;根據雅可比矩陣Jac和差值矩陣residusl計算增量矩陣plus;
其中,按照公式計算第i預設點的第一差值error0_i,按照公式計算第i預設點的第二差值error1_i。
其中,P0_i(x)為第i預設點在所述第三圖像中的x軸坐標,P0_i(y)為第i預設點在所述第三圖像中的y軸坐標,error0_i(x)為第i預設點在x軸的第一差值,error0_i(y)為第i預設點在y軸的第一差值,error1_i(x)為第i預設點在x軸的第二差值,error1_i(y)為第i預設點在y軸的第二差值。
本步驟中,差值矩陣residusl為4n行1列的矩陣,其中,n為預設點的個數(shù),即residusl=[error0_1(x);error0_1(y);error1_1(x);error1_1(y);error0_2(x);error0_2(y);error1_2(x);error1_2(y);……;error0_n(x);error0_n(y);error1_n(x);error1_n(y)]。
其中,按照公式
也就是說,雅可比矩陣為4n行17列的矩陣,雅可比矩陣的第1行為第一預設點的第一物理坐標的x軸坐標分別對第一權值系數(shù)矩陣a中的6個元素、第二權值系數(shù)矩陣b中的3個元素、第一攝像頭參數(shù)和第二攝像頭參數(shù)共17個參數(shù)的偏導,第2行為第一預設點的第一物理坐標的y軸坐標分別對17個參數(shù)的偏導,第3行為第一預設點的第二物理坐標的x軸坐標分別對17個參數(shù)的偏導,第4行為第一預設點的第二物理坐標的y軸坐標分別對17個參數(shù)的偏導,第5行為第二預設點的第一物理坐標的x軸坐標分別對17個參數(shù)的偏導,第6行為第二預設點的第一物理坐標的y軸坐標分別對17個參數(shù)的偏導,第7行為第二預設點的第二物理坐標的x軸坐標分別對17個參數(shù)的偏導,第8行為第二預設點的第二物理坐標的y軸坐標分別對17個參數(shù)的偏導,依次類推,第(4n-3)行為第n預設點的第一物理坐標的x軸坐標分別對17個參數(shù)的偏導,第(4n-2)行為第n預設點的第一物理坐標的y軸坐標分別對17個參數(shù)的偏導,第(4n-1)行為第n預設點的第二物理坐標的x軸坐標分別對17個參數(shù)的偏導,第4n行為第n預設點的第二物理坐標的y軸坐標分別對17個參數(shù)的偏導。
其中,按照公式plus=(Jac'Jac)\(Jac'residusl)計算增量矩陣plus。
增量矩陣plus為1行17列的矩陣,每一行對應上述17個參數(shù)中的一個的增量,即plus=[△a1,△a2,△a3,△a4,△a5,△a6,△b1,△b2,△b3,△fx0,△fy0,△cx0,△cy0,△fx1,△fy1,△cx1,△cy1]。
其中,△a1為a1的增量,△a2為a2的增量,△a3為a3的增量,△a4為a4的增量,△a5為a5的增量,△a6為a6的增量,△b1為b1的增量,△b2為b2的增量,△b3為b3的增量,△fx0為fx0的增量,△fy0為fy0的增量,△cx0為cx0的增量,△cy0為cy0的增量,△fx1為fx1的增量,△fy1為fy1的增量,△cx1為cx1的增量,△cy1為cy1的增量。
步驟505、根據增量矩陣plus對第一權值系數(shù)矩陣a、第二權值系數(shù)矩陣b、第一參數(shù)和第二參數(shù)進行更新;
本步驟中,將每一個參數(shù)的初始取值加上對應的增量即得到更新后的參數(shù)。例如,更新后的a1為0+△a1,依次類推。
步驟506、根據更新后的第一權值系數(shù)矩陣a、第二權值系數(shù)矩陣b、第一參數(shù)和第二參數(shù)繼續(xù)執(zhí)行步驟501~步驟505,直到迭代次數(shù)大于或等于預設次數(shù),輸出第一參數(shù)和第二參數(shù)。
本步驟中,在奇數(shù)次迭代過程中,根據更新后的第二權值系數(shù)矩陣b計算第一旋轉矩陣R0,而第二旋轉矩陣R1仍然采用上一次的值;在偶數(shù)次迭代過程中,根據更新后的第二權值系數(shù)矩陣b計算第二旋轉矩陣R1,而第一旋轉矩陣R0仍然采用上一次的值。
可選的,該方法還包括:
采用第一攝像頭獲取第五圖像,同時采用第二攝像頭獲取第六圖像;
根據第一參數(shù)對第五圖像進行校正;
根據第二參數(shù)對第六圖像進行校正。
其中,根據第一參數(shù)對第五圖像進行校正包括:
預先定義大小與第五圖像或第六圖像相同的網格圖像;
對于網格圖像中的每一個第一像素點,將第一像素點在第三像素坐標系下的像素坐標轉換成在第三像素坐標系下的物理坐標;將第一像素點在第三像素坐標系下的物理坐標轉換成在第四物理坐標系的坐標;
將第一像素點在第四物理坐標系的坐標轉換成在第二物理坐標系的坐標,將第一像素點在第二物理坐標系的坐標轉換成在第一像素坐標系下的物理坐標;將第一像素點在第一像素坐標系下的物理坐標轉換成在第一像素坐標系下的像素坐標;
將網格圖像中在第一像素坐標系下的像素坐標小于0或者大于第五圖像邊框的第一像素點濾除;
對于濾除后的網格圖像中的每一個第二像素點,對第二像素點在第一像素坐標系下的像素坐標進行整形化處理;
根據第五圖像中像素坐標為整形化處理后的第二像素點在第一像素坐標系下的像素坐標的像素點的顏色值賦予濾除后的網格圖像中的第二像素點的顏色值。
其中,當?shù)谖鍒D像和第六圖像均為灰度圖像時,網格圖像的灰度級可以隨意設置,例如將網格圖像的灰度級設置為255或0,當然也可以設置成其他的取值;當?shù)谖鍒D像和第六圖像均為彩色圖像時,網格圖像的R、G、B的取值可以隨意設置,例如可以將網格圖像的R、G、B均設置為255或0,當然也可以設置成其他的取值,本發(fā)明實施例對此不作限定。
其中,將第一像素點在第三像素坐標系下的像素坐標轉換成在第三像素坐標系下的物理坐標包括:
根據第一攝像頭參數(shù)或第二攝像頭參數(shù)將第一像素點在第三像素坐標系下的像素坐標轉換成在第三像素坐標系下的物理坐標。
其中,根據第一攝像頭參數(shù)或第二攝像頭參數(shù)將第一像素點在第三像素坐標系下的像素坐標轉換成在第三像素坐標系下的物理坐標包括:
按照公式和或者,按照公式和計算第j個第一像素點在第三像素坐標系下的物理坐標;
其中,pud0_x_j為第j個第一像素點在第三像素坐標系下的物理坐標的x軸坐標,p0_x_j為第j個第一像素點在第三坐標系下的像素坐標的x軸坐標,pud0_y_j為第j個第一像素點在第三像素坐標系下的物理坐標的y軸坐標,p0_y_j為第j個第一像素點在第三坐標系下的像素坐標的y軸坐標。
其中,將第一像素點在第四物理坐標系的坐標轉換成在第二物理坐標系的坐標包括:
按照公式計算第j個第一像素點在第二物理坐標系的坐標;
其中,pOL_j(x)為第j個第一像素點在第二物理坐標系的x軸坐標,pOL_j(y)為第j個第一像素點在第二物理坐標系的y軸坐標,pOL_j(z)為第j個第一像素點在第二物理坐標系的z軸坐標,pO_j(x)為第j個第一像素點在第四物理坐標系的x軸坐標,pO_j(y)為第j個第一像素點在第四物理坐標系的y軸坐標,pO_j(z)為第j個第一像素點在第四物理坐標系的z軸坐標。
其中,將第一像素點在第一像素坐標系下的物理坐標轉換成在第一像素坐標系下的像素坐標包括:
根據第一攝像頭參數(shù)將第一像素點在第一像素坐標系下的物理坐標轉換成在第一像素坐標系下的像素坐標。
其中,根據第一攝像頭參數(shù)將第一像素點在第一像素坐標系下的物理坐標轉換成在第一像素坐標系下的像素坐標包括:
按照公式POL_j_pixel(x)=c_OL_j(x)fx0+cx0和POL_j_pixel(y)=c_OL_j(y)fy0+cy0計算第一像素點在第一像素坐標系下的像素坐標;
其中,POL_j_pixiel(x)為第j個第一像素點在第一像素坐標系下的像素坐標的x軸坐標,POL_j_pixiel(y)為第j個第一像素點在第一像素坐標系下的像素坐標的y軸坐標,c_OL_j(x)為第j個第一像素點在第一像素坐標系下的物理坐標的x軸坐標,c_OL_j(y)為第j個第一像素點在第一像素坐標系下的物理坐標的y軸坐標。
其中,如果第一像素點在第一像素坐標系下的像素坐標的x軸坐標小于0或者大于第五圖像的寬度,或者,第一像素點在第一像素坐標系下的像素坐標的y軸坐標小于0或者大于第五圖像的長度,則將第一像素點濾除。
其中,對第二像素點在第一像素坐標系下的像素坐標進行整形化處理包括:
將第二像素點在第一像素坐標系下的像素坐標的x軸坐標分別向上取整和向下取整,將第二像素點在第一像素坐標系下的像素坐標的y軸坐標分別向上取整和向下取整,得到整形化處理后的第二像素點在第一像素坐標系下的像素坐標分別為和
其中,pOL_k(x)為第k個第二像素點在第一像素坐標系下的像素坐標的x軸坐標,pOL_k(y)為第k個第二像素點在第一像素坐標系下的像素坐標的y軸坐標。
其中,根據第五圖像中像素坐標為整形化處理后的第二像素點在第一像素坐標系下的像素坐標的像素點的顏色值賦予濾除后的網格圖像中的第二像素點的顏色值包括:
按照公式
賦予濾除后的網格圖像中的第二像素點的顏色值。
其中,I(k)為網格圖像中的第k個第二像素點的灰度值,w1、w2、w3和w4為權值系數(shù),為第五圖像中像素坐標為的像素點的灰度值,為第五圖像中像素坐標為的像素點的灰度值,為第五圖像中像素坐標為的像素點的灰度值,為第五圖像中像素坐標為的像素點的灰度值。
或者,按照公式
和公式賦予濾除后的網格圖像中的第二像素點的顏色值。
其中,IR(k)為網格圖像中的第k個第二像素點的R值,w1、w2、w3和w4為權值系數(shù),為第五圖像中像素坐標為的像素點的R值,為第五圖像中像素坐標為的像素點的R值,為第五圖像中像素坐標為的像素點的R值,為第五圖像中像素坐標為的像素點的R值;
IG(k)為網格圖像中的第k個第二像素點的G值,為第五圖像中像素坐標為的像素點的G值,為第五圖像中像素坐標為的像素點的G值,為第五圖像中像素坐標為的像素點的G值,為第五圖像中像素坐標為的像素點的G值;
IB(k)為網格圖像中的第k個第二像素點的B值,為第五圖像中像素坐標為的像素點的B值,為第五圖像中像素坐標為的像素點的B值,為第五圖像中像素坐標為的像素點的B值,為第五圖像中像素坐標為的像素點的B值。
其中,按照公式計算w1;其中,pk(x)為第k個第二像素點在第一像素坐標系下的像素坐標的x軸坐標,pk(y)為第k個第二像素點在第一像素坐標系下的像素坐標的y軸坐標。
按照公式計算w2;
按照公式計算w3;
按照公式計算w4。
其中,根據第二參數(shù)對第六圖像進行校正包括:
預先定義大小與第五圖像或第六圖像相同的網格圖像;
對于網格圖像中的每一個第一像素點,將第一像素點在第三像素坐標系下的像素坐標轉換成在第三像素坐標系下的物理坐標;將第一像素點在第三像素坐標系下的物理坐標轉換成在第四物理坐標系的坐標;
將第一像素點在第四物理坐標系的坐標轉換成在第三物理坐標系的坐標,將第一像素點在第三物理坐標系的坐標轉換成在第二像素坐標系下的物理坐標;將第一像素點在第二像素坐標系下的物理坐標轉換成在第二像素坐標系下的像素坐標;
將網格圖像中在第二像素坐標系下的像素坐標小于0或者大于網格圖像邊框的第一像素點濾除;
對于濾除后的網格圖像中的每一個第二像素點,對第二像素點在第二像素坐標系下的像素坐標進行整形化處理;
根據第六圖像中像素坐標為整形化處理后的第二像素點在第二像素坐標系下的像素坐標的像素點的顏色值賦予濾除后的網格圖像中的第二像素點的顏色值。
上述實現(xiàn)過程與對第五圖像進行校正的過程類似,這里不再贅述。
圖6(a)為第五圖像和第六圖像的示意圖。如圖6(a)所示,左圖為第五圖像,右圖為第六圖像。圖6(b)為第五圖像和第六圖像的容差示意圖。如圖6(b)所示,圖6(b)中的黑色表示相同像素點第五圖像和第六圖像的灰度值之間的差值,從圖6(b)中可以看出,第五圖像和第六圖像的灰度值之間的差值較大,因此,需要對第五圖像和第六圖像進行校正。
圖7(a)為校正后的第五圖像和第六圖像的示意圖。如圖7(a)所示,左圖為校正后的第五圖像,右圖為校正后的第六圖像。圖7(b)為校正后的第五圖像和校正后的第六圖像的容差示意圖。如圖7(b)所示,圖7(b)中的黑色表示相同像素點校正后的第五圖像和校正后的第六圖像的灰度值之間的差值,從圖7(b)中可以看出,校正后的第五圖像和校正后的第六圖像的灰度值之間的差值相對圖6(b)來說減小了很多,因此,通過本發(fā)明實施例的方法,減小了同一個點在兩個攝像頭拍攝得到的圖像上的位置差異。
參見圖8,本發(fā)明第二實施例提出了一種獲取校正參數(shù)的裝置,包括:
建立模塊,用于建立坐標系:建立預設對象所在的第一物理坐標系、第一攝像頭所在的第二物理坐標系和對應的第一像素坐標系、第二攝像頭所在的第三物理坐標系和對應的第二像素坐標系、設置在第二物理坐標系和第三物理坐標系之間的第四物理坐標系和對應的第三像素坐標系;
獲取模塊,用于采用第一攝像頭獲取預設對象的第一圖像,同時采用第二攝像頭獲取預設對象的第二圖像;
處理模塊,用于從第一圖像中獲取與第二圖像重疊的第三圖像,從第二圖像中獲取與第一圖像重疊的第四圖像;
計算模塊,用于根據所建立的坐標系、第三圖像和第四圖像計算第一攝像頭的用于校正圖像的第一參數(shù)和第二攝像頭的用于校正圖像的第二參數(shù)。
可選的,所述獲取模塊還用于:
采用所述第一攝像頭獲取第五圖像,同時采用所述第二攝像頭獲取第六圖像;
所述裝置還包括:
校正模塊,用于根據所述第一參數(shù)對第五圖像進行校正;根據所述第二參數(shù)對第六圖像進行校正。
可選的,所述第一參數(shù)包括:所述第四物理坐標系到所述第二物理坐標系的第一旋轉矩陣和第一攝像頭參數(shù);所述第二參數(shù)包括:所述第四物理坐標系到所述第三物理坐標系的第二旋轉矩陣和第二攝像頭參數(shù);
所述計算模塊具體用于:
初始化第一權值系數(shù)矩陣和第二權值系數(shù)矩陣;
根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣和所述第二旋轉矩陣;
根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標;其中,i為大于或等于1的整數(shù);
根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第二攝像頭參數(shù)將所述第i預設點在第三物理坐標系的坐標轉換成所述第i預設點在第二像素坐標系下的第二像素坐標;
根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣;
根據增量矩陣對第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)進行更新;
根據更新后的第一權值系數(shù)矩陣、第二權值系數(shù)矩陣、第一參數(shù)和第二參數(shù)繼續(xù)執(zhí)行所述根據第二權值系數(shù)矩陣計算所述第一旋轉矩陣或所述第二旋轉矩陣的步驟,直到迭代次數(shù)大于或等于預設次數(shù),輸出第一參數(shù)和第二參數(shù)。
可選的,計算模塊具體用于采用以下方式實現(xiàn)根據第一權值系數(shù)矩陣和第一旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第一權值系數(shù)矩陣和第二旋轉矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標:
根據第一權值系數(shù)矩陣計算第一物理坐標系投影到第四物理坐標系的第一變換矩陣;
根據第一變換矩陣和第一旋轉矩陣計算第一物理坐標系投影到第二物理坐標系的第二變換矩陣,根據第一變換矩陣和第二旋轉矩陣計算第一物理坐標系投影到第三物理坐標系的第三變換矩陣;
根據第二變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第二物理坐標系得到第i預設點在第二物理坐標系的坐標,根據第三變換矩陣將第i預設點在第一物理坐標系中的坐標投影到第三物理坐標系得到第i預設點在第三物理坐標系的坐標。
可選的,計算模塊具體用于采用以下方式實現(xiàn)根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標,根據所述第一攝像頭參數(shù)將所述第i預設點在第二物理坐標系的坐標轉換成所述第i預設點在第一像素坐標系下的第一像素坐標:
將第i預設點在第二物理坐標系的坐標投影到第一像素坐標系得到第i預設點在第一像素坐標系下的第一物理坐標,將第i預設點在第三物理坐標系的坐標投影到第二像素坐標系得到第i預設點在第二像素坐標系下的第二物理坐標;
根據第一物理坐標和所述第一攝像頭參數(shù)計算第i預設點在第一像素坐標系下的第一像素坐標,根據第二物理坐標和所述第二攝像頭參數(shù)計算第i預設點在第二像素坐標系下的第二像素坐標。
可選的,所述第一攝像頭參數(shù)包括:所述第一攝像頭在所述第二物理坐標系的x軸方向的焦距fx0、所述第一攝像頭在所述第二物理坐標系的y軸方向的焦距fy0、所述第一攝像頭的光心投影到所述第一像素坐標系下的像素坐標的x軸坐標cx0、所述第一攝像頭的光心投影到所述第一像素坐標系下的像素坐標的y軸坐標cy0;
所述第二攝像頭參數(shù)包括:所述第二攝像頭在所述第三物理坐標系的x軸方向的焦距fx1、所述第二攝像頭在所述第三物理坐標系的y軸方向的焦距fy1、所述第二攝像頭的光心投影到所述第二像素坐標系下的像素坐標的x軸坐標cx1、所述第二攝像頭的光心投影到所述第二像素坐標系下的像素坐標的y軸坐標cy1;
所述計算模塊具體用于采用以下方式實現(xiàn)所述根據第一物理坐標和第一攝像頭參數(shù)計算第i預設點在第一像素坐標系下的第一像素坐標包括:
按照公式Pc0_i_pixel(x)=c_y0_i(x)fx0+cx0和Pc0_i_pixel(y)=c_y0_i(y)fy0+cy0計算所述第i預設點在第一像素坐標系下的第一像素坐標;
其中,c_y0_i(x)為所述第一物理坐標的x軸坐標,c_y0_i(y)為所述第一物理坐標的y軸坐標,Pc0_i_pixiel(x)為第i預設點在第一像素坐標系下的第一像素坐標的x軸坐標,Pc0_i_pixiel(y)為第i預設點在第一像素坐標系下的第一像素坐標的y軸坐標;
所述計算模塊具體用于采用以下方式實現(xiàn)所述根據第二物理坐標和第二攝像頭參數(shù)計算第i預設點在第二像素坐標系下的第二像素坐標:
按照公式Pc1_i_pixel(x)=c_y1_i(x)fx1+cx1和Pc1_i_pixel(y)=c_y1_i(y)fy1+cy1計算所述第i預設點在第二像素坐標系下的第二像素坐標;
其中,Pc1_i_pixiel(x)為所述第i預設點在第二像素坐標系下的第二像素坐標的x軸坐標,Pc1_i_pixiel(y)為所述第i預設點在第二像素坐標系下的第二像素坐標的y軸坐標,c_y1_i(x)為所述第二物理坐標的x軸坐標,c_y1_i(y)為所述第二物理坐標的y軸坐標。
可選的,計算模塊具體用于采用以下方式實現(xiàn)根據所有預設點在所述第三圖像中的坐標、第一像素坐標、所有預設點在所述第四圖像中的坐標、所有預設點的第一物理坐標和第二物理坐標計算增量矩陣:
根據第i預設點在所述第三圖像中的坐標和第一像素坐標計算第i預設點的第一差值,根據第i預設點在所述第四圖像中的坐標和第一像素坐標計算第i預設點的第二差值,所有預設點的第一差值和第二差值組成差值矩陣;
計算所有預設點的第一物理坐標和第二物理坐標關于所述第一權值系數(shù)矩陣、所述第二權值系數(shù)矩陣、所述第一攝像頭參數(shù)和所述第二攝像頭參數(shù)的雅可比矩陣;
根據雅可比矩陣和差值矩陣計算增量矩陣。
可選的,所述計算模塊具體用于采用以下方式實現(xiàn)所述根據雅可比矩陣和差值矩陣計算增量矩陣包括:
按照公式plus=(Jac'Jac)\(Jac'residusl)計算所述增量矩陣;
其中,plus為所述增量矩陣,Jac為所述雅可比矩陣,residusl為所述差值矩陣。
上述裝置的具體實現(xiàn)過程可以參考第一實施例中方法的實現(xiàn)過程,這里不再贅述。
需要說明的是,在本文中,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當然也可以通過硬件,但很多情況下前者是更佳的實施方式。基于這樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產品的形式體現(xiàn)出來,該計算機軟件產品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,空調器,或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。
以上僅為本發(fā)明的優(yōu)選實施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發(fā)明的專利保護范圍內。