本發(fā)明涉及數(shù)據(jù)處理裝置以及數(shù)據(jù)處理方法。

背景技術(shù)：

如特開(kāi)2009-267792號(hào)公報(bào)記載的那樣，提出一種攝像裝置，利用者在頭部裝備攝像裝置來(lái)對(duì)位于自身的視線前方的事物進(jìn)行攝像。這樣的攝像裝置未設(shè)想以穩(wěn)定的姿態(tài)進(jìn)行攝像，因而考慮在姿態(tài)穩(wěn)定的定時(shí)自動(dòng)進(jìn)行攝像。

但在采用上述那樣的攝像方法的情況下，由于在攝像裝置的姿態(tài)不穩(wěn)定的期間不進(jìn)行攝像，因此有不能適用于需要周期性攝像的攝像方法這樣的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)發(fā)明鑒于這樣的問(wèn)題點(diǎn)而提出，目的在于，在姿態(tài)不穩(wěn)定的情況下也能進(jìn)行周期性的攝像。

本發(fā)明所涉及的數(shù)據(jù)處理裝置的特征在于，具備：姿態(tài)信息取得單元，其取得多個(gè)數(shù)據(jù)取得時(shí)的各個(gè)與數(shù)據(jù)取得裝置的姿態(tài)相關(guān)的信息；和控制單元，其進(jìn)行控制，按照由所述姿態(tài)信息取得單元取得的與所述姿態(tài)相關(guān)的信息的內(nèi)容，運(yùn)用該數(shù)據(jù)取得時(shí)以外所取得的信息作為該數(shù)據(jù)取得時(shí)的與姿態(tài)相關(guān)的信息。

另外，本發(fā)明所涉及的數(shù)據(jù)處理方法的特征在于，包含：姿態(tài)信息取得步驟，取得數(shù)據(jù)取得時(shí)的與數(shù)據(jù)取得裝置的姿態(tài)相關(guān)的信息；和控制步驟，按照在所述姿態(tài)信息取得步驟取得的與所述姿態(tài)相關(guān)的信息的內(nèi)容，運(yùn)用該數(shù)據(jù)取得時(shí)以外所取得的信息作為該數(shù)據(jù)取得時(shí)的與姿態(tài)相關(guān)的信息。

附圖說(shuō)明

圖1是表示本發(fā)明的第1實(shí)施方式所涉及的攝像裝置的構(gòu)成的圖。

圖2是表示本發(fā)明的第1實(shí)施方式所涉及的攝像裝置中的攝像處理的動(dòng)作的流程圖。

圖3是表示本發(fā)明的第1實(shí)施方式所涉及的攝像裝置中的姿態(tài)方向判定處理的動(dòng)作的流程圖。

圖4是表示本發(fā)明的第1實(shí)施方式所涉及的攝像裝置中出現(xiàn)的加速度的過(guò)渡的一例的圖。

圖5是表示本發(fā)明的第1實(shí)施方式所涉及的攝像裝置中出現(xiàn)的加速度的過(guò)渡的另一例的圖。

圖6是表示本發(fā)明的第2實(shí)施方式所涉及的攝像裝置中的重放處理的動(dòng)作的流程圖。

具體實(shí)施方式

(第1實(shí)施方式)

以下說(shuō)明作為本發(fā)明的實(shí)施方式所涉及的數(shù)據(jù)處理裝置的攝像裝置。本發(fā)明的實(shí)施方式所涉及的攝像裝置100如圖1所示那樣，包含控制部102、存儲(chǔ)器104、操作部106、加速度傳感器110、鏡頭光學(xué)系統(tǒng)111、攝像元件112、模擬/數(shù)字(a/d：analogue/digital)變換部113、圖像處理部114、自動(dòng)對(duì)焦(af：autofocus)控制部115、鏡頭驅(qū)動(dòng)部116、顯示部120而構(gòu)成。攝像裝置100例如裝備在利用者的頭部，對(duì)該利用者的前方進(jìn)行攝像。

控制部102具備cpu(centralprocessingunit，中央處理器)，遵循存放于存儲(chǔ)器104的程序來(lái)執(zhí)行軟件處理，實(shí)現(xiàn)攝像裝置100所具備的功能即攝像控制部122、圖像取得部124以及姿態(tài)判定部126等。

控制部102內(nèi)的攝像控制部122對(duì)應(yīng)于利用者對(duì)操作部106的操作等來(lái)控制攝像，對(duì)af控制部115進(jìn)行合焦控制、變焦控制等攝像控制的指示。圖像取得部124取得從圖像處理部114輸入的圖像數(shù)據(jù)即幀。姿態(tài)判定部126基于來(lái)自加速度傳感器110的在攝像裝置100產(chǎn)生的加速度來(lái)判定攝像裝置100的攝像時(shí)的方向。關(guān)于控制部102進(jìn)行的攝像時(shí)的處理，之后敘述。

存儲(chǔ)器104由非易失性存儲(chǔ)器和易失性存儲(chǔ)器構(gòu)成。非易失性存儲(chǔ)器存儲(chǔ)攝像裝置100中的控制等所用的各種信息(程序等)、后述的姿態(tài)方向的判定結(jié)果等。另一方面，易失性存儲(chǔ)器例如成為工作區(qū)。

操作部106是為了輸入用戶的操作內(nèi)容而用的接口。操作部106例如具備用戶進(jìn)行操作的按鍵。

加速度傳感器110，逐次檢測(cè)伴隨攝像裝置100的移動(dòng)而產(chǎn)生的加速度。例如加速度傳感器110檢測(cè)三維空間中的x軸、y軸、z軸的各方向的加速度。加速度傳感器110將檢測(cè)到的加速度的數(shù)據(jù)輸出給控制部102。加速度的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器104。另外，該三維空間中的x軸所示的方向，表示與攝像裝置100中的鏡頭光學(xué)系統(tǒng)111的光軸方向正交的水平方向(或左右方向)。另外，y軸所示的方向，表示與攝像裝置100中的鏡頭光學(xué)系統(tǒng)111的光軸方向正交的垂直方向(或上下方向)。進(jìn)而，z軸所示的方向，表示攝像裝置100中的鏡頭光學(xué)系統(tǒng)111的光軸方向(或前后方向)。

af控制部115按照控制部102內(nèi)的攝像控制部122、圖像處理部114進(jìn)行的合焦控制、變焦控制等攝像控制的指示，來(lái)控制鏡頭驅(qū)動(dòng)部116。鏡頭驅(qū)動(dòng)部116內(nèi)置用于使鏡頭光學(xué)系統(tǒng)111移動(dòng)的電動(dòng)機(jī)。鏡頭驅(qū)動(dòng)部116為了按照af控制部115的控制來(lái)進(jìn)行合焦控制、變焦控制等而使鏡頭光學(xué)系統(tǒng)111移動(dòng)。

鏡頭光學(xué)系統(tǒng)111由變焦透鏡等構(gòu)成。鏡頭光學(xué)系統(tǒng)111通過(guò)鏡頭驅(qū)動(dòng)部116的控制而移動(dòng)。通過(guò)鏡頭光學(xué)系統(tǒng)111的移動(dòng)來(lái)控制進(jìn)行攝像時(shí)的視角、光學(xué)像。

攝像元件112由規(guī)則地二維排列在受光面的多個(gè)受光元件、采樣保持電路等構(gòu)成。受光元件例如是光電二極管、bayer排列的彩色濾光器、ccd(chargecoupleddevice，電荷耦合器件)、cmos(complementarymetaloxidesemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)等攝像器件。攝像元件112對(duì)經(jīng)由鏡頭光學(xué)系統(tǒng)111而入光的光學(xué)像進(jìn)行攝像(受光)，將模擬的圖像信號(hào)輸出給a/d變換部113。

a/d變換部113將來(lái)自攝像元件112的模擬圖像信號(hào)變換成數(shù)字?jǐn)?shù)據(jù)并輸出。

圖像處理部114包含彩色處理電路、jpeg(jointphotographicexpertsgroup，聯(lián)合圖像專(zhuān)家組)電路、數(shù)字視頻編碼器等而構(gòu)成。圖像處理部114被輸入來(lái)自a/d變換部113的數(shù)字?jǐn)?shù)據(jù)，生成圖像數(shù)據(jù)即幀。圖像處理部114將生成的幀輸出給控制部102內(nèi)的圖像取得部124。另外，圖像處理部114對(duì)生成的幀進(jìn)行解析來(lái)判定是否需要合焦控制，在需要的情況下，對(duì)af控制部115進(jìn)行合焦控制的指示。

顯示部120例如由lcd(liquidcrystaldisplay，液晶顯示器)、pdp(plasmadisplaypanel，等離子顯示器面板)、el(electro-luminescence，電致發(fā)光)顯示器等構(gòu)成，顯示與幀對(duì)應(yīng)的圖像。

接下來(lái)說(shuō)明攝像裝置100所進(jìn)行的攝像處理的詳細(xì)。圖2是表示攝像處理的動(dòng)作的流程圖。

攝像裝置100的電源成為接通而起動(dòng)(步驟s100)。控制部102內(nèi)的姿態(tài)判定部126讀出預(yù)先存儲(chǔ)在存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果，設(shè)定為姿態(tài)方向判定結(jié)果的初始值(步驟s101)。在此，存儲(chǔ)于存儲(chǔ)器104的姿態(tài)方向的判定結(jié)果是在過(guò)去的姿態(tài)方向的判定處理(后述的步驟s102的處理)中判定的攝像裝置100的姿態(tài)方向當(dāng)中、決定進(jìn)行保持的最新的姿態(tài)方向。

接下來(lái)，姿態(tài)判定部126進(jìn)行姿態(tài)方向的判定處理(步驟s102)。圖3是表示攝像裝置100中的姿態(tài)方向判定處理的動(dòng)作的流程圖。

姿態(tài)判定部126判定從加速度傳感器110逐次輸入的加速度是否穩(wěn)定(步驟s201)。

圖4以及圖5是表示在攝像裝置100產(chǎn)生的加速度的過(guò)渡的一例的圖。如上述那樣，加速度傳感器110檢測(cè)三維空間中的x軸、y軸、z軸的各方向的加速度。在圖4中，x軸方向以及z軸方向的加速度在0[g]附近的變化變小，y軸方向的加速度在1[g]附近的變化變小，處于穩(wěn)定。y軸方向的加速度為1[g]附近是因?yàn)樵趛軸方向上產(chǎn)生重力加速度。另一方面，在圖5中，x軸、y軸、z軸的不管哪個(gè)方向的加速度都較大變化，處于不穩(wěn)定，也不能判別重力加速度的方向。在步驟s201，姿態(tài)判定部126在給定時(shí)間(例如100[ms])內(nèi)的加速度的變化為給定范圍內(nèi)的情況下，判定為加速度處于穩(wěn)定，在超過(guò)給定范圍的情況下，判定為加速度處于不穩(wěn)定。

在加速度處于不穩(wěn)定的情況下(步驟s201“否”)，姿態(tài)判定部126判定為姿態(tài)方向?yàn)椴淮_定(判定ng)(步驟s202)，不更新存儲(chǔ)于存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果(步驟s203)。

另一方面，在加速度處于穩(wěn)定的情況下(步驟s201“是”)，接下來(lái)，姿態(tài)判定部126基于加速度來(lái)判定攝像裝置100的姿態(tài)方向，具體地，判定鏡頭光學(xué)系統(tǒng)111所朝向的方向(步驟s204)。

具體地，姿態(tài)判定部126基于來(lái)自加速度傳感器110的加速度的變化來(lái)判別重力加速度的方向。接下來(lái)，姿態(tài)判定部126將該重力加速度的方向判別為垂直方向，將與該重力加速度的方向正交的方向判別為水平方向。進(jìn)而，姿態(tài)判定部126基于該垂直方向的加速度來(lái)求取針對(duì)鏡頭光學(xué)系統(tǒng)111的垂直方向(y軸方向)的朝向，基于該水平方向的加速度來(lái)求取水平方向(x軸方向)的朝向。這時(shí)，姿態(tài)判定部126判別鏡頭光學(xué)系統(tǒng)111所朝向的方向關(guān)于垂直方向的朝向以及水平方向的朝向的各朝向是4個(gè)方向(0°(正立)、90°(右90°轉(zhuǎn)動(dòng))、180°(180°轉(zhuǎn)動(dòng))、270°(左90°轉(zhuǎn)動(dòng)))的哪一者，求取姿態(tài)方向。

接下來(lái)，姿態(tài)判定部126判定通過(guò)步驟s204判定的姿態(tài)方向的判定結(jié)果是否是與前次的姿態(tài)方向同一結(jié)果(步驟s205)。具體地，姿態(tài)判定部126將姿態(tài)方向判定結(jié)果的初始值和通過(guò)步驟s204判定的姿態(tài)方向判定結(jié)果進(jìn)行比較，判定是否相同。

在通過(guò)步驟s204判定的姿態(tài)方向的判定結(jié)果是與前次的姿態(tài)方向同一結(jié)果的情況下(步驟s205“是”)，姿態(tài)判定部126判定同一結(jié)果是否持續(xù)了n次(例如在20[ms]周期內(nèi)5次)以上(步驟s206)。例如，在存儲(chǔ)器104內(nèi)設(shè)置每當(dāng)根據(jù)步驟s204判定的姿態(tài)方向的判定結(jié)果成為與前次的姿態(tài)方向同一結(jié)果就增加1的計(jì)數(shù)器。姿態(tài)判定部126每當(dāng)在步驟s205判定為通過(guò)步驟s204判定的姿態(tài)方向的判定結(jié)果是與前次的姿態(tài)方向同一結(jié)果，就使計(jì)數(shù)器增加1，在判定為不是同一結(jié)果的情況下，將計(jì)數(shù)器重置。進(jìn)而，姿態(tài)判定部126在步驟s206判定計(jì)數(shù)器的值是否是n以上。

在同一結(jié)果持續(xù)了n次以上的情況下(步驟s206“是”)，姿態(tài)判定部126判定為姿態(tài)方向確定(判定ok)(步驟s207)，將存儲(chǔ)于存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果更新為在步驟s204判定的姿態(tài)方向的判定結(jié)果(即，作為本次的判定結(jié)果運(yùn)用)(步驟s208)。

另一方面，在同一結(jié)果未持續(xù)n次以上的情況下(步驟s206“否”)，姿態(tài)判定部126判定為是正在判定姿態(tài)方向(判定ng)(步驟s209)，不更新存儲(chǔ)于存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果(步驟s210)。

另外，在通過(guò)步驟s204判定的姿態(tài)方向的判定結(jié)果不是與前次的姿態(tài)方向相同的結(jié)果的情況下(步驟s205“否”)，姿態(tài)判定部126將姿態(tài)方向判定結(jié)果的初始值更新為通過(guò)步驟s204判定的姿態(tài)方向的判定結(jié)果(步驟s211)。

接下來(lái)，姿態(tài)判定部126判定為是正在判定姿態(tài)方向(判定ng)(步驟s212)，不更新存儲(chǔ)于存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果(步驟s213)。

再度返回圖2來(lái)進(jìn)行說(shuō)明。在步驟s102中的姿態(tài)方向判定處理后，控制部102內(nèi)的攝像控制部122判定是否由利用者操作了操作部106而作出了攝像的請(qǐng)求(步驟s103)。

在未作出攝像的請(qǐng)求的情況下(步驟s103“否”)，重復(fù)步驟s102中的姿態(tài)方向判定處理。另一方面，在作出了攝像的請(qǐng)求的情況下(步驟s103“是”)，圖像取得部124為了攝像裝置100的姿態(tài)判別而取得存儲(chǔ)于存儲(chǔ)器104內(nèi)的非易失性存儲(chǔ)器的姿態(tài)方向的判定結(jié)果，采用該姿態(tài)方向(步驟s104)。進(jìn)而，圖像取得部124使用取得的姿態(tài)方向的判定結(jié)果來(lái)進(jìn)行攝像處理(步驟s105)。具體地，圖像取得部124將取得的姿態(tài)方向的判定結(jié)果和幀建立對(duì)應(yīng)存儲(chǔ)在存儲(chǔ)器104。在幀的重放時(shí)，使用建立對(duì)應(yīng)的姿態(tài)方向的判定結(jié)果來(lái)進(jìn)行幀的抖動(dòng)補(bǔ)正等。

之后，控制部102判定是否通過(guò)利用者對(duì)操作部106的操作請(qǐng)求了攝像裝置100的電源的斷開(kāi)(步驟s106)。在請(qǐng)求了電源的斷開(kāi)的情況下(步驟s106“是”)，攝像裝置100的電源成為斷開(kāi)(步驟s107)，一系列動(dòng)作結(jié)束。另一方面，在未請(qǐng)求電源的斷開(kāi)的情況下(步驟s106“否”)，重復(fù)步驟s102中的姿態(tài)方向判定處理。

如以上說(shuō)明的那樣，在本實(shí)施方式所涉及的攝像裝置100中，在攝像裝置100中產(chǎn)生的加速度穩(wěn)定且基于加速度的姿態(tài)方向的判定結(jié)果以同一結(jié)果持續(xù)的情況下，將姿態(tài)方向的判定結(jié)果更新為最新的結(jié)果，在重放時(shí)用在幀的抖動(dòng)補(bǔ)正等中。另一方面，在攝像裝置100中產(chǎn)生的加速度不穩(wěn)定的情況下，或在基于加速度的攝像時(shí)時(shí)方向的判定結(jié)果未以同一結(jié)果繼續(xù)的情況下，不更新姿態(tài)方向的判定結(jié)果，保持過(guò)去的姿態(tài)方向的判定結(jié)果，在重放時(shí)用在幀的抖動(dòng)補(bǔ)正等中。

由此，在攝像裝置100的姿態(tài)不穩(wěn)定的期間周期性進(jìn)行攝像的情況下，也能使用過(guò)去的姿態(tài)方向的判定結(jié)果來(lái)在重放時(shí)進(jìn)行幀的抖動(dòng)補(bǔ)正等。

(第2實(shí)施方式)

在上述第1實(shí)施方式中，在攝像時(shí)將姿態(tài)方向的判定結(jié)果與幀建立對(duì)應(yīng)存儲(chǔ)在存儲(chǔ)器104，但也可以在重放時(shí)取得姿態(tài)方向的判定結(jié)果。

圖6是表示該情況下的重放處理的動(dòng)作的流程圖。該重放處理由上述第1實(shí)施方式的攝像裝置100進(jìn)行，本實(shí)施方式中發(fā)揮功能的電路部是控制部102、存儲(chǔ)器104、操作部106、顯示部120、圖像取得部124以及姿態(tài)判定部126。

另外，在存儲(chǔ)器10的非易失性存儲(chǔ)器中，除了記錄攝像裝置100中的控制等所用的各種信息(程序等)、姿態(tài)方向的判定結(jié)果以外，還記錄所記錄的靜止圖像文件以及動(dòng)態(tài)圖象文件，另外在動(dòng)態(tài)圖象文件中，在記錄時(shí)，與記錄經(jīng)過(guò)時(shí)間一并記錄由加速度傳感器110測(cè)量并運(yùn)用攝影方向判定處理之前的該攝像裝置100姿態(tài)方向。

若攝像裝置100的電源成為接通，操作部106檢測(cè)到給定操作，則移轉(zhuǎn)到重放模式，控制部120進(jìn)行記錄于存儲(chǔ)器104的成為重放對(duì)象的動(dòng)態(tài)圖象文件的讀出(步驟s300)。接下來(lái)進(jìn)行作為該動(dòng)態(tài)圖象文件的元數(shù)據(jù)而記錄的姿態(tài)方向數(shù)據(jù)的讀出(步驟s301)。

然后直到檢測(cè)到來(lái)自操作部106的重放開(kāi)始指示為止都待機(jī)(步驟s302)。在未檢測(cè)到重放指示的情況下(步驟s303“否”)，在步驟s302繼續(xù)待機(jī)，但若檢測(cè)到重放指示，則在該時(shí)間點(diǎn)執(zhí)行攝影方向判定處理(步驟s304)。

該攝影方向判定處理與上述第1實(shí)施方式的步驟s102以及圖3同樣地進(jìn)行。其中，在上述第1實(shí)施例中，姿態(tài)穩(wěn)定部126判定從加速度傳感器110逐次輸入的加速度是否處于穩(wěn)定，但在第2實(shí)施方式中，基于記錄于重放對(duì)象的動(dòng)態(tài)圖象文件的加速度信息來(lái)判定攝影時(shí)的攝像裝置100是否以穩(wěn)定的狀態(tài)記錄了動(dòng)態(tài)圖象。

另外在第2實(shí)施方式中也運(yùn)用圖3的流程圖，但在該流程圖中，通過(guò)將從加速度傳感器110逐次輸入、并和動(dòng)態(tài)圖象一起記錄的x軸、y軸、z軸的加速度所構(gòu)成的加速度信息用到判定處理中，來(lái)在重放處理的過(guò)程中進(jìn)行攝影時(shí)方向的判定處理。

然后，若步驟304中的姿態(tài)方向判定處理結(jié)束，則使判定結(jié)果反映到重放對(duì)象幀來(lái)進(jìn)行動(dòng)態(tài)圖象重放處理(步驟s305)。之后，控制部102判定重放處理是否結(jié)束(步驟s306)。在檢測(cè)到重放處理的結(jié)束的情況下(步驟s306“是”)結(jié)束本處理。另一方面，在未請(qǐng)求重放處理的結(jié)束的情況下(步驟s306“否”)，繼續(xù)步驟s305中的重放處理。

以上說(shuō)明了本發(fā)明優(yōu)選的實(shí)施方式，但本發(fā)明并不限定于相關(guān)的特定的實(shí)施方式，在本發(fā)明中包含權(quán)利要求的范圍所記載的發(fā)明和其等同的范圍。