信息報知裝置、信息報知方法
【專利摘要】本發(fā)明提供一種信息報知裝置、信息報知方法。信息報知裝置(1)具備：圖像獲取部(42)，其對分別拍攝了被攝體動作的多個運動圖像進行獲??；第1檢測部(44)，其從通過所述獲取單元而獲取到的多個運動圖像中的各運動圖像中，檢測對所述被攝體的動作中的特定狀態(tài)；面部檢測部(45)，其從所述各運動圖像中，檢測與通過所述狀態(tài)檢測單元而檢測出的特定狀態(tài)對應(yīng)的圖像；比較部(47)，其對通過所述圖像檢測單元而檢測出的圖像之間進行比較；和報知控制部(50)，其對與所述比較單元的比較結(jié)果相應(yīng)的信息進行報知。
【專利說明】信息報知裝置、信息報知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對與被攝體的動作相關(guān)的信息進行報知的信息報知裝置以及信息報知方法。
【背景技術(shù)】
[0002]作為現(xiàn)有的技術(shù)，在日本特開2004-321767號公報，記載著為了高爾夫揮桿(golfswing)動作的確認而設(shè)置夾在高爾夫球(golf ball)兩側(cè)并與用戶對置的外部裝置的技術(shù)。
[0003]發(fā)明要解決的課題
[0004]但是，在專利文獻I的技術(shù)中，由于如頭部晃動檢測用標識器那樣的外部裝置的設(shè)置是必須的，因此存在能夠客觀地掌握高爾夫揮桿的動作的時期被限于該動作中的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明鑒于這種情況而作出，其目的在于，即使不在該動作中也能夠容易地確認被攝體的動作。
[0006]解決課題的手段
[0007]本發(fā)明的一種信息報知裝置，具備:
[0008]獲取單元，其對分別拍攝了被攝體動作的多個運動圖像進行獲?。?br> [0009]狀態(tài)檢測單元，其從通過所述獲取單元而獲取到的多個運動圖像中的各運動圖像中，檢測所述被攝體的動作中的特定狀態(tài)；
[0010]圖像檢測單元，其從所述各運動圖像中檢測與通過所述狀態(tài)檢測單元而檢測出的特定狀態(tài)對應(yīng)的圖像；
[0011]比較單元，其對通過所述圖像檢測單元而檢測出的圖像之間進行比較；和
[0012]報知控制單元，其對與所述比較單元的比較結(jié)果相應(yīng)的信息進行報知。
[0013]本發(fā)明的一種信息報知方法，由信息報知裝置執(zhí)行，該信息報知方法包括:
[0014]獲取步驟，其對分別拍攝了被攝體的動作的多個運動圖像進行獲?。?br> [0015]狀態(tài)檢測步驟，其從通過所述獲取步驟而獲取到的多個運動圖像中的各運動圖像中，檢測所述被攝體的動作中的特定狀態(tài)；
[0016]圖像檢測步驟，其從所述各運動圖像中，檢測與通過所述狀態(tài)檢測步驟而檢測出的特定狀態(tài)對應(yīng)的圖像；
[0017]比較步驟，其對通過所述圖像檢測步驟而檢測出的圖像之間進行比較；和
[0018]報知控制步驟，其對與所述比較步驟的比較結(jié)果相應(yīng)的信息進行報知。
【專利附圖】

【附圖說明】
[0019]圖1是表示與本發(fā)明的一個實施方式有關(guān)的信息報知裝置I的硬件(hardware)結(jié)構(gòu)的框圖。
[0020]圖2是表示在圖1的信息報知裝置I的功能性結(jié)構(gòu)中，用于執(zhí)行比較結(jié)果報知處理的功能性結(jié)構(gòu)的功能框圖。
[0021]圖3是表不攝像圖像的坐標系的圖。
[0022]圖4是按7個特定的揮桿狀態(tài)的每個圖像，針對玩家(player)以及專業(yè)高爾夫球玩家(pro golfer),分別示出面部圖像的位置等的圖。
[0023]圖5是表示報知圖像的一個例子的圖。
[0024]圖6是表示報知圖像的一個例子的圖。
[0025]圖7是表示報知圖像的一個例子的圖。
[0026]圖8是表示報知圖像的一個例子的圖。
[0027]圖9是表示報知圖像的一個例子的圖。
[0028]圖10是表示具有圖2的功能結(jié)構(gòu)的圖1的信息報知裝置I執(zhí)行的比較結(jié)果報知處理的流程的流程圖。
[0029]圖11是表示報知圖像的一個例子的圖。
【具體實施方式】
[0030]下面，使用附圖，對本發(fā)明的實施方式進行說明。
[0031][結(jié)構(gòu)]
[0032]圖1是表示與本發(fā)明的一個實施方式有關(guān)的信息報知裝置的硬件結(jié)構(gòu)的框圖。
[0033]信息報知裝置I構(gòu)成為例如數(shù)字照相機(digital camera)。
[0034]信息報知裝置I 具備:CPU (Central Processing Unit,中央處理器)11、R0M (ReadOnly Memory,只讀存儲器)12、RAM (Random Access Memory,隨機存儲器)13、總線(bus) 14、輸入輸出接口(interface) 15、攝像部16、輸入部17、輸出部18、存儲部19、通信部20、驅(qū)動(drive)21。
[0035]CPUll根據(jù)R0M12中記錄的程序、或者從存儲部19載入到RAM13的程序，執(zhí)行各種處理。
[0036]在RAM13中也適當?shù)卮鎯PUll執(zhí)行各種處理上所需要的數(shù)據(jù)等。
[0037]CPU1UR0M12以及RAM13通過總線14相互連接。該總線14還與輸入輸出接口 15連接。輸入輸出接口 15與攝像部16、輸入部17、輸出部18、存儲部19、通信部20以及驅(qū)動21連接。
[0038]雖然未圖示,但攝像部16具備:光學(xué)透鏡部、和圖像傳感器(image sensor)。
[0039]為了拍攝被攝體，光學(xué)透鏡部由對光進行聚光的透鏡，例如聚焦透鏡(focuslens)、變焦透鏡(zoom lens)等構(gòu)成。
[0040]聚焦透鏡是使被攝體圖像在圖像傳感器的光接收面成像的透鏡。變焦透鏡是使焦點距離在固定的范圍內(nèi)自由變化的透鏡。
[0041]根據(jù)需要,在光學(xué)透鏡部還設(shè)置有對焦點、曝光、白平衡(white balance)等的設(shè)定參數(shù)進行調(diào)整的周邊電路。
[0042]圖像傳感器由光電變換元件、AFE(Analog Front End,模擬前端)等構(gòu)成。
[0043]光電變換兀件由例如CMOS (Complementary Metal Oxide Semiconductor,互補金屬氧化物半導(dǎo)體)型的光電變換元件等構(gòu)成。被攝體圖像從光學(xué)透鏡部被入射到光電變換元件。因此，光電變換元件對被攝體圖像進行光電變換(攝像)，并對圖像信號進行固定時間的累積，將累積的圖像信號作為模擬(Analog)信號來依次提供給AFE。
[0044]AFE對于該模擬的圖像信號執(zhí)行A / D (Analog / D igital，模擬/數(shù)字)變換處理等各種信號處理。通過各種信號處理，從而生成數(shù)字(digital)信號，并作為攝像部16的輸出信號而被輸出。
[0045]下面，將這樣的攝像部16的輸出信號稱為“攝像圖像的數(shù)據(jù)”。攝像圖像的數(shù)據(jù)被適當?shù)靥峁┙oCPU11、RAM13等。
[0046]這里，在本實施方式中，例如每I / 30秒從攝像部16中依次輸出I張攝像圖像的數(shù)據(jù)，來構(gòu)成運動圖像(連拍圖像)的數(shù)據(jù)。也就是說，以下所謂的攝像圖像，只要沒有間斷，則是指構(gòu)成運動圖像的單位圖像(幀(flame)圖像、視場(field)圖像)。
[0047]輸入部17由各種按鈕等構(gòu)成，根據(jù)用戶的指示操作輸入各種信息。
[0048]輸出部18由顯示器(displayer)、揚聲器(speaker)等構(gòu)成，來輸出圖像、聲音。
[0049]存儲部19 由硬盤(hard-disk)或者 DRAM (Dynamic Random Access Memory,動態(tài)隨機存取存儲器)等構(gòu)成，來存儲各種圖像的數(shù)據(jù)。
[0050]通信部20對通過包含互聯(lián)網(wǎng)(internet)在內(nèi)的網(wǎng)絡(luò)(network)在與其他裝置(未圖示)之間進行的通信進行控制。
[0051]在驅(qū)動21適當?shù)匕惭b由磁盤、光盤、磁光盤或者半導(dǎo)體存儲器等組成的可移動介質(zhì)(removable media) 31。根據(jù)需要,通過驅(qū)動21來從可移動介質(zhì)31中讀取出的程序被安裝在存儲部19。此外，可移動介質(zhì)31也能夠與存儲部19同樣地，對存儲在存儲部19中的圖像的數(shù)據(jù)等各種數(shù)據(jù)進行存儲。
[0052]圖2是表示在這樣的信息報知裝置I的功能性結(jié)構(gòu)中，用于執(zhí)行報知處理的功能性結(jié)構(gòu)的功能框圖。
[0053]所謂報知處理，是指用于將包含在被拍攝出的運動圖像內(nèi)的被攝體的動作的解析結(jié)果，與作為比較對象的人物等的動作的解析結(jié)果進行比較，基于該比較出的結(jié)果，來生成報知信息并進行報知的一連串的處理。
[0054]在本實施方式中，對將基于包含在通過信息報知裝置I拍攝出的運動圖像中的玩家的高爾夫揮桿的解析結(jié)果(以下稱為“玩家的解析結(jié)果”)的信息，與基于包含在預(yù)先存儲在第2圖像存儲部62的運動圖像中的專業(yè)高爾夫球玩家的高爾夫揮桿的解析結(jié)果(以下稱為“專業(yè)高爾夫球玩家的解析結(jié)果”)的信息進行比較的例子進行說明。但是，也能夠進行將基于包含在通過信息報知裝置I拍攝出的運動圖像中的玩家的當前的高爾夫揮桿的解析結(jié)果的信息，與基于包含在過去拍攝出的運動圖像中的該玩家的高爾夫揮桿的解析結(jié)果的信息的比較等各種信息的比較。
[0055]在報知處理被執(zhí)行的情況下，如圖2所示，在CPUll中，攝像控制部41、圖像獲取部42、圖像讀取部43、第I檢測部44、面部檢測部45、第2檢測部46、比較部47、建議(advice)信息生成部48、報知圖像生成部49和報知控制部50起作用。
[0056]但是，圖2是示例,具備進行GA (Graphics Accelerator,圖形加速器)等圖像處理的硬件，CPUll的功能的至少一部分也可以轉(zhuǎn)為由該硬件處理。
[0057]在執(zhí)行報知處理的情況下，使用作為存儲部19的一個區(qū)域而被設(shè)置的第I圖像存儲部61以及第2圖像存儲部62。
[0058]在第I圖像存儲部61，存儲從攝像部16輸出的、通過圖像獲取部42獲取出的運動圖像(多個攝像圖像)的數(shù)據(jù)。
[0059]在第2圖像存儲部62，預(yù)先存儲關(guān)于專業(yè)高爾夫球玩家的高爾夫揮桿的運動圖像。
[0060]攝像控制部41設(shè)定通過輸入部17而被輸入的各種攝像條件，控制攝像部16中的拍攝動作。
[0061]在本實施方式中，由于是對進行一連串動作的被攝體(玩家)進行拍攝，因此攝像控制部41使攝像部16對被攝體進行連續(xù)地拍攝，并作為運動圖像的數(shù)據(jù)來輸出。
[0062]圖像獲取部42獲取從攝像部16中輸出的運動圖像的數(shù)據(jù)。然后，圖像獲取部42對運動圖像的數(shù)據(jù)進行編碼(encode)并存儲在第I圖像存儲部61。
[0063]圖像讀取部43對存儲在第I圖像存儲部61中的玩家的運動圖像的數(shù)據(jù)和存儲在第2圖像存儲部62中的專業(yè)高爾夫球玩家的運動圖像的數(shù)據(jù)進行讀取。也就是說，圖像讀取部43以各個攝像圖像為單位，對存儲在第I圖像存儲部61以及第2圖像存儲部62中的運動圖像的數(shù)據(jù)進行依次解碼(decode)，并將解碼出的一連串的攝像圖像的數(shù)據(jù)存儲在RAMl3 中。
[0064]第I檢測部44基于通過圖像讀取部43讀取出的玩家的運動圖像的數(shù)據(jù)以及專業(yè)高爾夫球玩家的運動圖像的數(shù)據(jù)，來按每個玩家以及專業(yè)高爾夫球玩家檢測特定的揮桿狀態(tài)的圖像。這里，所謂特定的揮桿狀態(tài)，是指如后述圖4所示的“瞄球(address) ”狀態(tài)、“半后(half-back) ” 狀態(tài)、“頂點(top)”狀態(tài)、“半下(half-down) ” 狀態(tài)、“擊球(impact)”狀態(tài)、“送桿(follow) ”狀態(tài)以及“完成(finish)”狀態(tài)的7個狀態(tài)。
[0065]具體來講，第I檢測部44基于玩家的運動圖像的數(shù)據(jù)以及專業(yè)高爾夫球玩家的運動圖像的數(shù)據(jù)，提取高爾夫俱樂部的球桿部分的圖像數(shù)據(jù)。進一步地，第I檢測部44基于提取出的圖像數(shù)據(jù)，來執(zhí)行半變換，并基于該執(zhí)行結(jié)果，檢測高爾夫球桿部分的圖像與水平面所成的角度。進一步地，第I檢測部44基于檢測出的角度，來按每個玩家以及專業(yè)高爾夫球玩家檢測上述7個特定的揮桿狀態(tài)的圖像。
[0066]此外，第I檢測部44針對每個玩家以及專業(yè)高爾夫球玩家將所檢測出的7個特定的揮桿狀態(tài)的圖像存儲在RAM13中。
[0067]面部檢測部45對每個通過第I檢測部44檢測出的7個特定的揮桿狀態(tài)的圖像，檢測玩家以及專業(yè)高爾夫球玩家各自的面部部分的圖像(以下稱為“面部圖像”)。面部圖像的檢測設(shè)置面部檢測器(未圖示)，并基于來自該面部檢測器的輸出來執(zhí)行。
[0068]第2檢測部46按7個特定的揮桿狀態(tài)的圖像中的每個圖像，檢測通過面部檢測部45檢測出的面部圖像在攝像圖像中的位置坐標。具體來講，第2檢測部46對圖3所示的攝像圖像的坐標系中的面部圖像的位置坐標進行檢測。圖3是表示攝像圖像的坐標系的圖。雖然攝像圖像中的坐標能夠作為X-Y平面上的坐標來定義，但為了定義后述面部的左右方向的傾斜度等，則在圖3中為了方便而表示Z軸。
[0069]圖4是按7個特定的揮桿狀態(tài)的圖像中的每個圖像，針對玩家和專業(yè)高爾夫球玩家，表示面部圖像的位置等的圖。被檢測出的面部圖像的位置坐標通過圖4的參數(shù)“c”表示。例如，在圖4的專業(yè)高爾夫球玩家的“瞄球”狀態(tài)中，該位置坐標被表示為X=33、Y=18。[0070]另外，第2檢測部46將檢測出的面部圖像的位置坐標與7個特定的揮桿狀態(tài)的圖像分別對應(yīng)并存儲在RAM13中。
[0071]此外，第2檢測部46基于檢測出的面部圖像，針對各個玩家以及專業(yè)高爾夫球玩家，對面部的左右方向的傾斜度、面部的上下方向的傾斜度、以及面部向旋轉(zhuǎn)方向的傾斜度進行檢測。這里，在面部的正面方向的矢量與Z軸平行的情況下，面部的左右方向以及上下方向的傾斜度為O度。以這種情況為基準，面部的左右方向的傾斜度通過面部的正面方向的矢量向Z-X平面上的投影矢量圍繞Y軸的旋轉(zhuǎn)角來表示，面部在上下方向的傾斜度，通過面部的正面方向的矢量向Y-Z平面上的投影矢量圍繞X軸的旋轉(zhuǎn)角來表示。
[0072]此外，在面部的正面方向的矢量與Y軸平行的情況下，面部的傾斜度為O度。以這種情況為基準，面部的傾斜度通過面部的正面方向的矢量向X-Y平面上的投影矢量圍繞Z軸的旋轉(zhuǎn)角來表示。
[0073]被檢測出的面部的左右方向的朝向以及面部的上下方向的朝向通過圖4的參數(shù)“a”來表示。例如，在圖4的專業(yè)高爾夫球玩家的“半后”狀態(tài)中，表示面部向右傾斜5度，向下傾斜33度。
[0074]此外，被檢測出的面部向旋轉(zhuǎn)方向上的傾斜度通過圖4的參數(shù)“b”來表示。例如，在圖4的專業(yè)高爾夫球玩家的“頂點”狀態(tài)中，表示面部的傾斜度為11度。
[0075]另外，第2檢測部46將檢測出的面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及檢測出的面部在旋轉(zhuǎn)方向上的傾斜度，與7個特定的揮桿狀態(tài)的圖像建立對應(yīng)并存儲在RAMl3中。
[0076]此外，第2檢測部46對面部圖像的大小、以及高爾夫球的圖像(以下稱為“高爾夫球圖像”)在攝像圖像中的位置坐標進行檢測。面部圖像的大小作為攝像圖像中的面部圖像的面積而被檢測。關(guān)于高爾夫球圖像在攝像圖像中的位置的檢測，設(shè)置有高爾夫球檢測器(未圖示)，并基于來自該高爾夫球檢測器的輸出來執(zhí)行。
[0077]檢測出的面部圖像的大小通過圖4的參數(shù)“d”來表示。例如，在圖4的專業(yè)高爾夫球玩家的情況下，表示面部圖像的大小為9.5。
[0078]此外，檢測出的高爾夫球圖像的位置坐標通過圖4的參數(shù)“e”來表示。例如，在圖4的專業(yè)高爾夫球玩家的情況下，表示高爾夫球圖像的位置坐標為X=38、Y=78。
[0079]另外，第2檢測部46按每個玩家以及專業(yè)高爾夫球玩家，使面部圖像的大小、以及高爾夫球圖像在攝像圖像中的位置坐標存儲在RAM13中。
[0080]比較部47，針對玩家以及專業(yè)高爾夫球玩家的下述各值進行比較，并計算其的差值:通過第2檢測部46檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及面部向旋轉(zhuǎn)方向上的傾斜度。
[0081]建議信息生成部48，基于作為通過比較部47而產(chǎn)生的比較結(jié)果的各差值，生成建議信息。所謂建議信息，是指對玩家報知的文字信息。建議信息的內(nèi)容是基于玩家與專業(yè)高爾夫球玩家之間的、面部圖像的位置的差值的信息，例如，圖5所示的“請將頭部向下移動15cm向右移動15cm”。進一步地，建議信息生成部48將生成出的建議信息作為“位置建議信息”與玩家的揮桿狀態(tài)建立對應(yīng)，并存儲在RAM13中。
[0082]此外，另一種方式的建議信息的內(nèi)容為，基于玩家與專業(yè)高爾夫球玩家之間的、面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及面部向旋轉(zhuǎn)方向上的傾斜度的各個差值的信息，例如，圖6所示的“角度差:左右:25° /上下:27° /傾斜度19° ;專業(yè)玩家位置:向下15cm向右15cm”。進一步地,建議信息生成部48將生成出的建議信息作為“與位置以及角度差相關(guān)的建議信息”，與玩家的揮桿狀態(tài)建立對應(yīng)并存儲在RAMl3中。
[0083]此外，另一種方式的建議信息的內(nèi)容為，例如圖7所示的、高爾夫球圖像85的X坐標與玩家的面部圖像的X坐標的差值“14cm”、高爾夫球圖像86的X坐標與專業(yè)高爾夫球玩家的面部圖像的X坐標的差值“31cm”、以及基于這些差值之間的差分信息的“差:17cm”。進一步地，建議信息生成部48將生成出的建議信息作為“與球間差相關(guān)的建議信息”，與玩家的揮桿狀態(tài)建立對應(yīng)，并存儲在RAM13中。
[0084]此外，另一種方式的建議信息的內(nèi)容為，基于玩家的面部圖像的每個位置坐標的揮桿狀態(tài)轉(zhuǎn)變的信息，例如圖9所示的“從瞄球開始到頂點為止頭部移動過大”。進一步地，建議信息生成部48將生成的建議信息作為“圖像(graph)建議信息”來存儲在RAMl3中。
[0085]報知圖像生成部49基于通過建議信息生成部48生成的建議信息、通過第I檢測部44檢測出的每個玩家以及專業(yè)高爾夫球玩家的7個特定的揮桿狀態(tài)的圖像、以及通過第2檢測部46檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、面部向旋轉(zhuǎn)方向的傾斜度、高爾夫球圖像的位置坐標，來生成報知圖像的數(shù)據(jù)。
[0086]例如，在生成圖5所示的報知圖像的數(shù)據(jù)的情況下，報知圖像生成部49從RAM13中提取被第I檢測部44檢測出的玩家的“頂點”狀態(tài)的圖像數(shù)據(jù)，從RAM13中提取玩家的“頂點”狀態(tài)的“位置建議信息”。此外，報知圖像生成部49基于通過第2檢測部46檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度，來生成表示玩家的面部圖像的位置及面部的正面方向的標記(mark)圖像81、以及表示專業(yè)高爾夫球玩家的面部圖像的位置及面部的正面方向的標記圖像82的各數(shù)據(jù)。然后，報知圖像生成部49使標記圖像81與玩家的面部圖像重疊，將包含玩家的“頂點”狀態(tài)的圖像、與從RAM13中提取出的玩家的“頂點”狀態(tài)相對應(yīng)地被保存的“位置建議信息”、和標記圖像81、82在內(nèi)的圖像數(shù)據(jù)作為圖5所示的報知圖像的數(shù)據(jù)而生成。
[0087]此外，例如在生成圖6所示的報知圖像的數(shù)據(jù)的情況下，報知圖像生成部49從RAMl3提取在第I檢測部44中檢測出的玩家以及專業(yè)高爾夫球玩家的“頂點”狀態(tài)的圖像數(shù)據(jù)，從RAM13提取玩家的“頂點”狀態(tài)的“涉及位置以及角度差的建議信息”。此外，報知圖像生成部49，基于通過第2檢測部46檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度，來生成表示玩家的面部圖像的位置及面部的正面方向的標記(mark)圖像83、以及表示專業(yè)高爾夫球玩家的面部圖像的位置及面部的正面方向的標記圖像84的各數(shù)據(jù)。然后，報知圖像生成部49使標記圖像83與玩家的面部圖像重疊，將包含標記圖像83與玩家的“頂點”狀態(tài)的圖像在內(nèi)的圖像數(shù)據(jù)作為圖6所示的報知圖像的左半部分區(qū)域的數(shù)據(jù)來生成。此外，報知圖像生成部49使標記圖像84與專業(yè)高爾夫球玩家的面部圖像重疊，將包含標記圖像84與專業(yè)高爾夫球玩家的“頂點”狀態(tài)的圖像在內(nèi)的圖像數(shù)據(jù)作為圖6所示的報知圖像的右半部分區(qū)域的數(shù)據(jù)來生成。進一步地，報知圖像生成部49將與從RAM13中提取出的玩家的“頂點”狀態(tài)相關(guān)聯(lián)地被保存的“涉及位置以及角度差的建議信息”、報知圖像的左半部分區(qū)域的數(shù)據(jù)、報知圖像的右半部分區(qū)域的數(shù)據(jù)組合一起，生成為圖6所示的報知圖像的數(shù)據(jù)。
[0088]此外，例如在生成圖7所示的報知圖像的數(shù)據(jù)的情況下，報知圖像生成部49從RAMl3中提取在第I檢測部44中檢測出的玩家以及專業(yè)高爾夫球玩家的“半下”狀態(tài)的圖像數(shù)據(jù)，從RAM13中提取玩家的“半下”狀態(tài)的“涉及球間差的建議信息”。此外，報知圖像生成部49，將包含差值與玩家的“半下”狀態(tài)的圖像在內(nèi)的圖像數(shù)據(jù)，作為圖7所示的報知圖像的左半部分區(qū)域的數(shù)據(jù)而生成，該差值是包含在從RAM13中提取出的與玩家的“半下”狀態(tài)對應(yīng)存儲的“涉及球間差的建議信息”中的高爾夫球圖像的X坐標與玩家的面部圖像的X坐標之間的差值(以下稱為“第I坐標差值”)。此外，報知圖像生成部49將包含在該“涉及球間差的建議信息”中的高爾夫球圖像的X坐標與專業(yè)高爾夫球玩家的面部圖像的X坐標之間的差值(以下稱為“第2坐標差值”)、與專業(yè)高爾夫球玩家的“半下”狀態(tài)的圖像，作為圖7所示的報知圖像的右半部分區(qū)域的數(shù)據(jù)而生成。進一步地，報知圖像生成部49將第I坐標差值與第2坐標差值之間的差值、報知圖像的左半部分區(qū)域的數(shù)據(jù)以及報知圖像的右半部分區(qū)域的數(shù)據(jù)和在一起，生成為圖7所示的報知圖像的數(shù)據(jù)。
[0089]此外，在生成例如圖8所示的報知圖像的數(shù)據(jù)的情況下，報知圖像生成部49從RAM13提取在第I檢測部44中檢測出的玩家以及專業(yè)高爾夫球玩家各自的“頂點”以及“瞄球”狀態(tài)的圖像的數(shù)據(jù)。此外，報知圖像生成部49基于通過第2檢測部46而檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度，來生成對玩家在“瞄球”狀態(tài)下的面部圖像的位置以及面部的正面方向進行表示的標記圖像87、對玩家在“頂點”狀態(tài)下的面部圖像的位置以及面部的正面方向進行表示的標記圖像88、對專業(yè)高爾夫球玩家在“瞄球”狀態(tài)下的面部圖像的位置以及面部的正面方向進行表示的標記圖像89、對專業(yè)高爾夫球玩家在“頂點”狀態(tài)下的面部圖像的位置以及面部的正面方向進行表示的標記圖像90。
[0090]然后，報知圖像生成部49使標記圖像87與玩家的“瞄球”狀態(tài)的面部圖像重疊，使標記圖像88與玩家的“頂點”狀態(tài)的面部圖像重疊，將包含標記圖像87、88以及玩家的“瞄球”以及“頂點”狀態(tài)的圖像在內(nèi)的圖像的數(shù)據(jù)作為圖8所示的報知圖像的左半部分區(qū)域的數(shù)據(jù)而生成。此外，報知圖像生成部49，使標記圖像89與專業(yè)高爾夫球玩家的“瞄球”狀態(tài)的面部圖像重疊，使標記圖像90與專業(yè)高爾夫球玩家的“頂點”狀態(tài)的面部圖像重疊，將包含標記圖像89、90以及專業(yè)高爾夫球玩家的“瞄球”以及“頂點”狀態(tài)的圖像在內(nèi)的圖像的數(shù)據(jù)作為圖8所示的報知圖像的右半部分區(qū)域的數(shù)據(jù)而生成。進一步地，報知圖像生成部49將報知圖像的左半部分區(qū)域的數(shù)據(jù)以及報知圖像的右半部分區(qū)域的數(shù)據(jù)合在一起，生成為圖8所示的報知圖像的數(shù)據(jù)。
[0091]此外，在生成例如圖9所示的報知圖像的數(shù)據(jù)的情況下，報知圖像生成部49對通過第2檢測部46檢測并存儲在RAM13中的7個特定的揮桿狀態(tài)中的玩家以及專業(yè)高爾夫球玩家的面部圖像的位置坐標進行讀取。此外，報知圖像生成部49從RAM13中提取玩家的“涉及圖像的建議信息”。然后，報知圖像生成部49基于讀取出的該位置坐標，針對各個玩家以及專業(yè)高爾夫球玩家，生成該位置坐標的移動圖像，將該圖像的數(shù)據(jù)以及該“涉及圖像的建議信息”作為圖9所示的報知圖像的數(shù)據(jù)而生成。
[0092]另外，通過報知圖像生成部49而生成的報知圖像的數(shù)據(jù)被存儲在RAM13中。
[0093]報知控制部50使通過報知圖像生成部49而生成的報知圖像的數(shù)據(jù)顯示輸出到輸出部18。此時，報知控制部50根據(jù)用戶通過輸入部17進行的的輸入操作，來選擇通過報知圖像生成部49生成并存儲在RAM13中的報知圖像的數(shù)據(jù)，然后顯示輸出到輸出部18。
[0094][報知處理]
[0095]接下來，對信息報知裝置I執(zhí)行的報知處理進行說明。
[0096]圖10是表示具有圖2的功能結(jié)構(gòu)的圖1的信息報知裝置I執(zhí)行的報知處理的流程的一個例子的流程圖。
[0097]在圖10中，為了開始被攝體的拍攝，如果信息報知裝置I的輸入部17被操作，則執(zhí)行下面的步驟Si至SlO的處理。
[0098]在步驟SI，攝像控制部41使攝像部16連續(xù)拍攝被攝體(玩豕)，并作為運動圖像的數(shù)據(jù)輸出。
[0099]在步驟S2，圖像獲取部42獲取從攝像部16輸出的運動圖像的數(shù)據(jù)。然后，圖像獲取部42對運動圖像的數(shù)據(jù)進行編碼，并存儲在第I圖像存儲部61中。
[0100]在步驟S3，圖像讀取部43，對存儲在第I圖像存儲部61中的玩家的運動圖像的數(shù)據(jù)、與預(yù)先存儲在第2圖像存儲部62中的專業(yè)高爾夫球玩家的運動圖像的數(shù)據(jù)進行讀取。也就是說，圖像讀取部43以各攝像圖像為單位，對存儲在第I圖像存儲部61以及第2圖像存儲部62中的運動圖像的數(shù)據(jù)進行依次解碼，并將解碼出的一連串攝像圖像的數(shù)據(jù)存儲在RAM13中。
[0101]在步驟S4，第I檢測部44基于在步驟3中讀取出的、玩家的運動圖像的數(shù)據(jù)以及專業(yè)高爾夫球玩家的運動圖像的數(shù)據(jù)，來按每個玩家以及專業(yè)高爾夫球玩家檢測特定的揮桿狀態(tài)的圖像。這里，所謂特定的揮桿狀態(tài)，是指如后述圖4所示的“瞄球(address)”狀態(tài)、“半后(half-back) ” 狀態(tài)、“頂點(top)”狀態(tài)、“半下(half-down) ” 狀態(tài)、“擊球(impact)”狀態(tài)、“送桿(follow) ”狀態(tài)以及“完成(finish) ”狀態(tài)的7個狀態(tài)。此外，第I檢測部44，按每個玩家以及專業(yè)高爾夫球玩家將檢測出的7個特定的揮桿狀態(tài)的圖像存儲在RAM13中。
[0102]在步驟S5，面部檢測部45，按在步驟S4檢測出的7個特定的揮桿狀態(tài)的每個圖像，檢測玩家以及專業(yè)高爾夫球玩家各自的面部圖像。
[0103]在步驟S6，第2檢測部46，按7個特定的揮桿狀態(tài)的圖像中的每個圖像，檢測在步驟S5檢測出的面部圖像在攝像圖像中的位置坐標。此外，第2檢測部46基于步驟S5中檢測出的面部圖像，針對各個玩家以及專業(yè)高爾夫球玩家，對面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及面部向旋轉(zhuǎn)方向上的傾斜度進行檢測。另外，第2檢測部46將檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及檢測出的面部向旋轉(zhuǎn)方向上的傾斜度與7個特定的揮桿狀態(tài)的每個圖像建立對應(yīng)并存儲在RAMl3中。
[0104]此外，在步驟S6，第2檢測部46對面部圖像的大小、以及高爾夫球圖像在攝像圖像中的位置坐標進行檢測。另外，第2檢測部46，按每個玩家以及專業(yè)高爾夫球玩家，將面部圖像的大小、以及高爾夫球圖像在攝像圖像中的位置坐標存儲在RAM13中。
[0105]在步驟S7比較部47對玩家以及專業(yè)高爾夫球玩家的下述各值進行比較，并計算其差值:通過第2檢測部46檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、以及面部向旋轉(zhuǎn)方向上的傾斜度在。[0106]在步驟S8，建議信息生成部48基于作為步驟S7中的計算結(jié)果的各差值，生成建議信息(上述的“位置建議信息”等)。進一步地，建議信息生成部48將生成出的“位置建議信息”、“位置以及角度差建議信息”及“球間差建議信息”與玩家的揮桿狀態(tài)建立對應(yīng)，并存儲在RAM13中。進一步地，建議信息生成部48將生成的“圖像建議信息”存儲在RAM13中。
[0107]在步驟S9，報知圖像生成部49，基于在步驟S8中生成的建議信息、在步驟S4中檢測出的每個玩家以及專業(yè)高爾夫球玩家的7個特定的揮桿狀態(tài)的圖像、以及通過步驟S6檢測出的面部圖像的位置坐標、面部在左右方向上的傾斜度、面部在上下方向上的傾斜度、面部向旋轉(zhuǎn)方向上的傾斜度、高爾夫球圖像的位置坐標，生成圖5至圖9所示的報知圖像的數(shù)據(jù)。此外，報知圖像生成部49將所生成的報知圖像的數(shù)據(jù)存儲在RAM13中。
[0108]在步驟S10，報知控制部50使通過報知圖像生成部49生成的報知圖像的數(shù)據(jù)顯示輸出在輸出部18。此時，報知控制部50根據(jù)用戶通過輸入部17進行的輸入操作，來選擇通過報知圖像生成部49生成并存儲在RAM13中的報知圖像的數(shù)據(jù)，然后顯示輸出在輸出部18。
[0109]以上，對本發(fā)明的實施方式進行了說明。
[0110]執(zhí)行以上的報知處理的信息報知裝置I具備:圖像獲取部42、第I檢測部44、面部檢測部45、比較部47、和報知控制部50。
[0111]圖像獲取部42對分別拍攝了被攝體的動作的多個運動圖像進行獲取。
[0112]第I檢測部44根據(jù)通過圖像獲取部42而獲取到的多個運動圖像中的各運動圖像中，檢測被攝體的動作中的特定的揮桿狀態(tài)。
[0113]面部檢測部45從各運動圖像中，對與通過第I檢測部44而檢測出的特定的揮桿狀態(tài)對應(yīng)的圖像進行檢測。
[0114]比較部47對通過面部檢測部45而檢測出的圖像進行比較。
[0115]報知控制部50對基于通過比較部47而產(chǎn)生的比較結(jié)果的信息進行報知。
[0116]因此，在玩家的揮桿動作之后，基于特定的揮桿狀態(tài)中的玩家的圖像與專業(yè)高爾夫球玩家的圖像的比較結(jié)果的信息、例如面部圖像的位置的比較結(jié)果的信息被報知。因此，即使不是高爾夫揮桿過程中，也能夠容易地確認特定的揮桿狀態(tài)中的作為被攝體的玩家與專業(yè)高爾夫球玩家之間的差異點。
[0117]第I檢測部44對一連串的動作的7個特定的揮桿狀態(tài)進行檢測。
[0118]面部檢測部45對7個特定的揮桿狀態(tài)的每個面部部分的圖像進行檢測。
[0119]比較部47對通過面部檢測部45而檢測出的多個圖像進行比較。
[0120]因此，即使不是高爾夫揮桿中，也能夠容易地確認多個特定的揮桿狀態(tài)中的作為被攝體的玩家與專業(yè)高爾夫球玩家之間的差異點。
[0121]面部檢測部45從與檢測出的特定的揮桿狀態(tài)對應(yīng)的圖像中，檢測被攝體的面部圖像。
[0122]比較部47在通過面部檢測部45而檢測出的部分圖像之間進行比較。
[0123]因此，在玩家的揮桿動作之后，基于特定的揮桿狀態(tài)中的玩家的圖像與專業(yè)高爾夫球玩家的圖像之間的比較結(jié)果的信息、例如面部圖像的位置的比較結(jié)果的信息被報知。因此，即使不是高爾夫揮桿過程中，也能夠容易地確認特定的揮桿狀態(tài)中的作為被攝體的玩家與專業(yè)高爾夫球玩家之間的差異點。[0124]此外，信息報知裝置I具備第2檢測部46。
[0125]第2檢測部46，對通過面部檢測部45而檢測出的面部部分的圖像的位置或者傾斜度進行檢測。
[0126]比較部47在玩家以及專業(yè)高爾夫球玩家之間，對通過第2檢測部46而檢測出的面部部分的圖像的位置或者傾斜度進行比較。
[0127]因此，即使不是高爾夫揮桿過程中，也能夠容易地確認多個特定的揮桿狀態(tài)中的作為被攝體的玩家與專業(yè)高爾夫球玩家之間的面部位置或者傾斜度的差異點。
[0128]此外，信息報知裝置I具備報知圖像生成部49。
[0129]報知圖像生成部49基于通過比較部47而產(chǎn)生的比較結(jié)果，來生成報知圖像的數(shù)據(jù)。
[0130]此外，報知圖像生成部49生成包含建議信息和/或標記圖像81?84在內(nèi)的報知圖像。該建議信息是基于通過比較部47在玩家以及專業(yè)高爾夫球玩家之間對通過第2檢測部46而檢測出的面部部分的圖像位置或者傾斜度進行比較而得出的比較結(jié)果，該標記圖像81?84表示分別針對玩家以及專業(yè)高爾夫球玩家的面部部分的圖像位置或者傾斜度。
[0131]報知控制部50對通過報知圖像生成部49生成的報知圖像進行報知。
[0132]因此，即使不是高爾夫揮桿過程中，也能夠容易地確認多個特定的揮桿狀態(tài)中的作為被攝體的玩家與專業(yè)高爾夫球玩家之間的面部位置或者傾斜度的差異點，并且能夠根據(jù)建議信息具體地掌握該面部的位置或者傾斜度之間的差異點，進一步地，能夠根據(jù)標記圖像在視覺上地掌握該面部或者傾斜度的位置之間的差異點。
[0133]另外，本發(fā)明不僅限定于上述的實施方式，在能夠達成本發(fā)明的目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。
[0134]在上述實施方式中，雖然信息報知裝置I是I個，但不僅限于此，也可以設(shè)置2個，來從多個觀察點對被攝體進行拍攝。由此，如圖11所示，在與2個特定的揮桿狀態(tài)的比較結(jié)果中，也可以對能夠掌握前后方向的差分的報知圖像進行報知。
[0135]此外，在上述實施方式中，雖然對玩家以及專業(yè)高爾夫球玩家的面部圖像的位置進行了檢測，但不僅限于此。例如，也能夠檢測除面部之外的手臂、腿等的圖像位置。
[0136]此外，在上述實施方式中，作為特定的揮桿狀態(tài)，雖然特定了“瞄球”狀態(tài)等7個狀態(tài)，但不僅限于此，也可以檢測其他狀態(tài)。此外，特定的揮桿狀態(tài)的數(shù)量也可以為6個以下，也可以為8以上。
[0137]此外，在上述實施方式中，雖然以拍攝了高爾夫揮桿的運動圖像的數(shù)據(jù)為對象，對適用本發(fā)明的情況進行了舉例說明，但本發(fā)明也能夠適用于各種動作的比較。例如，能夠適用于對棒球棒的揮桿、網(wǎng)球球拍的揮桿、或者舞蹈的動作等各種運動的動作進行比較的情況。
[0138]此外，本發(fā)明也能夠應(yīng)用于樂器演奏、烹調(diào)(菜刀、煎鍋的操作)、魔術(shù)、陶藝、甚至奧運會、殘奧會的項目等各種動作的比較。
[0139]此外，在上述實施方式中，雖然適用本發(fā)明的信息報知裝置I以數(shù)字照相機為例進行了說明，但不特別限定于此。
[0140]例如，本發(fā)明能夠普遍適用于具有圖像處理功能的電力設(shè)備。具體來講，例如，本發(fā)明能夠適用于筆記本電腦、打印機、電視機、攝像機、便攜式導(dǎo)航裝置、手機、便攜式游戲機等。
[0141]上述一連串的處理可以通過硬件執(zhí)行，也可以通過軟件執(zhí)行。
[0142]換言之，圖2的功能性結(jié)構(gòu)僅僅為示例，不特別限定于此。也就是說，只要在圖像處理裝置I中具備能夠整體執(zhí)行上述一連串的處理的功能就可以，而為了實現(xiàn)該功能而使用什么樣的功能框架，并不特別限定于圖2的例子。
[0143]此外，I個功能框架可以僅由硬件單體構(gòu)成，也可以僅由軟件構(gòu)成，也可以由這些的組合構(gòu)成。
[0144]在通過軟件使一連串的處理執(zhí)行的情況下，構(gòu)成該軟件的程序被從網(wǎng)絡(luò)、記錄介質(zhì)安裝到計算機等。
[0145]計算機也可以是被組入到專用的硬件上的計算機。此外，計算機也可以是通過安裝各種程序而能夠執(zhí)行各種功能的計算機，例如被廣泛應(yīng)用的個人計算機。
[0146]包含這樣的程序在內(nèi)的記錄介質(zhì)不僅僅由為了向用戶提供程序而與裝置本體分開分配的圖1的可移動介質(zhì)31構(gòu)成，也由以預(yù)先組入到了裝置主體的狀態(tài)而向用戶提供的記錄介質(zhì)等構(gòu)成?？梢苿咏橘|(zhì)31由例如磁盤(包含軟盤(floppy disk))、光盤或者磁光盤等構(gòu)成。光盤由例如⑶-ROM(Compact Disk-Read Only Memory,只讀光盤)、DVD (DigitalVets atile Disk,數(shù)字多功能光盤)等構(gòu)成。磁光盤由MD (Min1-Disk,迷你光碟)等構(gòu)成。此外，以預(yù)先組入了裝置主體的狀態(tài)而向用戶提供的記錄介質(zhì)，由例如記錄程序的圖1的R0M12、包含在圖1的存儲部19中的硬盤等構(gòu)成。
[0147]另外，在本說明書中，對記錄在記錄介質(zhì)中的程序進行描述的步驟，必然包含按照該步驟來按時序進行的處理，也包含不必按時序進行處理，而是并列或者分別執(zhí)行的處理。
[0148]以上，雖然對本發(fā)明的幾個實施方式進行了說明，但這些實施方式僅僅是示例，并不限定本發(fā)明的技術(shù)范圍。本發(fā)明也能夠采取其他各種實施方式，進一步地，在不超出本發(fā)明的主旨的范圍內(nèi)，也可以進行省略、置換等各種變更。這些實施方式及其變形包含在本說明書等所述的發(fā)明范圍、主旨內(nèi)，同時也包含在權(quán)利要求所述的發(fā)明及其等同的范圍內(nèi)。
【權(quán)利要求】
1.一種信息報知裝置，具備: 獲取單元，其對分別拍攝了被攝體動作的多個運動圖像進行獲??； 狀態(tài)檢測單元，其從通過所述獲取單元而獲取到的多個運動圖像中的各運動圖像中，檢測所述被攝體的動作中的特定狀態(tài)； 圖像檢測單元，其從所述各運動圖像中，檢測與通過所述狀態(tài)檢測單元而檢測出的特定狀態(tài)對應(yīng)的圖像； 比較單元，其對通過所述圖像檢測單元而檢測出的圖像之間進行比較；和 報知控制單元，其對與所述比較單元的比較結(jié)果相應(yīng)的信息進行報知。
2.根據(jù)權(quán)利要求1所述的信息報知裝置，其特征在于， 所述信息報知裝置還具備: 存儲單元，該存儲單元對與多種特定狀態(tài)的每種狀態(tài)對應(yīng)的多種信息進行存儲，作為與所述比較結(jié)果相應(yīng)的信息， 所述報知控制單元具有選擇單元，該選擇單元從存儲在所述存儲單元中的多種信息中，選擇與所述比較結(jié)果相應(yīng)的信息， 對通過所述選擇單元而選擇出的信息進行報知。
3.根據(jù)權(quán)利要求1所述的信息報知裝置，其特征在于， 所述狀態(tài)檢測單元，從所述多個運動圖像中的各運動圖像中，檢測多種特定狀態(tài)， 所述圖像檢測單元，檢測與通過所述狀態(tài)檢測單元而檢測出的多種特定狀態(tài)對應(yīng)的多個圖像， 所述比較單元，對通過所述圖像檢測單元而檢測出的多個圖像之間進行比較。
4.根據(jù)權(quán)利要求1所述的信息報知裝置，其特征在于， 所述信息報知裝置還具備: 部分圖像檢測單元，該部分圖像檢測單元從與通過所述圖像檢測單元而檢測出的所述特定狀態(tài)對應(yīng)的圖像中，檢測所述被攝體的部分圖像， 所述比較單元，在通過所述部分圖像檢測單元而檢測出的部分圖像之間進行比較。
5.根據(jù)權(quán)利要求4所述的信息報知裝置，其特征在于， 所述狀態(tài)檢測單元對通過所述部分圖像檢測單元而檢測出的部分圖像的位置或者朝向進行檢測， 所述比較單元在多個被攝體之間，對檢測出的部分圖像的位置或者朝向進行比較。
6.根據(jù)權(quán)利要求5所述的信息報知裝置，其特征在于， 所述信息報知裝置還具備: 圖像生成單元，該圖像生成單元生成與所述比較單元的比較結(jié)果相應(yīng)的報知圖像，所述報知控制單元，生成與所述比較單元針對通過所述位置檢測單元而檢測出的位置或者朝向進行比較的結(jié)果相關(guān)的信息、和/或表示所述位置或者朝向的報知圖像。
7.根據(jù)權(quán)利要求1所述的信息報知裝置，其特征在于， 所述信息報知裝置還具備生成合成圖像的合成圖像生成單元，該合成圖像是針對所述被攝體之間，對各運動圖像中的多種特定狀態(tài)的圖像進行合成所得的圖像。
8.根據(jù)權(quán)利要求7所述的信息報知裝置，其特征在于， 所述合成圖像生成單元，按照使所述多種特定狀態(tài)中除了規(guī)定的狀態(tài)以外的狀態(tài)相對于該規(guī)定的狀態(tài)透明的方式進行合成，來生成合成圖像。
9.一種信息報知方法，由信息報知裝置執(zhí)行,該信息報知方法包括: 獲取步驟，其對分別拍攝了被攝體的動作的多個運動圖像進行獲??； 狀態(tài)檢測步驟，其從通過所述獲取步驟而獲取到的多個運動圖像中的各運動圖像中，檢測所述被攝體的動作中的特定狀態(tài)； 圖像檢測步驟，其從所述各運動圖像，檢測與通過所述狀態(tài)檢測步驟而檢測出的特定狀態(tài)對應(yīng)的圖像； 比較步驟，其對通過所述圖像檢測步驟而檢測出的圖像之間進行比較；和 報知控制步驟，其對與所述比較`步驟的比較結(jié)果相應(yīng)的信息進行報知。
【文檔編號】H04N5/225GK103888643SQ201310698278
【公開日】2014年6月25日 申請日期:2013年12月18日 優(yōu)先權(quán)日:2012年12月21日
【發(fā)明者】野島磨 申請人:卡西歐計算機株式會社