本發(fā)明要求如下優(yōu)先權(quán)：編號(hào)為62/197,704，申請(qǐng)日為2015年7月28日的美國(guó)臨時(shí)專利申請(qǐng)。上述美國(guó)臨時(shí)專利申請(qǐng)?jiān)诖俗鳛閰⒖肌?/p>

技術(shù)領(lǐng)域

本發(fā)明涉及一種幀率(frame rate)控制技術(shù)。特別地，本發(fā)明涉及一種在編碼之前檢測(cè)圖像幀輸入序列(input sequence of image frame)以選擇性提高幀率的圖像處理方法、相關(guān)圖像處理裝置以及系統(tǒng)。

背景技術(shù)：

當(dāng)記錄低亮度環(huán)境中的視頻時(shí)，傳統(tǒng)視頻記錄裝置通過(guò)延長(zhǎng)曝光時(shí)間以取得清晰的記錄內(nèi)容。然而，較長(zhǎng)的曝光時(shí)間會(huì)導(dǎo)致視頻幀率下降。一旦播放低幀率視頻，用戶會(huì)看到不穩(wěn)定且不連貫的視頻，從而體會(huì)到較差的用戶體驗(yàn)。

因此，亟需一種在低亮度環(huán)境中提供較好用戶體驗(yàn)的新穎圖像處理方案。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明揭露一種圖像處理方法、裝置以及系統(tǒng)。

根據(jù)本發(fā)明一實(shí)施例，提供一種圖像處理方法，包含：檢測(cè)圖像捕捉裝置捕獲的圖像幀輸入序列以生成檢測(cè)結(jié)果；參考該檢測(cè)結(jié)果，選擇性在該圖像幀輸入序列上執(zhí)行插入幀操作以生成待編碼圖像幀序列；以及編碼該待編碼圖像幀序列以生成已編碼視頻信號(hào)。

根據(jù)本發(fā)明另一實(shí)施例，提供一種圖像處理裝置，包含：檢測(cè)電路，用于檢測(cè)圖像捕捉裝置捕獲的圖像幀輸入序列以生成檢測(cè)結(jié)果；幀插入電路，耦接該檢測(cè)電路，安排該幀插入電路參考該檢測(cè)結(jié)果，選擇性在該圖像幀輸入序列上執(zhí)行插入幀操作以生成待編碼圖像幀序列；以及視頻編碼器，耦接該幀插入電路，安排該視頻編碼器編碼該待編碼圖像幀序列以生成已編碼視頻信號(hào)。

根據(jù)本發(fā)明另一實(shí)施例，提供一種圖像處理系統(tǒng)，包含：圖像捕捉裝置，用于捕獲圖像并輸出圖像幀輸入序列；圖像處理裝置，耦接該圖像捕捉裝置，用于通過(guò)選擇性在該圖像幀輸入序列上執(zhí)行插入幀操作以提高或維持該圖像幀輸入序列的幀率，生成待編碼圖像幀序列；并且用于編碼該待編碼圖像幀序列以生成已編碼視頻信號(hào)；以及存儲(chǔ)裝置，耦接該圖像處理裝置，安排該存儲(chǔ)裝置儲(chǔ)存該已編碼視頻信號(hào)。

本發(fā)明提供的圖像處理方法、裝置以及系統(tǒng)可在低亮度環(huán)境以及無(wú)需高靈敏傳感器情況下提供流暢的視頻播放以及清晰的記錄內(nèi)容。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明實(shí)施例描述的圖像處理系統(tǒng)示意圖；

圖2是根據(jù)本發(fā)明實(shí)施例描述的圖像處理方法流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)的一種實(shí)施方式示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例描述的圖3所示的幀插入電路執(zhí)行的插入幀操作示意圖；

圖5是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)的另一實(shí)施方式示意圖；

圖6是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)的另一實(shí)施方式示意圖。

具體實(shí)施方式

在說(shuō)明書(shū)及權(quán)利要求書(shū)當(dāng)中使用了某些詞匯來(lái)指稱特定的元件。所屬技術(shù)領(lǐng)域的技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同的名詞來(lái)稱呼同一個(gè)元件。本說(shuō)明書(shū)及權(quán)利要求書(shū)并不以名稱的差異作為區(qū)分元件的方式，而是以元件在功能上的差異作為區(qū)分的準(zhǔn)則。在通篇說(shuō)明書(shū)及權(quán)利要求項(xiàng)中所提及的“包含”為一開(kāi)放式的用語(yǔ)，故應(yīng)解釋成“包含但不限定于”。此外，“耦接”一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或通過(guò)其它裝置或連接手段間接地電氣連接至第二裝置。

接下來(lái)的描述是實(shí)現(xiàn)本發(fā)明的最佳實(shí)施例，其是為了描述本發(fā)明原理的目的，并非對(duì)本發(fā)明的限制。可以理解地是，本發(fā)明實(shí)施例可由軟件、硬件、固件或其任意組合來(lái)實(shí)現(xiàn)。

在許多實(shí)施例中，對(duì)于圖像幀輸入序列，可在對(duì)其編碼之前進(jìn)行檢測(cè)，并且決定是否調(diào)整圖像幀輸入序列從而提高幀率?？删幋a圖像幀輸入序列或調(diào)整后的圖像幀輸入序列。例如，當(dāng)圖像幀輸入序列滿足預(yù)定條件(例如，具有不太低的幀率或亮度值)時(shí)，無(wú)需調(diào)整圖像幀輸入序列，并且維持其當(dāng)前幀率，接著對(duì)圖像幀輸入序列直接進(jìn)行編碼。相反地，當(dāng)圖像幀輸入序列不滿足預(yù)定條件時(shí)，將圖像幀輸入序列調(diào)整至具有改善(例如，提高的)幀率，并且接著編碼調(diào)整后的圖像幀輸入序列。

本發(fā)明提出的圖像處理機(jī)制可提前預(yù)處理(例如，檢測(cè)幀率及/或調(diào)整幀率)待編碼的圖像幀序列，接著編碼(或記錄)已預(yù)處理的圖像幀序列以生成視頻信號(hào)。通過(guò)預(yù)處理輸入至視頻編碼器中的圖像幀序列，本發(fā)明提出的圖像處理機(jī)制提供用于不同編碼場(chǎng)景(例如，不同視頻記錄環(huán)境)中視頻編碼器的圖像幀相應(yīng)序列，從而使得視頻編碼器具有流暢清晰的視頻輸出。接下來(lái)將進(jìn)一步描述技術(shù)細(xì)節(jié)。

請(qǐng)參考圖1，圖1是根據(jù)本發(fā)明實(shí)施例描述的圖像處理系統(tǒng)示意圖。圖像處理系統(tǒng)10可為便攜式電子裝置。例如，上述便攜式電子裝置可為筆記本電腦、移動(dòng)電話、智能手機(jī)、平板電腦、個(gè)人數(shù)字助理、企業(yè)數(shù)字助理、數(shù)位相機(jī)、數(shù)碼攝像機(jī)、便攜式多媒體播放器、移動(dòng)互聯(lián)網(wǎng)裝置(Mobile Internet Device，MID)、可穿戴計(jì)算機(jī)、物聯(lián)網(wǎng)裝置或萬(wàn)物互聯(lián)裝置等。圖像處理系統(tǒng)10可包含圖像處理裝置100、圖像捕捉裝置102以及存儲(chǔ)裝置108，其中圖像處理裝置100耦接在圖像捕捉裝置102與存儲(chǔ)裝置108之間。圖像處理裝置100編碼從圖像捕捉裝置102輸出的圖像幀輸入序列SF_IN以生成已編碼視頻信號(hào)VD，并且將已編碼視頻信號(hào)VD存入存儲(chǔ)裝置108中。上述僅為示例，并不是對(duì)本發(fā)明的限制，圖像處理裝置100可記錄圖像幀輸入序列SF_IN作為視頻(已編碼視頻信號(hào)VD)，并且將已編碼視頻存入存儲(chǔ)裝置108。當(dāng)使用播放電路(圖1中未示出)播放所記錄視頻時(shí)，存儲(chǔ)裝置108為播放電路提供所存儲(chǔ)的視頻。

在本實(shí)施例中，圖像處理裝置100首先預(yù)處理待編碼的圖像幀序列，然后編碼已預(yù)處理的圖像幀序列。此外，圖像處理裝置100通過(guò)選擇性對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作生成待編碼的圖像幀序列，以增大或維持圖像幀輸入序列的幀率，并且編碼上述待編碼的圖像幀序列以生成已編碼圖像信號(hào)。具體地，圖像處理裝置100檢測(cè)圖像幀輸入序列SF_IN并且決定是否對(duì)其進(jìn)行調(diào)整以增大或維持其幀率。例如，當(dāng)圖像幀輸入序列SF_IN滿足預(yù)定條件時(shí)，圖像處理裝置100不調(diào)整圖像幀輸入序列，而是維持其幀率，接著直接編碼圖像幀輸入序列SF_IN。相反地，當(dāng)圖像幀輸入序列SF_IN不滿足預(yù)定條件時(shí)，圖像處理裝置100調(diào)整圖像幀輸入序列，修改(例如，增大)其幀率，并且接著編碼調(diào)整后的圖像幀。

更具體地，在圖1所示的實(shí)施例中，圖像處理裝置100包含，但不限于，檢測(cè)電路110、幀插入電路120以及視頻編碼器130。檢測(cè)電路110檢測(cè)使用圖像捕捉電路102捕獲的圖像幀輸入序列SF_IN以生成檢測(cè)結(jié)果DR。幀插入電路120耦接檢測(cè)電路110，并且根據(jù)該監(jiān)測(cè)結(jié)果DR選擇性在圖像幀輸入序列SF_IN上執(zhí)行插入幀操作，以生成輸出至視頻編碼器130中的待編碼圖像幀序列(圖像幀插入序列SF_IP)。在一種場(chǎng)景下，當(dāng)檢測(cè)結(jié)果DR指示需要對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作(例如，圖像幀輸入序列SF_IN的幀率小于預(yù)定閾值)時(shí)，幀插入電路120對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作，以生成待編碼的圖像幀插入序列SF_IP作為輸出至視頻編碼器130的待編碼圖像幀序列。圖像幀插入序列SF_IP具有增大的幀率。具體地，圖像幀插入序列SF_IP包含圖像幀輸入序列SF_IN以及插入幀操作生成的圖像幀附加序列，其中將圖像幀附加序列插入圖像幀輸入序列SF_IN的圖像幀之間。接著，視頻編碼器130編碼待編碼的圖像幀序列以生成已編碼視頻信號(hào)VD。值得注意的是，本揭露書(shū)并不限于通過(guò)幀插入電路120提供圖像幀插入序列SF_IP。在另一實(shí)施例中，幀插入電路120可執(zhí)行將圖像幀輸入序列SF_IN插入圖像幀附加序列的插入幀操作。并且?guī)迦腚娐?20可提供圖像幀附加序列以及幀率解碼器可按照合適順序提供圖像幀輸入序列SF_IN至視頻編碼器130。

在另一場(chǎng)景下，當(dāng)檢測(cè)結(jié)果DR指示不需要對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作(例如，圖像幀輸入序列SF_IN的幀率不小于預(yù)定閾值)時(shí)，檢測(cè)電路110可向視頻編碼器130提供圖像幀輸入序列SF_IN作為待編碼的圖像幀序列。換句話說(shuō)，幀插入電路120不需要對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作，視頻編碼器130可直接編碼圖像幀輸入序列SF_IN以生成已編碼的視頻信號(hào)VD。

此外，在本實(shí)施例中，圖像捕捉裝置102可為能夠捕獲圖像的任意裝置(例如，圖像傳感器)，并且存儲(chǔ)裝置108可為能夠存儲(chǔ)數(shù)據(jù)的任意裝置(例如，存儲(chǔ)器或寄存器)。在一實(shí)施例中，圖像捕捉裝置102可進(jìn)一步包含圖像信號(hào)處理器(Image Signal Processor，ISP)，其可優(yōu)化圖像品質(zhì)，例如調(diào)整亮度、對(duì)比度及/或色飽和度，圖1中未示出。換句話說(shuō)，圖像幀輸入序列SF_IN的圖像幀可為經(jīng)過(guò)優(yōu)化處理的圖像幀。

綜上所述，通過(guò)預(yù)處理從圖像捕捉裝置102輸出的圖像幀輸入序列SF_IN(例如，調(diào)整幀率)，圖像處理裝置100可提供用于視頻編碼器130的圖像幀相應(yīng)序列，以響應(yīng)不同編碼場(chǎng)景，從而輸出高品質(zhì)的已編碼視頻信號(hào)VD。

圖2所示的流程圖可總結(jié)圖像處理裝置100所使用的圖像處理機(jī)制。請(qǐng)結(jié)合圖1參考圖2。圖2是根據(jù)本發(fā)明實(shí)施例描述的圖像處理方法流程圖。為了描述的目的，參考圖1所示的圖像處理裝置100描述圖2所示的方法。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解，圖2所示的方法并不限于僅被圖1所示的圖像處理裝置100所使用。此外，如果結(jié)果大體相同，則圖2所示的步驟無(wú)需嚴(yán)格按照所示順序執(zhí)行并且無(wú)需連續(xù)執(zhí)行。換句話說(shuō)，上述步驟可位于其他步驟中間。上述圖像處理方法總結(jié)如下。

步驟210：開(kāi)始。例如，圖像捕捉裝置102捕獲待記錄的場(chǎng)景以生成圖像幀輸入序列SF_IN。

步驟220：檢測(cè)電路110檢測(cè)圖像捕捉裝置102所捕獲的圖像幀輸入序列SF_IN，以相應(yīng)生成檢測(cè)結(jié)果DR。

步驟230：檢測(cè)電路110參考檢測(cè)結(jié)果DR決定是否調(diào)整圖像幀輸入序列SF_IN。當(dāng)決定需要調(diào)整圖像幀輸入序列SF_IN時(shí)，進(jìn)入步驟240，否則進(jìn)入步驟250。

步驟240：幀插入電路120對(duì)圖像幀輸入序列SF_IN執(zhí)行插入幀操作，以生成待編碼的圖像幀序列(圖像幀插入序列SF_IP)，其中圖像幀插入序列SF_IP具有增大的幀率。具體地，圖像幀插入序列SF_IP包含圖像幀輸入序列SF_IN以及插入幀操作生成的圖像幀附加序列。

步驟250：視頻編碼器130編碼待編碼的圖像幀序列以生成已編碼視頻信號(hào)VD，其中在檢測(cè)結(jié)果DR指示無(wú)需調(diào)整圖像幀輸入序列SF_IN情況下，檢測(cè)電路110可直接將圖像幀輸入序列SF_IN發(fā)送至視頻編碼器130，從而使得圖像幀輸入序列SF_IN作為待編碼的圖像幀序列。

在一實(shí)施例中，檢測(cè)電路110可直接檢測(cè)圖像幀輸入序列SF_IN的幀率，以生成檢測(cè)結(jié)果DR(步驟220)，并且參考檢測(cè)結(jié)果DR(包含圖像幀輸入序列SF_IN的幀率)以決定是否調(diào)整圖像幀輸入序列SF_IN(步驟230)以增大幀率。例如，當(dāng)檢測(cè)結(jié)果DR指示的圖像幀輸入序列SF_IN的幀率小于預(yù)定閾值時(shí)，檢測(cè)電路110啟動(dòng)幀插入電路120以執(zhí)行插入幀操作，從而增大幀率。在另一示例中，當(dāng)檢測(cè)結(jié)果DR指示的圖像幀輸入序列SF_IN的幀率不小于預(yù)定閾值時(shí)，檢測(cè)電路110直接向視頻編碼器130提供圖像幀輸入序列SF_IN。

在另一實(shí)施例中，檢測(cè)電路110以間接方式檢測(cè)圖像幀輸入序列SF_IN的幀率，以生成檢測(cè)結(jié)果DR(步驟220)，并且參考檢測(cè)結(jié)果DR以決定是否調(diào)整圖像幀輸入序列SF_IN(步驟230)。例如，檢測(cè)電路110檢測(cè)圖像捕捉電路102的曝光時(shí)間以決定圖像幀輸入序列SF_IN的幀率，并且相應(yīng)生成檢測(cè)結(jié)果DR。接下來(lái)，檢測(cè)電路110參考檢測(cè)結(jié)果DR指示的曝光時(shí)間，以決定是否調(diào)整圖像幀輸入序列SF_IN。

在另一實(shí)施例中，檢測(cè)電路110檢測(cè)圖像幀輸入序列SF_IN的亮度，以生成檢測(cè)結(jié)果DR(步驟220)，并且參考檢測(cè)結(jié)果DR以決定是否調(diào)整圖像幀輸入序列SF_IN(步驟230)。例如，當(dāng)檢測(cè)結(jié)果DR指示圖像幀輸入序列SF_IN的亮度小于預(yù)定閾值時(shí)，這意味著圖像捕捉裝置102延長(zhǎng)曝光時(shí)間以提高圖像亮度。因?yàn)檠娱L(zhǎng)曝光時(shí)間會(huì)引起幀率下降，所以檢測(cè)電路110啟動(dòng)幀插入電路120以執(zhí)行插入幀操作，從而增大幀率。在另一示例中，當(dāng)檢測(cè)結(jié)果DR指示圖像幀輸入序列SF_IN的亮度不小于預(yù)定閾值時(shí)，這意味著環(huán)境中存在足夠亮度。因此，檢測(cè)電路110無(wú)需啟動(dòng)幀插入電路120以執(zhí)行插入幀操作，并且直接向視頻編碼器130提供圖像幀輸入序列SF_IN。

為了更好理解本發(fā)明，在接下來(lái)的圖像處理機(jī)制描述中，提供檢測(cè)圖像幀序列的幀率以生成檢測(cè)結(jié)果的圖像處理裝置。然而，這僅是為了描述的目的，并不意味著對(duì)本發(fā)明的限制。請(qǐng)參考圖3，圖3是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)10的一種實(shí)施方式示意圖。在本實(shí)施例中，圖像處理系統(tǒng)30包含圖1所示的圖像捕捉裝置102、存儲(chǔ)裝置108以及圖像處理裝置300，其中圖像處理裝置300包含圖1所示的幀插入電路120、視頻編碼器130以及檢測(cè)電路310。圖1所示的檢測(cè)電路110可實(shí)施為包含幀率檢測(cè)器312的檢測(cè)電路310，其中幀率檢測(cè)器312檢測(cè)圖像幀輸入序列SF_IN的幀率，以生成檢測(cè)結(jié)果FR。具體地，檢測(cè)電路310檢測(cè)圖像幀輸入序列SF_IN以生成指示圖像幀輸入序列SF_IN的幀率的檢測(cè)結(jié)果FR。

例如，在圖像處理系統(tǒng)30記錄一操作場(chǎng)景(例如，低亮度環(huán)境)中的視頻情況下，其中圖像捕捉裝置102延長(zhǎng)曝光時(shí)間，則當(dāng)檢測(cè)結(jié)果FR指示圖像幀輸入序列SF_IN的幀率FR_IN小于預(yù)定閾值FR_PRE時(shí)，幀插入電路120在圖像幀輸入序列SF_IN上執(zhí)行插入幀操作以生成待編碼的圖像幀序列(即，圖像幀插入序列SF_IP)，其中圖像幀插入序列SF_IP的幀率FR_IP不小于預(yù)定閾值FR_PRE。換句話說(shuō)，幀插入電路120增大圖像幀輸入序列SF_IN的幀率FR_IN。

在另一示例中，在圖像處理系統(tǒng)30記錄另一操作場(chǎng)景中的視頻情況下，當(dāng)檢測(cè)結(jié)果FR指示圖像幀輸入序列SF_IN的幀率FR_IN不小于預(yù)定閾值FR_PRE時(shí)，幀插入電路120不執(zhí)行插入幀操作(例如，不啟動(dòng)幀插入電路120)，其中直接提供圖像幀輸入序列SF_IN作為視頻編碼器130的待編碼圖像幀序列。

圖4是根據(jù)本發(fā)明實(shí)施例描述的圖3所示的幀插入電路120執(zhí)行的插入幀操作示意圖。在本實(shí)施例中，幀插入電路120在圖像幀輸入序列SF_IN的多個(gè)圖像幀F(xiàn)1與F3之間插入多個(gè)圖像幀F(xiàn)A-FD。例如，幀插入電路120在圖像幀輸入序列SF_IN上執(zhí)行運(yùn)動(dòng)分析以生成運(yùn)動(dòng)分析結(jié)果，并且參考圖像幀輸入序列SF_IN的檢測(cè)結(jié)果以及運(yùn)動(dòng)分析結(jié)果，執(zhí)行插入幀操作(及/或運(yùn)動(dòng)補(bǔ)償)以生成圖像幀插入序列SF_IP。請(qǐng)注意，圖4所示的插入幀操作僅是為了描述的目的，并不意味著對(duì)本發(fā)明的限制。其他幀插入技術(shù)也落入本發(fā)明所保護(hù)的范圍。

在其他實(shí)施例中，可以檢測(cè)圖像幀序列的亮度以生成檢測(cè)結(jié)果。請(qǐng)參考圖5，圖5是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)10的另一實(shí)施方式示意圖。在本實(shí)施例中，圖像處理系統(tǒng)50包含圖1所示的存儲(chǔ)裝置108以及圖像捕捉裝置502、圖像處理裝置500，其中圖1所示的圖像處理裝置100與圖像捕捉裝置102可分別實(shí)施為圖像處理裝置500與圖像捕捉裝置502。圖像處理裝置500包含圖1所示的視頻編碼器130以及檢測(cè)電路510、幀插入電路520。圖1所示的檢測(cè)電路110與幀插入電路120可分別實(shí)施為檢測(cè)電路510以及幀插入電路520。檢測(cè)電路510包含曝光檢測(cè)器516，其可檢測(cè)圖像幀輸入序列SF_IN的亮度，以生成檢測(cè)結(jié)果LU。具體地，檢測(cè)電路510檢測(cè)圖像幀輸入序列SF_IN以生成指示圖像幀輸入序列SF_IN的亮度的檢測(cè)結(jié)果LU。

在本實(shí)施例中，在圖像處理系統(tǒng)50記錄一操作場(chǎng)景(例如，低亮度環(huán)境)中的視頻情況下，圖像捕捉裝置502可調(diào)整曝光設(shè)置(例如，曝光時(shí)間或曝光級(jí)別)從而提高捕捉圖像的亮度。例如，當(dāng)檢測(cè)結(jié)果LU指示圖像幀輸入序列SF_IN的亮度LU_IN小于預(yù)定閾值LU_PRE時(shí)，圖像捕捉裝置502延長(zhǎng)曝光時(shí)間以提高捕捉圖像的亮度，這樣將導(dǎo)致圖像幀輸入序列SF_IN的幀率下降。為了維持已編碼視頻信號(hào)VD的圖像品質(zhì)，幀插入電路520在圖像幀輸入序列SF_IN上執(zhí)行插入幀操作以生成待編碼的圖像幀序列(即，圖像幀插入序列SF_IP)，其中圖像幀插入序列SF_IP的幀率大于圖像幀輸入序列SF_IN的幀率。因此，圖像處理系統(tǒng)50可生成具有足夠亮度的已編碼視頻信號(hào)，并且提供流暢的視頻播放。

在另一示例中，在圖像處理系統(tǒng)50記錄另一操作場(chǎng)景(例如，明亮環(huán)境)中的視頻情況下，當(dāng)檢測(cè)結(jié)果LU指示圖像幀輸入序列SF_IN的亮度LU_IN不小于預(yù)定閾值LU_PRE時(shí)，幀插入電路520不執(zhí)行插入幀操作(例如，不啟動(dòng)幀插入電路520)，其中直接提供圖像幀輸入序列SF_IN作為視頻編碼器130的待編碼圖像幀序列。本領(lǐng)域技術(shù)人員在讀完圖1-圖4對(duì)應(yīng)的段落后應(yīng)該能夠理解圖像處理裝置500的操作(例如，圖像預(yù)處理以及插入幀操作)，為了簡(jiǎn)化起見(jiàn)不重復(fù)相似描述。

值得注意的是，當(dāng)檢測(cè)結(jié)果LU指示圖像幀輸入序列SF_IN的亮度LU_IN小于預(yù)定閾值LU_PRE時(shí)，圖像處理裝置500可進(jìn)一步控制圖像捕捉裝置502調(diào)整快門速度(或曝光時(shí)間)。作為示例但不限于，當(dāng)檢測(cè)結(jié)果LU指示圖像幀輸入序列SF_IN的亮度LU_IN小于預(yù)定閾值LU_PRE時(shí)，幀插入電路520可進(jìn)一步生成反饋信號(hào)BS用于控制圖像捕捉裝置502中快門裝置504，從而降低快門速度(即，延長(zhǎng)曝光時(shí)間)。因?yàn)閳D像處理裝置500可動(dòng)態(tài)調(diào)整快門速度以提高圖像品質(zhì)，所以圖像處理系統(tǒng)50可在無(wú)需高精度傳感器情況下實(shí)現(xiàn)高品質(zhì)視頻記錄。簡(jiǎn)言之，本發(fā)明所提的圖像處理機(jī)制不僅可動(dòng)態(tài)調(diào)整幀率以提供流暢視頻播放，而且根據(jù)圖像幀序列檢測(cè)結(jié)果調(diào)整快門速度或其他設(shè)置用于圖像捕捉裝置502捕捉圖像，從而提高視頻記錄品質(zhì)。

本發(fā)明所提的圖像裝置可根據(jù)指示圖像幀輸入序列的幀率、亮度或其他圖像信息中的一個(gè)或多個(gè)信息決定是否調(diào)整圖像捕捉裝置所捕捉的圖像幀輸入序列。請(qǐng)參考圖6，圖6是根據(jù)本發(fā)明實(shí)施例描述的圖1所示圖像處理系統(tǒng)10的另一實(shí)施方式示意圖。在本實(shí)施例中，圖像處理系統(tǒng)60包含圖1所示的存儲(chǔ)裝置108、圖5所示的圖像捕捉裝置502以及圖像處理裝置600，其中圖1所示的圖像處理裝置100與圖像捕捉裝置102可分別實(shí)施為圖像處理裝置600與圖像捕捉裝置502。圖像處理裝置600包含圖1所示的視頻編碼器130以及檢測(cè)電路610、幀插入電路620。圖1所示的檢測(cè)電路110與幀插入電路120可分別實(shí)施為檢測(cè)電路610以及幀插入電路620。檢測(cè)電路610可檢測(cè)圖像幀輸入序列SF_IN，以生成檢測(cè)結(jié)果DR。其中檢測(cè)結(jié)果DR包含圖像幀輸入序列SF_IN的幀率與亮度。

在本實(shí)施例中，在一種情況下，當(dāng)檢測(cè)結(jié)果DR指示圖像幀輸入序列SF_IN的幀率小于第一預(yù)定閾值并且圖像幀輸入序列SF_IN的亮度小于第二預(yù)定閾值時(shí)，這意味著即使幀率已經(jīng)很低了，圖像捕捉裝置502可延長(zhǎng)曝光時(shí)間以降低幀率。為了維持已編碼視頻信號(hào)VD的圖像品質(zhì)，幀插入電路620在圖像幀輸入序列SF_IN上執(zhí)行插入幀操作以生成待編碼的圖像幀序列(即，圖像幀插入序列SF_IP)，其中圖像幀插入序列SF_IP的幀率大于圖像幀輸入序列SF_IN的幀率。因此，圖像處理系統(tǒng)60可生成具有足夠亮度的已編碼視頻信號(hào)，并且提供流暢的視頻播放。在另一種情況下，當(dāng)檢測(cè)結(jié)果DR指示圖像幀輸入序列SF_IN的幀率不小于第一預(yù)定閾值并且圖像幀輸入序列SF_IN的亮度不小于第二預(yù)定閾值時(shí)，幀插入電路620不執(zhí)行插入幀操作(例如，不啟動(dòng)幀插入電路620)，其中直接提供圖像幀輸入序列SF_IN作為視頻編碼器130的待編碼圖像幀序列。

值得注意的是，在不同實(shí)施例中，決定是否增大圖像幀輸入序列SF_IN的幀率的條件可有所不同。例如，在一實(shí)施例中，當(dāng)檢測(cè)結(jié)果DR指示圖像幀輸入序列SF_IN的幀率小于第一預(yù)定閾值或者圖像幀輸入序列SF_IN的亮度小于第二預(yù)定閾值時(shí)，幀插入電路620在圖像幀輸入序列SF_IN上執(zhí)行插入幀操作以生成待編碼的圖像幀序列。

值得注意的是，圖像處理裝置600可僅參考檢測(cè)結(jié)果DR中幀率檢測(cè)結(jié)果與亮度檢測(cè)結(jié)果的一個(gè)檢測(cè)結(jié)果，選擇性執(zhí)行插入幀操作(即圖3所示的圖像處理機(jī)制與圖5所示的圖像處理機(jī)制)。進(jìn)一步地，與圖像處理裝置500的操作相似，圖像處理裝置600可進(jìn)一步生成反饋信號(hào)BS以發(fā)送至圖像捕捉裝置502，并且快門裝置504可根據(jù)反饋信號(hào)BS降低快門速度(即，延長(zhǎng)曝光時(shí)間)。本領(lǐng)域技術(shù)人員在讀完圖1-圖5對(duì)應(yīng)的段落后應(yīng)該能夠理解圖像處理裝置600的操作，為了簡(jiǎn)化起見(jiàn)省略進(jìn)一步的描述。

綜上，本發(fā)明所提出的圖像處理方法及其圖像處理裝置可為視頻編碼器提供圖像幀對(duì)應(yīng)序列，以響應(yīng)不同編碼場(chǎng)景，因此在低亮度環(huán)境以及無(wú)需高靈敏傳感器情況下可提供流暢的視頻播放以及清晰記錄內(nèi)容。因此，可大大降低制作成本。

呈現(xiàn)上述描述以允許本領(lǐng)域技術(shù)人員根據(jù)特定應(yīng)用以及其需要的內(nèi)容實(shí)施本發(fā)明。所述實(shí)施例的各種修改對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的，并且可將上述定義的基本原則應(yīng)用于其他實(shí)施例。因此，本發(fā)明不局限于所述的特定實(shí)施例，而是符合與揭露的原則及新穎特征相一致的最寬范圍。在上述細(xì)節(jié)描述中，為了提供對(duì)本發(fā)明的徹底理解，描述了各種特定細(xì)節(jié)。然而，本領(lǐng)域技術(shù)人員可以理解本發(fā)明是可實(shí)施的。

在不脫離本發(fā)明精神或本質(zhì)特征的情況下，可以其他特定形式實(shí)施本發(fā)明。描述示例被認(rèn)為說(shuō)明的所有方面并且無(wú)限制。因此，本發(fā)明的范圍由權(quán)利要求書(shū)指示，而非前面描述。所有在權(quán)利要求等同的方法與范圍中的變化皆屬于本發(fā)明的涵蓋范圍。