視頻理解是計算機視覺中的重要任務(wù)，近年來隨著深度學(xué)習(xí)特別是監(jiān)督學(xué)習(xí)的應(yīng)用視頻理解取得了飛速的發(fā)展，例如視頻行為分類和視頻片段總結(jié)等任務(wù)都取得了令人矚目的成果。

不過，現(xiàn)實生活中很多場景的應(yīng)用視頻片段需要不止一個標(biāo)簽來提供足夠的信息。舉個例子，機器人往杯子里倒水，一個簡單的“傾倒液體”標(biāo)簽不足以預(yù)測出杯子何時倒?jié)M，機器人需要逐幀追蹤杯中的水量。再比如說，在運動分析領(lǐng)域，棒球教練不僅僅想要看到投球的動作，而是想精確地分析投手投出棒球離手的一瞬間，單一的視頻標(biāo)簽不足以完成這樣的視頻檢索任務(wù)。這意味著視頻理解模型需要逐幀理解視頻的能力。

然而如果使用監(jiān)督學(xué)習(xí)的方法將會使學(xué)習(xí)成本變得非常昂貴，這需要針對視頻里每一幀的動作進(jìn)行細(xì)粒度的標(biāo)注，訓(xùn)練不同的動作還需要新的標(biāo)注來提供監(jiān)督信號。但從機器人到運動分析等領(lǐng)域，細(xì)粒度的視頻理解有著很強的需求，那么如何在不需要大量標(biāo)簽的情況下對視頻進(jìn)行學(xué)習(xí)以理解細(xì)粒度的信息呢？

來自谷歌的研究人員們提出了一種稱為時間循環(huán)一致性學(xué)習(xí)（Temporal Cycle-Consistency Learning，TCC）的自監(jiān)督方法。通過學(xué)習(xí)不同樣本相似過程的表示來實現(xiàn)細(xì)粒度的時域視頻理解，為逐幀視頻檢索、動作分析、視頻同步和多模態(tài)遷移提供了新的解決方案。

基于TCC的視頻表示學(xué)習(xí)

世間的萬事萬物發(fā)展的過程都有特定的規(guī)律，從嫩芽到參天大樹的植物生長到起床上班回家兩點一線的996工作，再到簡單倒水的動作都在時間上滿足一定的順序。

多個不同實例的相同過程可以從視頻捕捉到的信息中找到對應(yīng)的聯(lián)系。全世界的人往容器中倒水動作都差不多，無論對象是茶壺、酒瓶、水壺都有著相似的過程。其中傾倒液體的關(guān)鍵時刻在多個不同的視頻中都有著相同的特性——都需要舉起起一個容器向另一個容器中傾倒，而視頻中的其他特性則與拍攝的視角、光照、環(huán)境、尺度、容器以及速度有關(guān)。TCC的關(guān)鍵在于通過循環(huán)一致性的原則，從多個視頻中尋找出對應(yīng)的相同動作。

算法的目標(biāo)在于訓(xùn)練出一個有效的幀編碼器來獲取對應(yīng)動作的表示編碼。研究人員首先將兩個待配準(zhǔn)的視頻傳入編碼器中獲取對應(yīng)的嵌入信息，而后選擇兩個視頻來進(jìn)行TCC的訓(xùn)練，其中video1作為參考視頻，從中取出一幀并利用最鄰近方法在嵌入空間中找到video2中最為近似的一幀；而后以video2中找到的這一幀作為輸入，從新到嵌入空間中尋找video中對應(yīng)的幀（circle過程）。如果學(xué)習(xí)出的嵌入空間具有循環(huán)一致性的話，這一幀和先前輸入video1的參考幀應(yīng)該是同一幀。

上圖中可以看到，左邊的嵌入在循環(huán)檢索后對應(yīng)原來的幀，說明循環(huán)一致性得到滿足；而右邊的嵌入在循環(huán)檢索后獲取的幀與輸入的幀有差異，則表示這一嵌入的循環(huán)一致性沒有得到滿足，他們在嵌入空間中的差值就表示為循環(huán)一致性損失。模型的訓(xùn)練過程通過不斷提高對于每個視頻幀的語義理解來減小循環(huán)一致性誤差。充分訓(xùn)練后的TCC可以學(xué)習(xí)出時域的細(xì)粒度理解能力，并能夠有效對齊相關(guān)的視頻。

TCC學(xué)習(xí)到的表達(dá)

研究人員隨后驗證了TCC學(xué)習(xí)到的表達(dá)，是否有效理解了多個視頻中的相似動作。實驗在Penn Action數(shù)據(jù)集上進(jìn)行，研究人員將多個包含人體深蹲訓(xùn)練的視頻利用T后發(fā)現(xiàn)了空間可視化學(xué)習(xí)到的隱含特征。

左圖中亮度較高的點是當(dāng)前幀對應(yīng)的表示。紫色為輸入的參考視頻，其余為其他視頻中檢索到的最鄰近幀。可以看到雖然各個視頻的角度、場景、主體不同，但對應(yīng)的嵌入表示和對應(yīng)的視頻幀卻以相同的趨勢在運動，TCC有效地將深蹲動作的不同過程進(jìn)行了編碼而無需顯式的人工標(biāo)注。

TCC的潛在應(yīng)用

由于這種方法可以有效學(xué)習(xí)逐幀視頻的遷移表達(dá)可廣泛應(yīng)用于小樣本視頻動作分類、無監(jiān)督視頻對齊、多模態(tài)遷移和逐幀視頻檢索。

小樣本動作階段分類。當(dāng)只有很少的標(biāo)注視頻樣本時，TCC方法可以有效地將不同動作階段進(jìn)行分類。研究人員將基于TCC的方法與監(jiān)督學(xué)習(xí)方法進(jìn)行比較，可以發(fā)現(xiàn)只用一個完全標(biāo)記的視頻樣本訓(xùn)練就可與監(jiān)督學(xué)習(xí)需要五十個標(biāo)注的視頻樣本訓(xùn)練獲得同樣的效果。下圖中可以看到TCC方法在兩種動作識別中小樣本學(xué)習(xí)的良好表現(xiàn)。

對齊或同步視頻。當(dāng)視頻的數(shù)量增加時對齊或同步不同視頻間的動作將會是耗時耗力的工作，但利用TCC多個視頻的同步可以利用參考視頻的幀來在每個目標(biāo)視頻中尋找最鄰近的幀實現(xiàn)對齊：

視頻標(biāo)簽/模態(tài)遷移。由于TCC可以在嵌入空間中找到每一幀對應(yīng)的最鄰近幀進(jìn)行視頻匹配，所以這種方法還可以將視頻對應(yīng)的元數(shù)據(jù)進(jìn)行遷移，包括時域語義標(biāo)簽或者音頻數(shù)據(jù)。研究人員展示了一個可以把倒水的聲音遷移到一段沒有聲音的視頻上，倒水的聲音別成功遷移到了倒牛奶的視頻上了，甚至放瓶子的聲音也很逼真！

逐幀視頻檢索。TCC還可以作為關(guān)鍵幀在嵌入空間中用于視頻中相似幀的檢索。學(xué)習(xí)出的嵌入表達(dá)具有很強的分辨能力，可以區(qū)分出某一個動作前后的相鄰幀。

研究人員還將整個工作的代碼開源，不僅包括了TCC，還包括了多個先進(jìn)自監(jiān)督方法的實現(xiàn)，將為會視頻理解的研究以及藝術(shù)家利用視頻同步進(jìn)行創(chuàng)作帶來很大的幫助。