百度PaddlePaddle開源視頻分類模型Attenti-創(chuàng)新互聯(lián)
Attention Cluster 模型
創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比魯?shù)榫W(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式魯?shù)榫W(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋魯?shù)榈貐^(qū)。費用合理售后完善，十年實體公司更值得信賴。視頻分類問題在視頻標(biāo)簽、監(jiān)控、自動駕駛等領(lǐng)域有著廣泛的應(yīng)用，但它同時也是計算機視覺領(lǐng)域面臨的一項重要挑戰(zhàn)之一。
目前的視頻分類問題大多是基于 CNN 或者 RNN 網(wǎng)絡(luò)實現(xiàn)的。眾所周知，CNN 在圖像領(lǐng)域已經(jīng)發(fā)揮了重大作用。它具有很好的特征提取能力，通過卷積層和池化層，可以在圖像的不同區(qū)域提取特征。RNN 則在獲取時間相關(guān)的特征方面有很強的能力。
Attention Cluster 在設(shè)計上僅利用了 CNN 模型，而沒有使用 RNN，主要是基于視頻的以下幾個特點考慮：
圖 1 視頻幀的分析
首先，一段視頻的連續(xù)幀常常有一定的相似性。在圖 1（上）可以看到，除了擊球的動作以外，不同幀幾乎是一樣的。因此，對于分類，可能從整體上關(guān)注這些相似的特征就足夠了，而沒有必要去特意觀察它們隨著時間的細節(jié)變化。
其次，視頻幀中的局部特征有時就足夠表達出視頻的類別。比如圖 1（中），通過一些局部特征，如牙刷、水池，就能夠分辨出『刷牙』這個動作。因此，對于分類問題，關(guān)鍵在于找到幀中的關(guān)鍵的局部特征，而非去找時間上的線索。
最后，在一些視頻的分類中，幀的時間順序?qū)τ诜诸惒灰欢ㄊ侵匾?。比如圖 1（下），可以看到，雖然幀順序被打亂，依然能夠看出這屬于『撐桿跳』這個類別。
基于以上考慮，該模型沒有考慮時間相關(guān)的線索，而是使用了 Attention 機制。它有以下幾點好處：
1. Attention 的輸出本質(zhì)上是加權(quán)平均，這可以避免一些重復(fù)特征造成的冗余。
2. 對于一些局部的關(guān)鍵特征，Attention 能夠賦予其更高的權(quán)重。這樣就能夠通過這些關(guān)鍵的特征，提高分類能力。
3. Attention 的輸入是任意大小的無序集合。無序這點滿足我們上面的觀察，而任意大小的輸入又能夠提高模型的泛化能力。
當(dāng)然，一些視頻的局部特征還有一個特點，那就是它可能會由多個部分組成。比如圖 1（下）的『撐桿跳』，跳、跑和著陸同時對這個分類起到作用。因此，如果只用單一的 Attention 單元，只能獲取視頻的單一關(guān)鍵信息。而如果使用多個 Attention 單元，就能夠提取更多的有用信息。于是，Attention Cluster 就應(yīng)運而生了！在實現(xiàn)過程中，百度計算機視覺團隊還發(fā)現(xiàn)，將不同的 Attention 單元進行一次簡單有效的『位移操作』（shifting operation），可以增加不同單元的多樣性，從而提高準確率。
接下來我們看一下整個 Attention Cluster 的結(jié)構(gòu)。
整個模型可以分為三個部分：
1. 局部特征提取。通過 CNN 模型抽取視頻的特征。提取后的特征用 X 表示，如公式（1）所示：
（1）。X 的維度為 L，代表 L 個不同的特征。
2. 局部特征集成。基于 Attention 來獲取全局特征。Attention 的輸出本質(zhì)上相當(dāng)于做了加權(quán)平均。如公式（2）所示，v 是一個 Attention 單元輸出的全局特征，a 是權(quán)重向量，由兩層全連接層組成，如公式（3）所示。實際實現(xiàn)中，v 的產(chǎn)生使用了 Shifting operation，如公式（4）所示，其中α和β是可學(xué)習(xí)的標(biāo)量。它通過對每一個 Attention 單元的輸出添加一個獨立可學(xué)習(xí)的線性變換處理后進行 L2-normalization，使得各 Attention 單元傾向于學(xué)習(xí)特征的不同成分，從而讓 Attention Cluster 能更好地學(xué)習(xí)不同分布的數(shù)據(jù)，提高整個網(wǎng)絡(luò)的學(xué)習(xí)表征能力。由于采用了 Attention clusters，這里會將各個 Attention 單元的輸出組合起來，得到多個全局特征 g，如公式（5）所示。N 代表的是 clusters 的數(shù)量。
3. 全局特征分類。將多個全局特征拼接以后，再通過常規(guī)的全連接層和 Softmax 或 Sigmoid 進行最后的單標(biāo)簽或多標(biāo)簽分類。
用 PaddlePaddle 訓(xùn)練 Attention Cluster
PaddlePaddle 開源的 Attention Cluster 模型，使用了 2nd-Youtube-8M 數(shù)據(jù)集。該數(shù)據(jù)集已經(jīng)使用了在 ImageNet 訓(xùn)練集上 InceptionV3 模型對特征進行了抽取。
如果運行該模型的樣例代碼，要求使用 PaddlePaddle Fluid V1.2.0 或以上的版本。
數(shù)據(jù)準備：首先請使用 Youtube-8M 官方提供的鏈接下載訓(xùn)練集和測試集，或者使用官方腳本下載。數(shù)據(jù)下載完成后，將會得到 3844 個訓(xùn)練數(shù)據(jù)文件和 3844 個驗證數(shù)據(jù)文件（TFRecord 格式）。為了適用于 PaddlePaddle 訓(xùn)練，需要將下載好的 TFRecord 文件格式轉(zhuǎn)成了 pickle 格式，轉(zhuǎn)換腳本請使用 PaddlePaddle 提供的腳本 dataset/youtube8m/tf2pkl.py。
訓(xùn)練集：http://us.data.yt8m.org/2/frame/train/index.html
測試集：http://us.data.yt8m.org/2/frame/validate/index.html
官方腳本：https://research.google.com/youtube8m/download.html
模型訓(xùn)練：數(shù)據(jù)準備完畢后，通過以下方式啟動訓(xùn)練（方法 1)，同時我們也提供快速啟動腳本 (方法 2)
# 方法 1
# 方法 2
用戶也可下載 Paddle Github 上已發(fā)布模型通過--resume 指定權(quán)重存放路徑進行 finetune 等開發(fā)。
數(shù)據(jù)預(yù)處理說明： 模型讀取 Youtube-8M 數(shù)據(jù)集中已抽取好的 rgb 和 audio 數(shù)據(jù)，對于每個視頻的數(shù)據(jù)，均勻采樣 100 幀，該值由配置文件中的 seg_num 參數(shù)指定。
模型設(shè)置： 模型主要可配置參數(shù)為 cluster_nums 和 seg_num 參數(shù)。其中 cluster_nums 是 attention 單元的數(shù)量。當(dāng)配置 cluster_nums 為 32, seg_num 為 100 時，在 Nvidia Tesla P40 上單卡可跑 batch_size=256。
訓(xùn)練策略：
采用 Adam 優(yōu)化器，初始 learning_rate=0.001
訓(xùn)練過程中不使用權(quán)重衰減
參數(shù)主要使用 MSRA 初始化
模型評估：可通過以下方式（方法 1）進行模型評估，同樣我們也提供了快速啟動的腳本（方法 2）:
# 方法 1
# 方法 2
使用 scripts/test/test_attention_cluster.sh 進行評估時，需要修改腳本中的--weights 參數(shù)指定需要評估的權(quán)重。
若未指定--weights 參數(shù)，腳本會下載已發(fā)布模型進行評估
模型推斷：可通過如下命令進行模型推斷：
模型推斷結(jié)果存儲于 AttentionCluster_infer_result 中，通過 pickle 格式存儲。
若未指定--weights 參數(shù)，腳本會下載已發(fā)布模型 model 進行推斷
模型精度：當(dāng)模型取如下參數(shù)時，在 Youtube-8M 數(shù)據(jù)集上的指標(biāo)為：
參數(shù)取值：
評估精度：
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
分享標(biāo)題：百度PaddlePaddle開源視頻分類模型Attenti-創(chuàng)新互聯(lián)
當(dāng)前地址：http://www.jiaotiyi.com/article/cocpji.html