繼在三大主流單幀圖片行人再識(shí)別數(shù)據(jù)集（Market1501，DukeMTMC－reID，CUHK03）刷新世界紀(jì)錄后，近日，澎思科技（Pensees）在基于視頻的行人再識(shí)別數(shù)據(jù)集（PRID－2011，iLIDS－VID，MARS）中再次取得突破性進(jìn)展，一舉實(shí)現(xiàn)在三大數(shù)據(jù)集上實(shí)現(xiàn)算法關(guān)鍵指標(biāo)首位命中率（Rank－1 Accuracy）大幅度提升，準(zhǔn)確率均創(chuàng)歷史新高。

刷新三大數(shù)據(jù)集世界紀(jì)錄，實(shí)現(xiàn)算法關(guān)鍵指標(biāo)大幅度提升

PRID－2011、iLIDS－VID和MARS均為基于視頻的行人再識(shí)別數(shù)據(jù)集。PRID－2011數(shù)據(jù)集中的視頻對(duì)通過兩個(gè)固定的監(jiān)控?cái)z像頭進(jìn)行采集，攝像頭A包含385個(gè)行人，攝像頭B包含749個(gè)行人。這些行人中，只有200個(gè)行人同時(shí)出現(xiàn)在兩個(gè)攝像頭中。iLIDS－VID是在PRID－2011之后公布的數(shù)據(jù)集，與PRID－2011相比，數(shù)據(jù)更加整齊，也更有挑戰(zhàn)性。iLIDS－VID數(shù)據(jù)集是通過機(jī)場(chǎng)到達(dá)大廳的CCTV監(jiān)控視頻采集得到的，包含300個(gè)行人在兩個(gè)攝像頭下的600段視頻。視頻中存在嚴(yán)重的著裝相似，光照和視角變化，復(fù)雜背景和遮擋現(xiàn)象，因此識(shí)別難度大。MARS數(shù)據(jù)集是目前基于視頻ReID最大的數(shù)據(jù)集，是單幀圖片行人再識(shí)別數(shù)據(jù)集Market1501的擴(kuò)充版，圖像數(shù)量由32，668幅擴(kuò)展到了1，191，003幅。

與單幀圖片的行人再識(shí)別數(shù)據(jù)集一樣，首位命中率（Rank－1 Accuracy）和平均精度均值（Mean Average Precision，mAP）是衡量視頻行人再識(shí)別ReID算法水平的核心指標(biāo)。澎思科技此次一舉實(shí)現(xiàn)在三大數(shù)據(jù)庫(kù)上，僅利用原始數(shù)據(jù)就實(shí)現(xiàn)Rank－1 Accuracy關(guān)鍵指標(biāo)大幅度提升。目前，澎思科技算法在最大的視頻數(shù)據(jù)集MARS上的首位命中率指標(biāo)已經(jīng)達(dá)到88．8％，領(lǐng)先香港中文大學(xué)、中科大、北京大學(xué)等國(guó)內(nèi)外知名機(jī)構(gòu)。在iLIDS－VID和PRID－2011等數(shù)據(jù)集上首位命中率也分別達(dá)到了88．0％和95．5％。

澎思科技行人再識(shí)別ReID算法在MARS數(shù)據(jù)集的部分測(cè)試結(jié)果

立足澎思現(xiàn)有業(yè)務(wù)，展開垂直領(lǐng)域技術(shù)研發(fā)和創(chuàng)新

澎思科技此次成果的取得源于澎思新加坡研究院對(duì)算法的自研創(chuàng)新和融合探索，是立足于澎思現(xiàn)有業(yè)務(wù)和商業(yè)模式，結(jié)合公司的發(fā)展方向針對(duì)性開展垂直領(lǐng)域技術(shù)研發(fā)和創(chuàng)新。主要包括以下幾個(gè)方面：

1、受遮擋、姿態(tài)變化、視角變化等因素的影響，視頻序列中行人的特征是不連續(xù)的。用全局特征來度量每一幀圖片的權(quán)重往往會(huì)損失掉許多重要的信息。采用分割重組策略將特定局部特征重組成多個(gè)視頻序列進(jìn)行學(xué)習(xí)，進(jìn)而極大減少局部特征損失對(duì)最終特征的影響。

2、其次，提出了全新的雙向圖注意力機(jī)制模塊。將圖卷積神經(jīng)網(wǎng)絡(luò)和SENet完美結(jié)合，在整個(gè)序列上進(jìn)行通道域的模式選擇學(xué)習(xí)。同時(shí)通過雙向網(wǎng)絡(luò)進(jìn)行空間域的注意力區(qū)域?qū)W習(xí)。由于圖卷積網(wǎng)絡(luò)的特性，每一幀圖片的注意力特征都是與其他幀相互學(xué)習(xí)結(jié)合的結(jié)果，從而極大提高特征的代表性。

3、最終，利用幀間相似度進(jìn)行序列融合。與大多數(shù)利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行融合算法相比，最大的優(yōu)勢(shì)是不需要訓(xùn)練額外的模型參數(shù)，僅僅通過數(shù)學(xué)計(jì)算的方式就可以達(dá)到融合的目的。這樣，數(shù)據(jù)的類內(nèi)相似度得到了極大的提高。在結(jié)合三元損失函數(shù)進(jìn)行訓(xùn)練后，類間相似度得到了降低，進(jìn)而提高重識(shí)別效果。

基于視頻的行人再識(shí)別與單幀圖片的行人再識(shí)別任務(wù)目的是相同的，即在視角不重疊的多攝像機(jī)網(wǎng)絡(luò)下進(jìn)行行人的匹配。盡管基于單幀圖片的行人再識(shí)別算法已經(jīng)取得了不錯(cuò)的進(jìn)步，但由于單幀圖片只包含有限的行人信息，網(wǎng)絡(luò)提取的特征不具備足夠的代表性，檢測(cè)結(jié)果往往受圖片質(zhì)量的影響較大。

與此相比，視頻序列的優(yōu)勢(shì)便凸顯出來。一個(gè)短視頻序列往往包含行人多運(yùn)動(dòng)狀態(tài)下的更多特征，并且利用時(shí)序信息，可以將背景、遮擋等干擾因素的影響降到最低，提升識(shí)別的準(zhǔn)確度。

加速AI技術(shù)落地，持續(xù)推進(jìn)AI產(chǎn)業(yè)化落地進(jìn)程

基于視頻的行人再識(shí)別（ReID）技術(shù)更貼近智慧城市建設(shè)的諸多應(yīng)用場(chǎng)景，能有效解決行人信息有限、特征不足及其他干擾因素等問題，相比單幀圖片的行人再識(shí)別具備更長(zhǎng)遠(yuǎn)的落地應(yīng)用空間。接下來，澎思科技將進(jìn)一步加大在視頻行人再識(shí)別算法上的研究，并逐步將算法應(yīng)用到平安城市、智慧社區(qū)、智慧園區(qū)、智慧零售、智慧交通等實(shí)戰(zhàn)應(yīng)用場(chǎng)景中。

澎思科技作為一家專注于計(jì)算機(jī)視覺和物聯(lián)網(wǎng)技術(shù)，提供“以人為核心”行業(yè)綜合應(yīng)用解決方案的人工智能公司，在人工智能行業(yè)進(jìn)入商業(yè)化落地主導(dǎo)的產(chǎn)業(yè)化階段，一方面將不斷加強(qiáng)自研技術(shù)創(chuàng)新，提升技術(shù)競(jìng)爭(zhēng)力；另一方面堅(jiān)持“行業(yè)＋AI”策略，針對(duì)用戶需求深挖場(chǎng)景，發(fā)現(xiàn)行業(yè)痛點(diǎn)并不斷打磨算法和產(chǎn)品，將技術(shù)真正應(yīng)用到業(yè)務(wù)場(chǎng)景中，推動(dòng)AI技術(shù)的產(chǎn)品化落地和商業(yè)化進(jìn)程。