作者： 將門投資企業(yè) 碼隆科技研究團(tuán)隊(duì)將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會(huì)論文接受率僅有 22％、被稱為“十年來最難的一屆”的情況下，有兩篇論文入選 CVPR 2020，本文將為大家解讀其中一篇Oral：《Cross－Batch Memory for Embedding Learning》 。

導(dǎo)讀：

該論文提出了 XBM 方法，能夠用極小的代價(jià)，提供巨量的樣本對(duì)，為 pair－based 的深度度量學(xué)習(xí)方法取得巨大的效果提升。

這種提升難例挖掘效果的方式突破了過去兩個(gè)傳統(tǒng)思路：加權(quán)和聚類，并且效果也更加簡單、直接，很好地解決了深度度量學(xué)習(xí)的痛點(diǎn)。XBM 在多個(gè)國際通用的圖像搜索標(biāo)準(zhǔn)數(shù)據(jù)庫上（比如 SOP、In－Shop 和 VehicleID 等），取得了目前最好的結(jié)果。

一、背景和動(dòng)機(jī)

難例挖掘是深度度量學(xué)習(xí)領(lǐng)域中的核心問題，最近有頗多研究都通過改進(jìn)采樣或者加權(quán)方案來解決這一難題，目前主要兩種思路： 第一種思路是在 mini－batch 內(nèi)下功夫，對(duì)于 mini－batch 內(nèi)的樣本對(duì)，從各種角度去衡量其難度，然后給予難樣本對(duì)更高權(quán)重，比如 N－pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini－batch 的生成做文章，比如 HTL、Divide and Conquer，他們的做法雖然看上去各有不同，但是整體思路有異曲同工之處。大致思路都是對(duì)整個(gè)數(shù)據(jù)集進(jìn)行聚類，每次生成 mini－batch 不是從整個(gè)數(shù)據(jù)集去采樣，而是從一個(gè)子集，或者說一個(gè)聚類小簇中去采樣。這樣一來，由于采樣范圍本身更加集中，生成的 mini－batch 中難例的比例自然也會(huì)更大，某種程度上也能解決問題。 然而，無論是第一種方法的額外注重難樣本，還是第二種方法的小范圍采樣，他們的難例的挖掘能力其實(shí)依然有一個(gè)天花板——那就是 mini－batch 的大小。這個(gè) mini－batch 的大小決定了在模型中單次迭代更新中，可以利用的樣本對(duì)的總量。因此，即使是很精細(xì)的采樣加權(quán)方法，在 mini－batch 大小有限的情況下，也很難有頂級(jí)的表現(xiàn)。我們?cè)谌齻�(gè)標(biāo)準(zhǔn)圖像檢索數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)，基于三種標(biāo)準(zhǔn)的 pair－based 方法，我們發(fā)現(xiàn)隨著 mini－batch 變大，效果（Recall＠1）大幅提升。實(shí)驗(yàn)結(jié)果如下圖：

可以看出，隨著 mini－batch 的增大，效果有顯著提升。但是，在實(shí)際工業(yè)應(yīng)用中 mini－batch 越大，訓(xùn)練所需要的 GPU 或 TPU 就越多，即使計(jì)算資源有充分保證，在多機(jī)多卡的訓(xùn)練過程中，如何在工程上保證通信的效率也是一個(gè)有挑戰(zhàn)的問題。

二、特征偏移

由此，我們希望另辟蹊徑，得以在 mini－batch 有限的情況下，也能獲得充足的難例樣本對(duì)。首先，必須突破深度度量學(xué)習(xí)一直以來的一個(gè)思維局限——僅在對(duì)當(dāng)前 mini－batch里的樣本對(duì)兩兩比較，形成樣本對(duì)。以此我們引入了 XBM（Cross－batch Memory）這一方法來突破局限，跨越時(shí)空進(jìn)行難例挖掘，把過去的 mini－batch 的樣本提取的特征也拿過來與當(dāng)前 mini－batch 作比較，構(gòu)建樣本對(duì)。

我們將樣本特征隨著模型訓(xùn)練的偏移量，稱之為特征偏移（Feature Drift）。從上圖我們發(fā)現(xiàn)，在訓(xùn)練的一開始，模型還沒有穩(wěn)定，特征劇烈變化，每過 100 次迭代，特征偏移大約 0．7 以上。但是，隨著訓(xùn)練的進(jìn)行，模型逐步穩(wěn)定，特征的偏移也變小。我們稱這個(gè)現(xiàn)象為慢偏移（Slow Drift），這是我們可以利用的一點(diǎn)。