訂閱
糾錯
加入自媒體

碼隆科技提出跨越時空的樣本配對,解決深度度量學習痛點

六、對比 SOTA

與最近的深度度量學習方法對比,我們在四個檢索數(shù)據(jù)庫上效果均大幅提升,這里僅列出 VehicleID 的效果,其他數(shù)據(jù)集的效果見原論文。

簡單來說,不同于部分文章中使用更好的網(wǎng)絡結構,更大的輸出維度,或者更大的 mini-batch 來提升效果,強行 SOTA。我們列出 XBM 在 64 的 mini-batch 在不同的主干網(wǎng)絡下及各種維度下的效果,其效果一直是最好的。

七、可視化

更多可視化見論文補充材料,有更多實例說明效果!

八、總結與展望

第一,本文提出的 XBM 方法能夠記住過去的特征,使得模型的訓練不再僅僅依靠當前 mini-batch 的樣本,而是可以跨越時空進行樣本配對。從而用極小的代價,提供了巨量的樣本對,為 pair-based 的深度度量學習方法取得了巨大的效果提升。這種提升難例挖掘效果的方式,也是突破了過去兩個傳統(tǒng)思路:加權和聚類,并且效果也更加簡單、直接,很好地解決了深度度量學習的痛點。

第二,其實 Memory 機制并不是本文原創(chuàng),但是用 Memory 來做難例挖掘是一個全新的嘗試。同樣在 CVPR 2020 獲得 Oral,也是由 Kaiming He 作為一作的 MoCo 也是這種思路。本文的方法其實可以認為是 MoCo 在 m=0 的特例,Kaiming 通過動量更新 key encoder,可以直接控制住特征偏移。作者認為,這種方法還會在很多任務帶來提升,不局限于 Kaiming 的自監(jiān)督表示學習,以及此前我們一直關注研究的度量學習(或者說監(jiān)督表示學習)。

第三,在本文中,雖然 XBM 在所有的 pair-based 的方法都有提升,但是明顯在對比損失(Contrastive Loss)上提升最大,具體原因待考。另外,我們也把在無監(jiān)督表示上表現(xiàn)很好的 infoNCE 方法用到了深度度量學習,但效果并不顯著。作者認為這兩個問題的答案是同一個,且有值得深究的價值,希望在后續(xù)研究中進行進一步跟進探索。

關于我“門”▼

將門是一家以專注于發(fā)掘、加速及投資技術驅動型創(chuàng)業(yè)公司的新型創(chuàng)投機構,旗下涵蓋將門創(chuàng)新服務、將門技術社群以及將門創(chuàng)投基金。將門成立于2015年底,創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

將門創(chuàng)新服務專注于使創(chuàng)新的技術落地于真正的應用場景,激活和實現(xiàn)全新的商業(yè)價值,服務于行業(yè)領先企業(yè)和技術創(chuàng)新型創(chuàng)業(yè)公司。

將門技術社群專注于幫助技術創(chuàng)新型的創(chuàng)業(yè)公司提供來自產、學、研、創(chuàng)領域的核心技術專家的技術分享和學習內容,使創(chuàng)新成為持續(xù)的核心競爭力。

將門創(chuàng)投基金專注于投資通過技術創(chuàng)新激活商業(yè)場景,實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè),關注技術領域包括機器智能、物聯(lián)網(wǎng)、自然人機交互、企業(yè)計算。在近四年的時間里,將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術型創(chuàng)業(yè)公司。

<上一頁  1  2  3  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號