碼隆科技提出跨越時空的樣本配對,解決深度度量學習痛點
六、對比 SOTA
與最近的深度度量學習方法對比,我們在四個檢索數(shù)據(jù)庫上效果均大幅提升,這里僅列出 VehicleID 的效果,其他數(shù)據(jù)集的效果見原論文。
簡單來說,不同于部分文章中使用更好的網(wǎng)絡結構,更大的輸出維度,或者更大的 mini-batch 來提升效果,強行 SOTA。我們列出 XBM 在 64 的 mini-batch 在不同的主干網(wǎng)絡下及各種維度下的效果,其效果一直是最好的。
七、可視化
更多可視化見論文補充材料,有更多實例說明效果!
八、總結與展望
第一,本文提出的 XBM 方法能夠記住過去的特征,使得模型的訓練不再僅僅依靠當前 mini-batch 的樣本,而是可以跨越時空進行樣本配對。從而用極小的代價,提供了巨量的樣本對,為 pair-based 的深度度量學習方法取得了巨大的效果提升。這種提升難例挖掘效果的方式,也是突破了過去兩個傳統(tǒng)思路:加權和聚類,并且效果也更加簡單、直接,很好地解決了深度度量學習的痛點。
第二,其實 Memory 機制并不是本文原創(chuàng),但是用 Memory 來做難例挖掘是一個全新的嘗試。同樣在 CVPR 2020 獲得 Oral,也是由 Kaiming He 作為一作的 MoCo 也是這種思路。本文的方法其實可以認為是 MoCo 在 m=0 的特例,Kaiming 通過動量更新 key encoder,可以直接控制住特征偏移。作者認為,這種方法還會在很多任務帶來提升,不局限于 Kaiming 的自監(jiān)督表示學習,以及此前我們一直關注研究的度量學習(或者說監(jiān)督表示學習)。
第三,在本文中,雖然 XBM 在所有的 pair-based 的方法都有提升,但是明顯在對比損失(Contrastive Loss)上提升最大,具體原因待考。另外,我們也把在無監(jiān)督表示上表現(xiàn)很好的 infoNCE 方法用到了深度度量學習,但效果并不顯著。作者認為這兩個問題的答案是同一個,且有值得深究的價值,希望在后續(xù)研究中進行進一步跟進探索。
關于我“門”▼
將門是一家以專注于發(fā)掘、加速及投資技術驅動型創(chuàng)業(yè)公司的新型創(chuàng)投機構,旗下涵蓋將門創(chuàng)新服務、將門技術社群以及將門創(chuàng)投基金。將門成立于2015年底,創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。
將門創(chuàng)新服務專注于使創(chuàng)新的技術落地于真正的應用場景,激活和實現(xiàn)全新的商業(yè)價值,服務于行業(yè)領先企業(yè)和技術創(chuàng)新型創(chuàng)業(yè)公司。
將門技術社群專注于幫助技術創(chuàng)新型的創(chuàng)業(yè)公司提供來自產、學、研、創(chuàng)領域的核心技術專家的技術分享和學習內容,使創(chuàng)新成為持續(xù)的核心競爭力。
將門創(chuàng)投基金專注于投資通過技術創(chuàng)新激活商業(yè)場景,實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè),關注技術領域包括機器智能、物聯(lián)網(wǎng)、自然人機交互、企業(yè)計算。在近四年的時間里,將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術型創(chuàng)業(yè)公司。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市