賽道四

賽道四需要檢測(cè)出每個(gè)X軸或Y軸上的刻度點(diǎn)并與對(duì)應(yīng)的刻度標(biāo)簽文本框關(guān)聯(lián)。該賽道使用修改后的F－measure對(duì)每個(gè)軸評(píng)分，然后對(duì)所有軸進(jìn)行得分平均。對(duì)每個(gè)檢測(cè)到的刻度點(diǎn)，根據(jù)其距離真實(shí)刻度點(diǎn)之間的距離，給出0到1之間的評(píng)分。Precision計(jì)算方法為評(píng)分總和除以預(yù)測(cè)數(shù)。召回率的計(jì)算方法是得分的總和除以真實(shí)標(biāo)注刻度點(diǎn)的數(shù)量。

對(duì)于該任務(wù)，我們將整個(gè)任務(wù)拆分為刻度點(diǎn)檢測(cè)和匹配兩個(gè)步驟。

在刻度點(diǎn)檢測(cè)任務(wù)中，我們將該任務(wù)視為標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問題。參考CenterNet，使用DLA－34作為backbone，從底層添加更多的跳轉(zhuǎn)連接，并在上采樣階段將每個(gè)卷積層替換為可變形的卷積層，最后獲得尺寸為1／4的輸出特征圖，然后將特征圖送入頭部分支。在頭部分支中，包括三個(gè)分支。首先是刻度點(diǎn)檢測(cè)分支，在此分支中預(yù)測(cè)的熱圖中的峰值對(duì)應(yīng)于刻度點(diǎn)的位置，并通過兩個(gè)不同的特征圖將點(diǎn)分類為X軸或Y軸的刻度點(diǎn)。為了恢復(fù)由輸出步幅引起的離散化誤差，在Offset分支中預(yù)測(cè)了修正刻度點(diǎn)位置的偏移量。在第三個(gè)分支中（OTB），預(yù)測(cè)了刻度點(diǎn)到刻度標(biāo)簽文本框中心的偏移，該偏移僅在訓(xùn)練階段使用。

為了訓(xùn)練刻度點(diǎn)檢測(cè)分支，我們使用Focal Loss作為損失函數(shù)來進(jìn)行逐像素邏輯回歸。為了訓(xùn)練Offset分支，我們使用在人臉Landmark定位任務(wù)中提出的Wing Loss，其設(shè)計(jì)目的是提高深度神經(jīng)網(wǎng)絡(luò)針對(duì)中小型誤差的學(xué)習(xí)能力，并使用Smooth L1作為訓(xùn)練OTB分支的損失函數(shù)。

在檢測(cè)出X軸與Y軸上的刻度點(diǎn)后，首先使用線性分布檢查來過濾掉異常檢測(cè)點(diǎn)，然后基于刻度點(diǎn)與標(biāo)簽文本框之間X軸或Y軸的L1距離，將刻度點(diǎn)和標(biāo)簽文本框進(jìn)行匹配。

在Adobe Synth，UB PMC驗(yàn)證集及Test Challenge階段不同實(shí)驗(yàn)得分如表1，2所示，可以看出不使用預(yù)訓(xùn)練模型與添加OTB分支能夠取得更好的得分。最后通過模型融合我們?cè)跍y(cè)試階段分別取得了99．90％與81．28％的成績，取得第一。

表1

表2

賽道五

賽道五將圖例標(biāo)簽文本與圖例中相應(yīng)的樣式元素相關(guān)聯(lián)。我們采用先檢測(cè)圖例元素，然后匹配圖例元素和圖例標(biāo)簽的方法。為了進(jìn)一步提高匹配精度，同時(shí)檢測(cè)圖例對(duì)和圖例元素，圖例對(duì)的檢測(cè)結(jié)果輔助匹配過程。

我們的方法分為三個(gè)步驟：

使用與賽道三相同的方法對(duì)文本框進(jìn)行分類，然后篩選出圖例標(biāo)簽類別的文本框。

用CenterNet ［3］檢測(cè)圖例元素和圖例對(duì)兩個(gè)類別，圖例對(duì)通過合并圖例元素和相應(yīng)文本的邊框獲得。

匹配圖例元素和圖例標(biāo)簽，對(duì)于每個(gè)圖例標(biāo)簽，如果存在圖例元素在同一個(gè)圖例對(duì)中，則該圖例標(biāo)簽和圖例元素配對(duì)，然后使用匈牙利算法匹配剩余的圖例元素和圖例標(biāo)簽。為了減少賽道三的分類錯(cuò)誤對(duì)賽道五結(jié)果的影響，加入了后處理，對(duì)于賽道三的結(jié)果中沒有圖例標(biāo)簽的圖像，如果同時(shí)檢測(cè)到圖例元素和圖例對(duì)，則將圖例元素與所有文本框進(jìn)行匹配。

賽道六

賽道六第一個(gè)子任務(wù)的目標(biāo)，是對(duì)圖表中繪圖區(qū)域中的每個(gè)元素進(jìn)行檢測(cè)和分類，第二個(gè)子任務(wù)輸出用于生成圖表圖像的原始數(shù)據(jù)，且在元素的表示形式中包含框和點(diǎn)兩種類型。我們將對(duì)這兩個(gè)子任務(wù)進(jìn)行整體介紹。

賽道六的評(píng)價(jià)指標(biāo)比較復(fù)雜，概括為采用檢測(cè)到的元素與真實(shí)標(biāo)注元素之間的歐氏距離或者IOU評(píng)價(jià)檢測(cè)的得分，通過每個(gè)分組中的點(diǎn)與真實(shí)標(biāo)注每個(gè)分組中點(diǎn)匹配程度，與提取到的坐標(biāo)軸坐標(biāo)系的數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的誤差，計(jì)算分組得分與數(shù)據(jù)提取得分。

我們分別通過基于框的檢測(cè)算法和基于點(diǎn)的檢測(cè)算法來檢測(cè)元素。為了檢測(cè)框表示的元素，我們使用目標(biāo)檢測(cè)算法CenterNet進(jìn)行檢測(cè)。為了檢測(cè)點(diǎn)表示的元素，我們使用與賽道四中相同的點(diǎn)檢測(cè)算法，并刪除OTB分支。

在解決了檢測(cè)問題之后，為了將檢測(cè)到的元素進(jìn)行分組（比如檢測(cè)到的同一條曲線上的點(diǎn)，應(yīng)該被分為同一組）。對(duì)于水平框和垂直框，我們可以按X軸或Y軸的L1距離對(duì)框進(jìn)行分組，但是對(duì)于“線和散點(diǎn)圖”而言，則更為復(fù)雜。我們分別提取檢測(cè)到的元素的顏色直方圖特征和Hog特征，然后使用K－means對(duì)它們進(jìn)行聚類分組。

通過檢測(cè)我們可以得到元素在圖像坐標(biāo)系中的位置表示，為了獲得繪制圖表圖像時(shí)所使用的原始元素?cái)?shù)據(jù)，我們需要將圖像坐標(biāo)系表示的元素轉(zhuǎn)化為軸坐標(biāo)系表示。經(jīng)過分析，我們將UB PMC數(shù)據(jù)集分為五個(gè)類別，將Adobe Synth數(shù)據(jù)集分為八個(gè)類別，然后分別處理每個(gè)類別。對(duì)于數(shù)據(jù)序列，如果x值為數(shù)字值，則通過插值計(jì)算x軸值。如果x值為字符串值，則使用L1距離查找最接近的字符內(nèi)容。

最終在測(cè)試階段我們使用單模型取得了76．43％與61．18％的得分，位列第三。

參考文獻(xiàn)：

1． Breiman L． Random forests［J］． Machine learning， 2001， 45（1）： 5－32．

2． Ke G， Meng Q， Finley T， et al． Lightgbm： A highly efficient gradient boosting decision tree［C］／／Advances in neural information processing systems． 2017： 3146－3154．

3． Zhou X， Wang D， Kr¨ahenb¨uhl P． Objects as points［J］． arXiv preprint arXiv：1904．07850， 2019．