ECCV 2020 | Post-Training Quantization
ECCV 2020 已經(jīng)拉開帷幕!今天,小編要給大家分享的是來自三星團(tuán)隊的 Oral Presentation:
標(biāo)題: Post-Training Piecewise Linear Quantization for Deep Neural Network
作者:Jun Fang, Ali Shafiee, Hamzah Abdel-Aziz, David Thorsley, Georgios Georgiadis, Joseph Hassoun
近年來深度神經(jīng)網(wǎng)絡(luò)在很多的問題中,通過加大模型的深度、寬度或分辨度,取得了越來越高的精度。但與此同時也增加了模型的計算復(fù)雜度和內(nèi)存需求,從而導(dǎo)致在資源有限的嵌入式設(shè)備上來部署這些模型應(yīng)用變得更加困難。
量化 (Quantization)是一種非常實際有用的壓縮和加速模型的方法。它通過轉(zhuǎn)換模型的 32 位浮點(FP32)weights和activations到低精度的整數(shù)(比如 INT8),從而通過整數(shù)運算來近似原始的浮點運算模型達(dá)到壓縮和加速的效果。
然而在具體的實際應(yīng)用中,Post-Training Quantization 是非常重要的。因為它不需要重新訓(xùn)練模型的參數(shù),所以節(jié)省了非常耗費資源的調(diào)參過程;同時它也不需要訪問訓(xùn)練數(shù)據(jù),從而保護(hù)了數(shù)據(jù)的隱私性。在 Post-Training Quantization 的研究工作中,Uniform Quantization 是最受歡迎的方法。眾多研究表明,8-bit Uniform Quantization 就可以保持大部分的模型精度,但是如果降到 4-bit,精度會有非常顯著的損失。
此篇文章就是分析了 4-bit 精度損失的具體原因,并提出了他們的 Piecewise Linear Quantization(PWLQ)的方法來顯著的提高量化后模型的精度。如下圖所示,訓(xùn)練完的模型的 weights 的分布并不是平均分布,而是近似于高斯分布:絕大多數(shù)的 weights 都集中于中心地帶,而少數(shù)的 weights 分散在稀疏的連邊上。可想而知,Uniform Quantization 對于這種分布的近似殘差不是最優(yōu)的。而 PWLQ 把分布區(qū)間分為沒有重疊的 center 和 tail 兩部分,每部分分配相同的量化格點數(shù)。這樣一來會導(dǎo)致中間部分的近似精度提高,而兩邊的近似精度下降,但因為絕大部分的 weights 都分布在中間部分,所以整體的近似精度還是會得到提高。
接下來,問題的關(guān)鍵在于怎么找到最優(yōu)的區(qū)分點(breakpoint),PWLQ 是通過最小化這種分布的近似殘差來得以選取。文章提供了具體的理論證明和下圖的數(shù)值模擬:近似的殘差是關(guān)于區(qū)分點的凹函數(shù)(Convex Function),所以這個最優(yōu)區(qū)分點是唯一存在的。
為了加快 Inference,文中提供了找到區(qū)分點的 one-shot 的公式。在數(shù)值實驗中,如下圖的三種模型 Inception-v3,ResNet-50 和 MobileNet-v2 在 ImageNet 的結(jié)果上,PWLQ 比 Uniform Quantization 有著明顯的更高精度。尤其在 4-bit MobileNet-v2 的對比上,PWLQ 有高出 27.42% 的精度,由此可見 PWLQ 有著更強大的 representational power。
同時文中也做出了 PWLQ 和其他 state-of-the-art 的方法對比。如下圖所示,在 4/8 的情況下,PWLQ 比 LBQ(ICCV 2019)和 ACIQ(NeurIPS 2019)分別取得 0.40% 和 7.96% 的更高精度;在 4/4 的情況下,PWLQ 獲得更高精度的優(yōu)勢更加顯著。與此同時,PWLQ 不僅在 classification 的任務(wù)中取得好結(jié)果,在 segmentation 和 detection 任務(wù)上也得到了相似的好結(jié)果。
最后讓筆者感到欣喜的是文中不僅僅有展示 PWLQ 取得更好精度的優(yōu)勢所在,同時也有真誠討論 PWLQ 的不足之處。比如,PWLQ 的具體硬件實現(xiàn)中會帶來一定的額外消耗,下圖是作者給出的關(guān)于硬件 Latency 和 Energy 的具體模擬參數(shù)來說明這些額外消耗是可以接受的。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市