聯(lián)邦學(xué)習(xí)開源社區(qū)FATE年末升級:首度支持縱向聯(lián)邦神經(jīng)網(wǎng)絡(luò)算法
近兩年來,聯(lián)邦學(xué)習(xí)發(fā)展迅速,其作為分布式的機(jī)器學(xué)習(xí)范式,能夠有效解決數(shù)據(jù)孤島問題,讓參與方在不共享數(shù)據(jù)的基礎(chǔ)上聯(lián)合建模,從技術(shù)上打破數(shù)據(jù)孤島,實現(xiàn)AI協(xié)作。而FATE作為聯(lián)邦學(xué)習(xí)全球首個工業(yè)級開源框架,支持聯(lián)邦學(xué)習(xí)架構(gòu)體系,為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)提供了高性能聯(lián)邦學(xué)習(xí)機(jī)制。此外,其自身還支持多種多方安全計算協(xié)議,如同態(tài)加密、秘密共享、哈希散列等,具有友好的跨域交互信息管理方案。
近日,F(xiàn)ATE 1.2版本正式發(fā)布。在這一版本中,F(xiàn)ATE推出了兩大重量級的更新項——對縱向聯(lián)邦DNN的支持,及對多方安全計算SPDZ協(xié)議的支持。作為首個支持縱向聯(lián)邦神經(jīng)網(wǎng)絡(luò)算法的版本,開發(fā)者在縱向聯(lián)邦建模的分類、回歸、排序等場景下都可以明顯感受到其支持性。而SPDZ秘密共享安全計算協(xié)議的支持,進(jìn)一步拓展和豐富FATE應(yīng)用場景。
在之前的1.0大版本中,F(xiàn)ATE上線了首個可視化聯(lián)邦學(xué)習(xí)產(chǎn)品與聯(lián)邦pipeline生產(chǎn)服務(wù)。而在1.1大版本中,F(xiàn)ATE聯(lián)合VMware中國研發(fā)開放創(chuàng)新中心云原生實驗室的團(tuán)隊一起搞了個“大事”——發(fā)布了KubeFATE項目,通過把FATE的所有組件用容器的形式封裝,實現(xiàn)了使用Docker Compose或Kubernetes(Helm Charts)來部署。前兩個版本分別在可視化使用體驗及部署體驗上做了重點提升,而FATE v1.2 版本則回歸至算法本身,進(jìn)一步拓展其支持性。除兩大重量級更新項以外,還新增了如二階優(yōu)化方法-縱向SQN、數(shù)據(jù)管理模塊等功能,前者能夠顯著提升縱向邏輯回歸和縱向線性回歸收斂效率,對算法加速起到關(guān)鍵作用。后者則用于記錄upload的數(shù)據(jù)表及Job運行中模型的輸出結(jié)果,并提供查詢以及清理CLI。
FederatedML: 開啟縱向聯(lián)邦深度學(xué)習(xí)和多種多方安全計算協(xié)議支持之旅
在FATE 1.2版本中,首次對外發(fā)布了縱向聯(lián)邦深度學(xué)習(xí)框架,開啟了FATE對深度學(xué)習(xí)聯(lián)邦化的支持,開發(fā)者可以自定義深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。目前版本已支持Tensorflow, 后續(xù)會推出Pytorch版本,便于開發(fā)者低代價遷移Tensorflow和Pytorch的使用習(xí)慣和經(jīng)驗。
在這一版本中,F(xiàn)ATE實現(xiàn)了SPDZ秘密共享多方安全計算協(xié)議的支持,這意味在現(xiàn)有同態(tài)加密協(xié)議的基礎(chǔ)上,F(xiàn)ATE能為開發(fā)者提供更多樣化的多方安全計算協(xié)議支持。開發(fā)者們可根據(jù)自身算法的特點,自由選擇適合自身算法的多方安全計算協(xié)議,聯(lián)邦學(xué)習(xí)的可應(yīng)用范圍得到進(jìn)一步拓展。值得說明的是,在縱向皮爾遜特征相關(guān)性計算算法實現(xiàn)中,首次使用了SPDZ協(xié)議。
此外,算法性能優(yōu)化方面, 新版本也首次引入二階優(yōu)化算法,提出了縱向SQN算法,并成功應(yīng)用在縱向廣義線性模型中,對算法性能有顯著提升。特征分箱和特征選擇新增對多方host聯(lián)邦建模的支持,開始全方位的支持多host場景。
FATE-Board:兩大可視化支持,實用性再提升
自1.0版本推出FATE-Board以來,這一產(chǎn)品受到了開發(fā)者廣泛好評。而在1.2版本中,F(xiàn)ATE也對FATE-Board再次進(jìn)行了提升,新增了對聯(lián)邦模式下特征相關(guān)性,以及LocalBaseline組件的可視化支持。前者能夠直觀地分析特征之間的相關(guān)性分布情況,從而幫助開發(fā)者快速進(jìn)行判斷與特征選擇。而后者則可以讓開發(fā)者將基于聯(lián)邦訓(xùn)練的模型與基于sklearn訓(xùn)練的模型結(jié)果進(jìn)行直接對比,并從可視化報告對比中得出相關(guān)結(jié)論。
此外,這一版本的FATE-Board在用戶體驗方面也有了重大的提升,如工作流、模型輸出圖表圖形、評估曲線等,都高度優(yōu)化了可視化效果及交互操作,并增強(qiáng)了實用性。在使用中相信能讓開發(fā)者體驗再上一層樓。
FATE-Flow:FATE數(shù)據(jù)管理模塊,開啟數(shù)據(jù)治理之路
在FATE 1.2版本中,F(xiàn)ATE新增加了數(shù)據(jù)管理模塊,這將成為開啟數(shù)據(jù)治理的第一步。從這一版本開始,在整個Job生命周期產(chǎn)生的數(shù)據(jù)都有跡可循了。此外,數(shù)據(jù)管理模塊提供了諸如查詢、刪除等常用管理命令,這也極大地增強(qiáng)了開發(fā)者對數(shù)據(jù)的掌控能力。
總的來說,F(xiàn)ATE在1.2這一版本中,開啟了對新領(lǐng)域的進(jìn)一步拓展。無論是對縱向聯(lián)邦深度學(xué)習(xí)框架,還是多方安全計算SPDZ協(xié)議的支持,都是在打磨底層框架,為未來FATE能支持更多應(yīng)用場景提供一種可能。從這一版本也可以看出,除新功能外,F(xiàn)ATE對已有建模組件也在持續(xù)不斷地優(yōu)化和改進(jìn),致力于在效率,多樣性和實用性上,為開發(fā)者提供更加優(yōu)質(zhì)的服務(wù)體驗。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市