WBL論文:針對NVM設(shè)計日志記錄及恢復(fù)協(xié)議
后寫日志
Write behind logging
基本思想
NVM的優(yōu)點(diǎn)是可字節(jié)尋址、接近內(nèi)存的高性能、順序訪問和隨機(jī)訪問差距不大。2016年VLDB會議上《write behind logging》論文專門針對NVM設(shè)計了一種新的日志記錄及恢復(fù)協(xié)議。主要思想是去掉了傳統(tǒng)的append only的redo和undo日志,但仍然需要保留undo信息用來回滾未提交事務(wù)。事務(wù)提交前需要將該事務(wù)的所有修改強(qiáng)制刷盤,之后在log中記錄commit標(biāo)記,即這里所說的WBL。恢復(fù)過程中,通過分析commit標(biāo)記將未提交的事務(wù)通過undo信息回滾掉。
而這篇論文在這個思想基礎(chǔ)上又進(jìn)行了一系列優(yōu)化,下面介紹其機(jī)制。首先吐槽一下,這篇論文寫得不是很清晰,理解起來比較困難。下面是深入理解后的機(jī)制,有不當(dāng)?shù)胤竭望指正。
機(jī)制
1、幾個概念
DTT表中元組結(jié)構(gòu):事務(wù)ID+表ID+更改位置
數(shù)據(jù)頁中的元組結(jié)構(gòu):
tuple id+trx id+begin commit時間戳+ end commit時間戳+上個版本號的tuple ID +data
Cp:該時間戳之后的提交的事務(wù)其數(shù)據(jù)不保證已經(jīng)持久化到磁盤
2、一個事務(wù)操作過程
Begin;
執(zhí)行操作,修改DRAM中的數(shù)據(jù)頁
添加一個元祖到DTT表中,該元祖不包括插入后的值
Commit:
1)記錄下各個該事務(wù)的提交時間戳t1
2)掃描DTT表得到該事務(wù)相關(guān)元組
3)計算cp和cd值
4)將DTT表中元組持久化到磁盤,此時元組中加上了提交時間戳t1
5)將cp和cd構(gòu)成的WBL持久化到NVM
6)通知完成組提交,釋放DTT
Rollback:
1)通過DTT中信息進(jìn)行回滾。
3、一個事務(wù)操作過程圖示
若在trx6 commit的時間點(diǎn),系統(tǒng)故障,那么重啟時從WBL日志文件中遍歷得到最后一個WBL即{4,(5,100)},得到活躍的事務(wù)為4,大于5的事務(wù)都未提交。分析到這里恢復(fù)就完成,即可接受新事務(wù)。
但是磁盤上的臟數(shù)據(jù)怎么處理?會啟用一個單獨(dú)的回收線程,掃描表中記錄,若記錄的時間戳大于5,比如事務(wù)6的記錄,他是不可見的,即將它回收掉;對于1,3,2,5都是可見的,不做處理,對于4,他在組提交未提交的事務(wù)鏈表里,也將它回收掉。
4、缺點(diǎn)及疑惑
1)文中沒有詳細(xì)說明記錄是如何回收的,是后續(xù)事務(wù)訪問到進(jìn)行判斷處理,還是說只是另外回收線程全部掃描進(jìn)行判斷。數(shù)據(jù)量如果特別大的話,掃描的代價豈不是很大?全部掃描完后,才將不用的WBL回收掉?
2)如果在高可用場景下,無法滿足要求,仍然需要相應(yīng)的WAL進(jìn)行復(fù)制
3)后續(xù)的可見性判斷比較復(fù)雜,文中沒有詳細(xì)說明
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市