數(shù)據(jù)庫發(fā)展的這50多年以來，聯(lián)機(jī)事務(wù)處理OLTP和聯(lián)機(jī)分析處理OLAP兩條道路上的風(fēng)風(fēng)雨雨，源自用戶需求的驅(qū)動，也經(jīng)歷了漫長的“融合－分離－再融合”的演進(jìn)過程。

但是，在沒有出現(xiàn)新一代HTAP數(shù)據(jù)庫前，想要實(shí)現(xiàn)數(shù)據(jù)敏捷卻很困難。為什么？

實(shí)際上，在同時(shí)支持OLTP和OLAP場景的HTAP數(shù)據(jù)庫技術(shù)迭代之路上，一直存在著“改革派”與“改良派”兩大陣營，他們從兩條路徑上探索著“數(shù)據(jù)敏捷”。

“改良派”基于結(jié)合中間件的模式來實(shí)現(xiàn)“OLTP＋OLAP”的HTAP，在規(guī)模擴(kuò)展與性能提升兩個重要方面都受限。一方面，基于中間件實(shí)現(xiàn)的HTAP，其數(shù)據(jù)必須匯聚到中間件節(jié)點(diǎn)，然后再執(zhí)行，速度必然就上不來，難以實(shí)現(xiàn)高性能；另一方面，數(shù)據(jù)節(jié)點(diǎn)之間靠中間件來匯聚實(shí)現(xiàn)交互，數(shù)據(jù)節(jié)點(diǎn)也就成了孤島，規(guī)�；瘮U(kuò)展受限不說，分布式事務(wù)也難以支持。

作為HTAP數(shù)據(jù)庫最早的改革派代表之一，SAP HANA 通過內(nèi)存數(shù)據(jù)庫實(shí)現(xiàn)了強(qiáng)大的混合負(fù)載能力，實(shí)現(xiàn)了很高的性能，快是快，但數(shù)據(jù)量有限，畢竟基于單一存儲架構(gòu)，在規(guī)�；瘮U(kuò)展上容易受限。更令眾多用戶望而卻步的是HANA“貴且專有”，僅在使用SAP的大企業(yè)有少量用戶。因而，這一代HTAP并沒有真正擴(kuò)展起來，也并沒有流行成為數(shù)據(jù)庫行業(yè)大趨勢。

因?yàn)檫@些不足，所以這類數(shù)據(jù)庫廠商也很難構(gòu)建出數(shù)據(jù)敏捷（Data Agility）的能力。

近年來，隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)爆炸式的狂增，海量、實(shí)時(shí)、在線的需求越來越廣泛，大量采用MySQL和PostgreSQL（PG）開源數(shù)據(jù)庫的新一代企業(yè)，在針對提升熱數(shù)據(jù)的實(shí)時(shí)在線分析能力上有著強(qiáng)烈的需求，特別是從事線上業(yè)務(wù)的數(shù)字化轉(zhuǎn)型企業(yè)，這類需求尤為強(qiáng)烈。比如電商、游戲、數(shù)字媒體、金融科技、網(wǎng)絡(luò)安全等互聯(lián)網(wǎng)和數(shù)字化業(yè)務(wù)，其新鮮數(shù)據(jù)的實(shí)時(shí)分析能力，強(qiáng)化了數(shù)據(jù)敏捷，在很大程度上直接決定了企業(yè)未來發(fā)展的興衰存亡。因?yàn)橹挥袠?gòu)建了數(shù)據(jù)敏捷，才能實(shí)現(xiàn)業(yè)務(wù)敏捷。

當(dāng)新一代HTAP的發(fā)展成為全球數(shù)據(jù)庫行業(yè)中的大趨勢之時(shí)，以Google Cloud谷歌云的AlloyDB、Snowflake的Unistore、PingCAP的TiDB等為代表的新一代“改革派”，不僅打破了過去OLTP和OLAP兩大典型應(yīng)用場景的傳統(tǒng)定位，獲得了強(qiáng)大的數(shù)據(jù)實(shí)時(shí)處理和分析計(jì)算能力，而且基于分布式架構(gòu)，實(shí)現(xiàn)了傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫難以實(shí)現(xiàn)的高性能、高擴(kuò)展與實(shí)時(shí)處理能力。與此同時(shí)，“改革派”讓數(shù)據(jù)敏捷（Data Agility）成為了HTAP數(shù)據(jù)庫發(fā)展的關(guān)鍵詞。

目前，有兩大重要原因正在改變著新一代HTAP的市場需求和技術(shù)環(huán)境。一是來自用戶實(shí)際的實(shí)時(shí)分析需求在攀升，特別是MySQL和PG開源數(shù)據(jù)庫用戶對于實(shí)時(shí)分析的需求在激增，迫切需要擁有HTAP的能力。二是，近些年來隨著公有云的快速迭代發(fā)展，企業(yè)上云從剛需再到全面加速應(yīng)用落地，分布式與云原生的疊加效應(yīng)，也正在加速重構(gòu)企業(yè)數(shù)據(jù)架構(gòu)，并進(jìn)一步影響著HTAP數(shù)據(jù)庫的發(fā)展。

應(yīng)盡其用，充分展現(xiàn)數(shù)據(jù)敏捷的行業(yè)價(jià)值

正如PingCAP CEO劉奇之前所言，一個好的數(shù)據(jù)庫不是寫出來的，而是靠用出來的。在HTAP賽道上，國內(nèi)外的選手也越來越多，數(shù)據(jù)庫行業(yè)“HTAP化”趨勢日益明顯，那么新一代HTAP數(shù)據(jù)庫究竟適合哪些用戶呢？

在早期還沒有誕生新一代HTAP數(shù)據(jù)庫之時(shí)，MySQL和PostgreSQL可以滿足用戶的基本需求，在較小規(guī)模數(shù)據(jù)量情況下MySQL 數(shù)據(jù)庫可以應(yīng)對OLTP實(shí)時(shí)業(yè)務(wù)的挑戰(zhàn)。

后來數(shù)據(jù)倉庫興起，諸如數(shù)據(jù)倉庫（Data Warehouse）、數(shù)據(jù)湖（Data Lake）、湖倉一體（Data Lakehouse）等大數(shù)據(jù)技術(shù)可以處理大規(guī)模的數(shù)據(jù)量，但無法實(shí)現(xiàn)在線服務(wù)，可以想象一下，要將Hadoop直接當(dāng)做一個OLTP數(shù)據(jù)庫平臺去用，將是多么尷尬的事情。再者，大數(shù)據(jù)棧要為用戶提供毫秒級別的響應(yīng)，也是挑戰(zhàn)不小。

但是，新一代HTAP數(shù)據(jù)庫誕生后，在擴(kuò)展性、TP與AP融合的HTAP兩個方面得到充分發(fā)揮，成功開辟并構(gòu)建了一個數(shù)據(jù)敏捷（Data Agility）的數(shù)據(jù)庫發(fā)展區(qū)域。以此定位，將為用戶提供更簡單、更易用的新一代HTAP數(shù)據(jù)庫，這也成為了TiDB的定位。

事實(shí)上，全球已有眾多MySQL應(yīng)用開發(fā)者，他們都需要更具備數(shù)據(jù)敏捷（Data Agility）的數(shù)據(jù)庫來承載。因此，新一代HTAP數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫對比有錯明確的錯位。包括Databricks、MongoDB、Confluent、Snowflake、PingCAP等廠商，都基于云生態(tài)而發(fā)展，而得以彰顯其價(jià)值。TiDB也成為了云生態(tài)的受益者，發(fā)布了全托管的數(shù)據(jù)庫即服務(wù)（DBaaS）產(chǎn)品TiDB Cloud，為企業(yè)用戶提供開箱即用的TiDB服務(wù)。同時(shí)TiDB還陸續(xù)上線了亞馬遜云科技與谷歌云的Marketplace，以及阿里云云市場。

在更完整的生態(tài)對接方面，數(shù)據(jù)庫從來都不是單獨(dú)被使用的，而TiDB也在持續(xù)改進(jìn)和生態(tài)環(huán)境的對接。在新版本中，TiDB引入了用戶級別鎖和TiCDC下的Avro格式向Kafka同步數(shù)據(jù)的支持。TiDB從6．1版本開始支持兼容MySQL的用戶級別鎖管理，支持GET＿LOCK、RELEASE＿LOCK、RELEASE＿ALL＿LOCKS 等鎖管理函數(shù)，這使得TiDB得以更好支持現(xiàn)有 ORM框架的生態(tài)。尤其在數(shù)據(jù)敏捷（Data Agility）方面，TiCDC工具表現(xiàn)出色，支持將TiDB數(shù)據(jù)庫的增量數(shù)據(jù)轉(zhuǎn)換為Avro格式，并發(fā)送到Kafka的方式，這將使得TiDB數(shù)據(jù)庫與Kafka、Snowflake、SQL Server等眾多生態(tài)系統(tǒng)都連接起來。從而實(shí)現(xiàn)對常用的數(shù)據(jù)格式的支持，降低開發(fā)復(fù)雜度。

全球云觀察分析指出，近年來，TiDB快速發(fā)展并獲得先發(fā)優(yōu)勢的秘籍，必然就在于將“數(shù)據(jù)規(guī)模高擴(kuò)展性與數(shù)據(jù)處理實(shí)時(shí)性”得以有機(jī)結(jié)合，未來也將充分展現(xiàn)出數(shù)據(jù)敏捷（Data Agility）定位的行業(yè)應(yīng)用價(jià)值。

Scalability x HTAP雖好，也需要兩大生態(tài)的助攻

然而，Scalability x HTAP雖好，也需要開源和云兩大生態(tài)助攻。

開源優(yōu)勢在于擁有開放生態(tài)，敏捷創(chuàng)新與更快迭代速度。不過，在PingCAP聯(lián)合創(chuàng)始人兼CTO黃東旭看來，真正的迭代速度或者說更有價(jià)值、更有意義的迭代速度在于開源軟件如何幫助應(yīng)用開發(fā)者更快地開發(fā)出新應(yīng)用。

在這之前，PingCAP推出一個OSS Insight．io的開源項(xiàng)目，采用了46億個GitHub事件數(shù)據(jù)來構(gòu)建，開源社區(qū)開發(fā)者可以憑借這個OSS Insight開源項(xiàng)目分析工具，多維度深入洞察開源項(xiàng)目的健康狀況，從而獲得有用的價(jià)值分析。值得關(guān)注的是，PingCAP只用了兩個人一周時(shí)間，就成功構(gòu)建了整個OSS insight網(wǎng)站，其背后卻只有一個 TiDB Cloud 支撐其在線數(shù)據(jù)、所有數(shù)據(jù)的分析以及圖表等應(yīng)用。

可見，通過開源數(shù)據(jù)庫與云服務(wù)融合發(fā)展，新一代HTAP數(shù)據(jù)庫能夠極大降低應(yīng)用開發(fā)的復(fù)雜性，加速開發(fā)進(jìn)程，為應(yīng)用和業(yè)務(wù)贏得更多的時(shí)間，從而助力數(shù)字化企業(yè)趕超行業(yè)對手，占得市場先機(jī)。

在過去幾年中，開源與多云的融合發(fā)展，已經(jīng)凸顯出來了三個關(guān)鍵技術(shù)賽道，包括云原生、數(shù)據(jù)技術(shù)和人工智能，新一代HTAP數(shù)據(jù)庫已經(jīng)融合了這三大關(guān)鍵技術(shù)，并以云服務(wù)方式對外發(fā)展。

基于開源的開放性，通過云原生的靈活性，發(fā)揮公有云帶來的低門檻、更快速、更有業(yè)務(wù)友好性，通過與公有云合作，新一代HTAP數(shù)據(jù)庫在第三方云平臺的公有云上部署，可以應(yīng)對當(dāng)前企業(yè)出海，走向全球化發(fā)展面臨的數(shù)據(jù)挑戰(zhàn)。

然而，并非所有的企業(yè)都會將自己的應(yīng)用全部上公有云。在發(fā)展to B業(yè)務(wù)過程中，大家也清醒地認(rèn)識到一個事實(shí)，在國內(nèi)的中大型用戶，基本上都采用的是1＋N的部署模式，既采用自己數(shù)據(jù)中心的私有部署模式，同時(shí)又在公有云上部署，面向全球發(fā)展出海業(yè)務(wù)。為此，一種經(jīng)典的SQL體驗(yàn)，多種部署形態(tài)的新一代HTAP數(shù)據(jù)庫將更利于企業(yè)用戶業(yè)務(wù)發(fā)展需要，并助力加速企業(yè)數(shù)字化創(chuàng)新。這也是TiDB發(fā)版策略變化的原因所在。

不同于之前DMR開發(fā)里程碑版，PingCAP最新推出了LTS長期支持版TiDB 6．1，采取長期支持版＋開發(fā)里程碑版的發(fā)版方式，對外提供服務(wù)。TiDB可以最大限度兼顧用戶的快速迭代和穩(wěn)定投產(chǎn)兩大需求。在沒有特定需求開發(fā)的情況下，用戶可以選擇最新的LTS版本投產(chǎn)；如果需求某個DMR發(fā)布的新功能，則可以選擇該版本進(jìn)行 PoC以及試運(yùn)行，待到對應(yīng)的LTS版本發(fā)布后升級TiDB到穩(wěn)定生產(chǎn)狀態(tài)。

全球云觀察分析認(rèn)為，部署在多云架構(gòu)上，還保持著開源快速迭代的數(shù)據(jù)庫服務(wù)，可以同時(shí)滿足多種企業(yè)級部署模式，提供靈活更多元的開源數(shù)據(jù)庫應(yīng)用選擇，來滿足企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的需要。在很大程度上，這更利于實(shí)現(xiàn)數(shù)據(jù)敏捷的行業(yè)價(jià)值，體現(xiàn)出了一個開源數(shù)據(jù)庫廠商重塑行業(yè)格局的決心與信心。從社區(qū)走向商業(yè)化，從互聯(lián)網(wǎng)行業(yè)走向企業(yè)級to B、to G，TiDB也邁向了企業(yè)級發(fā)展的新階段。

此外，在堅(jiān)持開源開放生態(tài)與云生態(tài)融合制勝的同時(shí)，TiDB也不斷在降低應(yīng)用門檻。一是，成為MySQL生態(tài)圈更好的鄰居。二是，基于開源與云的融合發(fā)展趨勢，持續(xù)兼容更多的生態(tài)組件和生態(tài)產(chǎn)品。未來，TiDB將與整個MySQL生態(tài)和云生態(tài)協(xié)同協(xié)作，助力企業(yè)構(gòu)建創(chuàng)新業(yè)務(wù)構(gòu)架和實(shí)現(xiàn)創(chuàng)新的技術(shù)目標(biāo)。

源于開源帶來的開放性，通過開源數(shù)據(jù)庫天然和大數(shù)據(jù)生態(tài)集成，TiDB在增強(qiáng)跨云能力的同時(shí)，也對上游向上結(jié)合人工智能算法技術(shù)生態(tài)，進(jìn)一步強(qiáng)化“AI For DB”的能力，向下與云原生的生態(tài)融合，面向應(yīng)用開發(fā)生態(tài)，強(qiáng)化數(shù)據(jù)敏捷的綜合能力。

全球云觀察分析指出，融合開源和云兩個生態(tài)的價(jià)值，TiDB從第三方云平臺的公有云部署，到純托管的TiDB Cloud部署，再到LTS企業(yè)穩(wěn)定版私有部署，提供了一致的SQL經(jīng)典體驗(yàn)，聚焦了用戶價(jià)值的每一個環(huán)節(jié)，滿足數(shù)字原生企業(yè)和數(shù)字轉(zhuǎn)型企業(yè)的廣泛需求。V6版的發(fā)布，對重塑行業(yè)格局帶來了積極的意義，使能行業(yè)數(shù)據(jù)價(jià)值釋放，新一代HTAP數(shù)據(jù)庫令業(yè)界刮目相看。因此，在開源和云兩大生態(tài)助攻下，基于Scalability x HTAP的數(shù)據(jù)敏捷發(fā)展區(qū)間的創(chuàng)新構(gòu)建，HTAP數(shù)據(jù)庫“改革派”必將迎來新數(shù)據(jù)時(shí)代發(fā)展的春天。

小結(jié)：不容小覷，依然面臨四大挑戰(zhàn)

當(dāng)前，HTAP概念雖然很火，新一代HTAP數(shù)據(jù)庫也開辟了數(shù)據(jù)敏捷的發(fā)展新區(qū)域，但是我們?nèi)绻�理性地看，不難發(fā)現(xiàn)HTAP一直還沒有成為主流應(yīng)用，原因是什么？全球云觀察總結(jié)指出主要有四大挑戰(zhàn)，不容小覷。

其一，應(yīng)用場景仍在探索。眾多用戶不知道什么場景下什么時(shí)候用HTAP，雖然互聯(lián)網(wǎng)企業(yè)有實(shí)時(shí)數(shù)據(jù)分析的明確需求，但是尚有很多傳統(tǒng)企業(yè)還不知道如何利用實(shí)時(shí)數(shù)據(jù)來提升業(yè)務(wù)價(jià)值。

其二，應(yīng)用門檻高。在公有云領(lǐng)域應(yīng)用最廣泛的還是RDS，即Relational Database Service在線關(guān)系型數(shù)據(jù)庫服務(wù)，而HTAP較少。目前大多數(shù)HTAP數(shù)據(jù)庫是商業(yè)數(shù)據(jù)庫和開源數(shù)據(jù)庫，以私有部署為主，需要用戶采購服務(wù)器，既要懂得HTAP數(shù)據(jù)庫應(yīng)用部署，又要懂得基礎(chǔ)設(shè)施架構(gòu)，有一定的應(yīng)用門檻。不過，在HTAP與云原生結(jié)合之后，多云化帶來部署門檻降低，公有云優(yōu)勢與HTAP數(shù)據(jù)庫優(yōu)勢都將雙雙凸顯。

其三，架構(gòu)人員亟待調(diào)整。以前在用戶實(shí)際應(yīng)用中，大數(shù)據(jù)技術(shù)棧使用比較多，DBA運(yùn)維部門與大數(shù)據(jù)部門，即TP和AP的組織架構(gòu)獨(dú)立，長期以來是兩個部門在維護(hù)不同的技術(shù)棧，現(xiàn)在HTAP正在改變用戶的技術(shù)架構(gòu)和組織架構(gòu)，一棧式模式帶來了架構(gòu)人員統(tǒng)一的解決之道。

其四，新一代HTAP數(shù)據(jù)庫廠商風(fēng)起云涌。如谷歌云、Snowflake、亞馬遜云科技、PingCAP等都在發(fā)力新一代HTAP數(shù)據(jù)庫，聚焦數(shù)據(jù)敏捷的發(fā)展新格局，大家都想去推動行業(yè)洗牌，重塑行業(yè)格局。

       原文標(biāo)題 : 數(shù)據(jù)敏捷，HTAP數(shù)據(jù)庫既決效率又決生死