數(shù)據(jù)庫可以根據(jù)其存儲結(jié)構(gòu)、存儲內(nèi)容的類型和應(yīng)用方向等多種方式進(jìn)行分類。最常見的按存儲結(jié)構(gòu)進(jìn)行分類,大致可分為關(guān)系型、非關(guān)系型和多模數(shù)據(jù)庫。當(dāng)然有的數(shù)據(jù)庫公司可能有多種類型的數(shù)據(jù)庫產(chǎn)品,如Oracle、Microsoft等,在此按他們最主流的產(chǎn)品進(jìn)行劃分。
部分典型數(shù)據(jù)庫按存儲結(jié)構(gòu)分類
關(guān)系型數(shù)據(jù)庫:也是大家最熟悉的數(shù)據(jù)庫之一,包含如Oracle、MySQL、IBM DB2、SQL Server等傳統(tǒng)關(guān)系型數(shù)據(jù)庫,也包含通常用于做數(shù)據(jù)分析的MPP數(shù)據(jù)庫(Massively Parallel Processing,大規(guī)模并行處理)如Greenplum、Vertica、Teradata等,當(dāng)然這些MPP數(shù)據(jù)庫也往往被大家稱之為數(shù)據(jù)倉庫。另外一些NewSQL數(shù)據(jù)也依然保持了關(guān)系型數(shù)據(jù)庫的這一特點。
非關(guān)系型數(shù)據(jù)庫:近年來發(fā)展迅速的非關(guān)系型數(shù)據(jù)也越來越多樣,如幾乎每一家互聯(lián)網(wǎng)公司都會用到的Key-Value(鍵值對)數(shù)據(jù)庫Redis,用于高并發(fā)情形下進(jìn)行緩存處理;擅長于存儲樹形結(jié)構(gòu)的文檔數(shù)據(jù)庫MongoDB;近年來AI發(fā)展帶來的用于處理和存儲知識圖譜的圖數(shù)據(jù)庫Neo4j、GraphDB;用于大數(shù)據(jù)批量數(shù)據(jù)處理和即時查詢的列式存儲;針對物聯(lián)網(wǎng)時序場景的時間序列數(shù)據(jù)庫InfluxDB等。
多模數(shù)據(jù)庫:由于數(shù)據(jù)本身形態(tài)多樣,兼容不同數(shù)據(jù)格式的多模數(shù)據(jù)庫也越來越被大家重視。一些傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或者NoSQL數(shù)據(jù)也開始支持多種數(shù)據(jù)結(jié)構(gòu)的存儲,如Oracle和Redis都支持文檔結(jié)構(gòu)的存儲方式。
前面也提到數(shù)據(jù)倉庫的概念,其實關(guān)于數(shù)據(jù)庫和數(shù)據(jù)倉庫有一個更好的定義區(qū)分就是大家經(jīng)常聽到的OLTP(聯(lián)機(jī)事務(wù)處理,On-Line Transaction Processing)和OLAP(聯(lián)機(jī)分析處理,On-Line Analytical Processing)。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用,主要面向日常的高可用的事務(wù)處理,增刪改查,例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用場景,以查詢?yōu)橹,支持?fù)雜的分析操作,側(cè)重決策支持,并且提供直觀易懂的查詢結(jié)果。數(shù)據(jù)倉庫本身除了傳統(tǒng)的如Teradata、Greenplum等MPP架構(gòu),也有近年來比較火熱的基于Hadoop架構(gòu)/HDFS文件系統(tǒng)的上層查詢引擎。另外,新一代基于文件的分布式搜索和分析引擎Elastic Search也成為數(shù)據(jù)分析的標(biāo)配。
數(shù)據(jù)庫并不平坦的商業(yè)化之路
提到商業(yè)化數(shù)據(jù)庫就不得提傳統(tǒng)四大廠商Oracle、IBM、Microsoft、SAP,他們的關(guān)系型數(shù)據(jù)庫曾經(jīng)一度占據(jù)了商業(yè)數(shù)據(jù)庫市場超90%的市場規(guī)模(來源:Gartner2016年數(shù)據(jù))。但近年來數(shù)據(jù)類型的多樣性發(fā)展,也催生了一系列其他類型的數(shù)據(jù)庫,對傳統(tǒng)商業(yè)數(shù)據(jù)進(jìn)行替代或者部分替代,比如在銀行領(lǐng)域開始嘗試對一些非核心業(yè)務(wù)使用開源或者國產(chǎn)解決方案。這些都一定程度上搶占了國外傳統(tǒng)數(shù)據(jù)庫廠商的份額,使得其市場規(guī)模呈現(xiàn)不增反降的趨勢。
同樣在OLAP領(lǐng)域,傳統(tǒng)分析型數(shù)據(jù)庫市場規(guī)模也面臨挑戰(zhàn)。近年來以Hadoop技術(shù)來構(gòu)建的數(shù)據(jù)倉庫解決方案也蠶食了不少傳統(tǒng)如TeraData(目前市值超50億美金)等基于MPP架構(gòu)的市場規(guī)模。
再來看新型數(shù)據(jù)庫的變現(xiàn)能力:成立于2007年的文檔數(shù)據(jù)庫MongoDB于2017年在納斯達(dá)克上市(目前市值約80億美金),近幾年收入增長迅速,每年收入增長率均超過50%。但公司整體收入?yún)s不高,其2018年收入為2.67億美金,這本身也和其商業(yè)模式相關(guān)。MongoDB以開源方式進(jìn)入市場,迅速積累了大量用戶,并于2013年推出自己的商業(yè)化版本,用更好的工具和服務(wù)來進(jìn)行商業(yè)化變現(xiàn),但依然有絕大多數(shù)客戶使用其社區(qū)版本。由于其數(shù)據(jù)庫最初的定位和設(shè)計也讓它暫時無法撼動傳統(tǒng)關(guān)系型數(shù)據(jù)庫的地位。
DB-Engines網(wǎng)站根據(jù)不同數(shù)據(jù)庫在網(wǎng)頁、Google Query、技術(shù)社區(qū)、人員招聘等被提到的頻次對其進(jìn)行綜合打分做了現(xiàn)有數(shù)據(jù)庫系統(tǒng)的受歡迎度排名?梢钥闯鰜韨鹘y(tǒng)關(guān)系型數(shù)據(jù)庫如Oracle、MySQL、SQL Server等依然保持較高的搜索頻度,而新型數(shù)據(jù)庫/搜索引擎如Redis、MongoDB、ElasticSearch、Hive等則越來越被大家關(guān)注。而這其中如PostgreSQL、Redis、ES、Hive等大量的開源數(shù)據(jù)庫/引擎近年來快速增長對商業(yè)化數(shù)據(jù)庫的沖擊也是影響商業(yè)數(shù)據(jù)庫收入增長的重要原因之一。
除了獨立上市,在海外軟件和數(shù)據(jù)庫企業(yè)被收購也是常見的一種退出方式。在數(shù)據(jù)庫領(lǐng)域,歷史上發(fā)生的數(shù)據(jù)庫收購案例超過35次,而單筆最大的要數(shù)SAP以58億美金收購美國的關(guān)系型數(shù)據(jù)庫Sybase了。
上文提到的絕大多數(shù)數(shù)據(jù)庫都是由國外廠商甚至國外個人開發(fā)出來,能稱上優(yōu)秀的國產(chǎn)數(shù)據(jù)庫寥寥無幾,這其中一方面是基礎(chǔ)軟件人才的缺失導(dǎo)致企業(yè)技術(shù)和產(chǎn)品的研發(fā)能力不足,另一方面缺乏優(yōu)質(zhì)客戶的早期陪跑也讓國產(chǎn)數(shù)據(jù)庫的升級迭代舉步維艱。
1978年Oracle推出第一版數(shù)據(jù)庫時,我國才剛剛恢復(fù)高考。而計算機(jī)在國內(nèi)開始被大家大規(guī)模熟知也是在上世紀(jì)90年代,到現(xiàn)在才短短幾十年的歷史。近年來由于互聯(lián)網(wǎng)的興起帶動國內(nèi)IT從業(yè)人員的大幅增長,但主要的開發(fā)者還是集中在上層應(yīng)用和功能性軟件的開發(fā)。對于底層軟件的研發(fā)難度也讓大多IT企業(yè)和從業(yè)人員望而卻步。
產(chǎn)品研發(fā)周期長
數(shù)據(jù)庫是基礎(chǔ)性軟件,好比汽車的引擎一樣,是系統(tǒng)的關(guān)鍵部件,具有“牽一發(fā)而動全身“的特性。這要求數(shù)據(jù)庫本身有高穩(wěn)定性、強容錯性和高安全性,因此數(shù)據(jù)庫的開發(fā)不僅僅需要大量研發(fā)人員的長期投入,往往還需要配套的嚴(yán)格的測試體系和優(yōu)秀的頂層產(chǎn)品設(shè)計。不僅如此,數(shù)據(jù)庫本身服務(wù)于行業(yè)應(yīng)用,因此一款成熟的數(shù)據(jù)庫還需要在實際場景中不斷的歷練打磨。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中,例如Oracle、IBM DB2等,都?xì)v經(jīng)幾十年才達(dá)到現(xiàn)在的版本。
客戶數(shù)據(jù)庫替換成本高
雖然有基礎(chǔ)軟件“國產(chǎn)自主可控”的政策推動,但國內(nèi)大型銀行、運營商等核心交易、計費系統(tǒng)長期依賴于Oracle、IBM等數(shù)據(jù)庫系統(tǒng)。對于大型企業(yè)而言,核心系統(tǒng)是其業(yè)務(wù)的命脈,而數(shù)據(jù)庫又是其中的基石,數(shù)據(jù)庫本身的穩(wěn)定性和安全性優(yōu)先于一切,因此對他們而言,核心系統(tǒng)的完全替代并非易事。
雖然數(shù)據(jù)庫國產(chǎn)化舉步維艱,但并非沒有機(jī)會,隨著這些年的技術(shù)積累,國內(nèi)也出現(xiàn)了一些優(yōu)秀的數(shù)據(jù)庫企業(yè)。
如達(dá)夢數(shù)據(jù)庫已經(jīng)在國家電網(wǎng)、中鐵建等一大批的央企的核心系統(tǒng)中獲得了大規(guī)模的應(yīng)用,南大通用在中國銀行、中國聯(lián)通等大型企業(yè)也都有不錯的商業(yè)落地。創(chuàng)業(yè)公司中如PingCap、Kyligence、柏睿、巨杉數(shù)據(jù)庫、偶數(shù)科技、濤思數(shù)據(jù)等國產(chǎn)數(shù)據(jù)庫廠商也取得了可喜的成績。另外國內(nèi)有技術(shù)實力的互聯(lián)網(wǎng)巨頭如阿里巴巴等也投入了大量人力在底層數(shù)據(jù)庫上,研發(fā)了如OceanBase等優(yōu)秀的數(shù)據(jù)庫。
無論未來國產(chǎn)數(shù)據(jù)庫走向如何,這些投入在底層基礎(chǔ)軟件研發(fā)的公司永遠(yuǎn)值得大家尊敬。
新的挑戰(zhàn)帶來新的機(jī)遇
縱觀數(shù)據(jù)庫和企業(yè)信息化軟件的發(fā)展史,往往都是需求驅(qū)動技術(shù)的更新迭代。近年來隨著云計算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等場景的提出和落地,對數(shù)據(jù)庫的要求也越來越高,隨之也帶來數(shù)據(jù)庫技術(shù)本身的發(fā)展。
云計算的發(fā)展讓所有IT基礎(chǔ)設(shè)施都有云化的可能,在數(shù)據(jù)庫領(lǐng)域也有DBaaS(Database as a Service)數(shù)據(jù)庫被提出,而其中比較有代表性的如AWS的RedShift,獨角獸企業(yè)Snowflake等。
DBaaS部分?jǐn)?shù)據(jù)庫系統(tǒng)舉例
在大數(shù)據(jù)生態(tài)下,圍繞Hadoop和新的流式計算等大數(shù)據(jù)框架有一系列新型的數(shù)據(jù)倉庫方案被提出;隨著人工智能領(lǐng)域的蓬勃發(fā)展,在需要邏輯推理的應(yīng)用場景中,如風(fēng)控&反欺詐、ChatBot等,知識圖譜是其核心模塊。加米谷大數(shù)據(jù)培訓(xùn),6月大數(shù)據(jù)開發(fā)0基礎(chǔ)班、提高班,成都小班面授,預(yù)報名中。而知識圖譜本身的存儲可以利用圖數(shù)據(jù)庫如Neo4j、GraphDB等來構(gòu)建和存儲;另外垂直行業(yè)的場景下,由于其數(shù)據(jù)本身的行業(yè)特點也可能需要特殊的數(shù)據(jù)庫才能更好的支持,如剛剛完成D輪融資的InfluxDB就是應(yīng)用于物聯(lián)網(wǎng)場景的數(shù)據(jù)庫。另外一些新的需求如OLAP和OLTP的同時支持;對非結(jié)構(gòu)化文本甚至圖片的支持,未來也可能是大家關(guān)注的方向。
在當(dāng)前數(shù)據(jù)大爆炸的時代,對數(shù)據(jù)的存儲和處理要求也越來越高,也將驅(qū)動新一輪的數(shù)據(jù)庫系統(tǒng)的研發(fā)。在去國產(chǎn)自主可控的背景下,隨著底層技術(shù)積累越來越深,國產(chǎn)數(shù)據(jù)庫也存在著巨大的商業(yè)機(jī)會。
本公司出品的研究報告首先介紹了中國數(shù)據(jù)庫行業(yè)市場發(fā)展環(huán)境、數(shù)據(jù)庫行業(yè)整體運行態(tài)勢等,接著分析了中國數(shù)據(jù)庫行業(yè)市場運行的現(xiàn)狀,然后介紹了數(shù)據(jù)庫行業(yè)市場競爭格局。隨后,報告對數(shù)據(jù)庫行業(yè)做了重點企業(yè)經(jīng)營狀況分析,最后分析了中國數(shù)據(jù)庫行業(yè)發(fā)展趨勢與投資預(yù)測。您若想對數(shù)據(jù)庫行業(yè)產(chǎn)業(yè)有個系統(tǒng)的了解或者想投資中國數(shù)據(jù)庫行業(yè),本報告是您不可或缺的重要工具。
本研究報告數(shù)據(jù)主要采用國家統(tǒng)計數(shù)據(jù),海關(guān)總署,問卷調(diào)查數(shù)據(jù),商務(wù)部采集數(shù)據(jù)等數(shù)據(jù)庫。其中宏觀經(jīng)濟(jì)數(shù)據(jù)主要來自國家統(tǒng)計局,部分行業(yè)統(tǒng)計數(shù)據(jù)主要來自國家統(tǒng)計局及市場調(diào)研數(shù)據(jù),企業(yè)數(shù)據(jù)主要來自于國統(tǒng)計局規(guī)模企業(yè)統(tǒng)計數(shù)據(jù)庫及證券交易所等,價格數(shù)據(jù)主要來自于各類市場監(jiān)測數(shù)據(jù)庫。