對于運(yùn)營商而言，數(shù)據(jù)分析是一項常年的重要工作，經(jīng)營分析系統(tǒng)的歷史數(shù)據(jù)規(guī)模經(jīng)常會達(dá)到PB級，如歷史通話詳情、寬帶辦理、話費(fèi)充值信息等，在進(jìn)行話費(fèi)清單查詢等業(yè)務(wù)時，大量數(shù)據(jù)需要進(jìn)行熱數(shù)據(jù)分析和關(guān)聯(lián)查詢。5G時代的到來，讓本就龐大的數(shù)據(jù)規(guī)模迎來進(jìn)一步暴增，如何高效存儲和管理這些海量數(shù)據(jù)是運(yùn)營商持續(xù)面臨的問題。

作為一家專注大數(shù)據(jù)、云計算等領(lǐng)域核心技術(shù)的高科技軟件企業(yè)，北京東方國信科技股份有限公司（簡稱“東方國信”）一直為運(yùn)營商提供大數(shù)據(jù)分析解決方案，為了存儲這些海量數(shù)據(jù)，東方國信BEH大數(shù)據(jù)企業(yè)版主要采用傳統(tǒng)存算融合架構(gòu)進(jìn)行數(shù)據(jù)分析和存儲，但是存算融合架構(gòu)仍然面臨的諸多的挑戰(zhàn)，例如——

文件規(guī)模：使用單個NameNode性能受限于單節(jié)點性能瓶頸，通常更大文件規(guī)模量級只能支持到億級別。

存儲成本：BEH與HDFS相同，存儲機(jī)制采用三副本存儲，空間利用率低，有效存儲可用空間利用率33%，隨著數(shù)據(jù)量的持續(xù)增長，存儲成本居高不下。

擴(kuò)展難題：因計算和存儲融合，單臺服務(wù)器的存儲空間有限，針對單臺進(jìn)行容量擴(kuò)展導(dǎo)致計算資源“空旋”浪費(fèi)。

深信服EDS存算分離解決方案，讓海量數(shù)據(jù)存儲不再成為困擾

為了解決傳統(tǒng)存算融合架構(gòu)長久以來存在的弊端，東方國信BEH和深信服分布式存儲EDS研發(fā)人員經(jīng)過近半年的不斷投入和測試，終于探索出了一條新的大數(shù)據(jù)存儲管理方案——EDS大數(shù)據(jù)存算分離解決方案，構(gòu)建新一代運(yùn)營商經(jīng)分系統(tǒng)大數(shù)據(jù)存儲建設(shè)之道。

在近半年的測試中，雙方基于運(yùn)營商大數(shù)據(jù)實際業(yè)務(wù)場景與傳統(tǒng)存算一體融合方案，進(jìn)行了全面細(xì)致，多場景，多維度的嚴(yán)格對比測試。測試結(jié)果表明在大數(shù)據(jù)存算分離場景下，東方國信BEH大數(shù)據(jù)企業(yè)版與深信服EDS企業(yè)級分布式存儲能夠?qū)崿F(xiàn)相互兼容，且在高壓力環(huán)境下針對TestDFSIO大文件讀寫、TeraSort數(shù)據(jù)排序、倉儲場景下冷熱數(shù)據(jù)關(guān)聯(lián)查詢、存量數(shù)據(jù)遷移，Hbase隨機(jī)讀寫等對比測試中，EDS存算分離方案各項性能表現(xiàn)優(yōu)異。

在文件規(guī)模、存儲成本以及擴(kuò)展性方面，EDS存算分離方案實現(xiàn)了全面升級。

1.突破性能瓶頸

EDS存算分離方案采用全分布式Namenode，相比于單個Namenode存儲架構(gòu)，不再受限于性能瓶頸，單一命名空間文件數(shù)量支持可達(dá)百億級別。

2.降低存儲成本

通過糾刪碼技術(shù)提供高存儲利用率來進(jìn)行歷史數(shù)據(jù)保存，相比BEH存儲可用空間提高2倍以上，在不影響在線熱數(shù)據(jù)的性能的前提下，幫助用戶節(jié)省針對歷史數(shù)據(jù)的開支和成本。

3.解決擴(kuò)展難題

EDS 分布式存儲HDFS提供統(tǒng)一命名空間，分布式命名空間架構(gòu)無規(guī)模瓶頸，可以持續(xù)擴(kuò)展集群以存儲歷史數(shù)據(jù)，提高大數(shù)據(jù)集群靈活性并消除瓶頸規(guī)模，也避免了計算節(jié)點的資源浪費(fèi)。

本次測試的各項優(yōu)異表現(xiàn)，使雙方增加了重構(gòu)運(yùn)營商傳統(tǒng)大數(shù)據(jù)經(jīng)分系統(tǒng)數(shù)據(jù)存儲管理架構(gòu)的信心，未來雙方將共同為運(yùn)營商等企業(yè)級用戶提供存儲效率更高、性價比更優(yōu)、管理更智能的大數(shù)據(jù)存算分離解決方案。