一文讀懂!深信服EDS存儲如何“四管齊下”激發(fā)卓越性能
數(shù)字化時代,各行業(yè)每天都會面對大量數(shù)據(jù)的使用與存放,如企業(yè)業(yè)務(wù)往來的訂單數(shù)據(jù)、醫(yī)院每天大量產(chǎn)生的醫(yī)療影像、政府機關(guān)單位各類電子檔案、廣電日常素材采集等,也包括ERP、HIS、MES等業(yè)務(wù)系統(tǒng)數(shù)據(jù)?！罢乒堋备鞣N業(yè)務(wù)數(shù)據(jù)存、管、用的存儲,其性能將會對業(yè)務(wù)的運轉(zhuǎn)產(chǎn)生很大影響。
評估一套存儲,性能是核心指標(biāo)之一。而影響存儲性能的因素通常有很多種,比如硬件配置、網(wǎng)絡(luò)時延、存儲軟件處理流程等。為了了解深信服分布式存儲EDS在每一部分的優(yōu)化措施,我們將一個業(yè)務(wù)I/O流程歸納為以下四層:
結(jié)合上述分層方式,我們來介紹EDS如何激發(fā)卓越性能。
一、客戶端業(yè)務(wù)網(wǎng)絡(luò)層優(yōu)化
1.降低業(yè)務(wù)網(wǎng)絡(luò)層時延
EDS通過增強支持NVMe-oF協(xié)議,來代替iSCSI和FC協(xié)議,并通過RDMA技術(shù)減少數(shù)據(jù)在客戶端內(nèi)存拷貝,縮短客戶端IO路徑,降低客戶端CPU開銷。
目前在實驗室內(nèi)測結(jié)果表示,NVMe-oF相比于通過FC接入在小塊隨機讀寫時延上降低60%以上(NVME-oF的IO傳輸時延在10us以內(nèi),而FC通常在30us,iSCSI通常在70us)。
2.提升網(wǎng)絡(luò)接入并發(fā)
EDS通過虛擬IP池的方式實現(xiàn)客戶端統(tǒng)一IP接入,EDS服務(wù)端IO多路徑映射到存儲節(jié)點間均衡負(fù)載,每一個節(jié)點都可以參與IO接收和處理,因此EDS可以通過橫向地增加存儲節(jié)點獲得線性提升的網(wǎng)絡(luò)接入并發(fā)IO能力。值得一提的是,部分分布式存儲雖然存儲節(jié)點可以橫向擴展,但接入網(wǎng)關(guān)會限制在4個節(jié)點以內(nèi),因此接入IO并發(fā)有限。
二、存儲軟件邏輯層優(yōu)化
1.降低IO路徑時延
(1)更高效的副本分發(fā)機制
EDS通過多副本和糾刪碼的方式進(jìn)行數(shù)據(jù)冗余,以副本機制為例,多份副本并發(fā)寫入存儲節(jié)點的固態(tài)盤,寫入成功即向應(yīng)用返回成功,沒有主備副本之分。對比開源存儲架構(gòu)CEPH的副本分發(fā)機制,EDS的I/O路徑更短,寫時延更低。
(2)更高效的分層機制
在混合盤配置下,固態(tài)盤作為高性能層提供讀寫加速能力,EDS通過獨特的Tier分層減少了數(shù)據(jù)寫入固態(tài)盤后的數(shù)據(jù)二次復(fù)制,降低固態(tài)盤壽命損耗,提高IO處理效率。
(3)更高的分層命中率
EDS的業(yè)務(wù)讀操作會優(yōu)先從Tier分層讀取,所以業(yè)務(wù)讀性能跟SSD命中率強相關(guān)。由于性能層容量有限,如何把業(yè)務(wù)需要頻繁訪問的數(shù)據(jù)(即熱數(shù)據(jù))留存在成為提升業(yè)務(wù)讀性能的關(guān)鍵。EDS通過更智能的熱力圖算法決定那部分?jǐn)?shù)據(jù)留存在性能層,相比于傳統(tǒng)LRU算法可大幅度提升性能層命中率,提升業(yè)務(wù)讀性能。
(4)更智能的內(nèi)存預(yù)加載
為了提升業(yè)務(wù)讀性能,EDS文件存儲支持內(nèi)存預(yù)加載技術(shù),提前將數(shù)據(jù)按以下機制預(yù)加載到高速內(nèi)存中,業(yè)務(wù)可直接從內(nèi)存獲取數(shù)據(jù)。
基于目錄的預(yù)加載機制:大部分應(yīng)用場景,一個目錄保存的文件相關(guān)性較強,若目錄內(nèi)數(shù)據(jù)量較小,則將整個目錄的文件都加載到內(nèi)存。
基于時間的預(yù)加載機制:若目錄內(nèi)的數(shù)據(jù)量較大,則通過創(chuàng)建時間將目錄內(nèi)的文件進(jìn)行分組,當(dāng)某個組中的文件在短時間內(nèi)被讀取超過3個,則將整個組中的文件加載到內(nèi)存。
2.提升多磁盤并發(fā)
EDS通過自適應(yīng)條帶化和自研分布算法來充分發(fā)揮同一主機內(nèi)多塊磁盤的并發(fā)能力。
(1)自適應(yīng)條帶化技術(shù)
條帶化技術(shù)是指將一塊連續(xù)的數(shù)據(jù)切分成很多個小的數(shù)據(jù)塊,然后并發(fā)地存儲到不同物理硬盤上,實現(xiàn)對數(shù)據(jù)進(jìn)行寫入或讀取時可以獲得最大程度上的I/O并發(fā)能力。
為了保證獲得最優(yōu)的I/O性能,EDS的條帶數(shù)會根據(jù)集群配置進(jìn)行自適應(yīng)調(diào)整,無需用戶配置。
(2)性能最優(yōu)分布算法
為了保證性能最優(yōu),EDS數(shù)據(jù)分布會優(yōu)先遵循以下三大策略:
主機內(nèi)優(yōu)先跨磁盤組分布策略:每個磁盤組由1塊SSD和多塊HDD組成,跨越多個磁盤組,可以利用到更多的SSD的加速能力。
磁盤組內(nèi)優(yōu)先跨磁盤分布策略:在混合盤配置中,為了避免對一個條帶組內(nèi)的數(shù)據(jù)進(jìn)行并發(fā)讀寫時對機械硬盤產(chǎn)生隨機的I/O(機械盤受限于物理結(jié)構(gòu),隨機I/O性能較差),數(shù)據(jù)在磁盤組內(nèi)優(yōu)先跨磁盤分布。
優(yōu)先選擇組件剩余容量最多策略:為了保證數(shù)據(jù)分布均衡,主機或磁盤的剩余容量大小也是數(shù)據(jù)分布時的一個重要考量因素。
3.提升小文件/對象寫入性能
在海量小文件/對象承載場景下EDS通過小文件合并技術(shù)大幅降低元數(shù)據(jù)規(guī)模,保證關(guān)鍵元數(shù)據(jù)都能夠完全存儲在有限的SSD上,并利用自研PhxKV數(shù)據(jù)庫對元數(shù)據(jù)進(jìn)行管理,提升元數(shù)據(jù)訪問效率及故障修復(fù)的效率,從而提升EDS對海量小文件/對象讀寫效率,可以輕松承載百億級別的小文件/對象存儲。
三、服務(wù)器硬件層優(yōu)化
EDS支持在通用X86或ARM架構(gòu)的服務(wù)器上進(jìn)行部署,相比于傳統(tǒng)存儲使用的專有硬件,所需投入的成本更低,并且EDS聯(lián)合Intel推出了精選解決方案:
對于普通生產(chǎn)業(yè)務(wù)承載,EDS推薦高性價比混閃方案,通過配置少量固態(tài)盤(SATA/NVMe/Optane)作為高性能層提供讀寫加速能力,配置大容量機械盤作為容量層承載更多數(shù)據(jù)。
對于核心高負(fù)載業(yè)務(wù)承載,EDS可以采用全閃存方案,支持全SATA和全NVMe SSD組成的高性能存儲資源池,通過25Gb/40Gb RoCE組網(wǎng),為金融核心交易系統(tǒng)、測繪航測建模系統(tǒng)、醫(yī)療HIS等場景提供穩(wěn)定高性能的生產(chǎn)存儲。
四、存儲網(wǎng)絡(luò)層優(yōu)化
EDS的存儲網(wǎng)絡(luò)用來進(jìn)行節(jié)點間數(shù)據(jù)同步,以多副本機制為例,由于存儲的多個副本之間要保證強一致性和數(shù)據(jù)可靠性,多個副本必須同時寫入到不同的存儲節(jié)點,因此存儲網(wǎng)絡(luò)時延也是影響性能的關(guān)鍵因素之一。EDS通過RDMA技術(shù)來減少內(nèi)存拷貝,降低CPU消耗,從而將存儲網(wǎng)時延降低到10微秒以內(nèi)。
在多項性能優(yōu)化措施的加持下,EDS在塊、文件、對象存儲性能實現(xiàn)了進(jìn)一步升級。
塊存儲性能優(yōu)化
使用3節(jié)點混合盤配置的EDS集群(每節(jié)點配置2塊SATA接口固態(tài)盤作為緩存盤,6塊SATA機械盤做數(shù)據(jù)盤)可提供43萬IOPS性能,發(fā)揮物理硬件性能的92%以上。
并且性能可以橫向擴展,EDS集群規(guī)模擴展至8節(jié)點時,混合盤配置4KB隨機讀可達(dá)120萬IOPS。
對象存儲性能優(yōu)化
EDS對象存儲在3節(jié)點混合盤配置下可以承載100億個小對象數(shù)據(jù),且性能下降不超過5%。而開源CEPH在對象規(guī)模實測達(dá)到3億時,性能下降已超過60%。
文件存儲性能優(yōu)化
使用3節(jié)點混合盤配置的EDS集群,EDS文件存儲可提供6GB/s的讀寫吞吐能力。
對存儲而言,性能優(yōu)化可謂是一場沒有終點的馬拉松,持續(xù)在通用硬件上激發(fā)出更高、更穩(wěn)定的存儲性能,用戶便可以用更低的成本投入獲得可支撐核心業(yè)務(wù)運行的存儲產(chǎn)品?；谛阅軆?yōu)化,目前深信服EDS已經(jīng)承載了廣電非編、AI訓(xùn)練、醫(yī)療影像長期歸檔、人臉圖像識別、制造業(yè)MES生產(chǎn)、金融交易清算等豐富的業(yè)務(wù)場景。EDS將持續(xù)通過大量的研發(fā)投入,和持續(xù)的版本迭代,讓用戶擁有更優(yōu)的存儲選擇。
關(guān)注我們
