• 解決方案

  SOLUTION CENTER
• IDC方案設(shè)計(jì)
• 云服務(wù)
• 智能化弱電系統(tǒng)集成
• IT外包服務(wù)

云存儲(chǔ)解決方案

企業(yè)云存儲(chǔ)系統(tǒng)解決方案

云存儲(chǔ)系統(tǒng)有效解決海量有效解決海量，有效解決海量。平臺(tái)具備開放式架構(gòu)、組件化封裝、積木式開放等技術(shù)特點(diǎn)，能提供應(yīng)用快速交付能力，可以根據(jù)用戶不同階段的應(yīng)用需求與特殊使用需求進(jìn)行快速的業(yè)務(wù)開發(fā)及業(yè)務(wù)功能調(diào)整工作。平臺(tái)定義標(biāo)準(zhǔn)接口，支持多層次的集成。中心管理平臺(tái)主要管理服務(wù)器及數(shù)據(jù)庫(kù)服務(wù)器支持雙機(jī)熱備，大容量業(yè)務(wù)訪問時(shí)可支持集群部署，確保系統(tǒng)平臺(tái)的可靠性與穩(wěn)定性。

云存儲(chǔ)系統(tǒng)提供高速數(shù)據(jù)接口，為應(yīng)用平臺(tái)提供數(shù)據(jù)高效檢索、快速調(diào)取等服務(wù)功能，為業(yè)務(wù)應(yīng)用提供有力支撐。

平臺(tái)擁有完善的運(yùn)維管理功能，系統(tǒng)管理人員能夠?qū)崟r(shí)了解系統(tǒng)中核心設(shè)備的運(yùn)行狀況，及時(shí)發(fā)現(xiàn)設(shè)備故障信息，能夠提供對(duì)系統(tǒng)內(nèi)設(shè)備的自動(dòng)巡檢功能，對(duì)巡檢情況做統(tǒng)計(jì)分析，使系統(tǒng)維護(hù)人員能夠快速了解異常情況，及時(shí)排除設(shè)備故障。

云存儲(chǔ)系統(tǒng)同時(shí)需要提供標(biāo)準(zhǔn)的運(yùn)維接口，維護(hù)便捷，實(shí)現(xiàn)高效實(shí)用的管理及使用機(jī)制。

云存儲(chǔ)解決方案采用全新的設(shè)計(jì)理念，可從成本、容量、空間可擴(kuò)展性、服務(wù)可用性、數(shù)據(jù)可靠性、接口通用性等多個(gè)維度提升監(jiān)控存儲(chǔ)的質(zhì)量。由于這些明顯的優(yōu)勢(shì)，云存儲(chǔ)將成為未來平安城市、智慧城市系統(tǒng)的基石，有效的支持各類數(shù)據(jù)集中存儲(chǔ)與共享業(yè)務(wù)，以及智能實(shí)戰(zhàn)系統(tǒng)，警務(wù)政務(wù)綜合系統(tǒng)，大型數(shù)據(jù)挖掘系統(tǒng)等數(shù)據(jù)分析業(yè)務(wù)，成為便捷、統(tǒng)一管理和高效應(yīng)用的大數(shù)據(jù)基礎(chǔ)平臺(tái)。

云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)存儲(chǔ)資源統(tǒng)一管理、高效應(yīng)用、系統(tǒng)規(guī)模平滑擴(kuò)容為目標(biāo)，以“先進(jìn)、可靠、成熟、開放、經(jīng)濟(jì)”為總體建設(shè)原則。

先進(jìn)性原則

在系統(tǒng)總體方案設(shè)計(jì)時(shí)采用業(yè)界先進(jìn)的方案和技術(shù)，以確保一定時(shí)間內(nèi)不落后。選擇實(shí)用性強(qiáng)產(chǎn)品，模塊化結(jié)構(gòu)設(shè)計(jì)，具備動(dòng)態(tài)擴(kuò)容能力的系統(tǒng)，既可滿足當(dāng)前的需要又可實(shí)現(xiàn)今后系統(tǒng)發(fā)展平滑擴(kuò)展?？煽啃栽瓌t數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X24運(yùn)行，而且存儲(chǔ)系統(tǒng)必須有高可用性，以保證應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)的隨時(shí)存取。同時(shí)提供可靠冗余策略，對(duì)應(yīng)用數(shù)據(jù)進(jìn)行更加安全的數(shù)據(jù)保護(hù)，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險(xiǎn)。在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，充分考慮數(shù)據(jù)高可靠存儲(chǔ)，采用高度可靠的軟硬件容錯(cuò)設(shè)計(jì)，進(jìn)行有效的安全訪問控制，實(shí)現(xiàn)故障屏蔽、冗余重建等智能化安全可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺(tái)，進(jìn)行有效的故障定位、預(yù)警。

成熟性原則

為確保整個(gè)系統(tǒng)能夠穩(wěn)定工作，軟件平臺(tái)將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠的云存儲(chǔ)資源管理系統(tǒng)，對(duì)于與應(yīng)用的集成接口，提供高效穩(wěn)定統(tǒng)一的訪問接口。

開放性原則

開放高性能的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。充分考慮系統(tǒng)的升級(jí)和維護(hù)問題，支持在線升級(jí)和維護(hù)。系統(tǒng)的維護(hù)和升級(jí)操作由系統(tǒng)管理員即可完成。

經(jīng)濟(jì)性原則

現(xiàn)有業(yè)務(wù)系統(tǒng)存儲(chǔ)數(shù)據(jù)量較大，且隨著監(jiān)控高清化的趨勢(shì)，以及建設(shè)規(guī)模的擴(kuò)大，存儲(chǔ)數(shù)據(jù)的規(guī)模擴(kuò)展較快。因此在建設(shè)系統(tǒng)存儲(chǔ)架構(gòu)時(shí)，應(yīng)從長(zhǎng)遠(yuǎn)的角度考慮，建設(shè)一個(gè)長(zhǎng)期的存儲(chǔ)架構(gòu)，除了可以應(yīng)對(duì)存儲(chǔ)硬件設(shè)備的升級(jí)速度外，還必須考慮到對(duì)前期存儲(chǔ)設(shè)備的投資保護(hù)，在保證不斷提供功能和性能提高的同時(shí)，存儲(chǔ)架構(gòu)在較長(zhǎng)的時(shí)間內(nèi)能夠保持相對(duì)穩(wěn)定。結(jié)合先進(jìn)的云平臺(tái)技術(shù)架構(gòu)優(yōu)勢(shì)，根據(jù)本次項(xiàng)目建設(shè)的實(shí)際容量需求設(shè)計(jì)，同時(shí)充分考慮應(yīng)用發(fā)展需求，實(shí)現(xiàn)系統(tǒng)可彈性在線平滑升級(jí)。通過軟件實(shí)現(xiàn)在較廉價(jià)普通服務(wù)器上實(shí)現(xiàn)高度容錯(cuò)，同時(shí)能夠保持較高的磁盤利用率，保證在較低冗余度的情況下實(shí)現(xiàn)數(shù)據(jù)的高可靠，大大節(jié)約和降低系統(tǒng)的建設(shè)成本和持有維護(hù)成本。

設(shè)計(jì)目標(biāo)

云存儲(chǔ)解決方案采用業(yè)界領(lǐng)先的云存儲(chǔ)架構(gòu)思想，在系統(tǒng)架構(gòu)和設(shè)計(jì)上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí)，采用先進(jìn)的管理思想和軟件系統(tǒng)，實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合，實(shí)現(xiàn)軟硬件故障高度容錯(cuò)，搭建高度穩(wěn)定可靠的存儲(chǔ)集群。

云存儲(chǔ)系統(tǒng)將控制流與數(shù)據(jù)流分離，以及充分優(yōu)化元數(shù)據(jù)節(jié)點(diǎn)控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴(kuò)展能力。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負(fù)載均衡到集群內(nèi)的各節(jié)點(diǎn)上，充分利用集群各節(jié)點(diǎn)性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡(jiǎn)易部署和維護(hù)功能。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點(diǎn)軟硬件故障容錯(cuò)方面，也進(jìn)行充分考慮，具備屏蔽所有可屏蔽錯(cuò)誤能力。

系統(tǒng)架構(gòu)

云存儲(chǔ)系統(tǒng)解決方案能幫助用戶輕松管理海量數(shù)據(jù)，優(yōu)化業(yè)務(wù)數(shù)據(jù)流，為應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)管理平臺(tái)。提供高可用的存儲(chǔ)服務(wù)，優(yōu)化業(yè)務(wù)數(shù)據(jù)流，為應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)管理平臺(tái)。

系統(tǒng)包含四個(gè)層次功能，來滿足最終用戶、系統(tǒng)管理員、運(yùn)營(yíng)人員的日常操作需求：

存儲(chǔ)層：基于單個(gè)存儲(chǔ)節(jié)點(diǎn)，管理本地的硬盤，文件和數(shù)據(jù)塊。

存儲(chǔ)管理層：提供單個(gè)集群和多域的管理能力。

接口層：提供豐富的訪問接口，適應(yīng)各種應(yīng)用。

業(yè)務(wù)應(yīng)用層：業(yè)務(wù)應(yīng)用層部署由各用戶根據(jù)自身需求，充分利用接口層提供的各種接口，開發(fā)而成各種應(yīng)用系統(tǒng)，聯(lián)網(wǎng)共享系統(tǒng)等。

系統(tǒng)組成

云存儲(chǔ)系統(tǒng)內(nèi)部，由元數(shù)據(jù)服務(wù)器和云存儲(chǔ)節(jié)點(diǎn)組成。元數(shù)據(jù)服務(wù)器支持兩臺(tái)、三臺(tái)及以上形成集群，提供高可靠的元數(shù)據(jù)服務(wù)。云存儲(chǔ)節(jié)點(diǎn)提供高容量、高密度的存儲(chǔ)介質(zhì)和極高的IO能力。

云存儲(chǔ)系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)器上。它采用包括元數(shù)據(jù)服務(wù)器（MetadataServer）、云存儲(chǔ)節(jié)點(diǎn)服務(wù)器（DataNode）、客戶端以及運(yùn)維管理服務(wù)器的結(jié)構(gòu)構(gòu)成海量云存儲(chǔ)系統(tǒng)。在每個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行云存儲(chǔ)系統(tǒng)的相應(yīng)軟件服務(wù)程序模塊。

元數(shù)據(jù)服務(wù)器集群保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文件系統(tǒng)的管理，元數(shù)據(jù)服務(wù)器（MetadataServer）在邏輯上只有一個(gè)，但采用集群方式，保證系統(tǒng)的不間斷服務(wù)；

云存儲(chǔ)節(jié)點(diǎn)服務(wù)器(DataNode)負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，數(shù)據(jù)以文件的形式存儲(chǔ)在DataNode上，DataNode的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了云存儲(chǔ)系統(tǒng)的規(guī)模；同時(shí)，針對(duì)視頻業(yè)務(wù)，可在DataNode上集成了流媒體服務(wù)，讓存儲(chǔ)節(jié)點(diǎn)具備了流媒體直存能力，讓前端視頻流直接存儲(chǔ)至云存儲(chǔ)成為可能?？蛻舳藢?duì)外提供數(shù)據(jù)存儲(chǔ)和訪問服務(wù)的接口，為云業(yè)務(wù)平臺(tái)提供云存儲(chǔ)系統(tǒng)的訪問能力。

關(guān)鍵技術(shù)

負(fù)載自動(dòng)均衡技術(shù)

采用中心服務(wù)器模式來管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上，文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。

元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù)，自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài)。

數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡，根據(jù)磁盤的IO負(fù)載，空間容量等情況，自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件。

當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí)，元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉，不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用，同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上，自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響。

另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù)，只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點(diǎn)，這樣即減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力，又不對(duì)客戶端讀寫產(chǎn)生影響。

高速并發(fā)訪問技術(shù)

客戶端在訪問云存儲(chǔ)時(shí)，首先訪問元數(shù)據(jù)服務(wù)器，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息，然后直接訪問這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取。

客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)，客戶端可以同時(shí)訪問多個(gè)節(jié)點(diǎn)服務(wù)器，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。

通常情況下，系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量呈正比。

高可靠性保證技術(shù)

對(duì)于元數(shù)據(jù)，通過操作日志來提供容錯(cuò)功能。主服務(wù)器本地SSD盤組建高可靠RAID1，提供高可靠容錯(cuò)能力。當(dāng)元數(shù)據(jù)服務(wù)器發(fā)生故障時(shí)，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務(wù)器之間實(shí)時(shí)同步，實(shí)現(xiàn)更高程度的可靠性。

對(duì)于節(jié)點(diǎn)服務(wù)器，采用ErasureCode冗余方式實(shí)現(xiàn)容錯(cuò)，數(shù)據(jù)冗余分布存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。任一數(shù)據(jù)節(jié)點(diǎn)的損壞，不會(huì)導(dǎo)致任何數(shù)據(jù)丟失，不會(huì)影響任何的數(shù)據(jù)訪問和寫入過程。之后，通過靈活數(shù)據(jù)恢復(fù)機(jī)制，進(jìn)行數(shù)據(jù)重建過程。

高可用技術(shù)

系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯(cuò)機(jī)制，系統(tǒng)增減節(jié)點(diǎn)不必停止服務(wù)，可在線增減存儲(chǔ)節(jié)點(diǎn)。

元數(shù)據(jù)服務(wù)器采用主備雙機(jī)熱備技術(shù)，主機(jī)故障，備機(jī)自動(dòng)接替其工作，對(duì)外服務(wù)不停止；存儲(chǔ)節(jié)點(diǎn)采用Erasurecode冗余備份機(jī)制，如采用4+1節(jié)點(diǎn)間冗余容錯(cuò)，任意損失一個(gè)節(jié)點(diǎn)，數(shù)據(jù)不丟失，服務(wù)不停止，客戶端無感知。

RAID3.0技術(shù)

RAID3.0技術(shù)為海量數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)，完美的實(shí)現(xiàn)了海量數(shù)據(jù)存儲(chǔ)下的高可

靠、可共享、節(jié)點(diǎn)間冗余能力，以及足夠高的性價(jià)比等諸多需求。

RAID3.0技術(shù)將用戶輸入的一個(gè)文件或?qū)ο?，切分?span>N塊數(shù)據(jù)，通過Erasure Coding技術(shù)計(jì)算得到冗余的M塊數(shù)據(jù)，將N+M塊數(shù)據(jù)分散分布到N+M個(gè)網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)上，從而提供容忍M個(gè)分布在不同數(shù)據(jù)節(jié)點(diǎn)磁盤或節(jié)點(diǎn)級(jí)別故障能力。

通過ErasureCoding技術(shù)，實(shí)現(xiàn)了多種不同冗余能力的N+M組合方式，提供靈活的數(shù)據(jù)可靠性。重要的，冗余可以根據(jù)不同的文件/對(duì)象進(jìn)行不同的配置，使用方可以視業(yè)務(wù)對(duì)數(shù)據(jù)可靠性的不同要求而進(jìn)行靈活配置。

文件/對(duì)象級(jí)別的細(xì)粒度，感知數(shù)據(jù)的容錯(cuò)設(shè)計(jì)，讓數(shù)據(jù)重構(gòu)只限于用戶數(shù)據(jù)，避免了RAID/RAID2.0技術(shù)或多或少的無效數(shù)據(jù)恢復(fù)開銷。N+M塊數(shù)據(jù)通過算法，負(fù)載均衡的分布到集群中的N+M個(gè)數(shù)據(jù)節(jié)點(diǎn)上，實(shí)現(xiàn)了跨越網(wǎng)絡(luò)節(jié)點(diǎn)的故障容忍能力。也讓集群中眾多節(jié)點(diǎn)、眾多磁盤協(xié)同參與數(shù)據(jù)恢復(fù)成為可能，從而實(shí)現(xiàn)了跨節(jié)點(diǎn)眾多磁盤參與、只恢復(fù)用戶真正數(shù)據(jù)的高效數(shù)據(jù)自愈機(jī)制。

跨節(jié)點(diǎn)、多硬盤、文件/對(duì)象粒度的數(shù)據(jù)冗余構(gòu)建技術(shù)，能高效利用集群多網(wǎng)絡(luò)節(jié)點(diǎn)、多硬盤的IO匯聚能力，提供急速的存儲(chǔ)性能。

跨節(jié)點(diǎn)的分布式設(shè)計(jì)，讓系統(tǒng)幾乎無上限的海量存儲(chǔ)能力成為可能，極好的滿足了數(shù)據(jù)爆炸式增長(zhǎng)的時(shí)代平滑擴(kuò)容的建設(shè)要求。

同時(shí)，RAID3.0技術(shù)對(duì)于跨節(jié)點(diǎn)的容錯(cuò)設(shè)計(jì)，對(duì)物理節(jié)點(diǎn)可靠性的要求顯著下降，從而有效降低了存儲(chǔ)成本。物理數(shù)據(jù)節(jié)點(diǎn)本地存儲(chǔ)不再需要組建RAID，有效保障了整體系統(tǒng)的磁盤利用率。

系統(tǒng)功能

云存儲(chǔ)系統(tǒng)支持以下功能：

系統(tǒng)帳戶管理

云存儲(chǔ)對(duì)外提供登陸、認(rèn)證接口，保證系統(tǒng)安全性。云平臺(tái)必須配置云存儲(chǔ)的用戶名和密碼之后才能接入到云存儲(chǔ)系統(tǒng)。用戶通過云存儲(chǔ)運(yùn)維系統(tǒng)進(jìn)行刪除節(jié)點(diǎn)，格式化節(jié)點(diǎn)等操作時(shí)，必須再次輸入用戶名密碼，防止系統(tǒng)被非法破壞。

存儲(chǔ)空間管理

通過存儲(chǔ)虛擬化技術(shù)，各種云存儲(chǔ)設(shè)備被虛擬化成一個(gè)統(tǒng)一存儲(chǔ)池，提供給多個(gè)系統(tǒng)來使用。系統(tǒng)單域可管理256個(gè)數(shù)據(jù)節(jié)點(diǎn)，支持16PB空間，多域擴(kuò)展無上限。通過存儲(chǔ)池管理，可以為每個(gè)系統(tǒng)或者每個(gè)用途劃分獨(dú)立的存儲(chǔ)空間來使用。

存儲(chǔ)池用Bucket來表示，是分布式文件系統(tǒng)內(nèi)的一個(gè)存儲(chǔ)文件的容器，系統(tǒng)中每一個(gè)文件，都必須包含在一個(gè)Bucket中，Bucket不能嵌套，即Bucket內(nèi)不允許再次創(chuàng)建Bucket。Bucket通過全局唯一名稱標(biāo)識(shí)。扁平的系統(tǒng)結(jié)構(gòu)，使得云存儲(chǔ)提供海量存儲(chǔ)、線性擴(kuò)展能力成為可能。這樣的扁平結(jié)構(gòu)成為眾多分布式文件系統(tǒng)的選擇，用戶可以創(chuàng)建Bucket，刪除Bucket，按照范圍羅列Bucket內(nèi)的文件。Bucket也可以理解為一個(gè)空間獨(dú)立的目錄。

存儲(chǔ)空間滿后，新的數(shù)據(jù)無法再寫入，用戶可以手動(dòng)刪除文件，有些應(yīng)用則
需要自動(dòng)完成空間回收功能。

快速數(shù)據(jù)恢復(fù)

文件寫入時(shí)，數(shù)據(jù)被分片冗余存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，采用節(jié)點(diǎn)間冗余容錯(cuò)機(jī)制進(jìn)行容錯(cuò)，可在組內(nèi)任意損壞一個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險(xiǎn)。系統(tǒng)采用ErasureCode算法進(jìn)行冗余，提供更快的訪問速度和空間利用率。

以節(jié)點(diǎn)間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長(zhǎng)度的文件內(nèi)容，切分成四個(gè)數(shù)據(jù)塊，通過利用EC算法計(jì)算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺(tái)存儲(chǔ)節(jié)點(diǎn)上，就完成了一次數(shù)據(jù)寫入動(dòng)作。

這五臺(tái)存儲(chǔ)節(jié)點(diǎn)任意一臺(tái)故障或節(jié)點(diǎn)內(nèi)存儲(chǔ)這份數(shù)據(jù)的磁盤故障，不會(huì)導(dǎo)致數(shù)據(jù)的丟失，從而實(shí)現(xiàn)了數(shù)據(jù)的高可靠性，見下圖。

由于數(shù)據(jù)存儲(chǔ)的時(shí)候被分片存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，任意節(jié)點(diǎn)或者硬盤損壞，除了損壞的節(jié)點(diǎn)和硬盤，元數(shù)據(jù)管理服務(wù)器會(huì)調(diào)度其他所有的存儲(chǔ)節(jié)點(diǎn)和硬盤參與恢復(fù)，以最大的速度將該硬盤上的數(shù)據(jù)恢復(fù)出來，維持?jǐn)?shù)據(jù)健康狀態(tài)。

本系統(tǒng)同時(shí)提供手動(dòng)和自動(dòng)相結(jié)合的方式，為業(yè)務(wù)系統(tǒng)提供靈活的數(shù)據(jù)恢復(fù)機(jī)制。系統(tǒng)支持手動(dòng)選擇需要恢復(fù)的時(shí)間段，以快速恢復(fù)重要的文件。而對(duì)于一般性文件，則可以通過數(shù)據(jù)冗余保證數(shù)據(jù)依然可訪問。

動(dòng)態(tài)負(fù)載均衡

一個(gè)存儲(chǔ)集群內(nèi)部，眾多存儲(chǔ)節(jié)點(diǎn)組建形成的一個(gè)統(tǒng)一空間，從整體性能、避免單點(diǎn)故障、數(shù)據(jù)熱點(diǎn)瓶頸等方面，都需要一個(gè)良好的動(dòng)態(tài)負(fù)載均衡功能。動(dòng)態(tài)負(fù)載均衡指集群內(nèi)部，自動(dòng)根據(jù)各存儲(chǔ)節(jié)點(diǎn)的IO負(fù)載、空間容量、CPU、內(nèi)存負(fù)載等因素，調(diào)度數(shù)據(jù)流向，實(shí)現(xiàn)IO讀寫的負(fù)載均衡。

云存儲(chǔ)采用兩級(jí)負(fù)載均衡調(diào)度，首先由元數(shù)據(jù)服務(wù)器選擇一個(gè)負(fù)載輕的數(shù)據(jù)節(jié)點(diǎn)作為當(dāng)前請(qǐng)求的讀寫節(jié)點(diǎn)，同時(shí)節(jié)點(diǎn)內(nèi)部還會(huì)根據(jù)每個(gè)硬盤的負(fù)載選擇最合適的硬盤參與數(shù)據(jù)寫入。

對(duì)于存儲(chǔ)數(shù)據(jù)寫入而言，動(dòng)態(tài)負(fù)載均衡表現(xiàn)為任意時(shí)刻，數(shù)據(jù)節(jié)點(diǎn)的寫入負(fù)載是動(dòng)態(tài)均衡的。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點(diǎn)的負(fù)載情況，自動(dòng)調(diào)度，將新的數(shù)據(jù)寫入調(diào)度到綜合負(fù)載相對(duì)較低的節(jié)點(diǎn)，實(shí)現(xiàn)整體負(fù)載平衡。對(duì)于存儲(chǔ)數(shù)據(jù)讀出，則根據(jù)數(shù)據(jù)分布情況，以及數(shù)據(jù)分布的幾臺(tái)設(shè)備負(fù)載情況，選擇從負(fù)載較輕的節(jié)點(diǎn)讀取數(shù)據(jù)。

在線彈性擴(kuò)容

云存儲(chǔ)支持在線擴(kuò)容，在線業(yè)務(wù)持續(xù)運(yùn)行的情況下，可以動(dòng)態(tài)增加或縮小云存儲(chǔ)系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無感知的增加或刪除存儲(chǔ)節(jié)點(diǎn)。由于云存儲(chǔ)系統(tǒng)為一個(gè)整體，結(jié)合集群管理、數(shù)據(jù)冗余與恢復(fù)等機(jī)制，實(shí)現(xiàn)了在線動(dòng)態(tài)增加刪除節(jié)點(diǎn)，對(duì)業(yè)務(wù)層僅表現(xiàn)為存儲(chǔ)容量的增加和刪除。

增加新的節(jié)點(diǎn)時(shí)，配置好節(jié)點(diǎn)的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實(shí)現(xiàn)一鍵擴(kuò)展，快速部署。系統(tǒng)能統(tǒng)一管理不同型號(hào)，不同存儲(chǔ)盤位的數(shù)據(jù)節(jié)點(diǎn)，同時(shí)能接入標(biāo)準(zhǔn)的第三方IPSAN設(shè)備。系統(tǒng)具有線性擴(kuò)展的特性，容量增加時(shí)，整體的讀寫性能也同步增加。同時(shí)，系統(tǒng)容量和每個(gè)Bucket容量的擴(kuò)展可快速生效，無任何數(shù)據(jù)遷移。對(duì)于硬盤未滿的節(jié)點(diǎn)插入硬盤也非常方便，不需要做任何配置。

自動(dòng)失敗接管

單數(shù)據(jù)節(jié)點(diǎn)，其由于硬件、磁盤等原因，可用性是難以保證的。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲(chǔ)服務(wù)可用性較低。但是利用集群管理技術(shù)，存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤檢測(cè)和調(diào)度機(jī)制，可以實(shí)現(xiàn)存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤的透明化，從而實(shí)現(xiàn)對(duì)客戶端而言，提高存儲(chǔ)服務(wù)的高可用性。

即元數(shù)據(jù)服務(wù)器實(shí)時(shí)監(jiān)測(cè)各數(shù)據(jù)節(jié)點(diǎn)情況，一旦發(fā)現(xiàn)節(jié)點(diǎn)異常，則將節(jié)點(diǎn)所負(fù)責(zé)的業(yè)務(wù)調(diào)度到其他節(jié)點(diǎn)上。再配合客戶端反饋異常機(jī)制，以及將之后的業(yè)務(wù)流進(jìn)行重新定位等，實(shí)現(xiàn)集群對(duì)存儲(chǔ)節(jié)點(diǎn)錯(cuò)誤的屏蔽，大幅提高存儲(chǔ)服務(wù)的高可用性。

元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。本系統(tǒng)采用高可用性HighAvailable技術(shù)，保證元數(shù)據(jù)服務(wù)器集群實(shí)時(shí)同步元數(shù)據(jù)，快速檢測(cè)異常，以及迅速接管服務(wù)，保證了系統(tǒng)的高可用。元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過單獨(dú)網(wǎng)絡(luò)連接，進(jìn)行實(shí)時(shí)的錯(cuò)誤檢測(cè)。單獨(dú)網(wǎng)絡(luò)保證心跳不會(huì)受到數(shù)據(jù)中心其他網(wǎng)絡(luò)通訊的干擾，保證鏈路的可靠性。心跳機(jī)制保證集群服務(wù)器之間錯(cuò)誤的實(shí)時(shí)檢測(cè)和發(fā)現(xiàn)，為主備快速切換提供保證。

一組元數(shù)據(jù)服務(wù)器集群，對(duì)外表現(xiàn)為一個(gè)虛IP（VIP），即元數(shù)據(jù)服務(wù)器集群內(nèi)的失敗檢測(cè)、錯(cuò)誤接管對(duì)外部而言是透明的。為提供更高可靠性，元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過獨(dú)立的心跳網(wǎng)絡(luò)，實(shí)時(shí)監(jiān)控集群服務(wù)狀態(tài)，在出現(xiàn)主元數(shù)據(jù)服務(wù)器異常時(shí)，自動(dòng)推舉從節(jié)點(diǎn)接管服務(wù)，完成內(nèi)部失敗接管，而整個(gè)過程都是元數(shù)據(jù)集群內(nèi)部完成，對(duì)外部而已是無感知的。

智能運(yùn)維管理

運(yùn)維管理平臺(tái)為系統(tǒng)管理員提供配置和維護(hù)云存儲(chǔ)系統(tǒng)的有效工具，提供Web界面，充分體現(xiàn)了系統(tǒng)的可維護(hù)性。管理監(jiān)控中心提供設(shè)備管理、系統(tǒng)監(jiān)控、告警管理、故障管理等功能。設(shè)備管理包括設(shè)備IP配置、數(shù)據(jù)格式化、添加設(shè)備、刪除設(shè)備等功能。設(shè)備的版本、CPU、內(nèi)存、網(wǎng)卡、磁盤可以通過運(yùn)維界面很方便地查看。作為整個(gè)云存儲(chǔ)系統(tǒng)的管理接口，實(shí)現(xiàn)集群管理、維護(hù)、監(jiān)測(cè)的友好、簡(jiǎn)單。

只有系統(tǒng)留有一定的備份空間，保證部分硬盤或者節(jié)點(diǎn)故障后，可用空間依然可以達(dá)到系統(tǒng)的要求，則硬盤或者節(jié)點(diǎn)錯(cuò)誤就可以集中處理，批了更換故障設(shè)備。這樣用戶就不需要去關(guān)注每個(gè)錯(cuò)誤，只需要定期檢查整體容量是否充足，大幅減低了維護(hù)工作量。

系統(tǒng)自帶郵件通知組件，在有新的故障發(fā)生時(shí)，比如系統(tǒng)容量不足，硬盤故障，數(shù)據(jù)節(jié)點(diǎn)故障等情況，會(huì)立即發(fā)送郵件給配置好的運(yùn)維收件人列表。在系統(tǒng)有任意錯(cuò)誤時(shí)，每天早上會(huì)發(fā)送一份日給運(yùn)維人員，以免維護(hù)人員忘記處置。

云存儲(chǔ)運(yùn)維系統(tǒng)已經(jīng)和云平臺(tái)以及整個(gè)系統(tǒng)的運(yùn)維平臺(tái)進(jìn)行對(duì)接，可以在云平臺(tái)或者運(yùn)維平臺(tái)對(duì)云存儲(chǔ)進(jìn)行統(tǒng)一管理，協(xié)議采用SNMP，RESTful等接口進(jìn)行對(duì)接。

可以通過運(yùn)維系統(tǒng)對(duì)元數(shù)據(jù)服務(wù)器或者數(shù)據(jù)節(jié)點(diǎn)進(jìn)行升級(jí)，由于元數(shù)據(jù)節(jié)點(diǎn)采用了集群模式，其中一個(gè)元數(shù)據(jù)服務(wù)器升級(jí)并不會(huì)中斷業(yè)務(wù)，數(shù)據(jù)節(jié)點(diǎn)也是，失敗接管模塊會(huì)將正在升級(jí)的數(shù)據(jù)節(jié)點(diǎn)負(fù)載分?jǐn)偟狡渌?jié)點(diǎn)。

系統(tǒng)軟件接口

云存儲(chǔ)系統(tǒng)對(duì)外提供多種客戶端接口，可以根據(jù)實(shí)際應(yīng)用的需要編寫應(yīng)用程序，通過調(diào)用相應(yīng)的接口直接訪問云存儲(chǔ)系統(tǒng)。

基礎(chǔ)SDK

推薦使用SDK訪問方式，可以獲得最優(yōu)的系統(tǒng)性能，文件讀寫時(shí)，直接在SDK做文件的切片和組合，不需要專門的服務(wù)器來支持。接口形式上，表現(xiàn)為類POSIX語義的接口，即提供創(chuàng)建bucket、刪除bucket、設(shè)置bucket屬性、獲取bucket屬性、創(chuàng)建文件、刪除文件、設(shè)置文件私有屬性、獲取文件私有屬性、打開文件、寫文件、讀文件、文件內(nèi)定位、獲取文件屬性等接口。

目前，本系統(tǒng)提供windows/linux上的C/C++/Java版本接口。

流媒體SDK

基于基礎(chǔ)SDK封裝，以提供對(duì)視頻圖像文件更方便的訪問方式。流媒體寫入時(shí)，自動(dòng)按照攝像頭ID和時(shí)間建立目錄，并對(duì)每幀數(shù)據(jù)建立幀索引，通過兩級(jí)索引，可以做到支持按照時(shí)間段精確查詢，并按照流式方式讀取數(shù)據(jù)。在單個(gè)云存儲(chǔ)系統(tǒng)內(nèi)，不管規(guī)模由多大，都可以做到秒級(jí)定位。同時(shí)還支持支持I幀快放，最高64倍速，支持倒放，支持即錄即播等功能。

POSIX接口

Posix接口是各種操作系統(tǒng)都支持的本地文件訪問接口，通過安裝云存儲(chǔ)驅(qū)動(dòng)，可以基于SDK模擬出一個(gè)本地硬盤，用戶可以像訪問本地硬盤一樣訪問云存儲(chǔ)系統(tǒng)，對(duì)老的應(yīng)用程序提供很好的兼容性。

RESTful接口

目前互聯(lián)網(wǎng)公司提供的云存儲(chǔ)服務(wù)都采用RESTful接口，具有可讀性好，Web開發(fā)友好等特點(diǎn)。云存儲(chǔ)RESTful接口基于資源ID，支持?jǐn)?shù)據(jù)加密。RESTFul接口需要采用云存儲(chǔ)接入網(wǎng)關(guān)來提供WebService服務(wù)。6.5NFS/CIFS接口NFS/CIFS是標(biāo)準(zhǔn)的NAS接口，可以提供網(wǎng)絡(luò)文件系統(tǒng)服務(wù)，Linux/Windows機(jī)器可以在不安裝任何驅(qū)動(dòng)或程序的情況下，經(jīng)過授權(quán)后直接訪問云存儲(chǔ)的文件，不需要走上層應(yīng)用和平臺(tái)。這種接口需要云存儲(chǔ)網(wǎng)關(guān)來支持。