云存儲解決方案
企業(yè)云存儲系統(tǒng)解決方案
云存儲系統(tǒng)有效解決海量有效解決海量，有效解決海量。平臺具備開放式架構(gòu)、組件化封裝、積木式開放等技術(shù)特點，能提供應(yīng)用快速交付能力，可以根據(jù)用戶不同階段的應(yīng)用需求與特殊使用需求進行快速的業(yè)務(wù)開發(fā)及業(yè)務(wù)功能調(diào)整工作。平臺定義標準接口，支持多層次的集成。中心管理平臺主要管理服務(wù)器及數(shù)據(jù)庫服務(wù)器支持雙機熱備，大容量業(yè)務(wù)訪問時可支持集群部署，確保系統(tǒng)平臺的可靠性與穩(wěn)定性。
云存儲系統(tǒng)提供高速數(shù)據(jù)接口，為應(yīng)用平臺提供數(shù)據(jù)高效檢索、快速調(diào)取等服務(wù)功能，為業(yè)務(wù)應(yīng)用提供有力支撐。
平臺擁有完善的運維管理功能，系統(tǒng)管理人員能夠?qū)崟r了解系統(tǒng)中核心設(shè)備的運行狀況，及時發(fā)現(xiàn)設(shè)備故障信息，能夠提供對系統(tǒng)內(nèi)設(shè)備的自動巡檢功能，對巡檢情況做統(tǒng)計分析，使系統(tǒng)維護人員能夠快速了解異常情況，及時排除設(shè)備故障。
云存儲系統(tǒng)同時需要提供標準的運維接口，維護便捷，實現(xiàn)高效實用的管理及使用機制。
云存儲解決方案采用全新的設(shè)計理念，可從成本、容量、空間可擴展性、服務(wù)可用性、數(shù)據(jù)可靠性、接口通用性等多個維度提升監(jiān)控存儲的質(zhì)量。由于這些明顯的優(yōu)勢，云存儲將成為未來平安城市、智慧城市系統(tǒng)的基石，有效的支持各類數(shù)據(jù)集中存儲與共享業(yè)務(wù)，以及智能實戰(zhàn)系統(tǒng)，警務(wù)政務(wù)綜合系統(tǒng)，大型數(shù)據(jù)挖掘系統(tǒng)等數(shù)據(jù)分析業(yè)務(wù)，成為便捷、統(tǒng)一管理和高效應(yīng)用的大數(shù)據(jù)基礎(chǔ)平臺。
云存儲系統(tǒng)實現(xiàn)存儲資源統(tǒng)一管理、高效應(yīng)用、系統(tǒng)規(guī)模平滑擴容為目標，以“先進、可靠、成熟、開放、經(jīng)濟”為總體建設(shè)原則。
先進性原則
在系統(tǒng)總體方案設(shè)計時采用業(yè)界先進的方案和技術(shù)，以確保一定時間內(nèi)不落后。選擇實用性強產(chǎn)品，模塊化結(jié)構(gòu)設(shè)計，具備動態(tài)擴容能力的系統(tǒng)，既可滿足當前的需要又可實現(xiàn)今后系統(tǒng)發(fā)展平滑擴展?？煽啃栽瓌t數(shù)據(jù)是業(yè)務(wù)系統(tǒng)核心應(yīng)用的最終保障，不但要保證整套系統(tǒng)能夠7X24運行，而且存儲系統(tǒng)必須有高可用性，以保證應(yīng)用系統(tǒng)對數(shù)據(jù)的隨時存取。同時提供可靠冗余策略，對應(yīng)用數(shù)據(jù)進行更加安全的數(shù)據(jù)保護，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風險。在進行系統(tǒng)設(shè)計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度可靠的軟硬件容錯設(shè)計，進行有效的安全訪問控制，實現(xiàn)故障屏蔽、冗余重建等智能化安全可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺，進行有效的故障定位、預警。
成熟性原則
為確保整個系統(tǒng)能夠穩(wěn)定工作，軟件平臺將使用先進、完善、易于管理和穩(wěn)定可靠的云存儲資源管理系統(tǒng)，對于與應(yīng)用的集成接口，提供高效穩(wěn)定統(tǒng)一的訪問接口。
開放性原則
開放高性能的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。充分考慮系統(tǒng)的升級和維護問題，支持在線升級和維護。系統(tǒng)的維護和升級操作由系統(tǒng)管理員即可完成。
經(jīng)濟性原則
現(xiàn)有業(yè)務(wù)系統(tǒng)存儲數(shù)據(jù)量較大，且隨著監(jiān)控高清化的趨勢，以及建設(shè)規(guī)模的擴大，存儲數(shù)據(jù)的規(guī)模擴展較快。因此在建設(shè)系統(tǒng)存儲架構(gòu)時，應(yīng)從長遠的角度考慮，建設(shè)一個長期的存儲架構(gòu)，除了可以應(yīng)對存儲硬件設(shè)備的升級速度外，還必須考慮到對前期存儲設(shè)備的投資保護，在保證不斷提供功能和性能提高的同時，存儲架構(gòu)在較長的時間內(nèi)能夠保持相對穩(wěn)定。結(jié)合先進的云平臺技術(shù)架構(gòu)優(yōu)勢，根據(jù)本次項目建設(shè)的實際容量需求設(shè)計，同時充分考慮應(yīng)用發(fā)展需求，實現(xiàn)系統(tǒng)可彈性在線平滑升級。通過軟件實現(xiàn)在較廉價普通服務(wù)器上實現(xiàn)高度容錯，同時能夠保持較高的磁盤利用率，保證在較低冗余度的情況下實現(xiàn)數(shù)據(jù)的高可靠，大大節(jié)約和降低系統(tǒng)的建設(shè)成本和持有維護成本。
設(shè)計目標
云存儲解決方案采用業(yè)界領(lǐng)先的云存儲架構(gòu)思想，在系統(tǒng)架構(gòu)和設(shè)計上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實，采用先進的管理思想和軟件系統(tǒng)，實現(xiàn)對大量普通存儲服務(wù)器存儲空間資源進行虛擬化整合，實現(xiàn)軟硬件故障高度容錯，搭建高度穩(wěn)定可靠的存儲集群。
云存儲系統(tǒng)將控制流與數(shù)據(jù)流分離，以及充分優(yōu)化元數(shù)據(jù)節(jié)點控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴展能力。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負載均衡到集群內(nèi)的各節(jié)點上，充分利用集群各節(jié)點性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡易部署和維護功能。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。
系統(tǒng)架構(gòu)
云存儲系統(tǒng)解決方案能幫助用戶輕松管理海量數(shù)據(jù)，優(yōu)化業(yè)務(wù)數(shù)據(jù)流，為應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)管理平臺。提供高可用的存儲服務(wù)，優(yōu)化業(yè)務(wù)數(shù)據(jù)流，為應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)管理平臺。
系統(tǒng)包含四個層次功能，來滿足最終用戶、系統(tǒng)管理員、運營人員的日常操作需求：
存儲層：基于單個存儲節(jié)點，管理本地的硬盤，文件和數(shù)據(jù)塊。
存儲管理層：提供單個集群和多域的管理能力。
接口層：提供豐富的訪問接口，適應(yīng)各種應(yīng)用。
業(yè)務(wù)應(yīng)用層：業(yè)務(wù)應(yīng)用層部署由各用戶根據(jù)自身需求，充分利用接口層提供的各種接口，開發(fā)而成各種應(yīng)用系統(tǒng)，聯(lián)網(wǎng)共享系統(tǒng)等。
系統(tǒng)組成
云存儲系統(tǒng)內(nèi)部，由元數(shù)據(jù)服務(wù)器和云存儲節(jié)點組成。元數(shù)據(jù)服務(wù)器支持兩臺、三臺及以上形成集群，提供高可靠的元數(shù)據(jù)服務(wù)。云存儲節(jié)點提供高容量、高密度的存儲介質(zhì)和極高的IO能力。
云存儲系統(tǒng)采用分布式的存儲機制，將數(shù)據(jù)分散存儲在多臺獨立的存儲服務(wù)器上。它采用包括元數(shù)據(jù)服務(wù)器（MetadataServer）、云存儲節(jié)點服務(wù)器（DataNode）、客戶端以及運維管理服務(wù)器的結(jié)構(gòu)構(gòu)成海量云存儲系統(tǒng)。在每個服務(wù)器節(jié)點上運行云存儲系統(tǒng)的相應(yīng)軟件服務(wù)程序模塊。
元數(shù)據(jù)服務(wù)器集群保存系統(tǒng)的元數(shù)據(jù)，負責對整個文件系統(tǒng)的管理，元數(shù)據(jù)服務(wù)器（MetadataServer）在邏輯上只有一個，但采用集群方式，保證系統(tǒng)的不間斷服務(wù)；
云存儲節(jié)點服務(wù)器(DataNode)負責具體的數(shù)據(jù)存儲工作，數(shù)據(jù)以文件的形式存儲在DataNode上，DataNode的個數(shù)可以有多個，它的數(shù)目直接決定了云存儲系統(tǒng)的規(guī)模；同時，針對視頻業(yè)務(wù)，可在DataNode上集成了流媒體服務(wù)，讓存儲節(jié)點具備了流媒體直存能力，讓前端視頻流直接存儲至云存儲成為可能?？蛻舳藢ν馓峁?shù)據(jù)存儲和訪問服務(wù)的接口，為云業(yè)務(wù)平臺提供云存儲系統(tǒng)的訪問能力。
關(guān)鍵技術(shù)
負載自動均衡技術(shù)
采用中心服務(wù)器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上，文件則被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上。
元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況，當客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡(luò)負擔等情況，選擇負擔最輕的節(jié)點服務(wù)器對外提供服務(wù)，自動調(diào)節(jié)集群的負載狀態(tài)。
數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的IO負載，空間容量等情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件。
當有一個數(shù)據(jù)節(jié)點因為機器故障或者其他原因造成離線時，元數(shù)據(jù)服務(wù)器會將此機器自動屏蔽掉，不再將此數(shù)據(jù)節(jié)點提供給客戶端使用，同時存儲在此數(shù)據(jù)節(jié)點上的數(shù)據(jù)也會自動恢復到其他可用的節(jié)點服務(wù)器上，自動屏蔽數(shù)據(jù)單節(jié)點故障對系統(tǒng)的影響。
另外對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復，只需將數(shù)據(jù)節(jié)點上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點，這樣即減少集群對數(shù)據(jù)恢復的壓力，又不對客戶端讀寫產(chǎn)生影響。
高速并發(fā)訪問技術(shù)
客戶端在訪問云存儲時，首先訪問元數(shù)據(jù)服務(wù)器，獲取將要與之進行交互的數(shù)據(jù)節(jié)點信息，然后直接訪問這些數(shù)據(jù)節(jié)點完成數(shù)據(jù)存取。
客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負載，使之不成為系統(tǒng)性能的一個瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個節(jié)點進行分布式存儲，客戶端可以同時訪問多個節(jié)點服務(wù)器，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。
通常情況下，系統(tǒng)的整體吞吐率與節(jié)點服務(wù)器的數(shù)量呈正比。
高可靠性保證技術(shù)
對于元數(shù)據(jù)，通過操作日志來提供容錯功能。主服務(wù)器本地SSD盤組建高可靠RAID1，提供高可靠容錯能力。當元數(shù)據(jù)服務(wù)器發(fā)生故障時，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務(wù)器之間實時同步，實現(xiàn)更高程度的可靠性。
對于節(jié)點服務(wù)器，采用ErasureCode冗余方式實現(xiàn)容錯，數(shù)據(jù)冗余分布存儲在不同的數(shù)據(jù)節(jié)點上。任一數(shù)據(jù)節(jié)點的損壞，不會導致任何數(shù)據(jù)丟失，不會影響任何的數(shù)據(jù)訪問和寫入過程。之后，通過靈活數(shù)據(jù)恢復機制，進行數(shù)據(jù)重建過程。
高可用技術(shù)
系統(tǒng)中的所有服務(wù)節(jié)點均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯機制，系統(tǒng)增減節(jié)點不必停止服務(wù)，可在線增減存儲節(jié)點。
元數(shù)據(jù)服務(wù)器采用主備雙機熱備技術(shù)，主機故障，備機自動接替其工作，對外服務(wù)不停止；存儲節(jié)點采用Erasurecode冗余備份機制，如采用4+1節(jié)點間冗余容錯，任意損失一個節(jié)點，數(shù)據(jù)不丟失，服務(wù)不停止，客戶端無感知。
RAID3.0技術(shù)
RAID3.0技術(shù)為海量數(shù)據(jù)存儲而設(shè)計，完美的實現(xiàn)了海量數(shù)據(jù)存儲下的高可
靠、可共享、節(jié)點間冗余能力，以及足夠高的性價比等諸多需求。
RAID3.0技術(shù)將用戶輸入的一個文件或?qū)ο?，切分?span>N塊數(shù)據(jù)，通過Erasure Coding技術(shù)計算得到冗余的M塊數(shù)據(jù)，將N+M塊數(shù)據(jù)分散分布到N+M個網(wǎng)絡(luò)數(shù)據(jù)節(jié)點上，從而提供容忍M個分布在不同數(shù)據(jù)節(jié)點磁盤或節(jié)點級別故障能力。
通過ErasureCoding技術(shù)，實現(xiàn)了多種不同冗余能力的N+M組合方式，提供靈活的數(shù)據(jù)可靠性。重要的，冗余可以根據(jù)不同的文件/對象進行不同的配置，使用方可以視業(yè)務(wù)對數(shù)據(jù)可靠性的不同要求而進行靈活配置。
文件/對象級別的細粒度，感知數(shù)據(jù)的容錯設(shè)計，讓數(shù)據(jù)重構(gòu)只限于用戶數(shù)據(jù)，避免了RAID/RAID2.0技術(shù)或多或少的無效數(shù)據(jù)恢復開銷。N+M塊數(shù)據(jù)通過算法，負載均衡的分布到集群中的N+M個數(shù)據(jù)節(jié)點上，實現(xiàn)了跨越網(wǎng)絡(luò)節(jié)點的故障容忍能力。也讓集群中眾多節(jié)點、眾多磁盤協(xié)同參與數(shù)據(jù)恢復成為可能，從而實現(xiàn)了跨節(jié)點眾多磁盤參與、只恢復用戶真正數(shù)據(jù)的高效數(shù)據(jù)自愈機制。
跨節(jié)點、多硬盤、文件/對象粒度的數(shù)據(jù)冗余構(gòu)建技術(shù)，能高效利用集群多網(wǎng)絡(luò)節(jié)點、多硬盤的IO匯聚能力，提供急速的存儲性能。
跨節(jié)點的分布式設(shè)計，讓系統(tǒng)幾乎無上限的海量存儲能力成為可能，極好的滿足了數(shù)據(jù)爆炸式增長的時代平滑擴容的建設(shè)要求。
同時，RAID3.0技術(shù)對于跨節(jié)點的容錯設(shè)計，對物理節(jié)點可靠性的要求顯著下降，從而有效降低了存儲成本。物理數(shù)據(jù)節(jié)點本地存儲不再需要組建RAID，有效保障了整體系統(tǒng)的磁盤利用率。
系統(tǒng)功能
云存儲系統(tǒng)支持以下功能：
系統(tǒng)帳戶管理
云存儲對外提供登陸、認證接口，保證系統(tǒng)安全性。云平臺必須配置云存儲的用戶名和密碼之后才能接入到云存儲系統(tǒng)。用戶通過云存儲運維系統(tǒng)進行刪除節(jié)點，格式化節(jié)點等操作時，必須再次輸入用戶名密碼，防止系統(tǒng)被非法破壞。
存儲空間管理
通過存儲虛擬化技術(shù)，各種云存儲設(shè)備被虛擬化成一個統(tǒng)一存儲池，提供給多個系統(tǒng)來使用。系統(tǒng)單域可管理256個數(shù)據(jù)節(jié)點，支持16PB空間，多域擴展無上限。通過存儲池管理，可以為每個系統(tǒng)或者每個用途劃分獨立的存儲空間來使用。
存儲池用Bucket來表示，是分布式文件系統(tǒng)內(nèi)的一個存儲文件的容器，系統(tǒng)中每一個文件，都必須包含在一個Bucket中，Bucket不能嵌套，即Bucket內(nèi)不允許再次創(chuàng)建Bucket。Bucket通過全局唯一名稱標識。扁平的系統(tǒng)結(jié)構(gòu)，使得云存儲提供海量存儲、線性擴展能力成為可能。這樣的扁平結(jié)構(gòu)成為眾多分布式文件系統(tǒng)的選擇，用戶可以創(chuàng)建Bucket，刪除Bucket，按照范圍羅列Bucket內(nèi)的文件。Bucket也可以理解為一個空間獨立的目錄。
存儲空間滿后，新的數(shù)據(jù)無法再寫入，用戶可以手動刪除文件，有些應(yīng)用則
需要自動完成空間回收功能。快速數(shù)據(jù)恢復
文件寫入時，數(shù)據(jù)被分片冗余存儲在不同的存儲節(jié)點上，采用節(jié)點間冗余容錯機制進行容錯，可在組內(nèi)任意損壞一個存儲服務(wù)器節(jié)點的情況下實現(xiàn)數(shù)據(jù)完整可靠，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風險。系統(tǒng)采用ErasureCode算法進行冗余，提供更快的訪問速度和空間利用率。
以節(jié)點間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長度的文件內(nèi)容，切分成四個數(shù)據(jù)塊，通過利用EC算法計算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺存儲節(jié)點上，就完成了一次數(shù)據(jù)寫入動作。
這五臺存儲節(jié)點任意一臺故障或節(jié)點內(nèi)存儲這份數(shù)據(jù)的磁盤故障，不會導致數(shù)據(jù)的丟失，從而實現(xiàn)了數(shù)據(jù)的高可靠性，見下圖。
由于數(shù)據(jù)存儲的時候被分片存儲在不同的存儲節(jié)點上，任意節(jié)點或者硬盤損壞，除了損壞的節(jié)點和硬盤，元數(shù)據(jù)管理服務(wù)器會調(diào)度其他所有的存儲節(jié)點和硬盤參與恢復，以最大的速度將該硬盤上的數(shù)據(jù)恢復出來，維持數(shù)據(jù)健康狀態(tài)。
本系統(tǒng)同時提供手動和自動相結(jié)合的方式，為業(yè)務(wù)系統(tǒng)提供靈活的數(shù)據(jù)恢復機制。系統(tǒng)支持手動選擇需要恢復的時間段，以快速恢復重要的文件。而對于一般性文件，則可以通過數(shù)據(jù)冗余保證數(shù)據(jù)依然可訪問。
動態(tài)負載均衡
一個存儲集群內(nèi)部，眾多存儲節(jié)點組建形成的一個統(tǒng)一空間，從整體性能、避免單點故障、數(shù)據(jù)熱點瓶頸等方面，都需要一個良好的動態(tài)負載均衡功能。動態(tài)負載均衡指集群內(nèi)部，自動根據(jù)各存儲節(jié)點的IO負載、空間容量、CPU、內(nèi)存負載等因素，調(diào)度數(shù)據(jù)流向，實現(xiàn)IO讀寫的負載均衡。
云存儲采用兩級負載均衡調(diào)度，首先由元數(shù)據(jù)服務(wù)器選擇一個負載輕的數(shù)據(jù)節(jié)點作為當前請求的讀寫節(jié)點，同時節(jié)點內(nèi)部還會根據(jù)每個硬盤的負載選擇最合適的硬盤參與數(shù)據(jù)寫入。
對于存儲數(shù)據(jù)寫入而言，動態(tài)負載均衡表現(xiàn)為任意時刻，數(shù)據(jù)節(jié)點的寫入負載是動態(tài)均衡的。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點的負載情況，自動調(diào)度，將新的數(shù)據(jù)寫入調(diào)度到綜合負載相對較低的節(jié)點，實現(xiàn)整體負載平衡。對于存儲數(shù)據(jù)讀出，則根據(jù)數(shù)據(jù)分布情況，以及數(shù)據(jù)分布的幾臺設(shè)備負載情況，選擇從負載較輕的節(jié)點讀取數(shù)據(jù)。
在線彈性擴容
云存儲支持在線擴容，在線業(yè)務(wù)持續(xù)運行的情況下，可以動態(tài)增加或縮小云存儲系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無感知的增加或刪除存儲節(jié)點。由于云存儲系統(tǒng)為一個整體，結(jié)合集群管理、數(shù)據(jù)冗余與恢復等機制，實現(xiàn)了在線動態(tài)增加刪除節(jié)點，對業(yè)務(wù)層僅表現(xiàn)為存儲容量的增加和刪除。
增加新的節(jié)點時，配置好節(jié)點的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實現(xiàn)一鍵擴展，快速部署。系統(tǒng)能統(tǒng)一管理不同型號，不同存儲盤位的數(shù)據(jù)節(jié)點，同時能接入標準的第三方IPSAN設(shè)備。系統(tǒng)具有線性擴展的特性，容量增加時，整體的讀寫性能也同步增加。同時，系統(tǒng)容量和每個Bucket容量的擴展可快速生效，無任何數(shù)據(jù)遷移。對于硬盤未滿的節(jié)點插入硬盤也非常方便，不需要做任何配置。
自動失敗接管
單數(shù)據(jù)節(jié)點，其由于硬件、磁盤等原因，可用性是難以保證的。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲服務(wù)可用性較低。但是利用集群管理技術(shù)，存儲節(jié)點錯誤檢測和調(diào)度機制，可以實現(xiàn)存儲節(jié)點錯誤的透明化，從而實現(xiàn)對客戶端而言，提高存儲服務(wù)的高可用性。
即元數(shù)據(jù)服務(wù)器實時監(jiān)測各數(shù)據(jù)節(jié)點情況，一旦發(fā)現(xiàn)節(jié)點異常，則將節(jié)點所負責的業(yè)務(wù)調(diào)度到其他節(jié)點上。再配合客戶端反饋異常機制，以及將之后的業(yè)務(wù)流進行重新定位等，實現(xiàn)集群對存儲節(jié)點錯誤的屏蔽，大幅提高存儲服務(wù)的高可用性。
元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。本系統(tǒng)采用高可用性HighAvailable技術(shù)，保證元數(shù)據(jù)服務(wù)器集群實時同步元數(shù)據(jù)，快速檢測異常，以及迅速接管服務(wù)，保證了系統(tǒng)的高可用。元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過單獨網(wǎng)絡(luò)連接，進行實時的錯誤檢測。單獨網(wǎng)絡(luò)保證心跳不會受到數(shù)據(jù)中心其他網(wǎng)絡(luò)通訊的干擾，保證鏈路的可靠性。心跳機制保證集群服務(wù)器之間錯誤的實時檢測和發(fā)現(xiàn)，為主備快速切換提供保證。
一組元數(shù)據(jù)服務(wù)器集群，對外表現(xiàn)為一個虛IP（VIP），即元數(shù)據(jù)服務(wù)器集群內(nèi)的失敗檢測、錯誤接管對外部而言是透明的。為提供更高可靠性，元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過獨立的心跳網(wǎng)絡(luò)，實時監(jiān)控集群服務(wù)狀態(tài)，在出現(xiàn)主元數(shù)據(jù)服務(wù)器異常時，自動推舉從節(jié)點接管服務(wù)，完成內(nèi)部失敗接管，而整個過程都是元數(shù)據(jù)集群內(nèi)部完成，對外部而已是無感知的。
智能運維管理
運維管理平臺為系統(tǒng)管理員提供配置和維護云存儲系統(tǒng)的有效工具，提供Web界面，充分體現(xiàn)了系統(tǒng)的可維護性。管理監(jiān)控中心提供設(shè)備管理、系統(tǒng)監(jiān)控、告警管理、故障管理等功能。設(shè)備管理包括設(shè)備IP配置、數(shù)據(jù)格式化、添加設(shè)備、刪除設(shè)備等功能。設(shè)備的版本、CPU、內(nèi)存、網(wǎng)卡、磁盤可以通過運維界面很方便地查看。作為整個云存儲系統(tǒng)的管理接口，實現(xiàn)集群管理、維護、監(jiān)測的友好、簡單。
只有系統(tǒng)留有一定的備份空間，保證部分硬盤或者節(jié)點故障后，可用空間依然可以達到系統(tǒng)的要求，則硬盤或者節(jié)點錯誤就可以集中處理，批了更換故障設(shè)備。這樣用戶就不需要去關(guān)注每個錯誤，只需要定期檢查整體容量是否充足，大幅減低了維護工作量。
系統(tǒng)自帶郵件通知組件，在有新的故障發(fā)生時，比如系統(tǒng)容量不足，硬盤故障，數(shù)據(jù)節(jié)點故障等情況，會立即發(fā)送郵件給配置好的運維收件人列表。在系統(tǒng)有任意錯誤時，每天早上會發(fā)送一份日給運維人員，以免維護人員忘記處置。
云存儲運維系統(tǒng)已經(jīng)和云平臺以及整個系統(tǒng)的運維平臺進行對接，可以在云平臺或者運維平臺對云存儲進行統(tǒng)一管理，協(xié)議采用SNMP，RESTful等接口進行對接。
可以通過運維系統(tǒng)對元數(shù)據(jù)服務(wù)器或者數(shù)據(jù)節(jié)點進行升級，由于元數(shù)據(jù)節(jié)點采用了集群模式，其中一個元數(shù)據(jù)服務(wù)器升級并不會中斷業(yè)務(wù)，數(shù)據(jù)節(jié)點也是，失敗接管模塊會將正在升級的數(shù)據(jù)節(jié)點負載分攤到其他節(jié)點。
系統(tǒng)軟件接口
云存儲系統(tǒng)對外提供多種客戶端接口，可以根據(jù)實際應(yīng)用的需要編寫應(yīng)用程序，通過調(diào)用相應(yīng)的接口直接訪問云存儲系統(tǒng)。
基礎(chǔ)SDK
推薦使用SDK訪問方式，可以獲得最優(yōu)的系統(tǒng)性能，文件讀寫時，直接在SDK做文件的切片和組合，不需要專門的服務(wù)器來支持。接口形式上，表現(xiàn)為類POSIX語義的接口，即提供創(chuàng)建bucket、刪除bucket、設(shè)置bucket屬性、獲取bucket屬性、創(chuàng)建文件、刪除文件、設(shè)置文件私有屬性、獲取文件私有屬性、打開文件、寫文件、讀文件、文件內(nèi)定位、獲取文件屬性等接口。
目前，本系統(tǒng)提供windows/linux上的C/C++/Java版本接口。
流媒體SDK
基于基礎(chǔ)SDK封裝，以提供對視頻圖像文件更方便的訪問方式。流媒體寫入時，自動按照攝像頭ID和時間建立目錄，并對每幀數(shù)據(jù)建立幀索引，通過兩級索引，可以做到支持按照時間段精確查詢，并按照流式方式讀取數(shù)據(jù)。在單個云存儲系統(tǒng)內(nèi)，不管規(guī)模由多大，都可以做到秒級定位。同時還支持支持I幀快放，最高64倍速，支持倒放，支持即錄即播等功能。
POSIX接口
Posix接口是各種操作系統(tǒng)都支持的本地文件訪問接口，通過安裝云存儲驅(qū)動，可以基于SDK模擬出一個本地硬盤，用戶可以像訪問本地硬盤一樣訪問云存儲系統(tǒng)，對老的應(yīng)用程序提供很好的兼容性。
RESTful接口
目前互聯(lián)網(wǎng)公司提供的云存儲服務(wù)都采用RESTful接口，具有可讀性好，Web開發(fā)友好等特點。云存儲RESTful接口基于資源ID，支持數(shù)據(jù)加密。RESTFul接口需要采用云存儲接入網(wǎng)關(guān)來提供WebService服務(wù)。6.5NFS/CIFS接口NFS/CIFS是標準的NAS接口，可以提供網(wǎng)絡(luò)文件系統(tǒng)服務(wù)，Linux/Windows機器可以在不安裝任何驅(qū)動或程序的情況下，經(jīng)過授權(quán)后直接訪問云存儲的文件，不需要走上層應(yīng)用和平臺。這種接口需要云存儲網(wǎng)關(guān)來支持。
Copyright ? 2009 - 2014 Cld , All Rights Reserved 滬ICP備17024886號
Copyright allrights reserved