以客戶為(wèi)中(zhōng)心,提供定制化或一站式的全棧解決方案,賦能(néng)千行百業
xx台新(xīn)媒體(tǐ)每天産(chǎn)生大量的視音頻媒體(tǐ)節目,為(wèi)超過百萬用(yòng)戶提供多(duō)内容、全業務(wù)、高質(zhì)量的節目服務(wù)。随着視頻内容的日益積累、内容分(fēn)發範圍不斷增大,對生産(chǎn)系統和存儲系統都提出更高的要求,所以建立一套系統完善、安(ān)全性高的素材存儲系統便是如今最重要的工(gōng)作(zuò)之一。
新(xīn)項目的建設,将為(wèi)xx台新(xīn)媒體(tǐ)媒資庫存儲提供高性能(néng)的數據存儲平台。滿足存儲空間的同時,還要求存儲系統穩定可(kě)靠、高性能(néng)、易擴展、易維護等特性。針對xx台新(xīn)媒體(tǐ)媒資庫存儲的需求,細化分(fēn)析如下:
1.根據當前和近幾年數據容量的增長(cháng)預估,存儲系統需要提供近500TB的有(yǒu)效存儲空間。
2.存儲系統具(jù)有(yǒu)良好的擴展性,以應對媒資系統擴容後更大存儲規模需求
3.業務(wù)系統要求存儲系統提供3GB/s的穩定帶寬。
4.高可(kě)用(yòng)存儲,系統具(jù)備完善的自治能(néng)力,确保數據不丢失,存儲服務(wù)不停機。
5.多(duō)協議支持,便于各類服務(wù)器和工(gōng)作(zuò)站接入并獲取存儲資源。
6.配置簡潔,維護便捷,方便使用(yòng)和後期管理(lǐ)。
根據用(yòng)戶的需求并結合用(yòng)戶的實際應用(yòng)場景,在該項目中(zhōng)采用(yòng)PL-XDFS分(fēn)布式文(wén)件存儲系統,構建海量、高效、可(kě)擴展的分(fēn)布式存儲系統。
通過PL-XDFS分(fēn)布式存儲系統豐富的協議支持、強大的橫向擴展能(néng)力、超高的吞吐性能(néng)為(wèi)媒資系統提供高性能(néng)、動态高可(kě)擴展的CIFS/FTP存儲服務(wù)。同時結合其強大的動态擴展能(néng)力,可(kě)随着業務(wù)發展,快速實現性能(néng)或容量的動态擴展,大大簡化系統規劃難度、降低前期投入。
此次方案中(zhōng)配置了5個PL-XDFS節點,每個節點配置24塊8TB硬盤,總裸容量達到了960TB,配合4+1的糾删碼冗餘策略,考慮到單盤容量較大,出現故障依賴網絡恢複的時間較長(cháng),對業務(wù)系統的負載影響較大,在每節點内部配置RAID保護,每24顆磁盤配置2組12顆盤的RAID5+HotSpare,因此最終容量利用(yòng)率為(wèi)960TB*20/24*0.8*0.91=582TB。每個節點提供600MB/s的帶寬輸出,總輸出帶寬可(kě)以達到3GB/s以上。容量和性能(néng)均可(kě)滿足業務(wù)需求。
每個PL-XDFS配置2*10Gbe+2*1Gb網卡,5個PL-XDFS節點之間采用(yòng)萬兆網絡互連,流媒體(tǐ)和新(xīn)媒體(tǐ)工(gōng)作(zuò)站采用(yòng)萬兆網卡接入萬兆網絡,其他(tā)業務(wù)服務(wù)器通過千兆網卡與每個PL-XDFS的千兆網口實現業務(wù)組網。
PL-XDFS同時支持POSIX/NFS/CIFS/FTP協議, 無需安(ān)裝(zhuāng)任何客戶端,即可(kě)實現多(duō)客戶端跨平台訪問,滿足了媒資平台不同主機平台共享訪問媒體(tǐ)資源的需求。
PL-XDFS除糾删碼保護外,還支持副本保護,未來對于部分(fēn)要求更高可(kě)靠性的數據,可(kě)采用(yòng)副本方式進行增強保護。
PL-XDFS的核心是XDFS分(fēn)布式文(wén)件系統,XDSF是寶德(dé)基于業界領先和廣泛使用(yòng)的GlusterFS分(fēn)布式文(wén)件系統,結合技(jì )術團隊多(duō)年的工(gōng)程化及系統優化經驗,針對非結構化數據應用(yòng)環境推出的海量分(fēn)布式存儲系統。XDFS可(kě)實現動态的容量及性能(néng)擴展、卓越的系統高可(kě)用(yòng)性;借助虛拟化和并行化的卷組、文(wén)件系統資源管理(lǐ),可(kě)構建大規模、高性能(néng)、動态可(kě)擴展的共享存儲架構。XDFS可(kě)實現192PB的海量存儲規模、 可(kě)線(xiàn)性擴展的高性能(néng)。
1、分(fēn)布式存儲集群,去中(zhōng)心化架構,無需獨立元數據服務(wù)器
2、基于DHT算法智能(néng)數據定位,有(yǒu)效提升媒資素材檢索效率
3、全以太網單網架構,無需專用(yòng)的光纖通道設備(FC-SAN)
4、綜合采用(yòng)RAID、糾删碼數據保護,有(yǒu)效實現了節點内、節點間的複合數據
保護,并合理(lǐ)控制了數據修複的系統資源占用(yòng)和網絡占用(yòng)
5、标準客戶端設計,無需在業務(wù)主機安(ān)裝(zhuāng)任何客戶端,讓業務(wù)主機專注應用(yòng)
6、可(kě)擴展副本保護,增加關鍵數據的可(kě)用(yòng)性
7、高密度設備,采用(yòng)4U/24bay設備,有(yǒu)效降低空間和能(néng)耗,合理(lǐ)控制成本
8、系統無單點故障,數據高可(kě)用(yòng),存儲服務(wù)不停機
9、系統支持數據分(fēn)層,未來可(kě)增加SSD或SAS,按數據熱點實現自動分(fēn)級存儲
PL-XDFS采用(yòng)完全去中(zhōng)心化的的分(fēn)布式文(wén)件存儲架構,無獨立元數據服務(wù)器設計,消除元數據信息交互瓶頸;Scale-out動态擴展,快速在線(xiàn)增删節點,最高可(kě)實現1024個節點集群,可(kě)管理(lǐ)近100PB的海量數據。
PL-XDFS提供分(fēn)布式的文(wén)件讀寫和共享服務(wù),本次配置的5節點集群可(kě)實現3GB的性能(néng),可(kě)管理(lǐ)海量文(wén)件,未來可(kě)通過集群擴展,實現100GB的帶寬;支持萬兆網卡及Infiniband網絡,通過RDMA優化并發讀寫性能(néng)。并可(kě)通過SSD實現數據分(fēn)層或小(xiǎo)文(wén)件性能(néng)優化。
PL-XDFS提供副本和糾删碼兩種數據/集群保護模式,節點内部還可(kě)選RAID保護,用(yòng)戶可(kě)根據應用(yòng)類型、數據重要性、性能(néng)、成本平衡選擇配置模式,實現數據高可(kě)用(yòng)保護和存儲服務(wù)高可(kě)用(yòng)保護。XDFS可(kě)實現不停機的在線(xiàn)擴展,大大縮減或消除計劃内的停機時間。