項目背景

xx網安(ān)支隊規劃在全區(qū)的網吧、大型連鎖門店(diàn)、重點路段公(gōng)共電(diàn)話亭及公(gōng)共汽車(chē)站等重點區(qū)域部署移動終端硬件特征采集設備，對區(qū)域内的移動終端設備進行監控。實現數據采集、實時回傳、數據彙總（數據倉庫）、進入報警及軌迹追蹤等功能(néng)，為(wèi)公(gōng)安(ān)機關在公(gōng)共 WIFI 管控工(gōng)作(zuò)中(zhōng)提供有(yǒu)力的抓手。

随着XX網安(ān)投入的采集設備的增多(duō)，數據接入量的增大，業務(wù)分(fēn)析場景愈加複雜，這些都要求有(yǒu)更強大的數據倉庫支撐。原有(yǒu)的基于RDBMS 數據倉庫已經接近性能(néng)瓶頸；所以上海XX網安(ān)迫切需要一種更先進的技(jì )術，既能(néng)解決當前遇到的問題，也能(néng)滿足未來業務(wù)發展 需求。RDBMS 遇到的問題主要體(tǐ)現在如下四個方面：

1、數據 ETL 耗時越來越長(cháng)，無法滿足目标系統對數據的時效性要求，關鍵任務(wù)的 SLA不能(néng)得到保證。

2、RDBMS 性能(néng)優化（index & partition）無法逾越 I/O 瓶頸，同時，數據倉庫不斷增加 index 和 partition 也增加了系統在加載時的資源消耗，同時增加了系統維護度。

3、由于性能(néng)原因，使随機查詢能(néng)力受限，檢索場景僅支持7天數據，無法針對較長(cháng)時 間軸進行實時追蹤。

4、目前的系統架構不支持線(xiàn)性擴展，使數據的存儲得到制約，擴容需要花(huā)費高成本以 購(gòu)買大型設備，即便如此，也無法控制數據增長(cháng)帶來的性能(néng)處理(lǐ)壓力。