北京2020年10月23日 /美通社/ -- 隨着城市化進程加快,經濟和社會活動日益頻繁,城市交通在人、車、路、環境等方面面臨資源失衡、行車難、停車難、擁堵頻發等問題,亟需城市交通管理者找到適合的疏解方案。

作爲智慧交通領域先行者,浪潮合作伙伴易華錄以數據湖爲主體,發展大交通,致力於爲客戶提供智慧大數據解決方案,建設城市數字經濟基礎設施,努力降低全社會長期保存數據的能耗和成本,構建數字孿生城市,實現數字永生。

智慧交通系統面臨海量數據快速讀寫挑戰

在智慧交通大數據業務中,智慧交通系統對各類違法車輛進行實時監控抓拍,快速智能識別各種違法行爲,並第一時間通知一線民警對違法車輛進行攔截以及現場處罰,能夠有效監督和消除車輛違法行爲,淨化交通環境。

在易華錄智慧交通業務中,廣泛使用Redis集羣緩存配置下發及中間結果數據,系統對於Redis讀寫併發性、實時性以及數據持久化要求都較高。Redis是一個高效的key-value內存數據庫,基於其高併發下較高的數據查詢效率,是易華錄智慧交通大數據平臺中不可缺少的組件。

圖一 智慧交通業務架構

圖一爲典型的智慧交通業務,系統採集海量的設備、下級平臺及視頻結構化產生的車輛及人像特徵數據,經ETL清洗轉換,藉助Spark流計算框架,與Redis中緩存的黑白名單數據按照空間、時間及其它邏輯規則,進行比對產生各類告警數據。該業務場景下面臨的主要挑戰爲:

智慧交通大數據解決方案實現高吞吐率、低延時、高耐用

浪潮與易華錄聯合推出Redis解決方案,以易華錄交通大數據平臺爲高效數據處理平臺,面向城市數據湖、新型智慧城市業務、政府及企業用戶提供更高效、更低成本的智慧交通大數據解決方案。

相較於傳統DRAM方案,新方案提供了行業領先的高吞吐率、低延時、高服務質量和超高的耐用性,新增內存擴展打破服務器內存容量限制而優化,單機內存容量可以擴展1.5TB,較之前的單機內存容量大幅提升200%。

同時,易華錄還實施了多種調優方案。首先在數據讀取場景中,通過採用非一致內存訪問節點綁定的方式(NUMA進程綁定),避免內存在進行數據存取時,在不同的NUMA節點間切換,以實現更好的讀寫性能。

其次,新設計的Redis服務獲得秒級的故障恢復速度,與之前分鐘級的恢復速度相比,提升達幾十倍之多。而且還能幫助易華錄交通大數據平臺的TCO 降低30%。

測試結果顯示新方案吞吐能力可提升200倍

爲了驗證新方案的應用優勢,浪潮與易華錄共同圍繞Redis數據庫的常規操作以及用戶最關心的業務性能指標進行了測試。測試使用了benchmark工具,選取SET、GET等10餘條Redis數據庫常用命令,全面覆蓋Redis五種數據結構,每個操作執行 32次併發,共640萬次的性能測試。測試結果顯示新方案在總吞吐能力和延遲上相較於傳統的DRAM方案性能有100~200倍的性能提升。

該方案能夠有效支撐城市數據湖中海量數據採集、加工、治理、建模各環節對Redis持久化、高效讀寫等共性需求,與易華錄城市大腦、葫蘆APP、交通大腦等核心業務存在廣泛的契合點,幫助易華錄解決智慧交通大數據平臺系統中面臨的Redis難題。

相關文章